Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
1.4.Klasyfikatorygaussowskie
39
żegdynk>p,tozprawdopodobieństwemjedenmacierzSkjestdodatnio
określona.Próbauczącamusibyćzatemdostatecznieliczna,bywkażdej
zKgrupwarunektenmógłbybyćspełniony.Małolicznepróbyskutkujązłą
jakościąestymatorów.Mogąonecharakteryzowaćsięnadmiernązmienno-
ścią.Chcąctegouniknąć,możemyposłużyćsięestymatoramiściągającymi6
zaproponowanymiprzezFriedmana(1989).Estymatorściągającymacierzy
kowariancjiΣkmapostać:
Σk(λ,γ)=(1−γ)ˆ
ˆ
Σk(λ)+γp
-1tr(ˆ
Σk(λ))Ip,
(1.38)
gdzieIpjestmacierząjednostkowąstopniap,tr(A)oznaczaśladmacierzy
A(sumęelementówdiagonalnychmacierzyA)oraz
Σk(λ)=
ˆ
(1−λ)(nk−1)Sk+λ(n−K)S
(1−λ)(nk−1)+λ(n−K)
,
0≤λ≤1,
0≤γ≤1.
(1.39)
Wartościparametrówλiγzmieniająsięwkwadraciejednostkowym
postaci:
{(λ,γ):
0≤λ≤1,
0≤γ≤1}.
Wierzchołek(λ=0,γ=0)odpowiadakwadratowejfunkcjidyskrymi-
nacyjnej,wierzchołek(λ=1,γ=0)odpowiadaliniowejfunkcjidyskry-
minacyjnej,wierzchołek(λ=1,γ=1)odpowiadareguleklasyfikacyjnej
opartejnaminimalnejodległościeuklidesowejmiędzygrupami,natomiast
wierzchołek(λ=0,γ=1)odpowiadareguleklasyfikacyjnejopartejna
ważonejminimalnejodległościeuklidesowej,gdziewagigrupsąodwrotnie
proporcjonalnedotr(ˆ
Σk)/p.Jeżeliγ=0,aλzmieniasię,touzyskujesięre-
gułypośredniemiędzykwadratowymiiliniowymi.Jeżeliλ=1,aγzmienia
się,touzyskujemypewnąanalogięregresjigrzbietowej7dlaliniowejanalizy
dyskryminacyjnej.
Wpraktyceoptymalnewartościparametrówregularyzującychλiγnie
sąznaneinależyjewyestymowaćzpróbyuczącej.Optymalnąparą(λ,γ)
jesttapara,dlaktórejocenaaktualnegopoziomubłędu,uzyskanametodą
sprawdzaniakrzyżowego,jestminimalna.Ocenomaktualnegopoziomubłę-
dujestpoświęconypodrozdz.1.10.Analizadyskryminacyjnawykorzystu-
jącaestymatory(1.38)zostałanazwanaprzezFriedmanaregularyzowaną8
analiządyskryminacyjną(RDA).
6Poang.shrinkage.
7Poang.ridgeregression.
8Poang.RegularizedDiscriminantAnalysis(RDA).
