Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
1.3.Estymatorynajmniejszychkwadratówinajwiększejwiarogodności
7
1.3.Estymatorynajmniejszychkwadratów
inajwiększejwiarogodności
Wmodelu(1.2)przyjęliśmy,żewspółczynnikiβsąnieznane.Abyjeocenić,można
stosowaćrozmaitemetodyestymacji.Wtymrozdzialeprzedstawimydwieznich:
estymacjęmetodąnajmniejszychkwadratów(ang.ordinaryleastsquares,OLS)
orazmetodąnajwiększejwiarogodności(ang.maximumlikelihood,ML).Oinnych
metodachestymacjiwspółczynnikówβ,takichjakregresjagrzbietowa,lasso,re-
gresjaodpornaitp.możnaprzeczytaćnp.w[Koronacki2008](orazwskrócie
wpodrozdz.1.6).
1.3.1.Metodanajmniejszychkwadratów
Wprzypadkuestymacjimetodąnajmniejszychkwadratówestymatory^
βznajduje
siępoprzezminimalizacjękwadraturóżnicymiędzywartościamigawartościami
g=X~
~
β.Minimalizowanąwartośćnazywasiębłędemkwadratowymlubsumą
kwadratówresztioznaczanejestskrótemRSS(ang.ResidualSumofSquares).
Szukane^
βto~
βminimalizującesumękwadratówreszt.
Dlawspółczynników~
βsumakwadratówresztwynosi
RSS(~
β)=Σ
=(g−~
=Σ
=(g−X~
n
i=1(gi−~
n
i=1(gi−Xi~
g)T(g−~
β)T(g−X~
gi)2
g)
β)2
β).
(1.3)
Abyuprościćzapis,wwyprowadzeniachbędziemystosowalinotacjęmacie-
rzowąRSS(~
β)=(g−X~
β)T(g−X~
β).Abyznaleźć~
βminimalizująceRSS(~
β),
zróżniczkujemyiprzyrównamydozeraprawąstronętegorównania,otrzymując
rozwiązanie
XTX^
β=XTg
(1.4)
gdzie^
βtowartośćminimalizującaRSS(~
β).Dlauproszczeniazapisuprzyjmijmy
oznaczenieRSS:=RSS(^
β).
JeżeliprzezmacierzAoznaczymyA=XTXaprzezwektorb=XTg,to
rozwiązanierównania(1.4)sprowadzasiędorozwiązaniaukładurównańliniowych
Ax=bzewzględunax.Walgebrzeliniowejjestwielealgorytmówefektywnego
rozwiązywaniatakiegoukładurównań.
Abywsposóbzwartymatematyczniebadaćwłaściwościestymatora^
β,przed-
stawimyrównanie(1.4)wpostaci
β=(XTX)1XTg.
^
(1.5)
gdzie(XTX)1jestodwrotnościąmacierzyXTX,jeżelitamacierzjestodwracalna,
lubuogólnionąodwrotnościąMoore’a–Penrose’a,jeżelijeżelimacierzXTXjest
nieodwracalna(zob.teżpodrozdz.6.16).
