Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
14
MODELEREGRESJILINIOWEJ
kładnenieistnieje.Możnajeotrzymaćtylkojakoprzybliżonerozwiązaniemini-
malizująceróżnicęmiędzylewąiprawąstronąukładurównań.Ztegowzględu
rozwiązanieprostokątnegoukładurównańjestrównoważneposzukiwaniuwek-
toraaminimalizującegobłądśredniokwadratowyzdefiniowanyzwyklewposta-
cinormyeuklidesowej[3,7,20].JesttoproblemnajmniejszychkwadratówLS
traktowanyjakozadanieoptymalizacyjne
minE±
a
Xa
-
d
2
(2.4)
Przybrakuograniczeńnakładanychnaelementywektoraarozwiązaniepowyż-
szegoproblemusprowadzasiędoznalezieniatakiegowektoraa,dlaktórego
wektorgradientufunkcjicelujestrównyzeru,czyli
B
E
±
0
.Pozróżniczkowaniu
B
a
powyższegorównaniawzględemwektoraauzyskujesięukładN+1równańli-
niowychwzględemN+1nieznanychwspółczynnikówa
j(j=0,1,2,...,N),które-
gorozwiązaniestanowirozwiązanieproblemuregresji.Wpodejściuklasycznym
równanie(2.3)przekształcasiędopostaci
XXa
T
±
Xd
T
(2.5)
wktórejmacierz
XX
T
jestkwadratowaowymiarach(N+1)×(N+1),coumoż-
liwiazapisanierozwiązaniawpostaci[20]
a
±
(
XX
T
)
-
1
Xd
T
(2.6)
Wwynikuestymacjiotrzymujesięwartościwspółczynnikówa
jtworzącychwek-
tora.Tensposóbpodejściadomodelowanianienależydonajlepszych,gdyżczę-
stomacierz
XX
T
jestbliskaosobliwości,comożegenerowaćdużebłędy.Wcelu
ichuniknięciawprowadzasięzwykleczynnikregularyzacyjnyiinwersjipodlega
wówczasmacierz(
XX
T
+
X
1przyodpowiedniodobranejwartościwspółczyn-
)
nikaregularyzacyjnego
X
[20].
Znajomośćrozwiązania(wektora)pozwalaokreślićodpowiedzimodeludla
każdegowektorawejściowegox
iinatejpodstawiebłędyestymacji,określone
zależnością
8
i
±
d
i
-ax
T
i
(2.7)
dlakolejnychobserwacjii=1,2,...
.,m.
Rozwiązaniewpostaciwzoru(2.6)możnazaimplementowaćalbobezpośrednio
wMatlabielubPytonie,pamiętającorozszerzeniuwektoraobserwacjixowartość
jednostkowąalbowykorzystującpunkcjępolyfit(Python:numpy.polyfit)przyzało-
żeniustopniawielomianurównegojeden[2,49].
Jakoprzykładrozpatrzmyproblemregresjiliniowejjednejzmiennejxprzy
danychpomiarowychprzedstawionychwtabeli2.1.
