Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
Wprzypadkusiecioliczbiewarstwwiększejniżjednakoniecznejest
zastosowaniespecjalnegomechanizmuwstecznejpropagacjibłędu(ang.
backpropagation),abyokreślićkierunekgradientudlawszystkichwarstw
ukrytych[27],[80].
Wramachalgorytmuuczeniazwykorzystaniemmetodywstecznej
propagacjibłędunależykolejnowykonywaćnastępującekroki:
1.Pobraniewzorcauczącego(9
xy),podanienawejściesieciwartościx
iokreśleniewartościsygnałówwyjściowychywszystkichneuronów
wsieci.
2.Utworzenieodwrotnychwzględemnaturalnegokierunkuprzetwarzania
sieciścieżekdlapropagacjiwstecznejbłęduwtakisposób,żefunkcje
aktywacjizostajązastąpioneprzezichpochodne.
3.Podanienawyjścianeuronówwarstwywyjściowejwymuszeniawpostaci
różnicypomiędzywartościążądanąyawartościąaktualnąy.
4.Obliczeniewartościróżnicdlawyjśćneuronówwarstwukrytychpoprzez
propagacjębłęduzwarstwywyjściowejścieżkamiwstecznejpropagacji
utworzonymiwpunkcie2.
5.Adaptacjawagnapodstawiewartościuzyskanychwpoprzednich
punktachizwykorzystaniemodpowiednioskonkretyzowanejpostaci
wzoru(1.3).
6.Sprawdzeniewarunkuzatrzymaniaiewentualnezakończenieprocesu
uczenia.Warunkiemzatrzymaniamożebyćosiągnięcieokreślonej
precyzjiodtwarzaniawektorawyjściowegoprzezsiećlubosiągnięcie
określonejliczbyiteracji.
7.Skokdopunktu1.
Pozostajejeszczetylkonadmienić,żewartościpoczątkoweparametrówsieci
mogązostaćustalonelosowolubrozlokowanewprzestrzeniposzukiwań
winnysposób,tj.zapomocąstosownegoalgorytmu.Ponadto,ponieważ
opisanywyżejalgorytmjestpowtarzanydlawszystkichwzorcówuczących,tj.
par
(
xy,kolejnośćichprezentacji(najczęściejjesttokolejnośćlosowa)ma
9
)
wpływnaprocesuczenia.Wszystkotopowoduje,żeuczeniesiecitak
zdefiniowanymalgorytmemwstecznejpropagacjibłędujestprocesem
niedeterministycznyminiezawszeprowadzidoosiągnięciazałożonegocelu.
Ponadto,naprocesuczeniamająteżwpływinneczynniki,takiejakszybkość
uczenia(
n
)orazinneopcjonalnemechanizmy,jaknp.momentum[27].
19
