Deep Learning

Ian Goodfellow, Yoshua Bengio, Aaron Courville

Uzyskaj dostęp

Zakup książkę

ISBN/ISSN:

978-83-01-19583-0

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2018

Liczba stron:

821

XML:ISBN/ISSN:

ONIX MARC21

Bibliografia:

. Deep Learning. Red. Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron . Warszawa: Wydawnictwo Naukowe PWN, 2018, 821 s. ISBN 978-83-01-19583-0

Bibliografia refWorks:

RT Book, Whole

SR Electronic(1)

A2 Goodfellow, I.

A2 Bengio, Y.

A2 Courville, A.

T1 Deep Learning

PB Wydawnictwo Naukowe PWN

PP Warszawa

YR 2018

SN 978-83-01-19583-0

Bibliografia BibTex:

@Book{ 190795, author = "", editor = "Goodfellow, Ian and Bengio, Yoshua and Courville, Aaron", title = "Deep Learning", publisher = "Wydawnictwo Naukowe PWN", year = "2018", address = "Warszawa", isbn = "978-83-01-19583-0" }

Bibliografia endNote:

TY - BOOK

AU -

ED - Goodfellow, Ian

ED - Bengio, Yoshua

ED - Courville, Aaron

TI - Deep Learning

PB - Wydawnictwo Naukowe PWN

CY - Warszawa

PY - 2018

SN - 978-83-01-19583-0

ER -

Netografia (standard APA):

. Red. Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron. Deep Learning [baza danych online] Warszawa: Wydawnictwo Naukowe PWN, 2018 [dostęp: 01 05 2024]. Dostęp w Ibuk Libra: https://libra.ibuk.pl/reader/deep-learning-ian-goodfellow-yoshua-bengio-190795.

systemy uczące się, Graf, Deep Learning, hierarchia pojęć, algorytmy optymalizacyjne, modelowanie ciągów, metody Monte Carlo

Deep learning to rodzaj systemu uczącego się, który pozwala komputerom na naukę na podstawie doświadczeń i zrozumienie świata w sennie hierarchii pojęć. Ponieważ komputer gromadzi wiedzę na podstawie doświadczeń, nie potrzebny jest nadzór człowiek...

Więcej

ISBN/ISSN:

978-83-01-19583-0

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2018

Liczba stron:

821

XML:ISBN/ISSN:

ONIX MARC21

1. Wprowadzenie12
1.1. Kto powinień przeczytać tę książkę?20
1.2. Historyczne trendy deep learningu22
I Podstawy matematyki stosowanej i systemów uczących się38
2.1. Skalary, wektory, macierze i tensory40
2. Algebra liniowa40
2.2. Mnożenie macierzy i wektorów43
2.3. Macierze jednostkowe i odwrotne45
2.4. Zależność liniowa i zakres46
2.5. Normy48
2.6. Macierze i wektory specjalne49
2.7. Rozkład na wartości własne51
2.8. Dekompozycja wartości osobliwej53
2.9. Uogólniona macierz odwrotna (Moore’a–Penrose’a)54
2.10. Operator śladowy55
2.11. Wyznacznik56
2.12. Przykład: analiza głównych składowych56
3. Prawdopodobieństwo i teoria informacji62
3.1. Dlaczego prawdopodobieństwo?63
3.2. Zmienne losowe65
3.3. Rozkłady prawdopodobieństwa65
3.4. Prawdopodobieństwo brzegowe67
3.5. Prawdopodobieństwo warunkowe68
3.6. Reguła łańcuchowa w prawdopodobieństwie warunkowym68
3.7. Niezależność oraz niezależność warunkowa69
3.8. Wartość oczekiwana, wariancja i kowariancja69
3.9. Znane rozkłady prawdopodobieństwa71
3.10. Użyteczne cechy elementarnych funkcji76
3.11. Prawo Bayesa79
3.12. Techniczne szczegóły zmiennych ciągłych79
3.13. Teoria informacji81
3.14. Strukturalne modele probabilistyczne84
4.1. Nadmiar i niedomiar88
4. Obliczenia numeryczne88
4.2. Złe uwarunkowania90
4.3. Optymalizacja gradientowa90
4.4. Optymalizacja z ograniczeniami100
4.5. Przykład: liniowa metoda najmniejszych kwadratów103
5. Podstawy systemów uczących się106
5.1. Algorytmy uczenia się107
5.2. Pojemność, nadmierne dopasowanie i niedopasowanie119
5.3. Hiperparametry i zbiory walidacyjne129
5.4. Estymatory, obciążenie i wariancja131
5.5. Metoda maksymalnej wiarygodności140
5.6. Statystyki Bayesa144
5.7. Algorytmy nadzorowanego uczenia się149
5.8. Algorytmy nienadzorowanego uczenia się154
5.9. Metoda gradientu stochastycznego161
5.10. Tworzenie algorytmu dla systemu uczącego się163
5.11. Wyzwania motywujące deep learning164
II Głębokie sieci: nowoczesne praktyki174
6. Głębokie sieci jednokierunkowe176
6.1. Przykład: uczenie się funkcji XOR179
6.2. Uczenie się oparte na gradiencie184
6.3. Jednostki ukryte199
6.4. Projekt architektury206
6.5. Propagacja wsteczna i inne algorytmy rózniczkowania212
6.6. Uwagi historyczne232
7. Regularyzacja w deep learningu236
7.1. Standardowe kary dla parametrów238
7.2. Standardowe kary jako optymalizacja z ograniczeniami245
7.3. Regularyzacja i problemy niedoograniczone247
7.4. Powiększanie zbioru danych248
7.5. Odporność na szum250
7.6. Uczenie się częściowo nadzorowane252
7.7. Uczenie się wielozadaniowe253
7.8. Wczesne zatrzymanie254
7.9. Wiązanie i współdzielenie parametrów261
7.10. Rzadko wypełnione reprezentacje263
7.11. Bagging i inne metody zespołowe265
7.12. Odrzucanie267
7.13. Szkolenie antagonistyczne277
7.14. Odległość styczna, propagacja stycznej oraz klasyfikator stycznej do rozmaitości279
8. Optymalizacja w celu szkolenia głębokich modeli284
8.1. Czym uczenie się różni się od czystej optymalizacji285
8.2. Wyzwania związane z optymalizacją sieci neuronowej292
8.3. Podstawowe algorytmy304
8.4. Strategie nadawania parametrom wartości początkowych310
8.5. Algorytmy z adaptacyjną szybkością uczenia się317
8.6. Aproksymacyjne metody drugiego rzędu321
8.7. Strategie optymalizacji i meta-algorytmy328
9. Sieci splotowe342
9.1. Splot jako działanie343
9.2. Uzasadnienie345
9.3. Redukcja351
9.4. Splot i redukcja jako nieskończenie silny rozkład aprioryczny357
9.5. Warianty podstawowej funkcji splotowej358
9.6. Strukturalne wyjścia369
9.7. Typy danych370
9.8. Efektywne algorytmy splotu372
9.9. Cechy losowe lub nienadzorowane373
9.10. Neuronaukowe podstawy sieci splotowych375
9.11. Sieci splotowe a historia deep learningu382
10. Modelowanie sekwencyjne: sieci rekurencyjne i rekursywne384
10.1. Rozwijanie grafów obliczeniowych386
10.2. Rekurencyjne sieci neuronowe389
10.3. Dwukierunkowe rekurencyjne sieci neuronowe404
10.4. Architektury koder-dekoder i sekwencja do sekwencji405
10.5. Głębokie sieci rekurencyjne408
10.6. Rekursywne sieci neuronowe410
10.7. Problem z zależnościami długoterminowymi411
10.8. Sieci stanu echa414
10.9. Nieszczelne jednostki i inne strategie dla wielu skali czasowych417
10.10. Długa pamięć krótkoterminowa i inne bramkowane sieci RNN419
10.11. Optymalizacja zależności długoterminowych423
10.12. Pamięć jawna427
11. Metodologia praktyczna432
11.1. Metryki wydajności433
11.2. Modele domyślnej linii bazowej436
11.3. Decyzja, czy zbierać więcej danych437
11.4. Wybór hiperparametrów439
11.5. Strategie debugowania448
11.6. Przykład: rozpoznawanie liczb wielocyfrowych452
12.1. Deep learning wielkoskalowy456
12. Zastosowania456
12.2. Rozpoznawanie obrazów466
12.3. Rozpoznawanie mowy472
12.4. Przetwarzanie języka naturalnego475
12.5. Inne zastosowania493
III Badania na polu deep learningu502
13. Liniowe modele czynnikowe506
13.1. Probabilistyczna analiza PCA i analiza czynnikowa507
13.2. Analiza składowych niezależnych (ICA508
13.3. Powolna analiza cech511
13.4. Rzadkie kodowanie513
13.5. Poznawanie rozmaitości w analizie PCA517
14. Autokodery520
14.1. Autokodery niekompletne521
14.2. Autokodery z regularyzacją522
14.3. Reprezentacyjna potęga, rozmiar warstwy i głębokość526
14.4. Stochastyczne kodery i dekodery527
14.5. Autokodery z odszumianiem528
14.6. Poznawanie rozmaitości z użyciem autokoderów533
14.7. Autokodery kurczliwe538
14.8. Predykcyjna rzadka dekompozycja541
14.9. Zastosowania autokoderów542
15. Poznawanie reprezentacji544
15.1. Zachłanne nienadzorowane szkolenie wstępne warstwa po warstwie546
15.2. Transfer poznawania i adaptacja dziedziny555
15.3. Częściowo nadzorowane oswabadzanie czynników przyczynowych559
15.4. Reprezentacja rozproszona565
15.5. Wykładnicze zyski z głębokości571
15.6. Wskazówki do wykrywania przyczyn podstawowych573
16. Strukturalne modele probabilistyczne deep learningu578
16.1. Trudności w modelowaniu niestrukturalnym579
16.2. Używanie grafów do opisu struktury modelu583
16.3. Próbkowanie z modeli graficznych600
16.4. Zalety modelowania strukturalnego602
16.5. Poznawanie zależności602
16.6. Wnioskowanie i wnioskowanie przybliżone603
16.7. Strukturalne modele probabilistyczne w ujęciu deep learningu605
17.1. Próbkowanie i metody Monte Carlo610
17. Metody Monte Carlo610
17.2. Próbkowanie istotnościowe612
17.3. Metody Monte Carlo z łańcuchem Markowa615
17.4. Próbkowanie Gibbsa619
17.5. Problem mieszania między odseparowanymi trybami620
18. Zmagania z funkcją podziału626
18.1. Gradient wiarygodności logarytmicznej627
18.2. Stochastyczna maksymalna wiarygodność i kontrastywna dywergencja628
18.3. Pseudowiarygodność636
18.4. Dopasowywanie oceny i stosunku639
18.5. Dopasowywanie ocen z odszumianiem641
18.6. Estymacja kontrastywna szumu641
18.7. Szacowanie funkcji podziału644
19. Wnioskowanie przybliżone652
19.1. Wnioskowanie jako optymalizacja653
19.2. Maksymalizacja oczekiwania655
19.3. Wnioskowanie MAP i rzadkie kodowanie656
19.4. Wariacyjne wnioskowanie i uczenie się659
19.5. Poznawanie wnioskowania przybliżonego672
20.1. Maszyny Boltzmanna676
20. Głębokie modele generatywne676
20.2. Ograniczone maszyny Boltzmanna678
20.3. Głębokie sieci przekonań682
20.4. Głębokie maszyny Boltzmanna685
20.5. Maszyny Boltzmanna dla danych rzeczywistych699
20.6. Splotowe maszyny Boltzmanna706
20.7. Maszyny Boltzmanna dla strukturalnych lub sekwencyjnych wartości wynikowych708
20.8. Inne maszyny Boltzmanna709
20.9. Propagacja wsteczna przez losowe działania711
20.10. Skierowane sieci generatywne715
20.11. Pobieranie próbek z autokoderów735
20.12. Generatywne sieci stochastyczne738
20.13. Inne schematy generowania740
20.14. Szacowanie modeli generatywnych741
20.15. Konkluzja744
Bibliografia746
Skorowidz811

ROZDZIAŁ2

ztąsamąwartościąwłasnąimożnawybraćmacierz

,wykorzystującąte

wektorywłasnezamiastinnych.Przyjęto,żesortujemyelementymacierzyΛ

wkolejnościmalejącej.Zgodnieztąkonwencjądekompozycjanaelementy

własnejestunikatowatylkowtedy,gdywartościwłasnesąunikatowe.

Dekompozycjawłasnamacierzypodajewielefaktówotejmacierzy.Ma-

cierzjestosobliwawtedyitylkowtedy,gdyjednazjejwartościwłasnych

równasię0.Dekompozycjawłasnarzeczywistejmacierzysymetrycznejmo-

żebyćwykorzystanadooptymalizacjiwyrażeńkwadratowychwpostaci

(

xTAx

względem

||x||2

=1.Gdy

jestrównewektorowiwłasne-

,to

przyjmujewartośćodpowiedniejwartościwłasnej.Maksymalna

wartość

wograniczonymobszarzestanowimaksymalnąwartośćwłasną,

awartośćminimalna–minimalnąwartośćwłasną.

Macierz,którejwszystkiewartościwłasnesądodatnie,jestnazywana

dodatniookreśloną

.Jeśliwartościsąwiększelubrówne0,tomacierz

nazywamy

półokreślonądodatnio

.Podobnieprzywartościachujemnych

macierzjest

ujemnieokreślona

,aprzywartościachwłasnychmniejszych

lubrównych0jest

półokreślonaujemnie

.Macierzepółokreślonedodatnio

sąinteresujące,gdyżgwarantują,że

∀xjxTAx≥

0.Macierzeokreślone

dodatniododatkowozapewniają,żexTAx=0⇒x=0.

2.;.Dekompozycjawartościosobliwej

Wpunkcie2.7opisano,jakdokonaćdekompozycjimacierzynawartości

iwektorywłasne.

Dekompozycjawartościosobliwej

(ang.singularvalue

decomposition,SVD)dajejeszczejedensposóbrozkładumacierzynaczynniki

wektoryosobliwe

wartościosobliwe

.SVDpozwalanamotrzymaćte

sameinformacje,któredajedekompozycjanaczynnikiwłasne;jednakSVD

maszerszezastosowanie.Każdamacierzrzeczywistamawartośćosobliwą

dekompozycji,coniejestzawszeprawdąwodniesieniudowartościwłasnych.

Jeślinaprzykładmacierzniejestkwadratowa,rozkładnaczynnikiwłasne

niejestzdeﬁniowanyimusimystosowaćdekompozycjęnawartościosobliwe.

Przypomnijmy,żedekompozycjanawartościwłasneobejmujeanalizę

macierzy

wceluznalezieniamacierzy

wektorówwłasnychiwektora

wartościwłasnychλ,dziękiktórymmożemyzapisaćmacierzAjako:

A=Vdiag(λ)V11.

(2.42)

Dekompozycjanawartościosobliwejestpodobna,aletymrazem

zapi-

sujesięjakoiloczyntrzechmacierzy:

A=UDVT.

(2.43)

Brak wyników

Deep Learning

Treść książki

Znajdź bibliotekę blisko siebie, i uzyskaj dostęp do ebooka w systemie IBUK Libra