Zrozumieć głębokie uczenie

Andrew W. Trask

Uzyskaj dostęp

Zakup książkę

ISBN/ISSN:

978-83-01-20782-3

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2019

Liczba stron:

254

XML:ISBN/ISSN:

ONIX MARC21

Bibliografia:

Trask, Andrew W.. Zrozumieć głębokie uczenie. Red. . Warszawa: Wydawnictwo Naukowe PWN, 2019, 254 s. ISBN 978-83-01-20782-3

Bibliografia refWorks:

RT Book, Whole

SR Electronic(1)

A1 Trask, A.W.

T1 Zrozumieć głębokie uczenie

PB Wydawnictwo Naukowe PWN

PP Warszawa

YR 2019

SN 978-83-01-20782-3

Bibliografia BibTex:

@Book{ 213124, author = "Trask, Andrew W.", editor = "", title = "Zrozumieć głębokie uczenie", publisher = "Wydawnictwo Naukowe PWN", year = "2019", address = "Warszawa", isbn = "978-83-01-20782-3" }

Bibliografia endNote:

TY - BOOK

AU - Trask, Andrew W.

ED -

TI - Zrozumieć głębokie uczenie

PB - Wydawnictwo Naukowe PWN

CY - Warszawa

PY - 2019

SN - 978-83-01-20782-3

ER -

Netografia (standard APA):

Trask, Andrew W.. Zrozumieć głębokie uczenie [baza danych online] Warszawa: Wydawnictwo Naukowe PWN, 2019 [dostęp: 04 05 2024]. Dostęp w Ibuk Libra: https://libra.ibuk.pl/reader/zrozumiec-glebokie-uczenie-andrew-w-trask-213124.

Sztuczne sieci neuronowe, Python, Deep Learning, głębokie uczenie, NumPy, uczenie sfederowane

Książka Zrozumieć głębokie uczenie pokazuje, jak od zera budować sieci neuronowe głębokiego uczenia. Andrew Trask - doświadczony ekspert w tej dziedzinie, w swobodnym i przejrzystym stylu prezentuje leżącą w tle naukę, dzięki czemu możesz samodzie...

Więcej

ISBN/ISSN:

978-83-01-20782-3

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2019

Liczba stron:

254

XML:ISBN/ISSN:

ONIX MARC21

Strona tytułowa3
Strona redakcyjna4
Przedmowa11
Podziękowania12
O tej książce13
O autorze15
1. Wprowadzenie do głębokiego uczenia: dlaczego warto się tego nauczyć16
W tym rozdziale16
Dlaczego warto opanować głębokie uczenie się17
Zapraszamy do grokowania głębokiego uczenia17
Czy trudno będzie się tego nauczyć?18
Dlaczego powinieneś przeczytać tę książkę18
Co jest potrzebne, aby zacząć19
Podsumowanie20
Zapewne potrzebna jest jakaś znajomość Pythona20
2. Podstawowe koncepcje: jak maszyny się uczą?21
W tym rozdziale21
Czym jest głębokie uczenie?22
Czym jest uczenie się maszyn?22
Nadzorowane uczenie się maszyn23
Nienadzorowane uczenie się maszyn24
Uczenie parametryczne kontra nieparametryczne24
Nadzorowane uczenie parametryczne25
Parametryczne uczenie nienadzorowane27
Uczenie nieparametryczne28
Podsumowanie29
3. Wprowadzenie do prognozowania neuronowego: propagacja w przód30
W tym rozdziale30
Krok 1: Prognoza31
Wykonywanie prognozy przez prostą sieć neuronową32
Czym jest sieć neuronowa?33
Co robi ta sieć neuronowa?34
Wykonywanie prognozy dla wielu danych wejściowych35
Wiele danych wejściowych: Co robi ta sieć neuronowa?36
Wykonywanie prognozy z wieloma danymi wyjściowymi41
Prognozowanie z wieloma danymi wejściowymi i wyjściowymi42
Wiele wejść i wyjść: jak to działa?44
Prognozowanie na podstawie prognoz46
Elementarz NumPy47
Podsumowanie50
4. Wprowadzenie do prognozowania neuronowego: metoda gradientowa51
W tym rozdziale51
Nauka52
Porównywanie52
Przewidywanie, porównywanie i nauka52
Po co mierzyć błędy?53
Jaka jest najprostsza forma uczenia się sieci neuronowej?54
Nauka metodą ciepło-zimno55
Charakterystyka uczenia metodą ciepło-zimno56
Obliczanie jednocześnie kierunku i wielkości na podstawie błędu57
Jedna iteracja metody gradientowej59
Uczenie się jest po prostu redukowaniem błędu60
Przyjrzyjmy się kilku krokom uczenia się61
Dlaczego to działa? Czym naprawdę jest weight_delta?63
Skupmy całą uwagę na jednej idei64
Pudełko z wystającymi drążkami65
Pochodne: Podejście drugie66
Co naprawdę trzeba wiedzieć67
Czego nie musimy naprawdę wiedzieć67
Jak użyć pochodnych do uczenia się67
Psucie metody gradientowej69
Rozbieżność70
Wizualizacja nadmiernych korekt70
Wprowadzenie parametru alpha71
Alpha w kodzie źródłowym72
Zapamiętywanie72
5. Uczenie się dla wielu wag jednocześnie: uogólnienie metody gradientowej74
W tym rozdziale74
Uczenie się metodą gradientową przy wielu danych wejściowych75
Prosty gradient z wieloma danymi wejściowymi – objaśnienie76
Przyjrzyjmy się kilku krokom uczenia się79
Zamrożenie jednej wagi: co to daje?81
Uczenie się metodą gradientową z wieloma wyjściami84
Metoda gradientowa z wieloma wejściami i wyjściami86
Czego uczą się te wagi?88
Wizualizacja wartości wag90
Wizualizowanie iloczynów skalarnych (sum ważonych)90
Podsumowanie91
6. Budowanie pierwszej głębokiej sieci neuronowej: wprowadzenie do propagacji wstecznej92
W tym rozdziale92
Problem świateł ulicznych93
Przygotowywanie danych94
Macierze i relacje macierzowe95
Tworzenie macierzy w Pythonie97
Budowanie sieci neuronowej98
Pełna, wsadowa i stochastyczna metoda gradientowa99
Uczenie się całego zbioru danych99
Sieci neuronowe uczą się korelacji100
Presja w górę i w dół101
Przypadek brzegowy: przeuczenie (overfitting)102
Przypadek brzegowy: sprzeczne presje103
Uczenie się pośredniej korelacji104
Tworzenie korelacji105
Propagacja wsteczna: długodystansowy wkład błędu106
Układanie sieci neuronowych w stos: przegląd106
Propagacja wsteczna: dlaczego to działa?107
Dlaczego sieć neuronowa nadal nie działa108
Liniowe czy nieliniowe108
Tajemnica korelacji warunkowej109
Krótka przerwa110
Nasza pierwsza „głęboka” sieć neuronowa111
Propagacja wsteczna w kodzie112
Jedna iteracja propagacji wstecznej113
Zebranie wszystkiego razem114
Dlaczego głębokie sieci są ważne?115
7. Jak obrazować sieci neuronowe: w myślach i na papierze117
W tym rozdziale117
Czas na uproszczenie118
Korelacja zbiorcza118
Wcześniejsza, zbyt złożona wizualizacja119
Uproszczona wizualizacja120
Jeszcze większe upraszczanie121
Zobaczmy, jak prognozuje ta sieć122
Łączenie zmiennych124
Wizualizacja przy użyciu liter zamiast obrazów124
Ważność narzędzi wizualizacji125
Wszystko obok siebie125
8. Uczenie się sygnałów i ignorowanie szumu: wprowadzenie do regularyzacji i przetwarzania wsadowego127
W tym rozdziale127
Trójwarstwowa sieć dla danych MNIST128
No dobrze, to było łatwe129
Przeuczenie w sieciach neuronowych130
Zapamiętywanie a uogólnianie130
Skąd bierze się przeuczenie131
Branżowy standard regularyzacji: wykluczanie (dropout)132
Najprostsza regularyzacja: wczesne zatrzymanie132
Dlaczego wykluczanie działa: działanie zespołowe133
Wykluczanie w kodzie134
Przetwarzanie z wykluczeniem dla danych MNIST135
Miniwsadowa metoda gradientowa136
Podsumowanie138
9. Modelowanie prawdopodobieństwa i nieliniowość: funkcje aktywacji139
W tym rozdziale139
Czym jest funkcja aktywacji?140
Standardowe funkcje aktywacji dla ukrytych warstw142
Standardowe funkcje aktywacji dla warstwy wyjściowej143
Kluczowy problem: Dane wejściowe zawierają podobieństwa145
Obliczanie funkcji softmax146
Stosowanie funkcji aktywacji147
Mnożenie delta przez nachylenie149
Aktualizowanie sieci MNIST150
Przełożenie wielkości wyjścia na nachylenie (pochodną)150
10. Neuronowe uczenie się krawędzi i narożników: wprowadzenie do konwolucyjnych sieci neuronowych153
W tym rozdziale153
Wielokrotne wykorzystanie tych samych wag w wielu miejscach154
Warstwa konwolucyjna155
Prosta implementacja w NumPy156
Podsumowanie160
11. Sieci neuronowe rozumiejące język: king–man+woman ==?161
W tym rozdziale161
Czym jest rozumienie języka?162
Przetwarzanie języka naturalnego (NLP)162
Nadzorowane NLP163
Przechwytywanie korelacji słów w danych wejściowych164
Zbiór danych recenzji filmowych z IMDB164
Prognozowanie recenzji filmów165
Wprowadzenie do warstw osadzających166
Interpretowanie wyjścia168
Architektura sieci neuronowej169
Porównywanie osadzeń słów171
Czym jest znaczenie neuronu?172
Wypełnianie pustych miejsc173
Znaczenie wynika ze straty174
King – Man + Woman ~= Queen177
Analogie słów178
Podsumowanie179
12. Sieci neuronowe piszące jak Szekspir: warstwy rekurencyjne dla danych o zmiennej długości180
W tym rozdziale180
Czy porównywanie naprawdę ma znaczenie?181
Wyzwanie: dane o dowolnej długości181
Zaskakująca siła uśrednionych wektorów słów182
Jak informacja jest przechowywana w tych osadzeniach?183
Jak sieć neuronowa wykorzystuje osadzenia?184
Ograniczenia wektorów „worka słów”185
Macierze, które niczego nie zmieniają186
Wykorzystanie macierzy jednostkowych do sumowania osadzeń słów186
Uczenie się macierzy przejść187
Uczenie się w celu tworzenia użytecznych wektorów zdań188
Propagacja w przód w Pythonie189
Jak zastosować do tego propagację wsteczną?190
Nauczmy tę sieć!191
Propagacja w przód przy danych dowolnej długości192
Przygotowania192
Propagacja wsteczna dla danych o dowolnej długości193
Aktualizowanie wag przy danych dowolnej długości194
Uruchomienie i analiza wyjścia195
Podsumowanie196
13. Przedstawiamy automatyczną optymalizację: budujemy platformę głębokiego uczenia198
W tym rozdziale198
Czym jest platforma głębokiego uczenia?199
Wprowadzenie do tensorów199
Wprowadzenie do automatycznego obliczania gradientu (autograd)200
Małe podsumowanie202
Tensory używane wielokrotnie203
Ulepszenie funkcji autograd w celu obsługi wielokrotnie używanych tensorów203
Dodawanie obsługi zmiany znaku206
Jak działa wsteczna propagacja dodawania?206
Dodawanie obsługi dodatkowych funkcji207
Wykorzystanie autograd do uczenia sieci neuronowej210
Dodanie automatycznej optymalizacji212
Dodanie wsparcia dla różnych typów warstw213
Warstwy zawierające warstwy213
Warstwy funkcji straty214
Jak uczyć platformę215
Warstwy nieliniowości216
Warstwa osadzająca217
Dodawanie indeksowania do mechanizmu autograd218
Warstwa entropii krzyżowej219
Warstwa osadzająca powraca219
Warstwa rekurencyjna221
Podsumowanie224
14. Uczenie się pisania jak Szekspir: długa pamięć krótkotrwała (LSTM)226
W tym rozdziale226
Modelowanie znaków języka227
Potrzeba obcięcia propagacji wstecznej227
Obcięta propagacja wsteczna228
Próbka wyjścia230
Zanikające i eksplodujące gradienty231
Mały przykład propagacji wstecznej w RNN232
Komórki LSTM233
Intuicyjne rozumienie bramek LSTM234
Warstwa LSTM234
Ulepszanie modelu znaków języka235
Uczenie LSTM modelu znaków języka236
Dostrajanie modelu LSTM znaków języka237
Podsumowanie238
15. Głębokie uczenie się na niewidzianych danych: wprowadzenie do uczenia sfederowanego239
W tym rozdziale239
Problem prywatności w głębokim uczeniu się240
Sfederowane uczenie się240
Uczenie się wykrywania spamu241
Stwórzmy federację243
Bezpieczne agregowanie244
Włamywanie się do sfederowanego uczenia się244
Szyfrowanie homomorficzne245
Homomorficznie szyfrowane sfederowane uczenie się246
Podsumowanie247
16. Co dalej: krótki przewodnik249
W tym rozdziale249
Gratulacje!250
Krok 1: Początek nauki PyTorch250
Krok 2: Udział w innych kursach głębokiego uczenia się250
Krok 3: Matematyczne podręczniki głębokiego uczenia się251
Krok 4: Utworzenie bloga i nauczanie głębokiego uczenia się251
Krok 5: Twitter252
Krok 6: Stosowanie wiedzy z artykułów naukowych252
Krok 7: Zdobądź dostęp do GPU252
Krok 10: Rozwijanie lokalnej społeczności253
Krok 8: Zarabianie przy zdobywaniu praktyki253
Krok 9: Dołączenie do projektu open source253
Przypisy254

Podziękowania

Jestemniezmierniewdzięcznywszystkim,którzyprzyczynilisiędopowstaniatejksiążki.Popierwszeiprzedewszystkim

chcępodziękowaćwspaniałemuzespołowiwydawnictwaManning.Sąto:BertBates,któryuczyłmnie,jakpisać;Christina

Taylor,któracierpliwiepodtrzymywałamniewpracyprzeztrzylata;MichaelStephens,któregokreatywnośćpozwoliła

książceodnieśćsukcesjeszczeprzedopublikowaniem;orazMarjanBace,któregowsparciepośródopóźnieńwszystko

zmieniło.

Zrozumiećgłębokieuczenieniebyłobytym,czymjestbezogromnegoudziałupierwszychCzytelników,którychuwagi

docierałydomniee-mailem,naTwitterzeiGitHubie.JaschaSwisher,VarunSudhakar,FrancoisChollet,Frederico

Vitorino,CodyHammond,MauricioMarotoArrieta,AleksandarDragosavljevic,AlanCarter,FrankHinek,Nicolas

BenjaminHocker,HankMeisse,WouterHibma,JoergRosenkranz,AlexVieiraiCharlieHarrington–mamogromnydług

wdzięcznościwzględemwaswszystkichzapomocwdopieszczeniutekstuirepozytoriumkodu.

Chciałbympodziękowaćrecenzentom,którzypoświęcaliczasnaczytanierękopisuwróżnychfazachjegopowstawania:

AlexanderA.Myltsev,AmitLamba,AnandSaha,AndrewHamor,CristianBarrientos,Montoya,EremeyValetov,Gerald

Mack,IanStirk,KalyanReddy,KamalRaj,KelvinD.Meeks,MarcoPaulodosSantosNogueira,MartinBeer,Massimo

Ilario,NancyW.Grady,PeterHampton,SebastianMaldonado,ShashankGupta,TymoteuszWołodźko,Kumar

Unnikrishnan,VipulGupta,WillFugeriWilliamWheeler.

JestemteżwdzięcznyMatowiiNikowizUdacity,którzydołączylitęksiążkędokursuDeepLearningNanodegree,

cobardzopomogłowewczesnymdostrzeżeniujejprzezmłodychpraktykówgłębokiegouczenia.

MuszępodziękowaćdoktorowiWilliamowiHooperowi,którypozwoliłmiwtargnąćdoswegobiuraizawracaćgłowę

problemamiinformatycznymi,zrobiłwyjątek,abydołączyćmniedo(jużpełnej)grupyProgramming1izainspirowałmnie

dowybraniaścieżkigłębokiegouczenia.Jestemogromniewdzięcznyzacierpliwośćokazanąmiwmoichpoczątkach.

Nakoniecchcępodziękowaćmojejżoniezacierpliwośćokazanąwtychwszystkichnocachiweekendach,którespędzałem

pracującnadksiążką,zawielokrotnekorektycałegotekstuizautworzenieidebugowanierepozytoriumkodunaGitHubie.

Brak wyników

Zrozumieć głębokie uczenie

Treść książki

Znajdź bibliotekę blisko siebie, i uzyskaj dostęp do ebooka w systemie IBUK Libra