Przetwarzanie języka naturalnego w akcji

Hobson Lane, Cole Howard, Hannes Hapke

Uzyskaj dostęp

Zakup książkę

ISBN/ISSN:

978-83-01-21721-1

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2021

Liczba stron:

607

XML:ISBN/ISSN:

ONIX MARC21

Bibliografia:

Lane, Hobson; Howard, Cole; Hapke, Hannes. Przetwarzanie języka naturalnego w akcji. Red. . : Wydawnictwo Naukowe PWN, 2021, 607 s. ISBN 978-83-01-21721-1

Bibliografia refWorks:

RT Book, Whole

SR Electronic(1)

A1 Lane, H.

A1 Howard, C.

A1 Hapke, H.

T1 Przetwarzanie języka naturalnego w akcji

PB Wydawnictwo Naukowe PWN

YR 2021

SN 978-83-01-21721-1

Bibliografia BibTex:

@Book{ 244110, author = "Lane, Hobson and Howard, Cole and Hapke, Hannes", editor = "", title = "Przetwarzanie języka naturalnego w akcji", publisher = "Wydawnictwo Naukowe PWN", year = "2021", address = "", isbn = "978-83-01-21721-1" }

Bibliografia endNote:

TY - BOOK

AU - Lane, Hobson

AU - Howard, Cole

AU - Hapke, Hannes

ED -

TI - Przetwarzanie języka naturalnego w akcji

PB - Wydawnictwo Naukowe PWN

CY -

PY - 2021

SN - 978-83-01-21721-1

ER -

Netografia (standard APA):

Lane, Hobson; Howard, Cole; Hapke, Hannes. Przetwarzanie języka naturalnego w akcji [baza danych online] : Wydawnictwo Naukowe PWN, 2021 [dostęp: 27 04 2024]. Dostęp w Ibuk Libra: https://libra.ibuk.pl/reader/przetwarzanie-jezyka-naturalnego-w-akcji-hobson-lane-cole-howard-244110.

sieci neuronowe, NLP, analiza semantyczna, przetwarzanie języka naturalnego, tokenizacja słów, wektory TD-IDF, wektory słów

Przetwarzanie języka naturalnego w akcji autorstwa Hobsona Lane’a, Hannesa Maxa Hapke i Cole’a Howarda to przewodnik po tworzeniu maszyn, które potrafią czytać i interpretować ludzki język. Użyjecie w nim łatwo dostępnych pakietów Pyth...

Więcej

ISBN/ISSN:

978-83-01-21721-1

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2021

Liczba stron:

607

XML:ISBN/ISSN:

ONIX MARC21

wstęp15
wprowadzenie18
o książce25
podziękowania27
o autorach33
o ilustracji na okładce35
CZĘŚĆ 1 MÓWIĄCE MASZYNY 36
1. Pakiety myśli (przegląd NLP)38
1.1. Język naturalny a język programowania39
1.2. Magia39
1.2.1. Maszyny prowadzące konwersację40
1.2.2. Matematyka41
1.3. Zastosowania praktyczne43
1.4. Język widziany „oczyma” komputera45
1.4.1. Język zamków45
1.4.2. Wyrażenia regularne46
1.4.3. Prosty chatbot48
1.4.4. Inny sposób51
1.5. Krótkie spojrzenie na hiperprzestrzeń55
1.6. Kolejność słów i gramatyka57
1.7. Potok języka naturalnego chatbota58
1.8. Szczegóły przetwarzania61
1.9. IQ języka naturalnego63
2. Zbuduj swój słownik (tokenizacja słów)67
2.1. Wyzwania (wprowadzenie do stemmingu)69
2.2. Tworzenie swojego słownika za pomocą tokenizatora70
2.2.1. Iloczyn skalarny79
2.2.2. Pomiar nakładania się wektorów BoW79
2.2.3. Poprawianie tokenów80
Jak działają wyrażenia regularne81
Poprawione wyrażenia regularne do podziału słów82
2.2.4. Rozszerzenie słownika za pomocą n-gramów85
Formy skrócone85
N-gramy86
Stop listy89
2.2.5. Normalizacja słownika92
Ujednolicanie wielkości liter92
Stemming94
Lematyzacja97
Przypadki użycia99
2.3. Wydźwięk100
2.3.1. VADER – analizator wydźwięku oparty na regułach102
2.3.2. Naiwny klasyfikator bayesowski103
3. Matematyka na słowach (wektory TD-IDF) 108
3.1. Wektor BoW109
3.2. Wektoryzacja114
3.2.1. Przestrzenie wektorowe117
3.3. Prawo Zipfa122
3.4. Modelowanie tematyczne124
3.4.1. Powrót Zipfa127
3.4.2. Ranking trafności129
3.4.3. Narzędzia131
3.4.4. Inne możliwości132
3.4.5. Okapi BM25133
3.4.6. Co dalej134
4. Odnajdowanie znaczenia w licznikach słów (analiza semantyczna) 136
4.1. Od liczników słów do wyników dla tematów138
4.1.1. Wektory TF-IDF i lematyzacja138
4.1.2. Wektory tematyczne139
4.1.3. Eksperyment myślowy140
4.1.4. Algorytm do oceny tematów145
„Kuzyni” LSA146
4.1.5. Klasyfikator LDA146
Inny „kuzyn”150
4.2. Analiza utajonych własności semantycznych (LSA)151
4.2.1. Wasz eksperyment myślowy staje się prawdziwy153
Gra w Mad libs154
4.3. Rozkład według wartości osobliwej156
4.3.1. U – lewostronne wektory osobliwe158
4.3.2. S – wartości osobliwe159
4.3.3. V T – prawostronne wektory osobliwe160
4.3.4. Orientacja macierzy SVD161
4.3.5. Obcinanie tematów162
4.4. Analiza głównych składowych163
4.4.1. PCA dla wektorów 3D165
4.4.2. Przestańmy szaleć i wróćmy do NLP166
4.4.3. Stosowanie PCA do semantycznej analizy komunikatów SMS169
4.4.4. Używanie obciętego SVD do analizy semantycznej komunikatu SMS171
4.4.5. Jak dobrze działa LSA przy klasyfikacji spamu172
Rozszerzenia LSA i SVD174
4.5. Ukryta alokacja Dirichleta (LDiA)175
4.5.1. Idea LDiA176
4.5.2. Model tematyczny LDiA dla komunikatów SMS178
4.5.3. LDiA + LDA = klasyfikator spamu181
4.5.4. Uczciwsze porównanie: 32 tematy LDiA183
4.6. Odległość i podobieństwo184
4.7. Sterowanie za pomocą informacji zwrotnej187
4.7.1. Liniowa analiza dyskryminacyjna188
4.8. Moc wektorów tematycznych190
4.8.1. Wyszukiwanie semantyczne191
4.8.2. Ulepszenia194
CZĘŚĆ 2 GŁĘBSZE UCZENIE SIĘ (SIECI NEURONOWE)196
5. Sieci neuronowe krok po kroku (perceptrony i propagacja wsteczna)198
5.1. Sieci neuronowe – lista składników199
5.1.1. Perceptron200
5.1.2. Perceptron numeryczny200
5.1.3. Zboczenie z drogi spowodowane odchyleniem201
Neuron w Pythonie203
Klasa tkwi w sesji204
Uczenie się logiki to czysta frajda205
Następny krok207
Koniec drugiej zimy sztucznej inteligencji210
Propagacja wsteczna211
Zróżniczkujmy wszystko214
5.1.4. Poszusujmy – powierzchnia błędu216
5.1.5. Z wyciągu prosto na stok217
5.1.6. Udoskonalmy to nieco217
5.1.7. Keras: sieci neuronowe w Pythonie219
5.1.8. Wprzód i w głąb222
5.1.9. Normalizacja: stylowe wejście223
6. Wnioskowanie przy użyciu wektorów słów (Word2vec)225
6.1. Zapytania semantyczne i analogie226
6.1.1. Pytania o analogię227
6.2. Wektory słów228
6.2.1. Wnioskowanie zorientowane wektorowo232
Jeszcze więcej powodów, by korzystać z wektorów słów234
6.2.2. Jak obliczać reprezentacje Word2vec235
Podejście skip-gram236
Czym jest softmax?237
W jaki sposób sieć uczy się reprezentacji wektorowej?238
Odnajdywanie wektorów słów za pomocą algebry liniowej240
Podejście CBoW240
Częste bigramy242
Skip-gram a CBoW. Kiedy korzystać z którego podejścia?242
Triki obliczeniowe Word2vec242
Podpróbkowanie często występujących tokenów243
6.2.3. Jak korzystać z modułu gensim.word2vec244
Próbkowanie negatywne244
6.2.4. Jak wygenerować własne reprezentacje wektorów słów247
Kroki przetwarzania wstępnego247
Szkolenie dziedzinowego modelu Word2vec248
6.2.5. Word2vec a GloVe (Global Vectors)249
6.2.6. fastText250
6.2.7. Word2vec a LSA251
Jak korzystać z gotowych modeli fastText251
6.2.8. Wizualizacja związków między słowami252
6.2.9. Nienaturalne słowa259
6.2.10. Doc2vec i podobieństwo dokumentów260
Jak wyuczyć wektory dokumentów261
7. Kolejność słów i konwolucyjne sieci neuronowe (CNN) 263
7.1. Uczenie się znaczenia265
7.2. Zestaw narzędzi267
7.3. Konwolucyjne sieci neuronowe268
7.3.1. Elementy składowe268
7.3.2. Długość kroku270
7.3.3. Budowa filtra270
7.3.4. Uzupełnianie272
7.3.5. Uczenie273
Potok konwolucyjny273
7.4. Zaiste, wąskie okna274
7.4.1. Implementacja w Kerasie: przygotowanie danych275
7.4.2. Architektura konwolucyjnej sieci neuronowej282
7.4.3. Warstwa łącząca (pooling)282
7.4.4. Dropout285
7.4.5. Wisienka na torcie286
Dopasowanie (fit)287
Optymalizacja287
7.4.6. Czas zabrać się za naukę (trening)288
7.4.7. Użycie modelu w potoku290
7.4.8. Gdzie pójdziecie dalej?291
8. Zapętlone (rekurencyjne) sieci neuronowe (RNN) 294
8.1. Zapamiętywanie za pomocą sieci rekurencyjnych297
8.1.1. Propagacja wsteczna przez czas302
8.1.2. Kiedy i co aktualizować?304
Tl;Dr – Krótka rekapitulacja304
Czy jednak obchodzi was to, co wyszło z wcześniejszych kroków?305
8.1.3. Rekapitulacja306
8.1.4. Zawsze jest jakiś haczyk307
8.1.5. Rekurencyjne sieci neuronowe z Kerasem307
8.2. Składanie w całość312
8.3. Nauczmy się czegoś o przeszłości314
8.4. Hiperparametry314
8.5. Przewidywanie318
8.5.1. Stanowość319
8.5.2. Ulica dwukierunkowa319
8.5.3. Co to takiego?321
9. Lepsza pamięć dzięki sieciom LSTM 323
9.1. LSTM325
9.1.1. Propagacja wsteczna przez czas334
W praktyce334
9.1.2. Próba ognia336
9.1.3. Brudne dane338
9.1.4. Powrót do brudnych danych341
9.1.5. Słowa są trudne. Litery są prostsze342
9.1.6. Kolej na rozmowę347
9.1.7. Zwrot ku klarownej mowie349
9.1.8. Jak mówić i co mówić357
9.1.9. Inne rodzaje pamięci357
Zwiększanie użyteczności generatora357
9.1.10. Idąc głębiej358
10. Modele ciąg-ciąg i uwaga (attention)361
10.1. Architektura koder-dekoder362
10.1.1. Dekodowanie myśli363
10.1.2. Wygląda znajomo?365
10.1.3. Konwersacja ciąg-ciąg367
10.1.4. Powtórzenie LSTM367
10.2. Składanie potoku ciąg-ciąg369
10.2.1. Przygotowanie naszego zbioru danych do szkolenia ciąg-ciąg369
10.2.2. Model ciąg-ciąg w Kerasie370
10.2.3. Koder ciągów371
10.2.4. Koder myśli372
10.2.5. Składanie sieci ciąg-ciąg373
10.3. Szkolenie sieci ciąg-ciąg374
10.3.1. Generowanie ciągów wyjściowych375
10.4. Budowanie chatbota przy użyciu sieci ciąg-ciąg376
10.4.1. Przygotowanie korpusu do szkolenia377
10.4.2. Budowanie słownika znaków378
10.4.3. Generowanie zbiorów treningowych zakodowanych metodą 1 z n378
10.4.4. Uczenie chatbota ciąg-ciąg379
10.4.5. Składanie modelu do generowania ciągów380
10.4.6. Przewidywanie ciągu380
10.4.7. Generowanie odpowiedzi381
10.5. Ulepszenia382
10.4.8. Rozmowa z waszym chatbotem382
10.5.1. Redukcja złożoności treningu za pomocą sortowania danych (bucketing)382
10.5.2. Uwaga (attention)383
10.6. W świecie rzeczywistym385
CZĘŚĆ 3 PRZEJŚCIE DO RZECZYWISTOŚCI (PRAWDZIWE PROBLEMY NLP) 388
11. Ekstrakcja informacji (rozpoznawanie jednostek nazewniczych i odpowiadanie na pytania)390
11.1. Jednostki nazewnicze i relacje391
11.1.1. Baza wiedzy391
11.2. Regularne wzorce394
11.1.2. Ekstrakcja informacji394
11.2.1. Wyrażenia regularne395
11.2.2. Ekstrakcja informacji jako ekstrakcja cech z wykorzystaniem uczenia się maszyn396
11.3. Informacje warte wyodrębnienia398
11.3.1. Ekstrakcja lokalizacji GPS398
11.3.2. Ekstrakcja dat399
11.4. Wyodrębnianie relacji404
11.4.1. Znakowanie częściami mowy405
11.4.2. Normalizacja jednostek nazewniczych409
11.4.3. Normalizacja i wyodrębnianie relacji410
11.4.4. Wzorce słów410
11.4.5. Segmentacja411
11.4.6. Dlaczego split('.!?') nie będzie działać?412
Segmentacja na zdania412
11.4.7. Segmentacja na zdania za pomocą wyrażeń regularnych413
11.5. W prawdziwym świecie415
12. Pogaduszki (silniki dialogowe) 417
12.1. Umiejętności językowe418
12.1.1. Nowoczesne podejścia419
Systemy dialogowe odpowiadające na pytania421
Wirtualni asystenci421
Chatboty konwersacyjne422
Chatboty marketingowe423
Zarządzanie społecznością423
Obsługa klienta424
12.1.2. Podejście hybrydowe425
Terapia425
12.2. Podejście polegające na dopasowaniu do wzorców426
12.2.1. Chatbot oparty na dopasowaniu do wzorca i AIML427
AIML 1.0428
Interpreter AIML w Pythonie429
12.2.2. Sieciowe spojrzenie na dopasowanie do wzorców434
12.3. Oparcie na wiedzy435
12.4. Wyszukiwanie437
12.4.1. Problem kontekstu438
12.4.2. Przykładowy chatbot oparty na wyszukiwaniu danych439
12.4.3. Chatbot oparty na wyszukiwaniu443
12.5. Modele generatywne445
12.5.1. Czat na temat NLPIA446
12.5.2. Zalety i wady każdego podejścia448
12.6. Napęd na cztery koła449
12.6.1. Will osiąga sukces449
Hello WILL449
Instalowanie Willa449
12.7. Proces projektowania450
12.8. Sztuczki453
12.8.1. Zadawanie pytań z przewidywalnymi odpowiedziami453
12.8.2. Bycie zabawnym454
12.8.3. Gdy wszystko inne zawiedzie, trzeba wyszukać454
12.8.4. Bycie popularnym454
12.9. W świecie rzeczywistym455
12.8.5. Być łącznikiem455
12.8.6. Stawanie się emocjonalnym455
13. Skalowanie (optymalizacja, zrównoleglanie i przetwarzanie wsadowe) 457
13.1. Zbyt wiele dobrego (danych)458
13.2. Optymalizowanie algorytmów NLP458
13.2.1. Indeksowanie459
13.2.2. Zaawansowane indeksowanie460
13.2.3. Zaawansowane indeksowanie za pomocą Annoy462
13.2.4. Po co w ogóle stosować indeksy przybliżone?467
13.2.5. Obejście indeksowania: dyskretyzacja468
13.3. Algorytmy ze stałą pamięcią RAM469
13.3.1. Gensim469
13.3.2. Obliczenia graficzne470
13.4. Zrównoleglanie waszych obliczeń NLP471
13.4.1. Trenowanie modeli NLP na procesorach graficznych (GPU)471
13.4.2. Wynajem a kupno473
13.4.3. Opcje wynajmu GPU473
13.4.4. Jednostki przetwarzania tensorowego474
13.5. Zmniejszanie zużycia pamięci podczas trenowania modeli475
13.6. Uzyskiwanie wglądu w model za pomocą TensorBoard477
13.6.1. Jak wizualizować zanurzenia słów478
dodatek A Nasze narzędzia NLP482
dodatek B Swawolny Python i wyrażenia regularne490
dodatek C Wektory i macierze (podstawy algebry liniowej)496
dodatek D Narzędzia i techniki uczenia się maszyn502
dodatek E Ustawianie własnego AWS GPU516
dodatek F Mieszanie wrażliwe na lokalizację (LSH)530
źródła538
słownik548
indeks555
posłowie do wydania polskiego570

rozdział1Pakietymyśli(przeglądNLP)

rytmypodanewpięciublokachpodsystemówmogąbyćdlawasnowością.Pomożemy

wichimplementacjiwPythonie,abyzrealizowaćróżnezadaniaNLPniezbędnedla

większościaplikacji,wtymdlachatbotów.

Chatbotwymagaczterechrodzajówprzetwarzania,atakżebazydanychdopamię-

taniapoprzednichzdańiodpowiedzi.Każdyzczterechetapówprzetwarzaniamoże

zawieraćjedenlubwięcejalgorytmówdziałającychrównoleglelubsekwencyjnie(patrz

rys.1.3):

reprezentacjatekstu–ekstrakcjacech,strukturalnychdanychliczbowych,ztekstu

wjęzykunaturalnym;

analiza–generowanieiłączeniecechzapomocąocenytekstuzewzględuna

wydźwięk,gramatykęisemantykę;

generacja/synteza–skomponowaniemożliwychodpowiedzizwykorzystaniemwzor-

ców,wyszukiwaniaimodelijęzyka;

wykonanie–planowaniezdańnapodstawiehistoriiicelówkonwersacjiiwybór

kolejnejodpowiedzi.

Każdyztychczterechetapówmożebyćzaimplementowanyzapomocąjednegolubwię-

cejalgorytmówpodanychwodpowiednichramkachschematublokowego.Pokazujemy

1.Reprezentacjatekstu

Wyrażeniaregularne

Ekstrakcjainformacji

Redukcjawymiarów

Znakowanietekstu

Tokenizatory

NER

Tekst

ustrukturyzowane

Wektorcech

(wektorcech)

odpowiedzi

Profileużytkowników

Dane

Bazadanych

Stwierdzenia

Odpowiedzi

Oceny

Ocenione

odpowiedzi

Analiza„człowieczeństwa”

Sprawdzeniegramatyki

Sprawdzeniepisowni

Analizawydźwięku

Analizastylu

2.Analiza

CNN

GAN

Ocenione

stwierdzenia

Aktualizacjaplanudialogowego

Uogólnienieiklasyfikacja

Aktualizacjafunkcjicelu

Aktualizacjamodeli

Wybórodpowiedzi

4.Wykonanie

stwierdzenia

Ocenione

odpowiedzi

Możliwe

Tekst

odpowiedzi

3.Generowanietekstu

Wyszukiwanie

Szablony

MCMC

RBM

FCM

RNN

Rysunek1.3.Potokprzetwarzaniachatbota(zrekurencją)

Brak wyników

Przetwarzanie języka naturalnego w akcji

Treść książki

Znajdź bibliotekę blisko siebie, i uzyskaj dostęp do ebooka w systemie IBUK Libra