Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
viii
spistreści
1.5.Krótkiespojrzenienahiperprzestrzeń20
1.6.Kolejnośćsłówigramatyka22
1.7.Potokjęzykanaturalnegochatbota23
1.8.Szczegółyprzetwarzania26
1.9.IQjęzykanaturalnego28
2.Zbudujswójsłownik(tokenizacjasłów)32
2.1.Wyzwania(wprowadzeniedostemmingu)34
2.2.Tworzenieswojegosłownikazapomocątokenizatora35
2.2.1.Iloczynskalarny
44
2.2.2.PomiarnakładaniasięwektorówBoW44
2.2.3.Poprawianietokenów
45
Jakdziałająwyrażeniaregularne46■Poprawionewyrażeniaregularne
dopodziałusłów
47■Formyskrócone50
2.2.4.Rozszerzeniesłownikazapomocąn-gramów
50
N-gramy
51■Stoplisty
54
2.2.5.Normalizacjasłownika
57
Ujednolicaniewielkościliter57■Stemming
59■Lematyzacja
62
■Przypadkiużycia64
2.3.Wydźwięk65
2.3.1.VADER–analizatorwydźwiękuopartynaregułach
67
2.3.2.Naiwnyklasyfikatorbayesowski68
3.Matematykanasłowach(wektoryTD-IDF)73
3.1.WektorBoW74
3.2.Wektoryzacja79
3.2.1.Przestrzeniewektorowe
82
3.3.PrawoZipfa87
3.4.Modelowanietematyczne89
3.4.1.PowrótZipfa
92
3.4.2.Rankingtrafności94
3.4.3.Narzędzia
96
3.4.4.Innemożliwości97
