Treść książki

Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
22
rozdział1Pakietymyśli(przeglądNLP)
tajestdłuższaniżoryginalnareprezentacjadokumentuzakodowanawkodzieASCII.
Liczbamożliwychreprezentacjidokumentówwłaśniegwałtowaniewzrosła,abyzacho-
waćinformacjeokażdymciąguznaków.Zachowaliśmykolejnośćznakówisłów,ale
rozszerzyliśmywymiarowośćnaszegoproblemuNLP.
Tereprezentacjedokumentówniełącząsiędobrzewtymświecewektorówopartych
naznakach.Rosyjskimatematyk,WładimirLevenshtein,wymyśliłbłyskotliwepodejście
doszybkiegowyszukiwaniawtymświeciepodobieństwmiędzyciągami(łańcuchamizna-
ków).AlgorytmLeveshteinaumożliwiłutworzeniezaskakującoprzyjemnychiużytecz-
nychchatbotówzwykorzystaniemtylkotegouproszczonego,mechanicznegospojrzenia
najęzyk.Aleprawdziwamagiapojawiłasię,gdyudałosiędojśćdotego,jakskompreso
-
wać/zanurzyćteprzestrzenieowiększejliczbiewymiarówwprzestrzeniomniejszejlicz
-
biewymiarówzrozmytymiwektoramiznaczenialubtematu.Zaglądamyzamagiczną
kurtynęwrozdziale4,gdymówimyoanalizieutajonychwłasnościsemantycznych(LSA)
iukrytejalokacjiDirichletadwóchtechnikachtworzeniaznaczniegęstszejibardziej
znaczącejwektorowejreprezentacjizdańidokumentów.
1.6.Kolejnośćsłówigramatyka
Kolejnośćsłówmaznaczenie.Reguły,którezarządzająkolejnościąwciągusłów(jakzda-
nie),nazywanegramatykąjęzyka.Jesttocoś,coodrzucałwewcześniejszychprzykła-
dachnaszwektorBoWlubwektorsłów.Naszczęściewwiększościkrótkichfraz,anawet
wpełnychzdaniach,przybliżeniewektorasłówdziaładobre.Jeślichceciejedyniezako-
dowaćogólnysensiwydźwiękkrótkiegozdania,kolejnośćsłówniejesttakważna.
Popatrzcienawszystkiepermutacjewnaszymprzykładzie„Goodmorning,Rosa”:
>>>fromitertoolsimportpermutations
>>>["".join(combo)forcomboin\
...permutations("GoodmorningRosa!".split(),3)]
['GoodmorningRosa!',
'GoodRosa!morning',
'morningGoodRosa!',
'morningRosa!Good',
'Rosa!Goodmorning',
'Rosa!morningGood']
Gdybyściespróbowalizinterpretowaćoddzielniekażdyztychłańcuchów(bezpatrzenia
napozostałe),doszlibyściezapewnedowniosku,żewszystkieonemająpodobnąinten-
cję,czyliznaczenie.Moglibyścienawetzauważyć,żesłowo„Good”jestpisanezwielkiej
literyiumieścićjenapoczątkutworzonejwumyślefrazy.Alemoglibyścieteżpomyśleć,
że„GoodRosa”jestpewnegorodzajunazwąwłasną,jaknazwarestauracjilubkwiaciarni.
NiemniejsprytnychatbotlubsprytnakobietawlatachczterdziestychXXwiekuwBen-
chleyParkodpowiedzielibynakażdąztychsześciupermutacjizapomocątegosamego
nieszkodliwegopozdrowienia„Goodmorning,mydearGeneral”.
Wypróbujmytoteraz(wgłowach)naznaczniedłuższejfrazie,zdaniulogicznym,
wktórymkolejnośćsłówmadużeznaczenie: