Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
16
rozdział1Pakietymyśli(przeglądNLP)
konwersacjęnaforumlubliniitowarzyskiej,botbędziesiedziałcichoipozwoliwam
iosobie,doktórejsięzwracacie,narozmowę.Oczywiścieniemanikogo,ktobyśledził
nasząlinięwejściową
input()
,alejeślibyłabytofunkcjabardziejrozbudowanegochat-
bota,mielibyściedoczynieniaztegorodzajusytuacjami.
ZuwaginaograniczeniazasobówkomputerowychpionierzybadańnadNLPmusieli
korzystaćzmocyobliczeniowejludzkiegomózgu,abyzaprojektowaćidostroićzłożone
regułylogicznedowyciągnięciainformacjizłańcuchawjęzykunaturalnym.Jestto
określanejakoregułowepodejściedoNLPlubpodejścieopartenawzorcach.Wzorce
niemusząbyćtylkowzorcamiwpostaciciąguznaków,jaknaszewyrażeniaregularne.
NLPczęstoobejmujewzorcezłożonezciągówsłówlubczęścimowylubzinnychwzor-
ców„wyższegorzędu”.PodstawoweelementyskładoweNLPjakstemmery(elementy
identyfikującerdzeń)itokenizatory(komponentydzieląceciągłytekstnasegmenty–
tokeny),atakżezaawansowanekompleksowesilnikidialogowe(chatboty),jakELIZA,
zostałyzbudowanewtensposób,zapomocąwyrażeńregularnychidopasowywaniado
wzorców.SztukapodejściapolegającegonadopasowywaniudowzorcówwNLPwnosi
eleganckiewzorce,któreprzechwytujątylkoto,czegochcecie,bezzbytwieluwierszy
koduwyrażeńregularnych.
KLASYCZNAOBLICZENIOWATEORIAUMYSŁU
Toklasycznepodejściedopasowywa-
niadowzorcówwNLPjestopartenaobliczeniowejteoriiumysłu(computational
theoryofmind,CTM).CTMzakłada,żeNLPprzypominająceludzimożnauzyskać
zapomocąskończonegozbioruregułlogicznych,któresąkolejnoprzetwarzane
15
.
PostępywneuronauceiNLPdoprowadziłynaprzełomiewiekówdoopracowa-
nia„koneksjonistycznej”teoriiumysłu,którapozwalanapotokiopartenarów-
noległymprzetwarzaniujęzykanaturalnego,podobniejakrobisiętowsieciach
neuronowych16,17.
Więcejnatematpodejśćopartychnawzorcach–jakstemmerPorteraitokenizator
Treebank–dowieciesięwrozdziale2.Alewkolejnychrozdziałachwykorzystujemy
nowoczesnezasobyobliczeniowe,atakżenaszewiększezbiorydanych,abyskrócićte
pracochłonneręczneprogramowanieiulepszanie.
Osoby,którenieznająwyrażeńregularnychichciałybydowiedziećsięonichwię-
cej,mogąznaleźćwdodatkuBdokumentacjęonlinedotyczącąwyrażeńregularnych
wPythonie.Aleniemusicietegowszystkiegowtymmomencierozumieć.Będziemy
dostarczaćwamprzykładywyrażeńregularnychwmiaręwykorzystywaniaichjakoczęści
składowychnaszegopotokuNLP.Niemartwciesięwięc,jeśliwyglądająoneniecobeł-
kotliwie.Ludzkiemózgisądośćdobrewuogólnieniachnapodstawiezbioruprzykładów
15StanfordEncyclopediaofPhilosophy,ComputationalTheoryofMind(https://plato.stanford.edu/entries/
computational-mind/).
16StanfordEncyclopediaofPhilosophy,Connectionism,https://plato.stanford.edu/entries/connectio-
nism/.
17M.H.ChristianseniN.Chater(1999),„ConnectionistNaturalLanguageProcessing:Thestateofthe
art.”,CognitiveScience,23(4):417–437(https://crl.ucsd.edu/~elman/Bulgaria/christiansen-chater-
-soa.pdf).
