Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
6
rozdział1Pakietymyśli(przeglądNLP)
wygenerowanieciągusłówwodpowiedzinainstrukcję.Jesttofunkcja„agentadialo-
gowego”,czylibudowanegoprzezwaschatbota.
Skupiamysięwcałościnadokumentachikomunikatachwjęzykuangielskim,nie
nazdaniachmówionych.Omijamykonwersjęmówionychstwierdzeńnatekst–rozpo-
znawaniemowy,czyliprzekształcaniemowynatekst(SpeechToText,STT).Ignorujemy
takżegenerowaniemowy,czyliprzekształcanietekstunamowę,przekształcanietekstu
zpowrotemnabrzmiącepoludzkuwypowiedzi.Jednakwciążmożnawykorzystaćto,
czegosięnauczycie,dostworzeniainterfejsugłosowegolubwirtualnegoasystentajak
SirilubAlexa,gdyżbibliotekimowa-na-tekstitekst-na-mowęsąpowszechniedostępne.
IstniejąaplikacjerozpoznawaniamowywysokiejjakościwrazzAPIgenerującymidla
mobilnychsystemówoperacyjnych,AndroidiiOS.SąteżpakietyPythonadoosiągnię-
ciapodobnejfunkcjonalnościnalaptopielubserwerze.
Systemyrozpoznawaniamowy
Zbudowanieniestandardowegosystemurozpoznawanialubgenerowaniamowytoprzed-
sięwzięciewymagająceoddzielnejksiążkipoświęconejtejtematyce.Pozostawiamyto
jako„ćwiczeniedlaczytelników”.Wymagatodużejilościetykietowanychdanychwysokiej
jakości,nagrańgłosuoznaczonychichfonetycznąwymowąitranskrypcjinaturalnego
językapowiązanegozplikamidźwiękowymi.Niektórealgorytmypoznanewtejksiążce
mogąwtympomóc,alewiększośćalgorytmówrozpoznawaniaigenerowaniajestinna.
1.2.2.Matematyka
Przetwarzaniejęzykanaturalnegodowydobyciaużytecznychinformacjimożebyć
trudne.Wymagażmudnegoprzetwarzaniadanychstatystycznych,aledotegosą
maszyny.Ipodobniejakwprzypadkuwieluinnychproblemówtechnicznychrozwią-
zywaniejestznaczniełatwiejsze,jeśliznacieodpowiedź.Maszynynadalniepotrafią
wykonaćnajbardziejpraktycznychzadańNLP,jakkonwersacjaizrozumienietekstu
czytanego,takdokładnieiniezawodnie,jakrobiątoludzie.Dlategomożeciedopraco-
wywaćalgorytmypoznanewtejksiążce,abylepiejwykonywałyzadaniaNLP.
Poznawanetechnikisąjednakdostateczniesilne,abytworzyćmaszyny,którepotrafią
prześcignąćludziwdokładnościiszybkościniektórychzaskakującosubtelnychzadań.
Naprzykład,niezgadlibyście,żerozpoznaniesarkazmuwpojedynczymkomunikacie
Twitteramożnazrobićzwiększądokładnościązapomocąmaszyny,niżzrobitoczło-
wiek
5
.Niemartwmysię,gdyżludzienadałlepiejrozpoznająhumorisarkazmwpro-
wadzonymdialogudziękinaszejzdolnościdoprzechowywaniainformacjinatemat
kontekstustwierdzenia.Alemaszynysącorazlepszewrozumieniuinformacjikonteks-
towej.Ataksiążkapomożewłączyćkontekst(meta-dane)dowaszegopotokuNLP,gdy
będzieciechcielipoprawićjakośćistniejącychmetodprzetwarzaniajęzykanaturalnego.
5Gonzalo-Ibaneziin.wswoimartykuleopublikowanymwATMdoszlidowniosku,żewykształcony
iprzeszkolonyczłowiekniemożedorównaćwydajnościichprostegoalgorytmuklasyfikacjiw69%.
Wykrywaczsarkazmu(https://github.com/MathieuCliche/Sarcasm_detector)iaplikacjasieciowa
przedstawionaprzezMatthewClichewCornell((http://www.thesarcasmdetector.com/)uzyskuje
podobnądokładność(ponad70%).
