Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
PiotrCeliński
wskazanymijakodanewejściowebadanialubdostatystycznegobadaniazastrzeżeńpatentowych
przywykorzystaniuuczeniamaszynowego.Niesątowięccele,którepostawionosobieprowadząc
procesykwerendyiakwizycji.Otrzymanewwynikuw/wdziałańzbiorydanychbędąjużprzefl-
trowaneprzezalgorytmbadającykorelacjęzdanymiwejściowymi.Dlategoteżdanepozyskane
wtakisposóbniebyłybydobrymźródłemdoanalizBigDatazewzględunaichkorelacjęzdanymi
wejściowymi.Stądteżniekontynuowanotejścieżkiprac.
Wzwiązkuzbardzoniewielkąreprezentacjązagadnieniawźródłachnależydomniemywać,
żeprowadzonepracebadawczemającharakternowatorskiinienależyspodziewaćsięwielu
materiałówźródłowych,naktórychmożnabazowaćprzyichprowadzeniu.
Źródładanych
JakoźródłatekstówwysokiejjakościwykorzystywanyjestkatalogDOAJ(DirectoryofOpen
AccessJournals)wprzypadkurecenzowanychartykułównaukowychowolnymdostępieoraz
GooglePatentswprzypadkupatentów.GooglePatentsprzechowujepatentyzwieluróżnych
światowychurzędówpatentowychzarównoworyginalnejwersjijęzykowejjakiwtłumaczeniuna
językangielski.Dajetomożliwośćłatwegodostępudopatentówzgłaszanychnp.wChinach,które
sąobecniewczołówce,jeżelichodzioliczbęzgłaszanychpatentów.
OdstronytechnicznejanalizaBigDatabazujenadanychwpostaciczystegotekstukodowa-
negowstandardzieUTF-8.wtakiejpostacisąoneskładowanewrepozytorium.Danemusząbyć
przekonwertowanedotejpostaci,jeżeliwystępująwinnymformacie.Opracowanomechanizmy
konwersjizformatuPDF(większośćpublikacjinaukowychpobieranychjestwtymformacie),DOC,
DOCXiODT(niewielkaczęśćpublikacjinaukowych),HTML(m.in.patentynaplatformieGoogle
Patents).wprzypadkuformatuPDFniewielkipromildanychwymagadodatkowejoperacjiekstrakcji
tekstuzobrazuprzywykorzystaniutechnologiiOCR.wdalszejczęściwspomnianewyżejformaty
plikówokreślanesąjakoplikinietekstowe.
DanedostarczanesąprzedewszystkimwpostacilinkówURLkierującychdostroninternetowych
zawierającychdane(np.wynikikwerendyzGooglePatents),stroninternetowychzawierającychlinki
doplikównietekstowychzdanymi(np.czasopismanaukowe,wynikikwerendyrepozytoriumDOAJ).
Automatyzacjakwerend
WprzypadkukataloguDOAJ,któryudostępniainterfejsAPI(ApplicationProgramInterface)
możliwajestczęściowaautomatyzacjakwerend.DOAJAPIumożliwiatworzeniepodstawowych
zapytań,którychwarunkimogąbyćokreślonetylkoprzezkoniunkcjęlubalternatywęposzukiwa-
nychsłówkluczowychbezmożliwościstosowaniasymboliwieloznacznych,wyrażeńregularnych,
operatorasąsiedztwaiwyszukiwaniarozmytego.wceluusprawnieniapracystworzonoprogram,
któryumożliwiasekwencyjnewykonaniewielukwerend.nadalszymetapiepracstworzonezostanie
narzędzieumożliwiającefltrowaniewynikówkwerendywtakisposób,abyefektytegofltrowania
odpowiadałyefektowizłożonejkwerendy.
Uwarunkowaniaakwizycjiplikównietekstowych
Adresywskazującenazasobywpostaciplikównietekstowychniezawszeumożliwiająbez-
pośredniepobraniepliku.Dziejesiętakjedyniewczęściprzypadków.Abypobraćdocelowyplik
12
