Text Mining: metody, narzędzia i zastosowania

Mariusz Dzieciątko, Dominik Spinczyk

Uzyskaj dostęp

Zakup książkę

ISBN/ISSN:

978-83-01-18686-9

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2016

Liczba stron:

218

XML:ISBN/ISSN:

ONIX MARC21

Bibliografia:

Dzieciątko, Mariusz; Spinczyk, Dominik. Text Mining: metody, narzędzia i zastosowania. Red. . Warszawa: Wydawnictwo Naukowe PWN, 2016, 218 s. ISBN 978-83-01-18686-9

Bibliografia refWorks:

RT Book, Whole

SR Electronic(1)

A1 Dzieciątko, M.

A1 Spinczyk, D.

T1 Text Mining: metody, narzędzia i zastosowania

PB Wydawnictwo Naukowe PWN

PP Warszawa

YR 2016

SN 978-83-01-18686-9

Bibliografia BibTex:

@Book{ 158773, author = "Dzieciątko, Mariusz and Spinczyk, Dominik", editor = "", title = "Text Mining: metody, narzędzia i zastosowania", publisher = "Wydawnictwo Naukowe PWN", year = "2016", address = "Warszawa", isbn = "978-83-01-18686-9" }

Bibliografia endNote:

TY - BOOK

AU - Dzieciątko, Mariusz

AU - Spinczyk, Dominik

ED -

TI - Text Mining: metody, narzędzia i zastosowania

PB - Wydawnictwo Naukowe PWN

CY - Warszawa

PY - 2016

SN - 978-83-01-18686-9

ER -

Netografia (standard APA):

Dzieciątko, Mariusz; Spinczyk, Dominik. Text Mining: metody, narzędzia i zastosowania [baza danych online] Warszawa: Wydawnictwo Naukowe PWN, 2016 [dostęp: 22 07 2024]. Dostęp w Ibuk Libra: https://libra.ibuk.pl/reader/text-mining-metody-narzedzia-i-zastosowania-mariusz-dzieciatko-dominik-158773.

text mining, SAS text analytics, zarządzanie informacją

SAS Text Analytics to uniwersalna platforma zaspokajająca potrzeby informacyjne w organizacji do wydobywania i zarządzania informacją dostępną w różnego rodzaju dokumentach tekstowych. Możliwości omówionych w książce narzędzi i zaimplementowanych ...

Więcej

ISBN/ISSN:

978-83-01-18686-9

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2016

Liczba stron:

218

XML:ISBN/ISSN:

ONIX MARC21

Wykaz oznaczeń10
Wykaz skrótów12
Wprowadzenie14
Część I. Wprowadzenie do eksploracji danych tekstowych18
1. Trendy w rozwoju systemów informatycznych eksploracji danych20
2. Metody eksploracji danych tekstowych24
2.1. Przebieg analizy dokumentu tekstowego i charakterystyka stosowanych metod25
2.2. Określenie celu, zakresu i kosztów analizy26
2.3. Przekształcenie zbioru dokumentów źródłowych26
2.3.1. Informacja o częstości występowania poszczególnych terminów26
2.4. Wybór metody obliczeniowej28
2.3.2. Postać ustrukturyzowana28
3. Architektura oprogramowania do eksploracji danych tekstowych na przykładzie pakietu SAS Text Analytics firmy SAS Institute30
3.1. Rozpoczęcie pracy z programem Enterprise Miner (Text Miner)32
3.1.1. Tworzenie nowego projektu i biblioteki32
3.1.2. Tworzenie diagramów analizy danych34
3.1.3. Określanie źródła danych projektu35
3.2. Metodyka SEMMA36
3.2.1. Etap Próbkowanie37
3.2.2. Etap Eksploracja37
3.2.3. Etap Modyfikacja38
3.2.4. Etap Modelowanie39
3.2.5. Etap Ocena40
3.3. Text Miner – etapy przetwarzania41
3.4. Text Miner – komponenty43
3.4.1. Właściwości węzła Klastrowanie tekstu43
3.4.2. Właściwości węzła Filtrowanie tekstu44
3.4.3. Właściwości węzła Import tekstu45
3.4.4. Właściwości węzła Parsowanie tekstu46
3.4.5. Właściwości węzła Profil tekstu48
3.4.6. Właściwości węzła Generator reguł tekstu48
3.4.7. Właściwości węzła Temat tekstu49
3.5. Przykład: Klasteryzacja zbioru zdań50
3.5.1. Konfiguracja diagramu przepływu danych50
3.5.2. Konfiguracja poszczególnych węzłów i interpretacja wyników51
3.5.3. Podsumowanie61
Część II. Przetwarzanie informacji zawartej w dokumencie tekstowym62
4. Wybór funkcji wagującej macierzy częstości występowania terminów64
4.1. Wagi częstości64
4.2. Wagi wyrażenia65
4.3. Przykład obliczeniowy66
4.4. Podsumowanie67
5. Redukcja wymiarowości macierzy częstości występowania terminów70
5.1. Analiza semantyczna zmiennych ukrytych70
5.1.1. Rozkład SVD71
5.1.2. Przykład obliczeniowy rozkładu SVD71
5.2. Podsumowanie75
6. Wybór algorytmu klastrowania dokumentów tekstowych76
6.1. Określenie miary podobieństwa grupy dokumentów76
6.2. Algorytmy klastrowania76
6.3. Grupowanie za pomocą węzła Klastrowanie tekstów79
6.3.1. Węzeł Klastrowanie tekstu – algorytm Hierarchiczny79
6.3.2. Węzeł Klastrowanie tekstu – algorytm Maksymalizacja oczekiwań79
6.3.3. Węzeł Klastrowanie tekstu – właściwość Terminy opisowe79
6.4. Grupowanie za pomocą węzła Temat tekstu82
6.4.1. Tematy definiowane przez użytkownika85
6.5. Posumowanie86
7. Zarys metodyki tworzenia modeli predykcyjnych oraz porównywania zdolności predykcyjnych modeli88
7.1. Tworzenie modelu predykcyjnego88
7.2. Ocena błędu klasyfikacji89
7.2.1. Krzywe ROC90
7.2.2. Wykresy wzrostu90
7.3. Przykład: Użycie węzła Importowanie tekstu oraz porównywanie modeli predykcyjnych91
7.3.1. Konfiguracja diagramu przepływu danych oraz poszczególnych węzłów92
7.4. Podsumowanie96
8. Klastrowanie dokumentów nadzorowane przez użytkownika98
8.1. Charakterystyka węzła Generator reguł tekstu98
8.2. Podsumowanie101
Część III. Wydobywanie i organizacja wiedzy z dokumentów tekstowych w instytucji102
9. Zarys zagadnień związanych z wydobywaniem i organizacją wiedzy w instytucji104
9.1. Wprowadzenie104
9.1.1. SAS Crawler105
9.1.2. SAS Search and Indexing106
9.1.3. SAS Information Retrival Studio107
9.2. Podsumowanie108
10. Klasyfikacja dokumentów110
10.1. SAS Content Categorization Studio110
10.1.1. Metody klasyfikacji dokumentów dostępne w SAS CCS112
10.1.2. Wydobywanie konceptów dostępne w SAS CCS114
10.1.3. Wydobywanie kontekstu dostępne w SAS CCS119
10.1.4. Zakładanie nowego projektu121
10.1.5. Metodyka planowania projektu123
10.1.6. Tworzenie nowej kategorii126
10.1.7. Zasady używania kategoryzatora statystycznego127
10.1.8. Zasady używania kategoryzatora generującego reguły automatycznie130
10.1.9. Zasady używania kategoryzatora bazującego na regułach134
10.1.10. Praca z konceptami138
10.2. Przykład: Zastosowania klasyfikacji dokumentów w celu wspomagania diagnostyki w departamencie radiodiagnostyki148
10.3. Podsumowanie155
11. Analiza sentymentu156
11.1. SAS Sentiment Analysis Studio157
11.1.1. Metoda oceny sentymentu dla dokumentu158
11.1.2. Zakładanie nowego projektu160
11.1.3. Testowanie istniejących modeli170
11.2. Przykład analizy sentymentu użytkowników telefonów komórkowych171
11.1.4. Tworzenie modeli hybrydowych171
11.1.5. SAS Sentiment Analysis Server171
11.3. Podsumowanie177
Część IV. Inne zagadnienia przetwarzania dokumentów tekstowych178
12. Inne elementy przetwarzania danych tekstowych180
12.1. Porównywanie dokumentów za pomocą metryk180
12.1.1. Odległość kosinusowa180
12.1.2. Metryka Jaccarda181
12.2. Wydobywanie jednostek specjalnych z dokumentów184
Słownik pojęć związanych z eksploracją danych tekstowych186
Dodatek A: Podstawy obsługi środowiska SAS i język 4GL190
A.1. Wprowadzenie do obsługi systemu SAS190
A.1.1. Struktura zbioru danych SAS193
A.2. Język 4GL195
A.1.2. Formaty i informaty195
A.2.1. Blok typu DATA STEP196
A.2.2. Blok typu PROC STEP196
Dodatek B: Podstawy języka makr200
B.1. Makrozmienne200
B.2. Makroprogramy200
Dodatek C: Wizualna interpretacja danych202
C.1. Przegląd typów wykresów stosowanych dla danych tekstowych203
Bibliografia206
Indeks pojęć208
Spis rysunków210
Spis tabel216

Rozdział1

Trendywrozwojusystemów

informatycznycheksploracjidanych

Informacjazawartawdanychjestużytecznawprocesiepodejmowaniadecyzji.Zewzglę-

dunaróżnorodnośćprzechowywanejinformacjihistoryczniemożnawyróżnićkilka

klassystemówinformatycznychwspierającychtenproces.

Informacjeniezbędnedobieżącegofunkcjonowaniaorganizacjiprzechowujesięwsyste-

machtransakcyjnych.Wceluwspomaganiaprocesupodejmowaniadecyzjidanetrans-

akcyjnesąagregowaneigromadzonewtematycznychrepozytoriachiwykorzystywane

wprocesiepodejmowaniadecyzjibiznesowych(BusinessIntelligencesystems).Zewzględu

narozmiardanetesąorganizowanewtzw.hurtowniachdanych(datawarehouses),które

wykorzystująsilnikirelacyjnychbazdanychwschemaciegwiazdylubpłatkaśniegu.

Historyczniedoprzetwarzaniatakzorganizowanychdanychpogrupowanychwzapro-

jektowanychwymiarachwykorzystujesiętechnologięwielowymiarowychkostek(OnLine

AnalyticalProcessing-OLAP)umożliwiającąanalizęwzaprojektowanychwymiarach

naróżnychpoziomachszczegółowości.

Obecniewrazzrozwojemtechnologiielektronicznegoformatuzapisudużychdanych

(ApacheHadoop),sieciInternet(skrótodang.inter-network),któryminimalizujekoszt

powielaniainformacjiistanowikanałbłyskawicznejwymianyidystrybucjiinformacji,

obserwujesięrozwójtechnologiiwspomagającejprzetwarzaniedużychdanych(Big

Data).

MetodyOLAPsłużągłówniedoagregacjidanychiraportowania,alerównoleglerozwijają

sięmetodyeksploracjidanych(dataminingmethods),którychcelemjestodkrywanie

wiedzy.Metodyeksploracjidanychnajczęściejsąklasyfikowanepodkątemdziedziny

iceluanalizy.Stosująctokryterium,możnawyróżnićmetody(Lasek,Pęczkowski2013):

•

klasyfikacji-polegającenaprzypisaniudokażdegoanalizowanegoobiektuetykiety

zezbioruzdefiniowanychklas;

Rozdział1:Trendywrozwojusystemówinformatycznycheksploracjidanych

Brak wyników

Text Mining: metody, narzędzia i zastosowania

Treść książki

Znajdź bibliotekę blisko siebie, i uzyskaj dostęp do ebooka w systemie IBUK Libra