Data Science i uczenie maszynowe

Marcin Szeliga

Uzyskaj dostęp

Zakup książkę

ISBN/ISSN:

978-83-01-19324-9

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2017

Liczba stron:

402

XML:ISBN/ISSN:

ONIX MARC21

Bibliografia:

Szeliga, Marcin. Data Science i uczenie maszynowe. Red. . Warszawa: Wydawnictwo Naukowe PWN, 2017, 402 s. ISBN 978-83-01-19324-9

Bibliografia refWorks:

RT Book, Whole

SR Electronic(1)

A1 Szeliga, M.

T1 Data Science i uczenie maszynowe

PB Wydawnictwo Naukowe PWN

PP Warszawa

YR 2017

SN 978-83-01-19324-9

Bibliografia BibTex:

@Book{ 177200, author = "Szeliga, Marcin", editor = "", title = "Data Science i uczenie maszynowe", publisher = "Wydawnictwo Naukowe PWN", year = "2017", address = "Warszawa", isbn = "978-83-01-19324-9" }

Bibliografia endNote:

TY - BOOK

AU - Szeliga, Marcin

ED -

TI - Data Science i uczenie maszynowe

PB - Wydawnictwo Naukowe PWN

CY - Warszawa

PY - 2017

SN - 978-83-01-19324-9

ER -

Netografia (standard APA):

Szeliga, Marcin. Data Science i uczenie maszynowe [baza danych online] Warszawa: Wydawnictwo Naukowe PWN, 2017 [dostęp: 22 07 2024]. Dostęp w Ibuk Libra: https://libra.ibuk.pl/reader/data-science-i-uczenie-maszynowe-marcin-szeliga-177200.

Data Science, uczenie maszynowe, machine learning

Książka przedstawia uczenie maszynowe w ujęciu praktycznym. Przeprowadzając opisane w niej eksperymenty data science poznamy zastosowanie reguł statystycznych i algorytmów uczenia maszynowego do rozwiązywania konkretnych problemów. Takie podejście...

Więcej

ISBN/ISSN:

978-83-01-19324-9

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2017

Liczba stron:

402

XML:ISBN/ISSN:

ONIX MARC21

Wstęp18
O czym jest ta książka?18
Data science19
Uczenie maszynowe21
Dla kogo jest ta książka?22
Narzędzia23
Usługa Azure ML24
Język R25
Microsoft R Open26
Konwencje i oznaczenia27
Przykładowe dane27
1. Uczenie maszynowe jako element eksperymentów data science30
1.1. Eksploracja danych jako technika wspomagania decyzji31
1.2. Modelowanie33
1.3. Wiedza i proces uczenia35
1.4. Hipotezy38
1.5. Założenia eksperymentu data science39
1.6. Dwa typy analiz41
1.7. Data science jako metoda naukowa41
1.8. Przykładowy eksperyment – optymalizacja kampanii marketingowej43
1.8.1. Zrozumienie problemu i określenie celów eksperymentu44
1.8.2. Zrozumienie danych45
1.8.3. Wstępne przetwarzanie danych46
1.8.4. Modelowanie47
1.8.5. Ocena47
1.8.6. Wdrożenie49
Podsumowanie52
2. Ocena przydatności danych54
2.1. Dane źródłowe55
2.2. Zmienne56
2.2.1. Rozkład częstości zmiennych59
2.2.2. Graficzna prezentacja danych71
2.2.3. Korelacje (związki między zmiennymi)73
2.3. Reprezentatywność danych79
2.4. Duplikaty83
2.5. Szeregi czasowe85
Podsumowanie92
3. Wstępne przetwarzanie danych94
3.1. Uzupełnianie brakujących danych95
3.2. Poprawianie błędnych danych100
3.3. Zmienne numeryczne100
3.3.1. Instalowanie dodatkowych bibliotek R w Azure ML101
3.3.2. Wartości nietypowe (odstające)102
3.3.3. Normalizacja104
3.3.4. Dyskretyzacja106
3.4. Zmienne kategoryczne107
3.4.1. Problem jakości danych tekstowych108
3.4.2. Uogólnienie (generalizacja)109
3.4.3. Numerowanie stanów110
3.5. Szeregi czasowe112
3.4.4. Zmienne porządkowe112
3.6. Wyrażenia języka naturalnego118
3.7. Redukcja wymiarów123
3.7.1. Usuwanie zmiennych na podstawie ich zdolności predykcyjnych124
3.7.2. Analiza głównych składowych (PCA)126
Podsumowanie128
4. Wzbogacanie danych130
4.1. Równoważenie danych131
4.1.1. Usunięcie części przykładów większościowych132
4.1.2. Nadpróbkowanie133
4.2. Zmienne wyliczeniowe135
4.3. Zastąpienie zmiennych wspólnym rozkładem prawdopodobieństwa137
4.4. Wydzielenie danych testowych140
4.4.1. Szeregi czasowe144
4.5. Wzorzec eksperymentu data science145
4.4.2. Modele rekomendujące145
4.4.3. Modele wykrywania oszustw145
Podsumowanie146
5. Klasyfikacja148
5.1. Klasyfikacja poprzez indukcję drzew decyzyjnych150
5.1.1. Drzewa decyzyjne – definicja150
5.1.2. Pojedyncze drzewa decyzyjne153
5.1.3. Kombinacje drzew decyzyjnych155
5.2. Klasyfikacja z użyciem maszyny wektorów nośnych170
5.2.1. Przetwarzanie języka naturalnego przy użyciu maszyny wektorów nośnych172
5.2.2. Modele maszyny wektorów nośnych i lokalnie głębokiej maszyny wektorów nośnych181
5.3. Klasyfikacja probabilistyczna182
5.3.1. Sieć Bayesa186
5.3.2. Maszyna punktów Bayesa188
5.4. Inne klasyfikatory dostępne w Studiu Azure ML190
5.4.1. Inne klasyfikatory – omówienie190
5.4.2. Modele eksploracji danych w języku R192
5.5. Klasyfikatory binarne a klasyfikacja wieloklasowa193
5.6. Wykrywanie oszustw jako przykład klasyfikacji binarnej196
5.6.1. Oznaczenie obserwacji196
5.6.2. Zrównoważenie danych i wydzielenie danych testowych198
5.6.3. Wzbogacenie danych198
Podsumowanie201
6. Regresja202
6.1. Model regresji wielorakiej208
6.1.1 Wieloraka regresja liniowa210
6.1.2. Estymacja bayesowska modelu regresji liniowej212
6.2. Zmienne kategoryczne w modelach regresji214
6.2.1. Regresja Poissona215
6.3. Regresja kwantylowa217
6.2.2. Regresja porządkowa217
6.4. Regresja poprzez indukcję drzew decyzyjnych220
6.5. Sztuczne sieci neuronowe222
6.5.1. Perceptron227
6.5.2. Sieci neuronowe a regresja229
6.5.3. Metody minimalizacji błędu231
6.5.4. Wsteczna propagacja błędów232
6.5.5. Regresja z użyciem sieci neuronowej234
6.5.6. Głębokie sieci neuronowe238
Podsumowanie247
7. Grupowanie (analiza skupień)250
7.1. Na czym polega grupowanie250
7.2. Algorytmy grupowania254
7.2.1. Grupowanie hierarchiczne255
7.2.2. Grupowanie iteracyjno-optymalizacyjne260
7.3. Grupowanie w celu znajdowania podobnych obiektów265
7.4. Grupowanie w celu kompresji268
7.5. Wykrywanie anomalii269
Podsumowanie273
8. Rekomendowanie274
8.1. Systemy rekomendujące274
8.2. Odkrywanie asocjacji279
8.3. Model Matchbox Recommender287
8.3.1. Rekomendowanie przez filtrowanie kolektywne287
8.3.2. Rekomendowanie przez filtrowanie cech przedmiotów i użytkowników (hybrydowe)296
Podsumowanie298
9. Prognozowanie300
9.1. Szeregi czasowe301
9.2. Naiwne metody prognozowania303
9.3. Modele średniej ważonej303
9.4. Modele ARIMA312
9.5. Modele nieliniowe317
9.6. Prognozowanie w Studiu Azure ML319
Podsumowanie321
10. Ocena i poprawa jakości modeli322
10.1. Reguła powrotu do średniej322
10.2. Kryteria oceny modeli eksploracji danych324
10.2.1. Łatwość interpretacji325
10.2.2. Trafność325
10.2.3. Wiarygodność326
10.2.4. Wydajność i skalowalność326
10.2.5. Przydatność326
10.3. Ocena jakości modeli klasyfikacyjnych327
10.3.1. Moduł Evaluate Model327
10.3.2. Macierz pomyłek328
10.3.3. Krzywa ROC331
10.3.4. Wykres precyzja w funkcji czułości i wykres zysku333
10.3.5. Trafność klasyfikacji334
10.3.6. Klasyfikatory wieloklasowe336
10.4. Ocena jakości modeli regresyjnych337
10.4.1. Miary oceny modeli337
10.4.2. Walidacja krzyżowa339
10.5. Ocena jakości modeli grupujących342
10.6. Ocena jakości modeli rekomendujących344
10.7. Ocena jakości modeli prognozujących346
10.8. Porównanie jakości modeli351
10.9. Poprawa jakości modeli355
10.9.1. Automatyczna poprawa jakości modeli uczenia nadzorowanego355
10.9.2. Znalezienie optymalnej liczby klastrów359
10.10. Cykl życia eksperymentu data science362
Podsumowanie363
11. Publikacja modeli eksploracji danych jako usług WWW 368
11.1. Wzorcowy eksperyment data science369
11.2. Predykcyjne usługi WWW374
11.2.1. Zapytania predykcyjne ad-hoc377
11.2.2. Wsadowe zapytania predykcyjne378
Podsumowanie381
Bibliografia382
Dodatek A390
Dodatek B396

WSTĘP

Datascience

CzterystalattemusirFrancisBaconstwierdził,żescientiapotentiaest(wiedzajest

potęgą).Filozoftenbyłprekursoremitwórcąnowoczesnej,empirycznejmetodynauko-

wej.Metody,któradziękizbieraniuszczegółowychdanychnainteresującynastemat

iuogólnianiuichwcelusformułowaniaogólnychtwierdzeńdoprowadziładorewolucji

technicznejiwkonsekwencjizmieniławsposóbradykalnyżycieludziztamtejepoki.

Dziśobserwujemyprzełomnapodobnąskalę.Dziękirozwojowitechnologiiinforma-

tycznych,wszczególnościtechnologiigenerowania,przechowywaniaiprzetwarza-

niadanych,liczbacyfrowychdanychrośniedook.30%rocznie2.Cociekawe,w2015r.

ilośćdanychwygenerowanychprzezurządzenianapotrzebyinnychurządzeńprzekro-

czyłailośćdanychgenerowanychnanaszepotrzeby.Oznaczato,żechoćgłównym

źródłemdanychjestbieżącadziałalnośćfirmiinstytucji,corazwięcejztychdanychjest

generowanychianalizowanychautomatycznie,przezsystemykomputerowe.Danete

zawierająnietylkoszczegółowyopisdziałalnościfirmczyinstytucji,lecztakżewdużej

częściotaczającegonasświata.Ukrytawnichinformacjamaogromnąwartość,potrzebne

sątylkometodyjejwydobycia.

Sukcesyodnoszoneprzezmodeleeksploracjidanychuczonenaogromnychzbiorach

danychtreningowych,naprzykładprzezsiećneuronowąGoogle,któranauczonana

10milionachpobranychzInternetuobrazównauczyłasięrozpoznawaćznajdującesię

nanichobiekty,sąargumentemnarzecztezy,wedługktórejwięcejdanychmawiększy

wpływnajakośćmodeliniżużytewnichalgorytmyuczeniamaszynowego[21].Jednak

wrazzdodatkowymidanymirośnie,itowykładniczo,ilośćzawartegownichszumu,czyli

przypadkowych,bezwartościowychkombinacjiatrybutów.Dlategobardziejwiarygodne

wytłumaczeniewyjątkowychsukcesówuczeniamaszynowegomówiotym,żerządzące

światemprawamogąbyćuogólnioneiuproszczonedopostaciłatwejdowykryciaprzez

takiealgorytmyuczeniamaszynowegojaksiecineuronowe[51].

Datasciencezakładawykorzystaniekomputerówdoautomatycznegoprzetwarzaniaiana-

lizowaniadużychzbiorówdanych.Podejścietostosująnietylkoośrodkinaukowe,lecz

takżefirmydziałającewnajróżniejszychsektorach,odfinansówprzezsektorpubliczny

iprodukcyjnypohandel.Cowięcej,firmyiorganizacjepublicznestosująwtymcelutę

samąmetodykęcoośrodkinaukowe:

•zbierająwszystkiemożliwedaneiprzechowująjeprzezdługi,potencjalnienieskoń-

czonyczas;

2Kosztprzechowywaniaprzezmiesiącwchmurze1TBdanychwlipcu2016rokuwynosiłokoło

100złotych.CenyzaprzetworzenieiprzeanalizowaniesetekTBkształtowałysię,wzależnościod

czasuizasobówpotrzebnychdotakiejanalizy,wgranicachtysiącazłotych.

XVIII

Brak wyników

Data Science i uczenie maszynowe

Treść książki

Znajdź bibliotekę blisko siebie, i uzyskaj dostęp do ebooka w systemie IBUK Libra