Przetwarzanie i analiza danych w języku Python

Anna Cena, Marek Gągolewski, Maciej Bartoszuk

Uzyskaj dostęp

Zakup książkę

ISBN/ISSN:

978-83-01-18940-2

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2016

Liczba stron:

387

XML:ISBN/ISSN:

ONIX MARC21

Bibliografia:

Cena, Anna; Gągolewski, Marek; Bartoszuk, Maciej. Przetwarzanie i analiza danych w języku Python. Red. . Warszawa: Wydawnictwo Naukowe PWN, 2016, 387 s. ISBN 978-83-01-18940-2

Bibliografia refWorks:

RT Book, Whole

SR Electronic(1)

A1 Cena, A.

A1 Gągolewski, M.

A1 Bartoszuk, M.

T1 Przetwarzanie i analiza danych w języku Python

PB Wydawnictwo Naukowe PWN

PP Warszawa

YR 2016

SN 978-83-01-18940-2

Bibliografia BibTex:

@Book{ 168290, author = "Cena, Anna and Gągolewski, Marek and Bartoszuk, Maciej", editor = "", title = "Przetwarzanie i analiza danych w języku Python", publisher = "Wydawnictwo Naukowe PWN", year = "2016", address = "Warszawa", isbn = "978-83-01-18940-2" }

Bibliografia endNote:

TY - BOOK

AU - Cena, Anna

AU - Gągolewski, Marek

AU - Bartoszuk, Maciej

ED -

TI - Przetwarzanie i analiza danych w języku Python

PB - Wydawnictwo Naukowe PWN

CY - Warszawa

PY - 2016

SN - 978-83-01-18940-2

ER -

Netografia (standard APA):

Cena, Anna; Gągolewski, Marek; Bartoszuk, Maciej. Przetwarzanie i analiza danych w języku Python [baza danych online] Warszawa: Wydawnictwo Naukowe PWN, 2016 [dostęp: 22 07 2024]. Dostęp w Ibuk Libra: https://libra.ibuk.pl/reader/przetwarzanie-i-analiza-danych-w-jezyku-python-anna-cena-marek-gagolewski-168290.

analiza danych, Python, przetwarzanie

Książka stawia sobie za cel przygotować Czytelnika do samodzielnego przeprowadzenia całego procesu analizy danych, od pobrania i załadowania zbioru, przez jego wstępne przetworzenie i wyczyszczenie, aż po samą analizę, wizualizację wyników i ich i...

Więcej

ISBN/ISSN:

978-83-01-18940-2

DOI:

Wydawnictwo:

Wydawnictwo Naukowe PWN

Rok wydania:

2016

Liczba stron:

387

XML:ISBN/ISSN:

ONIX MARC21

Przedmowa12
I Podstawy języka Python18
1. Wprowadzenie20
1.1. Język i środowisko Python20
1.1.1. Instalacja dystrybucji środowiska Python20
1.1.2. Instalacja pakietów22
1.2. Notatniki Jupyter24
1.2.1. Tryby pracy24
1.2.2. Najważniejsze skróty klawiszowe27
1.2.3. Podstawy języka Markdown27
1.3. Pierwsze kroki w języku Python29
2. Typy skalarne33
2.1. Liczby33
2.1.1. Operatory arytmetyczne35
2.1.2. Konwersja typów38
2.1.3. Tworzenie obiektów nazwanych39
2.1.4. Funkcje wbudowane40
2.1.5. Polai metody41
2.1.6. Arytmetyka zmiennopozycyjna42
2.2. Wartości logiczne43
2.2.1. Operatory relacyjne44
2.3. Napisy45
2.2.2. Operatory logiczne45
2.3.1. Tworzenie napisów45
2.3.2. Podstawowe operacje na napisach47
3. Typy sekwencyjne i iterowalne49
3.1. Podstawowe rodziny obiektów typu sekwencyjnego50
3.1.1. Listy i krotki50
3.2. Zarządzanie elementami52
3.1.2. Zakresy52
3.1.3. Napisy52
3.2.1. Wybieranie elementów52
3.2.2. Modyfikacjaelementów55
3.2.3. Dodawanie i usuwanie elementów56
3.2.4. Kopiowanie referencji, kopiowanie płytkie a głębokie58
3.3. Obiekty iterowalne62
3.4. Działania na obiektach iterowalnych i typu sekwencyjnego64
3.4.1. Podstawowe metody i funkcje64
3.4.2. Krotk i identyfikatorów po lewej stronie operatora przypisania67
3.4.3. Wyrażenia listotwórcze i generatory68
3.4.4. Formatowanie napisów71
4. Słowniki i zbiory73
4.1. Słowniki73
4.1.1. Tworzenie słowników73
4.1.2. Podstawowe metody i funkcje75
4.2. Zbiory78
4.2.1. Tworzenie zbiorów78
4.2.2. Podstawowe metody i funkcje79
5. Instrukcje sterujące81
5.1. Instrukcja warunkowa81
5.2. Pętle83
5.2.1. Pętla while83
5.2.2. Pętla for84
5.2.3. Instrukcje break i continue oraz blok else w pętlach86
5.3. Obsługa wyjątków90
5.3.1. Zgłaszanie wyjątków91
5.3.2. Rodzaje wyjątków91
5.3.3. Wychwytywanie wyjątków92
6. Funkcje94
6.1. Definiowanie funkcji94
6.1.1. Dokumentowanie funkcji95
6.1.2. Wartość zwracana96
6.1.3. Wyrażenia lambda97
6.2. Parametry i argumenty98
6.2.1. Sposób przekazywania argumentów98
6.2.2. Sprawdzanie poprawności argumentów99
6.2.3. Dopasowywanie argumentów101
6.2.4. Parametry z argumentami domyślnymi101
6.2.5. Rozpakowywanie argumentów102
6.2.6. Parametry specjalne *args i **kwargs103
6.3. Zasięg zmiennych105
6.3.1. Zmienne lokalne105
6.3.2. Zmienne globalne105
6.3.3. Zmienne nielokalne, fabryki funkcji i domknięcia107
6.4. Pakiety109
II Przetwarzanie danych112
7. Wektory, macierze i inne tablice114
7.1. Tworzenie i reprezentacja tablic114
7.1.1. Funkcja array()115
7.1.2. Reprezentacja tablic117
7.1.3. Typ przechowywanych elementów118
7.1.4. Tworzenie tablic specjalnego rodzaju120
7.1.5. Łączenie tablic123
7.2. Podstawowe metody i funkcje125
7.2.1. Operatory arytmetyczne. Uzgadnianie kształtów125
7.2.2. Operacje relacyjne i logiczne130
7.2.3. Zwektoryzowane funkcje matematyczne132
7.2.4. Agregacja danych135
7.2.5. Inne operacje138
7.3. Indeksowanie tablic140
7.3.1. Indeksowanie wektorów140
7.3.2. Indeksowanie macierzy145
7.3.3. Indeksowanie tablic N-wymiarowych149
7.3.4. Wyszukiwanie indeksów elementów spełniających zadane kryteria151
8. Ramki danych154
8.1. Tworzenie ramek danych155
8.1.1. Konstruktor klasy DataFrame155
8.1.2. Importowanie ramek danych z plików i innych źrodeł156
8.1.3. Odczytywanie podstawowych informacji o ramkach danych157
8.2. Zmienne, czyli obiekty typu Series160
8.2.1. Wydobywanie poszczególnych zmiennych160
8.2.2. Tworzenie i reprezentacja zmiennych161
8.2.3. Zmienne typu data i czas162
8.2.4. Zmienne jakościowe i porządkowe163
8.3. Etykiety, czyli obiekty typu Index167
8.3.1. Etykietowanie wierszy i kolumn168
8.3.2. Etykiety hierarchiczne169
8.4. Indeksowanie zmiennych i ramek danych171
8.4.1. Wybór elementów pojedynczej zmiennej171
8.4.2. Wybór podzbioru wierszy i kolumn ramki danych177
8.5. Wybrane operacje181
8.5.1. Dodawanie oraz usuwanie kolumn i wierszy181
8.5.2. Przekształcanie zmiennych183
8.5.3. Podsumowania ramek danych i zmiennych185
8.5.4. Sortowanie ramek danych189
8.5.5. Zmiana kształtu ramek danych190
8.5.6. Obserwacje brakujące193
9. Przetwarzanie napisów196
9.1. Operacje na pojedynczych napisach196
9.1.1. Podstawowe stałe napisowe i operacje na pojedynczych znakach197
9.1.2. Wyszukiwanie ustalonego wzorca199
9.1.3. Translacja znaków200
9.1.4. Sprawdzanie, czy wszystkie znaki nalezą˛ do podanej kategorii201
9.1.5. Dzielenie i sklejanie tekstu201
9.2. Wyszukiwanie wzorca przy użyciu wyrażeń regularnych202
9.2.1. Definiowanie wyrażeń regularnych203
9.2.2. Przegląd funkcji205
9.2.3. Wydzielone podwyrażenia i odwołania do nich206
9.3. Zwektoryzowane operacje na obiektach Index i Series207
10. Przetwarzanie plików i zasobów w internecie213
10.1. Operacje na drzewie katalogów213
10.1.1. Ścieżki dostępu213
10.1.2. Wyszukiwanie plików na dysku215
10.2. Przetwarzanie plików217
10.2.1. Otwieranie pliku w różnych trybach217
10.2.2. Odczytywanie zawartości pliku219
10.2.3. Zapisywanie danych do pliku220
10.2.4. Serializacja obiektów221
10.2.5. Popularne formaty plików222
10.3. Pozyskiwanie danych ze stron internetowych225
10.3.1. Wydobywanie tabel w postaci ramek danych226
10.3.2. Ręczne przetwarzanie kodu źródłowego strony226
10.3.3. Parsowanie kodu HTML i wydobywanie pojedynczych elementów228
11. Dostęp do baz danych232
11.1. Przykładowa baza danych: nycflights13232
11.2. Obsługa baz danych235
11.2.1. Połączenie z bazą danych235
11.2.2. Eksportowanie danych do bazy235
11.2.3. Odczytywanie danych z bazy236
11.2.4. Funkcje z pakietu pandas237
11.3. Ćwiczenia238
11.3.1. Wybór unikatowych podzbiorów kolumn239
11.3.2. Agregacja danych w podgrupach240
11.3.3. Filtrowanie danych wejściowych i wyników243
11.3.4. Sortowanie wyników247
11.3.5. Operacje teoriomnogościowe249
11.3.6. Złączenia251
III Analizadanych254
12. Wizualizacja danych256
12.1. Rysowanie podstawowych obiektów257
12.1.1. Łamane257
12.1.2. Punkty i różne symbole258
12.1.3. Wielokąty259
12.1.4. Adnotacje tekstowe260
12.2. Parametry graficzne261
12.2.1. Sposoby kreślenia punktów i odcinków261
12.2.2. Sposoby określania barw261
12.2.3. Napisy formatujące263
12.2.4. Ustawienia osi264
12.3. Rysunki jako kombinacje obiektów podstawowych265
12.3.1. Wiele obiektów na jednym wykresie265
12.3.2. Legenda267
12.3.3. Wiele wykresów na jednej stronie268
12.4. Graficzna prezentacja danych272
12.4.1. Wybrane wykresy dla danych jakościowych272
12.4.2. Wybrane wykresy dla danych ilościowych275
12.4.3. Wybrane wykresy dla funkcji dwuwymiarowych279
13. Wnioskowanie statystyczne282
13.1. Wybrane rozkłady prawdopodobieństwa282
13.1.1. Podstawowe rodziny rozkładów282
13.1.2. Generowanie liczb pseudolosowych290
13.2. Estymacja parametrów i charakterystyk rozkładów292
13.2.1. Estymacja punktowa293
13.2.2. Estymacja przedziałowa295
13.3. Wykorzystanie testów statystycznych w analizie danych297
13.3.1. Testy zgodności298
13.3.2. Testy parametryczne307
13.3.3. Testy nieparametryczne312
14. Wybrane algorytmy uczenia maszynowego315
14.1. Przykładowy zbiór danych: winequality315
14.2. Analiza regresji317
14.2.1. Regresja liniowa318
14.2.2. Ocena jakości dopasowania modelu321
14.2.3. Model wielomianowy323
14.2.4. Wybór zmiennych do modelu324
14.3. Klasyfikacja327
14.3.1. Metoda k-najbliższych sąsiadów329
14.3.2. Ocena jakości klasyfikatora329
14.3.3. Drzewa decyzyjne i lasy losowe332
14.3.4. Porównanie krzyżowe335
14.4. Analiza skupień337
14.4.1. Algorytm k-średnich337
14.4.2. Hierarchiczna analiza skupień343
IV Tworzenie własnego oprogramowania346
15. Moduły, pakiety i skrypty348
15.1. Projekty wielomodułowe348
15.1.1. Środowisko programistyczne Spyder348
15.1.2. Tworzenie i ładowanie modułów349
15.1.3. Tworzenie i ładowanie pakietów352
15.2. Skrypty353
15.1.4. Ścieżki wyszukiwania modułów i pakietów353
15.2.1. Uruchomienie skryptu z poziomu powłoki354
15.2.2. Przekazywanie argumentów355
15.2.3. Skrypty a moduły. Testy jednostkowe356
16. Programowanie obiektowe360
16.1. Klasy i relacje między nimi361
16.1.1. Definiowanie klasy361
16.1.2. Dziedziczenie363
16.2. Metody365
16.2.1. Przeciążanie metod. Polimorfizm365
16.2.2. Metody i pola statyczne367
16.2.3. Metody specjalne368
16.3. Pola374
16.3.1. Definiowanie z góry ustalonych pól w klasie374
16.3.2. Pola prywatne,chronione i publiczne375
Bibliografia378
Skorowidz380

XIVPRZEDMOWA

PodstawyjęzykaPython3.

ZaczynamyodomówieniainstalacjidystrybucjiAna-

condaisposobówpracyznotatnikamiJupyterwrozdz.1.Następnieomawiamywwy-

czerpującysposóbpodstawy„bazowego”językaPython–wkażdymraziewzakresie

potrzebnymdorozpoczęciaprawdziwejprzygodyzdatascience.Wszczególności

interesująnasnajważniejszetypydanych:wartościskalarne(rozdz.2),listy,krotki

iinnetypysekwencyjneoraziterowalne(rozdz.3),słownikiizbiory(rozdz.4),atakże

instrukcjesterujące(rozdz.5)isposobydeﬁniowaniawłasnychfunkcji(rozdz.6).

Przetwarzaniedanych.

Wdrugiejczęścizajmujemysięzagadnieniamizwiązanymi

zewstępnymprzetwarzaniemdanychiprzygotowaniemichdoanalizy.Omawiamy

szczegółowopakietnumpy,któryudostępniawektory,macierzeiinnen-wymiarowe

tabliceatakżeszerokągamęmetodifunkcjioperującychnanich(rozdz.7).Dalej

skupiamysięnaopartymnanumpypakieciepandas,przyktóregoużyciumożemy

reprezentowaćiprzekształcaćrekordyzapisanewpostacitabelarycznej(rozdz.8).Nie

zapominamyprzytymoinnychważnychzagadnieniach:przetwarzaniunapisówiwydo-

bywaniuwiedzyzinformacjitekstowych(rozdz.9),obsłudzeplikówiautomatycznym

zbieraniuinformacjizinternetu(rozdz.10),atakżełączeniusięzbazamidanych

SQL(rozdz.11).Cowięcej,nazakończenietejpartiimateriałuprzedstawiamyzestaw

kilkudziesięciućwiczeń,któresąpoświęconenajczęściejwykonywanymwpraktyce

operacjomnaramkachdanych,m.in.wyszukiwaniuinformacji,przekształceniuzmien-

nych,ﬁltrowaniuwierszyikolumn,agregacjizmiennychwpodgrupachutworzonych

przezkombinacjewieluczynnikóworazzłączaniutabel.

Analizadanych.Wtrzeciejczęścinaszauwagajestskupionanaszerokopojętej

analiziedanych,czylinaróżnorakichmetodach,którepozwalająprzekuwaćsurowe

informacjenaużytecznąwiedzę.Najpierwpoznajemypakietymatplotlibiseaborn,na

którychpodstawiebędziemydokonywaćwizualizacjiróżnychaspektówudostępnionych

namdanychorazwynikówprzeprowadzanychanaliz(rozdz.12).Następnieprzecho-

dzimydoopisudostępnychwśrodowiskuPythonmetodstatystycznych(rozdz.13)

–wszczególnościproblemówestymacjinieznanychparametrówicharakterystykroz-

kładóworazweryﬁkacjihipotez.Dziękinimbędziemypotraﬁliodpowiadaćnapewne

istotnepytaniawsytuacji,gdymamydoczynieniaznie-wielkimipróbkami,np.czy

wpływokreślonegoczynnikanazachowaniesiępewnejzmiennejjestrzeczywiście

istotny.Zkoleiwrozdz.14omawiamytrzynajważniejszegrupyalgorytmówmaszyno-

wegouczeniasię:regresji,klasyﬁkacjiianalizyskupień.Przyichużyciumożemymode-

lowaćróżnerodzajezależnościmiędzyzmiennymi,przewidywaćwartościkluczowych

charakterystykdlajeszczeniezaobserwowanychpróbekorazdokonywaćautomatycznej

segmentacji(podziału)zbiorudanychnaciekawepodgrupy.

Tworzeniewłasnegooprogramowania.Ostatniączęśćksiążkipoświęcamyzagad-

nieniomzdziedzinyinżynieriioprogramowania–dobrzedziałającyprocesprzetwa-

rzaniaczymodelowaniadanychnierzadkonależywdrożyćjakoczęśćwiększegopro-

jektuinformatycznego.Itakwrozdz.15poznajemysposobytworzeniawłasnych

modułów,pakietówiskryptów,aw16–własnychklas,czylinowychtypówdanych.

Brak wyników

Przetwarzanie i analiza danych w języku Python

Treść książki

Znajdź bibliotekę blisko siebie, i uzyskaj dostęp do ebooka w systemie IBUK Libra