Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
A.Drozdek"Wprowadzeniedokompresjidanych",Warszawa2007,wyd.2,ISBN978-83-204-3309-8©byWNT
1.1.Informacjaientropia
wówczasjednakkażdapomyłkapowodujetrudnośćwzrozumieniukomunikatu
wowielewiększymstopniuniżworyginalnejpostaci.Szybkośćtransmisjijestod-
wrotnieproporcjonalnadodługościkomunikatu,takwięcimkrótszyjestkomuni-
kat,tymszybszajesttransmisja.Możliwośćkorekcjibłędówrośnie,międzyinnymi,
zewzrostemdługościprzesyłanegokomunikatu,natomiastkompresjadanychro-
śniewmiaręzmniejszaniatejdługości.Kryteriatetrudnozesobąpogodzić,dlate-
goczęstoużywamykodówkorekcyjnychjakododatkowejfazyprzesyłaniainfor-
macjiobokkompresjidanych.
Wniniejszejksiążceinteresujenastylkokompresjadanych.Przygotowawczym
etapemdyskusjiróżnychalgorytmówkompresjipowinnabyćprezentacjapewnych
teoretycznychaspektówteoriiinformacji.Dyskusjępodstawowychpojęćtejteorii
przedstawiamypokrótcewniniejszymrozdziale.
1.1.Informacjaientropia
1.1.Informacjaientropia
Ludzienieustannieotrzymująiprzekazująinformację,coumożliwiaimkomuni-
kacjęzinnymiludźmiizotoczeniem.Nicwtymzatemdziwnego,żeinteresująnas
takpodstawowepytania,jak:czymjestinformacjaijakjąmożnamierzyć.Intuicyj-
nieczujemy,żezdanie„jutrobędziewschódsłońca”zawieramniejinformacjiniż
zdanie„wygrałemmilion”,chociażdrugiezdaniejestkrótszeniżpierwsze.Powo-
demtegoodczuciajestto,żepierwszezdaniestwierdzaoczywistyfakt,niezaskaku-
jącynas,gdyżjestopartynawielowiekowymdoświadczeniu,adrugiezdaniemówi
oczymś,cozdarzasiębardzorzadko,jeśliwogóle,cojestnieoczekiwane,zupełnie
zaskakujące.Tenelementzaskoczenia,nieoczekiwania,niepewnościmówicośo
ilościinformacjizawartejwdanymzdaniu.
Innąintuicjązwiązanązpomiareminformacjijestto,żełącznailośćinformacji
dotyczącaniepowiązanychzdarzeńjestsumąilościinformacjiposzczególnychzda-
rzeń.Naprzykładzdania„dzisiajpada”i„niemuszędzisiajpodlewaćogródka”są
powiązaneizawierająinformację,którawdużejmierzepokrywasię,zatemłączna
ilośćinformacjizawartawtychzdaniachjestmniejszaniżwwypadkuzdań„dzisiaj
pada”i„wtejksiążcebrakujejednejstrony”.
Obieteintuicjestałysiępodstawąteoriiinformacjizaproponowanejprzez
Claude’aE.Shannonaw1948r.
Przyjmijmy,żeistniejezbiórzdarzeńS={x1,…,xn}.ZbiórSnazywamyalfabe-
tem,jeślikażdyelementxijestsymbolem(literą)używanymdokonstruowaniakomu-
nikatów.Przyjmijmyrównież,żeprawdopodobieństwozajściakażdegozezdarzeńjest
znane,p(xi)=pi.TeprawdopodobieństwaP={p1,…,pn}sątakie,żekażdepi>0
orazwszystkierazemdająwsumie1,tj.
∑
n
i
=
1
p
i
=
1
.
Wwypadkuźródłabezpamięci,
tj.wówczas,gdykolejneliterysąwysyłanezeźródłaniezależnieodsiebie(wysyłając
13
