Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
A.Drozdek"Wprowadzeniedokompresjidanych",Warszawa2007,wyd.2,ISBN978-83-204-3309-8©byWNT
1.1.Informacjaientropia
FunkcjaIkoncentrujesięnajednymzdarzeniulubliterze.Wwiększościwy-
padków,ajużnapewnowwypadkukompresjidanych,musimywziąćpoduwagę
wszystkielitery,abymierzyćzawartośćinformacyjnącałegozbioru.Ważnympoję-
ciemwprowadzonymprzezShannonajestpojęciemiaryniepewnościlubentropii
stowarzyszonejzezbioremzdarzeń.
DEFINICJA1.2.Funkcję
n
H
(
p
1
,
K
,
p
n
)
=
H
(
S
)
=
−
∑
p
i
lg
p
i
i
=
1
nazywamyentropiąstowarzyszonązezbioremnniezależnychzdarzeńS={x1,…,
xn}izezbioremprawdopodobieństwichzajścia(rozkłademprawdopodobieństwa)
P={p1,…,pn}.
Π
Entropiajestśredniąautoinformacją,tj.wartościąoczekiwanąrezultatuI(xi),
czyliśrednią(oczekiwaną)ilościąinformacjidotyczącejzajściazdarzeniaxi(war-
tośćoczekiwanajestzdefiniowanawp.6.3).Oznaczato,żejeśliwpewnymekspe-
rymencie,prowadzonymprzezpewienczas,zmiennaXprzyjmujewartościzezbio-
ruS,tośrednieprawdopodobieństwostowarzyszonezXrównasięH(p1,…,pn).
Wartoprzytympodkreślić,żeowaniepewnośćzależytylkoodprawdopodo-
bieństwpi,niezaśodnaturyczywartościzdarzeńxi.
Rys.1.3.Prostedrzewodecyzyjne
Entropięmożemyrównieżinterpretowaćjakonajmniejsząśredniąliczbępy-
tań,naktóremożemyodpowiedziećtaklubnie,koniecznądookreśleniawartości
zmiennejX.Wwypadkusiedmiuwartościa,b,c,d,e,f,gmożemynarysować
drzewo(rys.1.3),odpowiadającepytaniom,któredzielązbiorynapołowę.Pierw-
szepytaniebrzmi:czywartośćtatoa,b,cczyd?Jeśliodpowiedźbrzmitak,to
następnepytaniebrzmi:czyjesttoalubb?Jeśliodpowiedźbrzminie,tokolejne
pytaniebrzmi:czyjesttoc?Odpowiedźnatopytaniejestostateczna.
Wkontekściekodowaniakomunikatówentropiareprezentujeograniczenie
dolnenaśredniąliczbębitówprzypadającychnajednąwartośćnawejściu,tj.ogra-
niczenienaśredniądługośćsłowakoduużywanegoprzykodowaniutychwartości.
15
