Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
A.Drozdek"Wprowadzeniedokompresjidanych",Warszawa2007,wyd.2,ISBN978-83-204-3309-8©byWNT
Rozdział1.Informacjaikodowanie
danąliteręźródłoniepamięta,cojużwysłało,takwięckolejnezdarzeniasąodsiebie
niezależne),możemyużyćnastępującejfunkcjipodanejw1928r.przezHartleya.
DEFINICJA1.1.Funkcję
I(xi)=−logkpi
dlapewnegok>0ik≠1nazywamyilościąautoinformacjistowarzyszonejzezda-
rzeniemxilubentropiąindywidualną.
Jednostkęinformacji(niepewności)nazywamybitem,jeśliużywamylogarytmu
przypodstawie2.Wniniejszejksiążcebędziemyużywaćoznaczenialgx=log2x.
Π
Funkcjatajestmiarąinformacji(zaskoczenia,nieoczekiwania)dotyczącejzaj-
ściazdarzeniaxi.Znakuminusprzedlogarytmemużywamyzewzględunadogodne
właściwościfunkcjiI(rys.1.2).OtóżfunkcjaIzmieniasięodwrotnieproporcjonal-
niedozmianyprawdopodobieństwa–immniejprawdopodobnejestdanezdarze-
nie,tymwięcejzawierainformacji–irównasięzeru,gdyprawdopodobieństwo
równasięjeden,gdyżotrzymaniekomunikatuoczekiwanegozcałąpewnościąnie
przekazujenamnowejinformacji.Zgadzasiętozintuicją,żenieoczekiwanezda-
rzeniaprzekazująwięcejinformacjiniżzdarzeniaoczekiwane.
Rys.1.2.FunkcjaautoinformacjiI
Przykład1.1.JeżeliźródłobinarneS={x
1,x2}iodpowiadającemuprawdopo-
dobieństwa
P
=
{}
1
2
,
1
2
,
to
I
(
x
1
)
=
I
(
x
2
)
=
−
lg
1
2
=
1
bit.
Oznaczato,żewybraniejed-
nejzmożliwościorównymprawdopodobieństwiewymaga1bituinformacji,innymi
słowy,informacjastowarzyszonazjednązdwumożliwościoprawdopodobieństwie
1
2
jestrówna1bitowi,jaknp.przyrzucaniumonetą.Jeślidlategosamegoźródła
prawdopodobieństwa
P
=
{}
1
4
,
3
4
,
to
I
(
x
1
)
=
2
bity
oraz
I
(
x
2
)
=
−
lg
3
4
=
0
,
415
bitu.
Π
14
