Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
A.Drozdek"Wprowadzeniedokompresjidanych",Warszawa2007,wyd.2,ISBN978-83-204-3309-8©byWNT
Rozdział1.Informacjaikodowanie
Przykład1.2.DlaźródłabinarnegozbiórprawdopodobieństwP={p1,p2}=
={p1,1−p1}oraz
H(p1,p2)=−p1,lgp1−p2lgp2=−p1lgp1−(1−p1)lg(1−p1)=H(p1)
Narysunku1.4pokazujemywykrestejfunkcjiwzględemp1.Wykrestenwska-
zuje,żeHmamaksimum(1bit)dlap1=0,5iminimumdlap1=0albo1.
Π
Rys.1.4.FunkcjaentropiiH(S)dlaźródłabinarnegoS
Przykład1.3.JeśliS={x1,x2,x3}i
P
=
{
1
2
,
1
4
,
1
4
},
to
H
(
p
1
,
p
2
,
p
3
)
=
−
1
2
lg
1
2
−
1
4
lg
1
4
−
1
4
lg
1
4
=
1
2
+
1
2
+
1
2
=
1
,
5
bitów/zdarzenie.
1.1.1.Właściwościentropii
Π
FunkcjaentropiiHmapewnewłaściwości,którympoświęcimyterazniecouwagi.
1.FunkcjaHjestciągłanaodcinku[0,1],cooznacza,żemałymzmianom
prawdopodobieństwatowarzysząmałezmianyilościinformacji.Ponieważwszyst-
kiezmienneniezależnepisąciągłe,logarytmjestfunkcjąciągłąnaodcinku(0,1],
orazponieważdodawanieimnożeniesąfunkcjamiciągłymi,Hjestfunkcjąciągłą
dlakażdejzmiennejpi.Abyzachowaćciągłośćprawdopodobieństwazerowego,
przyjmujemy,że0lg0=0,ponieważ
lim
x
lg
x
=
0
.
x
→
0
2.FunkcjaHjestsymetryczna,cooznacza,żeporządekargumentówfunkcjiH
niewpływanajejwartość.Innymisłowy,dlakażdejpermutacjiσ:{1,…,n}→
→{1,…,n},H(p1,…,pn)=H(pσ(1),…,pσ(n)).Fakttenwypływazprzemienności
dodawania.
3.FunkcjaHmadolneigórneograniczenie:
0=H(1,0,…,0)<H(p1,…,pn)<
H
(
1
n
,
K
,
n
1
)
=
lg
n
Oznaczato,żedlazdarzeńorównychprawdopodobieństwachzajścianiepewność
jestnajwiększa,ponieważwybórokreślonegozdarzenianiejestoczywisty.Jeśli
16
