Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
28
Elementyteoriiinformacji
Łatwomożnasprawdzić,żejesttojednakukładrównańzależnych.Naszczęściemamy
wzanadrzujeszczejednorównanie
P(00)+P(01)+P(10)+P(11)=1
ponieważsumaprawdopodobieństwznalezieniasięwkażdymzestanówjestrównajed-
ności.Zastępującpowyższymrównaniemdowolnezrównańwukładzie,otrzymujemy
nowyukładrównań.Prosteobliczeniaprowadządonastępującegorezultatu
P(00)=P(11)=
18
5
,
P(01)=P(10)=
2
9
1.5.5.EntropiaźródłaciągówMarkowa
Podobniejakdlaźródłabezpamięciowego,wprowadzimypojęcieentropiidlaźródła
ciągówMarkowa.Wzwiązkuztymbędziemymogliporównaćjąześredniąilscią
informacjiuzyskiwanejprzezobserwacjępojedynczejwiadomościnawyjściuźródła
bezpamięciowego.
Przyjmijmy,żeźródłoMarkowam-tegorzęduznajdujesięwż-tejchwiliwstanie
(xi11,xi12,...,xi1m).Jeśliwtymmomencieźródłowygenerujewiadomośćxi∈
∈{a1,...,aK},wtedyilsćinformacji,którąotrzymamywynosi
I(xi|xi11,...,xi1m)=log
P(xi|xi11,...,xi1m)
1
Uśredniająctenrezultatzewzględunawszystkiemożliwewiadomsci,przyzałożeniu,
żeźródłociągleznajdujesięwstanie(xi11,xi12,...,xi1m),otrzymujemyentropię
źródłaznajdującegosięwtymstanie
H(X|xi11,...
,xi1m)=
=
Σ
j=1
K
P(xi=aj|xi11,...,xi1m)iI(xi=aj|xi11,...
,xi1m)
(1.14)
Obliczajączkoleiśredniąilsćinformacjizewzględunamożliwsćznalezieniasię
źródławewszystkichstanachwyznaczamywartsćoczekiwanązwyrażenia(1.14),
czyli
H(X)=E[H(X|xi11,...,xi1m)]=
K
K
=
Σ
...
Σ
P(xi11=aj
1,...,xj1m=aj
m)H(X|xi11,...,xi1m)
j1=1
jm=1
Wstawiającdorównania(1.15)wyrażenie(1.14)otrzymujemy
H(X)=Σ
...Σ
P(xi11,...,xi1m)P(xi|xi11,...,xi1m)i
xż
xż
1m
ilog
P(xi|xi11,...,xi1m)
1
(1.15)
