Treść książki

Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
Źródławiadomościiichkodowanie
29
stosujączaśdoiloczynuprawdopodobieństwwzórnaprawdopodobieństwoiloczynu
zdarzeń3)otrzymujemyostatecznąpostaćwzorunaentropię
H(X)=Σ
xź
...Σ
xź
1m
P(xi,xi11,...,xi1m)log
P(xi|xi11,...,xi1m)
1
(1.16)
Jestwięctoilsćinformacjiuśrednionapowszystkichmożliwychstanachiwiadomo-
ściach,któremogąbyćwygenerowaneprzezźródłoznajdującesięwkażdymznich.
Przykład1.7.Wyznaczmyentropięźródłazprzykładu1.4.Dlapowyższegoźródła
możnawyznaczyćnastępującątabelęprawdopodobieństw
xi7xi117xi12
000
001
010
011
100
101
110
111
P(xi|xi117xi12)
0,6
0,5
0,5
0,4
0,4
0,5
0,5
0,6
P(xi117xi12)
5/18
5/18
5/18
5/18
2/9
2/9
2/9
2/9
P(xi7xi117xi12)
3/18
3/18
1/9
1/9
1/9
1/9
1/9
1/9
NapodstawiepowyższejtabelientropiaźródłaMarkowawynosi
H(X)=Σ
xź
...Σ
xź
1m
P(xi,xi11,...,xi1m)log
P(xi|xi11,...,xi1m)
1
=
=2i
18
3
log
10
6
+4i
1
9
log
10
5
+2i
1
9
log
10
4
=0,9839[bit/wiad.]
1.5.6.ŹródłostowarzyszonezeźródłemciągówMarkowa
OpróczznajomscirozkładustacjonarnegoźródłaciągówMarkowa,opisującegopraw-
dopodobieństwaznalezieniasięźródławokreślonymstanie,interesującajestrównież
znajomsćprawdopodobieństwawygenerowaniaokreślonychwiadomsciprzeztoźró-
dło.DlaźródłaciągówMarkowam-tegorzęduprawdopodobieństwatemożnawy-
znaczyćnapodstawierozkładustacjonarnegoiprawdopodobieństwwarunkowychwy-
znaczającychprawdopodobieństwowygenerowaniadanejwiadomsciprzyzałożeniu
znajdowaniasięźródławokreślonymstanie.
Przykład1.8.Dlaźródłarozpatrywanegowprzykładzie1.4mamy
P(0)=P(0|00)P(00)+P(0|01)P(01)+P(0|10)P(10)+P(0|11)P(11)
P(1)=P(1|00)P(00)+P(1|01)P(01)+P(1|10)P(10)+P(1|11)P(11)
PodstawienieobliczonychuprzednioprawdopodobieństwprowadzidorezultatuP(0)=
=P(1)=0,5.
3)P(AjB)=P(B|A)P(A)