Treść książki

Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
22
Elementyteoriiinformacji
K
Wiedząc,że
Σ
P(ai)=1,mamybowiem
i=1
H(X)−logK
=
i=1
Σ
K
P(ai)log
P(ai)
1
−
Σ
i=1
K
P(ai)logK=
=
Σ
i=1
K
P(ai)log
KP(ai)
1
Przypomnijmy,żepodstawalogarytmujestrównar=2.Wdalszejczęścidowodu
wykorzystamyzależnsćmatematycznązobrazowanąnarys.1.3opisanąnierównscią
lnx≤x−1orazinnąłatwądowyprowadzeniazależnsć
logx=lnxlog6
Takwięc
H(X)−logK=log6
Σ
i=1
K
P(ai)ln
KP(ai)
1
≤
≤log6
Σ
i=1
K
P(ai)(
KP(ai)
1
−1)=log6(
Σ
i=1
K
K
1
−
Σ
i=1
K
P(ai))=0
Takwięcrzeczywiście
H(X)−logK≤0,
cokończydowód.
Powstajewzwiązkuztympytanie,kiedyentropiaosiągaswojemaksimum,
tzn.jakiemusząbyćspełnionewarunki,abyH(X)=logK.Wdowodziewłasnsci
1.2skorzystaliśmyzoszacowanialnx≤x−1dlakażdegozosobnaelementu1/KP(ai).
Zrys.1.3wyraźniewynika,żeoszacowanielogarytmunaturalnegoargumentuxprzez
prostąx−1jestdokładne,gdyx=1.Takwięcwnaszymprzypadku,abyentropia
osiągnęłaswojemaksimumrównelogK,jestkonieczne,abydlakażdejwiadomsci
elementarnejaizachodziłazależnsć
KP(ai)
=1,tzn.P(ai)=
K
1
(ż=1,...,K)
1
(1.5)
Oznaczato,żeentropiaźródłabezpamięciowegoosiągamaksimum,gdyprawdopo-
dobieństwawygenerowaniawiadomsciprzezźródłosąjednakowe.Odpowiadatosy-
tuacji,gdyniepewnsćobserwatoracodoprzyszłejwiadomscinawyjściuźródłajest
maksymalna—żadnazwiadomsciniejestbardziejprawdopodobna,niżpozostałe.
Rozpatrzmyobecnieprzypadekszczególny—źródłobezpamięcioweoalfabecie
dwuelementowymX={a1,a2}.Niechprawdopodobieństwowystąpieniawiadomsci
a1wynosiP(a1)=p.Ponieważsumaprawdopodobieństwwygenerowaniawszystkich
wiadomscijestrównajednsci,zatemP(a2)=1−p=p.Stądentropiadlaźródła
bezpamięciowegoodwuelementowymalfabecie
H(X)=plog
1
p
+plog
1
p
(1.6)