Treść książki

Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
Źródławiadomościiichkodowanie
21
Rys.1.3.Wykresyfunkcjilnxorazx−1
Własnsć1.1.EntropiaH(X)źródłabezpamięciowegoXjestnieujemna.
Dowód.PonieważdlakażdejwiadomościelementarnejźródłaXzachodziza-
leżność
1≥P(ai)>0,
(ż=1,...,K)
więcdlakażdejwiadomości
log
P(ai)
1
≥0
zczegowynika,żerównieżważonasumapowyższychlogarytmówjestnieujemna,tzn.
Σ
i=1
K
P(ai)log
P(ai)
1
≥0
Łatwomożemysprawdzić,żeentropiajestzerowa,czyliosiągaswojeminimum
tylkowtedy,gdypewnawiadomsćajzalfabetuźródłaXjestpewna(tzn.P(aj)=1).
Pociągatozasobąfakt,żetylkoonamożebyćprzezźródłowygenerowanaialfabet
źródłaredukujesiędopojedynczejwiadomości,dlaktórejilsćinformacjiuzyskana
przezjejobserwacjęnawyjściuźródłajestzerowa—naszaniepewnsćcodowyboru
wiadomsciwygenerowanejprzezźródłownastępnejchwilijestzerowa.
Własnsć1.2.Entropiaźródłanieprzekraczawartościlogarytmuliczbywiadomości
elementarnychtworzącychjegoalfabet,tzn.
H(X)≤logK
(1.3)
Dowód.Pokażemy,żeH(X)−logK≤0,korzystajączzależnscipozwalającej
naobliczanielogarytmówopożądanejpodstawiemającwartscilogarytmówoinnej
podstawie
logrx=
logox
logor
(1.4)