Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
Źródławiadomościiichkodowanie
Wiedząc,że
P(xi,xi11)=P(xi|xi11)P(xi11)
napodstawie(1.18)możnanapisać
Σ
xz
xz
Σ
11
P(xi,xi11)log
P(xi|xi11)
P(xi)
≤0
azatem
Σ
xz
xz
Σ
11
P(xi,xi11)(log
P(xi|xi11)
1
−log
P(xi))≤0,
1
zczegowynika,że
Σ
xz
xz
Σ
11
P(xi,xi11)log
P(xi|xi11)
1
≤Σ
xz
xz
Σ
11
P(xi,xi11)log
P(xi)
1
31
(1.19)
Takwięclewastronanierównsci,będącapraktycznieentropiąźródłaciągówMar-
kowa,jestograniczonaodgóryprzezwyrażenie
Σ
xz
xz
Σ
11
P(xi,xi11)log
P(xi)
1
=Σ
xz
log
P(xi)Σ
1
xz
11
P(xi,xi11)=
=Σ
xz
P(xi)log
P(xi)
1
(1.20)
Skorzystaliśmybowiemzfaktu,że
xz
Σ
11
P(xi,xi11)=P(xi)
Takwięcnapodstawie(1.19)oraz(1.20)otrzymujemyoszacowanie
H(X)≤H(X)
(1.21)
Zastanówmysięjeszcze,kiedyentropiaźródłaciągówMarkowaosiągaswojemak-
simumrówneH(X)?Należyrozpatrzećsytuację,wktórejoszacowanie(1.17)jest
spełnionecodorównsci.Łatwomożnazauważyć,żematomiejscewtedy,kiedy
P(xi,xi11)=P(xi)P(xi11)
Oznaczatojednak,żewiadomscigenerowanewposzczególnychchwilachsąwzględem
siebiestatystycznieniezależne,awięcźródłoMarkowatraciswojąpamięćiprzestaje
nimwpraktycebyć—stajesięźródłembezpamięciowym.
NaszerozważaniałatwomożnauogólnićnaźródłociągówMarkowam-tego
rzędu.Wystarczybowiemzamienićpojedyncząwiadomsćxi11zchwili(ż−1)-szej
nacałyichciąg(xi11,...
,xi1m).
Podobniejakdlaźródłabezpamięciowegomożnarozpatrywaćrównieżrozsze-
rzeniaźródłaMarkowa.Niebędziemyjednakzajmowaćsiętymzagadnieniem,bowiem,
przynajmniejwtejksiążce,niebędzieonodalejwykorzystywane.
