Treść książki

Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
Źródławiadomościiichkodowanie
23
Rys.1.4.Wykresfunkcjientropiiwzależnościodprawdopodobieństwap
Jakwidać,entropiaH(X)jestfunkcjąprawdopodobieństwap.Wzwiązkuztym
definiujesiętzw.funkcjęentropiiprzydatnąwdalszychrozważaniachiokreśloną
wzorem
H(p)=plog
1
p
+plog
1
p
(1.7)
Wykresfunkcjientropiiprzedstawiononarys.1.4.Funkcjamazoczywistchpowodów
(jejargumentmasensprawdopodobieństwa)zakresargumentuzawartywprzedziale
(0,1).Natomiastwartscifunkcjiwystępująwprzedziale(0,1],osiągającmaksimum
dlap=0,5,cojestzgodnezzależnscią(1.5).
1.5.3.Rozszerzenieźródłabezpamięciowego
Modeldyskretnegoźródłabezpamięciowegojestnajprostszymprzypadkiem.Nieco
bardziejzłożonasystuacjawystępujewtedy,kiedynp.n-elementowyblokkolejno
wygenerowanychwiadomscizbezpamięciowegoźródłaXjestpotraktowanyłącznie
jakopojedynczawiadomsćnowegoźródła,zwanegon-tymrozszerzeniemźródłaX.
Podamyterazjegoformalnądefinicję.
Definicja1.5.NiechbędziedaneźródłobezpamięcioweXokreśloneprzezalfabetX=
={a1,...,aK}orazstowarzyszonyznimrozkładprawdopodobieństwawiadomości
elementarnych{P(a1),...
,P(aK)};n-tymrozszerzeniemźródłaXjestbezpamięciowe
źródłoXn,którejestscharakteryzowaneprzezzbiórwiadomościelementarnych{b1,...,
bKn}orazrozkładichprawdopodobieństw{P(b1),...
,P(bKn)},przyczymwiadomość
bj,(j=1,...,Kn)jestokreślonaprzezblokwiadomościzeźródłaX
bj=(aj
1,aj
2,...,aj
n),
(1.8)
gdzieindeksji(ż=1,...
,n)możeprzyjmowaćwartościzprzedziału(1,...,K),na-
tomiastprawdopodobieństwowystąpieniawiadomościbjwynosi
P(bj)=P(aj
1)iP(aj
2)i...iP(aj
n)
(1.9)
Liczbawiadomscin-tegorozszerzeniaźródłaXnjestrównaKnnatomiast
nowymiwiadomsciamisąn-elementowekombinacjewszystkichwiadomsciźródła
pierwotnegoX.
Wyznaczmyentropiętakokreślonegorozszerzeniaźródła.Wartsćentropii
określanastępującetwierdzenie.