Treść książki

Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
24
Elementyteoriiinformacji
Twierdzenie1.1.Entropian-tegorozszerzeniaXnbezpamięciowegoźródłaXjest
równan-krotnejwielokrotnościentropiiH(X)źródłaX.
Dowód.EntropiaźródłaXnjestokreślonawzorem
H(Xn)=
Σ
j=1
Kn
P(bj)log
P(bj)
1
Ponieważjednakwiadomsćbjjestblokiemwiadomsciokreślonymzależnscią(1.8),
którejprawdopodobieństwojestdanewzorem(1.9),zatemwymieniająckolejnewiado-
msciprzezwybórcałegoblokuindeksów(j1,j2,...,jn)otrzymujemyn-krotnąsumę
H(Xn)=
j1=1
Σ
K
j2=1
Σ
K
...
j
Σ
n=1
K
P(aj
1)i...iP(aj
n)log
P(aj
1)i...iP(aj
1
n)
(1.10)
Wiedząc,żelogarytmiloczynuczynnikówjestrównysumielogarytmówposzczegól-
nychczynników,wzór(1.10)możnaprzedstawićwpostaci
H(Xn)=
j1=1
Σ
K
j2=1
Σ
K
...
j
Σ
n=1
K
P(aj
1)i...iP(aj
n)log
P(aj
1
1)
+...+
+
j1=1
Σ
K
j2=1
Σ
K
...
j
Σ
n=1
K
P(aj
1)i...iP(aj
n)log
P(aj
1
n)
(1.11)
Rozpatrzmyjakoprzykładpojedynczyskładnikwzoru(1.11),wktórymargumentem
logarytmujest1/P(aj
1).Wyłączającprzedodpowiedniesumyposzczególneczynniki
niezależąceodindeksu,względemktóregoodbywasięsumowanie,otrzymujemy
j1=1
Σ
j2=1
Σ
K
...
j
Σ
n=1
K
P(aj
1)i...iP(aj
n)log
P(aj
1
1)
=
K
=
j1=1
Σ
K
P(aj
1)log
P(aj
1
1)
j2=1
Σ
K
P(aj
2)...
j
Σ
n=1
K
P(aj
n)
Wiedzączkolei,żesumaprawdopodobieństwwiadomscielementarnychźródłaXjest
równajednsci,otrzymujemynastępującązależnsćdlapowyższegoskładnika
j1=1
Σ
j2=1
Σ
K
...
j
Σ
n=1
K
P(aj
1)i...iP(aj
n)log
P(aj
1
1)
=
K
=
j1=1
Σ
K
P(aj
1)log
P(aj
1
1)
=H(X)
(1.12)
Postępującpodobniedlakażdegozpozostałychn−1składnikówotrzymujemyanalo-
gicznywynikrównyentropiiH(X).Sumującrezultatyotrzymujemytezętwierdzenia:
awięczależnsć
H(Xn)=nH(X)
(1.13)