Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
2.TEORIAINFORMACJI
wprowadzonawcześniejentropiaźródłainformacji,mierzącaśredniąilośćinformacjiźródła.
Zanimzdefiniujemyodpowiedniepojęcie,zastanówmysię,czegomiarąmogłabybyć
różnicamiędzyśredniądługościąkodowaniaaentropią.Mierzyonanadmiarowośćkodo
-
waniawstosunkudoniezbędnejinformacji.Jeżelibowiem(jakwewcześniejszymprzy-
kładziezczteremakodowaniami)możnatosamozakodowaćwiększąilościąznaków,to
mamydoczynieniazkodowaniemnadmiarowym,awięczbędnym.Powyższerozważania
prowadząwprostdoogólnegopojęciaredundancji(wnaszymkontekście-redundancji
kodowaniaźródłainformacji).
Przydanymźródleinformacjiorazdanymkodowaniuredundancjąkodowaniaźródła
informacji(oznaczanąprzezR)nazywaćbędziemyróżnicęmiędzyśredniądługością
kodowaniaaentropiąźródła,czyliwartość:
R=L-H.
Wracającdoprzykładuczterechróżnychkodowań,wyznaczmyentropięwynoszącą:
H
±
1
2
|
log2
2
+|
1
4
log4
2
+|
1
8
log82
2
+X
16
1
|
log16
2
±
±
1
2
|+|+|+
1
1
4
2
1
8
3
16
2
|±
4
8868
+++
16
±
16
30
.
Tymsamymredundancje(zpominięciemkodowaniadrugiego,niespełniającego
warunkuFano)będąwynosiły:
R
R
R
1
3
4
±
±
±
L
L
L
1
3
4
-
-
-
H
H
H
±
±
±
16
48
16
30
16
34
-
-
-
30
16
16
16
30
30
±
±
±
9
8
2
8
0!!!
Zgodniezintuicjąiwartościamiśredniejdługościkodowaniapierwszekodowaniejest
najbardziejprzegadane,trzecieniecomniej,aczwartenietylkonajmniejprzegadane,ale
nawetokazujesięoptymalne-bezmożliwościznalezienialepszego.
Nakoniecporównajmyprzykładowekodowanieźródłaoczterechkomunikatachze
średniądługościąkodowaniawynoszącą30/16zpowyższymoptymalnymkodowaniem.
Entropiawynosi:
H
±|
1
2
log2
2
+|
1
4
log42
2
+X|
1
8
log8
2
±±|+|+|±
1
2
1
1
4
2
2
8
3
446
++
8
±
7
4
.
Jakwidać,mimorównejśredniejdługościkodowaniaimniejszejliczbykomunikatów,
zracjiinnejentropiipodanekodowaniejestistotniekosztowniejsze.
28
