Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
2.TEORIAINFORMACJI
Zamieszczonekodowaniamająswojewadyizalety.Zaletąpierwszegojestrówność
kodów,alenapewnojestonokosztowniejszewużytkowaniuwstosunkudokodowań
drugiegoitrzeciego,ponieważoperujedłuższymikodami,bezpośrednioimplikującwięk-
szekosztyprzekazu.Zkoleiczwartekodowanieoperujejednocześniekodamiwyjątkowo
krótkimiibardzodługimi,powodująctrudnośćjednoznacznejoceny.Dlategowróćmydo
pytaniazpoczątkupodrozdziału:jakjednoznacznieocenićkodowaniazpunktuwidzenia
długościkodów(kosztówstosowania)?
Napoczątkuspróbujmyuzyskaćjednoznacznąmiarędługościkodowania.Sumadłu-
gościkodówmogłabybyćkryterium,aleróżnicującjedyniekodyojednakowejliczbie
komunikatów(jakwszczególnympowyższymprzykładzie),niestanowidobregokryte-
rium.Naturalnymkryteriummogłabybyćśredniaarytmetycznadługościkodów,zauważ-
myjednak,żewwynikuróżnychprawdopodobieństwjednekomunikaty(kody)będąsię
pojawiaćczęściej,ainnerzadziej.Powyższerozważaniaskłaniajądowprowadzeniamiary
długościkodowania,będącejważonąśredniąarytmetycznądługościkodówzwagami
prawdopodobieństw,nazywanejśredniądługościąkodowania.
Dlaźródłainformacjiobejmującegonkomunikatówoprawdopodobieństwachp
1
,…,p
n,
kodowanychciągamiznakówodługościachodpowiedniol
1
,…,l
n,
średniądługość
kodowania(oznaczanąL)określaformuła:
L
±
Σ
i
n
±
1
pl
ii
.
Wuzupełnieniuwyznaczmyśredniedługościkodowaniaczterechprzykładowych
kodowań.Otrzymamy:
L
1
±
1
2
|+
3
1
4
|+|+
3
1
8
3
16
1
|+
3
16
1
|±±
33
16
48
L
2
±
1
2
|+
2
1
4
|+|+
2
1
8
2
16
1
|+
2
16
1
|±
3
168423
++++
16
±
16
33
L
3
±
1
2
|+
2
1
4
|+|+
2
1
8
2
16
1
|+
3
16
1
|±
3
168433
++++
16
±
16
34
L
4
±
1
2
|+
1
1
4
|+|+
2
1
8
3
16
1
|+
4
16
1
|±
4
88644
++++
16
±
16
30
Kodowaniepierwsze,zgodniezintuicją,okazałosięnajbardziejrozrzutne,kodowa-
niadrugieitrzeciesąznacznieoszczędniejsze,anajoszczędniejszeokazałosiękodowanie
czwarte(zapewneniecozaskakująco).
Wczymtkwiistotaoszczędnościkodowaniaczwartego?Byodpowiedziećnatopyta-
nie,zwróćmyuwagęnazwiązekdługościkodówzprawdopodobieństwem.Częstekomu-
nikatypowinnymiećmożliwienajkrótszekody,ponieważzracjiwysokiegoprawdo-
podobieństwanajwięcejoszczędzamynakrótkościkodu.Natomiastdlakomunikatów
pojawiającychsięrzadkomożemydopuścićdłuższekody,ponieważwadadługościjest
26
