Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
2.TEORIAINFORMACJI
iustalającwtensposóbkryteriumjakościowe.Lepszym(bardziejwiarygodnym)źródłem
informacjijestźródłoowiększejentropii.
Dlawzmocnieniaintuicjirozważmydwaźródłainformacjizpewnąanalogiądośrod-
kówmasowegoprzekazu.Pierwszeźródło(wpotocznymrozumieniu„poważne”)nie
gonizasensacją(sprawdzauważnienieprawdopodobneinformacjeażczasamiprzestają
byćonesensacjami),czyliniepublikujezdarzeńoskrajnieniskimprawdopodobieństwie
(bardzointeresujących).Zarazempierwszeźródłoniepublikujerzeczyoczywistych(dla
sztucznegozapełnieniałamówtreścią),alewyłącznierzeczycośwnoszące(wnaszym
przypadkuomijającezdarzeniaodużymprawdopodobieństwie).Dlaułatwieniaprzyj-
mijmy,żepierwszeźródłodysponujeośmiomazdarzeniamiorównychprawdopodobień-
stwachwynoszących
1
8
(byćmożejestźródłembezsensacji,alezarazembezbzdur).
Entropiapierwszegoźródławynosi:
H
1
±
Σ
i
±
8
1
1
8
log
2
11
1
8
±
8
Σ
i
±
8
1
log8
2
±
1
8
(83)3
X
±±
96
32
.
Rozpatrzmyterazdrugieźródłoinformacji,równieżdysponująceośmiomazdarzeniami
oprawdopodobieństwach
1
4
,
1
4
,
1
4
,
1
8
,
16
1
,
32
1
,
64
1
,
64
1
.Widzimy,żetrzyzdarzenia
dająmałoinformacji,jednakdwainnesąprawdziwymisensacjamizuwaginaichniskie
prawdopodobieństwo.Tymsamymdrugieźródłowydajesięniecotabloidyzujące.Entro-
piadrugiegoźródławynosi:
H
2
±X|
3
1
4
log4
2
+|
1
8
log8
2
+
16
1
|
log16
2
+
32
1
|
log322
2
+X
64
1
|
log64
2
±
±
3
4
|+|+
2
1
8
3
16
1
|+
4
32
1
|+
5
64
2
|±
6
4812856
+
+++
32
±
79
32
.
Łatwozauważyć,żezracjiwiększejwartościentropiipierwszeźródłoinformacji,
mniejsensacyjne,alerzetelne,jestbardziejwiarygodneniżźródłoinformacjigoniące
zasensacjami.
2.3.Kodowaniekomunikatów
Dotychczasowerozważaniadotyczyłymiaryinformacjipojedynczegozdarzeniaorazmiary
informacjicałegoźródła,czylientropii.Jednakdoprzekazywaniainformacji(niezależnie
odjejmiary)trzebawykorzystywaćjakieśśrodkikomunikacji(ludzkąmowę,gesty,środki
techniczneiinne),którechoćbyzpowodówpraktycznych(arównieżteoretycznych)nie
sąwstaniedziałaćinaczej,niżodbierającbodźcezpewnegoograniczonegozbioru.Tym
samymkażdaprzekazywanainformacjamusizostaćsprowadzonadopostaciciągubodź-
cówmożliwychdoodebraniaprzezodbiorcęinformacji.Całyprocesmożnawykonaćna
24
