Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
2.2.ENTROPIAŹRÓDŁAINFORMACJI
Mimożebitjestnajpowszechniejstosowanąpodstawowąjednostkąmiaryinformacji,
wwieluzastosowaniaspotkaćmożnainnejednostkipodstawowe.Wzaawansowanychza-
gadnieniachmatematycznychzwiązanychzopisanądalejentropiąinformacjistosowana
jestjednostkaonazwienit,natlubnepit,określonawzorem:
Ip
()log
±
e
1
p
±
ln
1
p
,
akryptografiaistatystykawykorzystujejednostkęzwanądit,banlubhartley,określoną
wzorem:
Ip
()log
±
10
p
1
±
log
1
p
.
2.2.Entropiaźródłainformacji
Źródłainformacjiróżniąsięliczbązdarzeńelementarnychlubukłademprawdopodobieństw,
dlategozasadnewydajesięokreśleniekryteriumpozwalającegowartościowaćźródłain-
formacjimiędzysobą.Poszukiwanekryteriumbędzienosiłonazwęentropiiźródłainfor-
macji.Słowoentropiamożebyćwaktualnymkontekścieniecomylące,ponieważnaj-
powszechniejszerozumienieentropiizwiązanejestztermodynamiką(określającmiarę
nieuporządkowania),skądprzeniknęłodoznaczenianiemalpotocznegowrozumieniu
ogólnegonieuporządkowaniaczyteżkomplikacji.Wrozumieniuteoriiinformacjientropia
źródłainformacjiniemazwiązkówznieuporządkowaniemiintuicyjnieodzwierciedla
przeciętną(wpotocznymrozumieniu)ilośćinformacjiźródła.Przeciętnośćmogłabyozna-
czaćśredniąilośćinformacjizwiązanązpojedynczymzdarzeniemelementarnym(suge-
rującśredniąarytmetyczną),jednakżenależyuwzględnić,żeniekażdailośćinformacji
jestrównieprawdopodobna.
Powyższerozważaniaprowadządodefinicjientropiiźródłainformacjisformuło-
wanejnastępująco:
Źródłoinformacjidysponującenzdarzeniamielementarnymizprawdopodobieństwa-
mip
1
,…,p
n
maentropięźródłainformacji(oznaczanąprzezH)określonąformułą:
H
±
Σ
i
±
n
1
pIp
i
()
±
Σ
i
n
±
1
p
i
log
2
p
1
i
.
Łatwozauważyć,żepowyższywzórjestważonąśredniąarytmetycznąilości
informacji,zwagamiokreślonymipoprzezprawdopodobieństwa.
Jednązinspiracjidonapisaniaczytanegopodrozdziałubyłookreślenieprzeciętnejilości
informacjiźródłaorazkryteriumjakościowegopozwalającegoróżnicowaćźródłainfor-
macji.Intuicję„przeciętności”możnaniecorozszerzyć,traktującjąjakwiarygodność
23
