Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
PRAWDOPODOBIEŃSTWOITEORIAINFORMACJI
Abyspełnićtetrzywłaściwości/własności,definiujemy
własnąinfor-
macjęzdarzeniax=xjako:
I(x)=−logP(x).
(3.48)
Wtejksiążce
log
zawszeoznaczalogarytmnaturalny,czyliopodstawiee.Nasza
definicja
I
(
x
)jestwięczapisanawjednostkachnat.Jedennattoilośćinformacji
uzyskanaprzezzaobserwowaniezdarzeniaoprawdopodobieństwie
1
e
.Winnych
tekstachużywanesąlogarytmyopodstawie2orazjednostkinazywane
bitami
(wliteraturzeanglosaskiejczasemwystępująjako
shannon
);informacja
mierzonawbitachstanowiprzeskalowanieinformacjimierzonejwnatach.
Gdy
x
jestciągłe,toprzezanalogięużywamytejsamejdefinicjiinfor-
macji,aleniektórewłaściwościwprzypadkudyskretnymzostajązagubione.
Naprzykładzdarzenieojednostkowejgęstościmanadalzerowąinformację,
choćniejestzdarzeniem,którezdarzysięnapewno.
Informacjewłasnedotyczątylkopojedynczegowyniku.Możemyocenićilo-
ściowopoziomniepewnościcałegorozkładuprawdopodobieństwazapomocą
entropiiShannona:
H(x)=Ex∼P[I(x)]=−Ex∼P[logP(x)]j
(3.49)
oznaczanejtakżejako
H
(
P
).Innymisłowy,entropiaShannonarozkładuto
oczekiwanailośćinformacjiwzdarzeniulosowanymztegorozkładu.Daje
dolnągranicęliczbybitów(jeślilogarytmmapodstawę2,winnymprzypadku
jednostkisąinne)potrzebnąśredniodozakodowaniasymboliwylosowanych
zrozkładu
P
.Rozkłady,któresąniemaldeterministyczne(gdziewynikjest
niemalpewny),mająniskąentropię;rozkładybliższerozkładujednostajnego
mająwysokąentropię.Pokazujetorysunek3.5.Gdy
x
jestciągłe,entropia
Shannonaokreślanajestjakoentropiaróżniczkowa.
Jeślimamydwaoddzielnerozkładyprawdopodobieństwa
P
(
x
)i
Q
(
x
)
względemtejsamejzmiennejlosowej
x
,możemyzmierzyć,nailesięone
różnią,zapomocądywergencjiKullbacka-Leiblera(KL):
DKL(P"Q)=Ex∼P[log
P(x)
Q(x)]=Ex∼P[logP(x)−logQ(x)].(3.50)
Wprzypadkuzmiennychdyskretnychmamydodatkowąilośćinforma-
cji(mierzonąwbitach,jeślistosujemylogarytmprzypodstawie2,choć
wsystemachuczącychsięstosujesięzwyklenatyilogarytmynaturalne),
potrzebnądowysłaniakomunikatuzawierającegosymbolewyprowadzone
zrozkładuprawdopodobieństwa
P
,gdykorzystamyzkoduopracowane-
gonapotrzebyminimalizacjidługościkomunikatunapodstawierozkładu
prawdopodobieństwaQ.
71
