Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
2.1.MIARAINFORMACJI
awkonsekwencji
log
b
p
1
A
>
log
b
p
1
B
(zracjirosnącejmonotonicznościużytejfunkcji
logarytmicznej).
Ostatecznieotrzymujemy:
H(A)>H(B),
cooznaczadrugązpodanychwłasnościmiaryinformacji.Dodatkowoprzyniezależności
zdarzeńAorazBzdefinicjizdarzeńniezależnychwynika:
PAB
(
m
)
±
p
A
|
p
B
,
zatem:
HAB
(
m
)log
±
b
p
A
1
|
p
B
.
Zkoleizwłasnościfunkcjilogarytmicznejmamy:
log
b
p
A
1
|
p
B
±
log
b
p
1
A
|
p
1
B
±
log
b
p
1
A
+
log
b
p
1
B
.
Wkonsekwencji:
HAB
(
m
)log
±
b
p
1
A
+
log
b
p
1
B
±
HA
()
+
HB
()
,
cooznaczaspełnianietrzeciejzwymienionychwłasnościmiaryinformacji.
Wprowadzonywzórokreślającymiaręinformacjizależywyłącznieodprawdopodo-
bieństwa,będącegoponadtozawszeliczbązprzedziałujednostkowego.Dlategowygod-
niejszewużyciujestoperowaniewyłącznieprawdopodobieństwemdlaokreśleniailości
informacji;wdalszychdziałaniachposługiwaćsiębędziemyprostymprzetworzeniem
wprowadzonegowzoru.Wzastępstwiepodzbiorówzbioruzdarzeńelementarnychdzie-
dzinąbędziezbiórwartościfunkcjiprawdopodobieństwaitylkonapodstawiewartości
prawdopodobieństwabędziemyokreślaćilośćinformacji.
Ilośćinformacji(oznaczanaprzezI)oprawdopodobieństwiewystąpieniawynoszą-
cympokreślafunkcjadanawzorem:
Ip
()log
±
b
1
p
,gdzie
b
>
1
.
Jednostkimiaryinformacji
Wprowadzonewzorymiaryinformacjidopuszczajądowolnośćokreśleniapodstawy
logarytmu.Reczjasna,nieistniejekoniecznośćogólnegoustaleniaowejpodstawyimożna
nawetkażdorazowoprzyjąćinnąjejwartość;wystarczyjedyniepamiętaćoniemieszaniu
wartościpodstawwramachjednejdziałalności.Jednakpraktyka,inżynieria,anawetteoria
21
