Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
2.TEORIAINFORMACJI
1.JeżeliP(A)=1,toH(A)=0.
Zdarzeniepewne(wiadomo,żenastąpilubjużnastąpiło)niewnosiżadnejinfor-
macji-właśniezracjipewnościjegozajścia.
2.JeżeliP(A)<P(B),toH(A)>H(B).
Matematyczniewyrażonaiopisanawcześniejintuicyjnieodwrotnazależnośćmię-
dzyprawdopodobieństwemaniepewnością.Zdarzeniamałoprawdopodobneniosą
większąniepewność(więcejinformacji),podczasgdyzdarzeniabardziejprawdo-
podobneniosąmniejsząniepewność(mniejinformacji).
3.JeżelizdarzeniaAorazBsązdarzeniaminiezależnymi,to:
HAB
(
m
)
±
HA
()
+
HB
()
.
Powyższarównośćwymykasięprostejintuicji,poprzestaniemyzatemnaprzybliżonym
uzasadnieniu,woderwaniuodwartościprawdopodobieństwa.Rozważmydwazdarzenia
(zbioryzdarzeńelementarnych)wrazztowarzyszącymiimniepewnościami,załóżmyich
niezależność(nawetwpotocznymrozumieniu)irozpatrzmyzdarzeniebędąceichmno-
gościowymiloczynem(nienależyprzytymulegaćpułapceutożsamianianiezależności
zrozłącznościąorazpułapceutożsamianiaczęściwspólnejzjednoczesnościąlubwspól-
nościązachodzeniaobuzdarzeń).Jeżeliwspólnezdarzeniezależyodobuwyjściowych
zdarzeń,naturalnewydajesię,żenaniepewnośćwspólnegozdarzeniamająwpływnie-
pewnościobuzdarzeńskładowych.Zniezależnościzdarzeńwynika,żeniepewnośćzda-
rzeniawspólnegomusibyćsumąniepewnościzdarzeńskładowych.
Teoriainformacjizawierajeszczewieleinnychinteresującychwłasności,alepoprze-
staniemynapowyższych,niecoarbitralnieuznającjezanajistotniejsze.
Powyższewłasnościmiaryinformacji(miaryniepewności),opisującróżnorodne
jejzależności,niepodająsamejmiarywrozumieniuwartościliczbowej.Okazujesię,
żeodpowiedniewłaściwościokreślenialiczbowejmiaryinformacjiposiadakażdafunk-
cjalogarytmicznaopodstawiewiększejodjedności,zodwrotnościprawdopodobieństwa
wystąpieniazdarzenia.Tymsamymmożemyzdefiniować:
LiczbowąmiaręilościinformacjizdarzeniaAoprawdopodobieństwiewystąpienia
P(A)wynoszącympokreślaformuła:
HA
()log
±
b
1
p
,gdzie
PA
()±
p
,
b
>
1
.
Zauważmy,żejeżeliP(A)=1,to
HA
()log
±
b
1
1
±
0
,
czylispełnionajestpierwszazpodanychwłasnościmiaryinformacji.Ponadtojeżeli
prawdopodobieństwazdarzeńAorazBwynosząodpowiednioP(A)=p
A
orazP(B)=p
B
ijednocześnie
p
A
<
p
B
,wtedy
p
1
A
>
p
1
B
(zracjidodatniejwartościprawdopodobieństw),
20
