Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
ROZDZIAŁ3
lubekwiwalentnie:
px(x)=py(g(x))
|
|
|
|
∂g(x)
∂x
|
|
|
|
.
(3.46)
Przywiększejwymiarowościpochodnauogólniawyznacznik
macierzy
Jacobiego
–macierzyprzy
Jź,j
=
∂xż
∂yj
.Stąddlawektorów
x
i
y
owar-
tościachrzeczywistych:
px(x)=py(g(x))
|
|
|
|
det(
∂g(x)
∂x)
|
|
|
|
.
(3.47)
3.13.Teoriainformacji
Teoriainformacjitogałąźmatematykistosowanej,któraobracasięwokół
określenia,ileinformacjiznajdujesięwsygnale.Powstaławceluanalizy
wysyłaniakomunikatówwdyskretnychalfabetachprzezkanałpełenszumów,
jaktransmisjeradiowe.Wtymkontekścieteoriainformacjimówi,jakza-
projektowaćoptymalnekodyiwyznaczyćoczekiwanądługośćkomunikatów
próbkowanychwedługspecjalnychrozkładówprawdopodobieństwazapo-
mocąróżnychschematówkodowania.Wkontekściesystemówuczącychsię
możemyzastosowaćteorięinformacjidozmiennychciągłych,wktórychnie
majązastosowanianiektóreztychinterpretacjidługościkomunikatu.Ta
dziedzinajestpodstawąwwieluobszarachelektrykiinaukkomputerowych.
Wksiążcekorzystamyzkilkukluczowychpojęćzteoriiinformacji,aby
scharakteryzowaćrozkładyprawdopodobieństwalubocenićpodobieństwa
międzyrozkładamiprawdopodobieństwa.Więcejszczegółównatematteorii
informacjimożnaznaleźćwCoverandThomas(2006)lubMacKay(2003).
Intuicyjnierozumiemyteorięinformacjitak,żewiedzaotym,iżzaszło
małoprawdopodobnezdarzenie,niesiewięcejinformacjiniżto,żezaszłozda-
rzenieprawdopodobne.Komunikatmówiącyndziśwzeszłosłońce”niesietak
małoinformacji,żeniewartogowysyłać,natomiastkomunikatndziśrano
byłozaćmieniesłońca”madużązawartośćinformacyjną.
Wartookreślićilościowoinformacjetak,abysformalizowaćtointuicyjne
podejście.
•
Zdarzeniaprawdopodobnepowinnymiećmałązawartośćinformacyj-
ną,awskrajnychprzypadkachzdarzenia,którenapewnozajdą,nie
powinnymiećjakiejkolwiekzawartościinformacyjnej.
•
Zdarzeniamniejprawdopodobnepowinnymiećwyższązawartośćinfor-
macyjną.
•
Zdarzenianiezależnepowinnybyćinformacyjnieaddytywne.Naprzy-
kładstwierdzenie,żerzutmonetądałdwarazyorła,powinnozawierać
dwarazywięcejinformacjiniżstwierdzenie,żeorzełwypadłtylkoraz.
70
