Treść książki

Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
20
Elementyteoriiinformacji
wiadomscielementarnejmożnaznaleźćzawszeinnąwiadomsćelementarną.Wprzy-
padkuźródładyskretnegowiadomscisąprzeliczalne,chociażbyćmożeichliczbajest
nieskończeniewielka.Źródłojestdyskretneiskończone,gdyjegoalfabetmaskończoną
liczbęwiadomscielementarnych.Obecniezajmiemysięmodelamiźródełdyskretnych,
pozostawiającproblematykęźródełciągłychdopóźniejszegorozpatrzenia.
1.5.2.Dyskretneźródłobezpamięciowe
Najprostszymmodelemźródłajestmodeldyskretnegoźródłabezpamięciowego.Pamięć
źródłaokreślamyjakostatystycznązależnsćkolejnogenerowanychwiadomsci.Źró-
dłonieposiadapamięci—jestbezpamięciowe,gdynieistniejestatystycznazależnsć
pomiędzygenerowanymiwiadomsciami.Oznaczato,żeprawdopodobieństwowyge-
nerowaniaokreślonejwiadomsciwdanejchwiliniezależyodtego,jakiewiadomsci
zostaływygenerowanewchwilachpoprzednich.Podajmywięcformalnądefinicjędys-
kretnegoźródłabezpamięciowego.
Definicja1.3.NiechdanybędzieskończonyidyskretnyzbiórX={a1,...,aK}wia-
domościelementarnychźródłaX.Zakładamy,żezbiórtenjestskończonyiniezmienny
wczasie.ŹródłoXjestdyskretneibezpamięciowe,gdyposzczególnewiadomościele-
mentarnesągenerowanestatystycznieniezależnieodsiebiezezbioruXwedługusta-
lonegorozkładuprawdopodobieństwa{P(a1),...,P(aK)}.
Chcąclepiejscharakteryzowaćwłasnscidyskretnegoźródłabezpamięciowego
podamyśredniąwartsćilsciinformacji,którąuzyskujemyprzezobserwacjęposzcze-
gólnejwiadomości.Jestwięctoważonasumailsciinformacjiuzyskanejprzezzaob-
serwowanienawyjściuźródłakolejnowszystkichwiadomscielementarnychzeźródła
oalfabecieX,gdziewagamiposzczególnychilsciinformacjisąprawdopodobieńtwa
wystąpieniaskojarzonychznimiwiadomsci.Wsensiematematycznymwielksćta
jestwartsciąoczekiwanąilsciinformacjiI(ai),oznaczanajestsymbolemH(X)ijest
nazywanaentropiąźródłaX.Formalizującobecnerozważaniapodamydefinicjęen-
tropiiźródłaX.
Definicja1.4.EntropiąźródłabezpamięciowegoXscharakteryzowanegoprzezalfa-
betX={a1,...,aK}iskojarzonyznimrozkładprawdopodobieństwa{P(a1),...,
P(aK)}nazywamyśredniąilośćinformacjiuzyskanejprzezobserwacjępojedynczej
wiadomościnawyjściuźródłaidanąwzorem
H(X)=E[I(ai)]=
Σ
i=1
K
P(ai)log
P(ai)
1
(1.2)
Ponieważentropiaźródłajestwartsciąoczekiwanąilsciinformacjiuzyskanej
przezobserwacjępojedynczejwiadomsci,jejmiarąjestrównieżbit.Podkreślając,
żedotyczytowłaśniepojedynczejwiadomsci,wielksćentropiipodajemywbitach
przypadającychnawiadomsć([bit/wiad.]).
Entropiaźródłacharakteryzujenasząniepewnsć,zjakąmożemyoszacować,
jakawiadomsćzostaniewygenerowanaprzezźródłownastępnej(lubdalszej)chwili.
Wartośćentropiiwynikazpostacirozkładuprawdopodobieństwaposzczególnychwia-
domscielementarnych.Ilustrujątowłasnscientropiiprzedstawionedalej.