Treść książki

Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
Źródławiadomościiichkodowanie
19
•obserwacjadwóchwiadomsciwystępującychstatystycznieniezależnieodsiebie
powinnasięwiązaćzilsciąinformacji,którajestsumąilsciinformacjiuzyskanej
przezodbiórkażdejzwiadomsci.
PowyższewarunkispełniadefinicjamiaryilsciinformacjipodanaprzezHartley’a.
Definicja1.2.Niechabędziewiadomością,którajestwysyłanaprzezźródłowiado-
mościzprawdopodobieństwemP(a).Mówimy,żewrazzobserwacjąwiadomościa,
odbiorcajejuzyskuje
I(a)=logr
P(a)
1
jednostekilościinformacji.
(1.1)
Wteoriiinformacjinajczęściejpodstawąlogarytmujestliczba2.Wtedyjed-
nostkąinformacjijestbit2).Przyjęciepodstawylogarytmuwewzorze(1.1)r=6
oznaczaokreśleniejednostkiilsciinformacjijakonat,natomiastprzyjęcier=10
dajejednostkęilsciinformacjiokreślanąjakoHartley.Jednostektychniebędziemy
jednakdalejstosować,pozostającprzypodstawielogarytmur=2.Zatemstosując
symbollogarytmubędziemywtymrozdzialemielinamyślilogarytmopodstawie2.
Powyżejwprowadzonądefinicjęilsciinformacjinależynakoniecuzupełnić
odwieuwagi.
•Uzyskaniepewnejilsciinformacjiprzezzaobserwowanienawyjściuźródłaokre-
ślonejwiadomsciwiążesięzestochastycznymcharakteremźródławiadomsci—
wiadomscisąprzezniegenerowanezokreślonymprawdopodobieństwem.
•Wiadomsćpewna,charakteryzującasięprawdopodobieństwemwystąpieniarów-
nymjedności,nieniesiezesobąinformacji—wtymprzypadkuI(a)=0.
1.5.Źródławiadomsciiichkodowanie
Wniniejszymparagrafieskoncentrujemyuwagęnaopisieźródełwiadomsci.Przedsta-
wimyichpodstawowemodeleiwyznaczymydlanichtypoweparametry.Zdefiniujemy
pojęcieentropiiorazentropiiwarunkowej.Podamyrównieżpodstawowezasadyko-
dowaniaźródłaijegograniczneparametry.ZdefiniujemytwierdzenieShannonaoko-
dowaniuźródła.Przedstawimyrównieżkilkaważnychalgorytmówkodowaniaźródła
stosowanychwpraktycetelekomunikacyjnejiinformatycznej.
1.5.1.Modeleźródełwiadomscidyskretnych
Jakjużwspomniano,źródłowiadomscimacharakterstochastyczny.Stosująsięwięc
doniegometodyopisusygnałówlubłańcuchówlosowych.Itak,ciągwiadomsci
zaobserwowanynawyjściuźródłajestkonkretnąrealizacjąprocesulubłańcuchaloso-
wego.Źródłogenerujewiadomsci,wybierającjezezbioruwiadomościelementarnych
zwanegorównieżalfabetemźródławiadomsci.Wogólnscialfabetmożemiećcharak-
terciągłylubdyskretny.Wpierwszymprzypadkuwdowolniebliskim„sąsiedztwie”
2)Nienależymylićbitubędącegojednostkąilościinformacjizbitemokreślającymsymbolbinarny
przyjmującydwiemożliwewartsci„0”i„1”.