Treść książki

Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
14
Elementyteoriiinformacji
Wprowadzonopojęcieentropiiźródła.Zkoleiskoncentrowanouwagęnametodachko-
dowaniaźródłowego.PrzedstawionotwierdzenieShannonaokodowaniuźródłowym,
rozpatrzonorównieżmetodykodowaniacyfrowegoźródełanalogowychtypowedlako-
dowaniamowy,sygnałuakustycznegoorazwizyjnego.Podanozasadędziałaniakilku
algorytmówkompresjidanychstosowanychwpraktyce,stanowiącychprzykładyme-
todkodowaniaźródłowego.
Kolejnyparagrafzostałpswięconydyskretnymkanałombezpamięciowym,ich
opisowiimodelom.Wzastosowaniudotransmisjiwiadomsciprzezkanałbezpamię-
ciowywprowadzonopojęcieśredniejilsciinformacjiwzajemnejiprzepustowscika-
nału.Zdefiniowanopojęcieregułydecyzyjnejiwyprowadzonokilkapodstawowych
regułdecyzyjnych.ZkoleiprzedstawionopodstawowetwierdzenieShannona,doty-
czącewarunkówniezawodnejtransmisjiwiadomsciprzezkanaływprowadzająceza-
kłócenia,któreuzasadniasenszastosowaniakodowaniakorekcyjnego.Skoncentrowano
sięrównieżnazastosowaniuwprowadzonegopojęciaentropiiróżnicowejiśredniejilo-
ściinformacjiwzajemnejdlazmiennejlosowejciągłej.Uzyskanerezultatyrozważań
zastosowanodowyprowadzeniawzorunaprzepustowsćkanałuciągłegooograniczo-
nympasmieizakłócanegoprzezaddytywnybiałyszumgaussowski.Podanoprzykłady
praktycznegoznaczeniapowyższejzależnsci.
1.2.Pojęciapodstawowe
Możesiętowydaćniezwykłe,alepodwalinyteoriiinformacjizostałyprzedstawione
wjednym,liczącymokołoczterdziestustron,artykulenaukowymmłodegowówczas
ClaudaShannona[97].Odtegoczasunaukatarozwijałasięniezwykleszybko,dając
teoretycznepodstawydlarozwijającejsięwrazzpostępamielektronikitelekomunika-
cji.Teorięinformacjitraktowanorównieżjakonarzędziedoopisudalekichodtechniki
zjawiskiwykorzystywanowinnychdziedzinachnauki,zróżnymzresztąpowodzeniem.
Shannonniebyłpierwszymnaukowcem,któryzapoczątkowałtęnowądys-
cyplinęnaukową.Pierwszejejelementymożnaznaleźćjużwlatachdwudziestych.
H.Nyquist,wswoimartykulept.„Opewnychczynnikachwpływającychnaszybkość
telegrafowania”[82]opublikowanymw1924roku,sformułowałtwierdzenieowyma-
ganejczęstotliwscipróbkowaniasygnałuoograniczonympasmie.Psredniowskazał
więc,żeczaswsystemietelekomunikacyjnymkorzystającymzograniczonegopasma
mawłaściwiecharakterdyskretny.Wystarczybowiemznaćwartscisygnałuwod-
powiedniogęstorozmieszczonychchwilachczasu,abyposiąśćwiedzęocałymsygnale
analogowym.
KolejnegowkładudotejdziedzinynaukidokonałR.V.L.Hartley,którywswo-
jejpracyz1928rokupt.„Transmisjainformacji”[43]zaproponowałpowiązanieza-
wartsciinformacyjnejwiadomscizlogarytmemliczbywszystkichwiadomsci,które
mogąbyćzaobserwowanenawyjściuźródłajegenerującego.
ZasadniczegoprzełomudokonałjednakwspomnianywyżejClaudeShannon
[97],przedstawiającw1948rokupracępt.„Matematycznateoriakomunikacji”.Uwa-
żasię,żezawartsćtejpracyjesttakdoniosła,żewielepracpowstałychodtegoczasu
stanowijedynieuzupełnieniewiedzyzawartejwtymartykule.
Czymwięcjestteoriainformacji?Czymsięzajmujedziedzinajejpokrewna—
teoriakodowania?