Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
2.Teoriainformacji
TwórcąprezentowanejwtymrozdzialeteoriijestClaudeE.Shannon
11
.Samateorianazy-
wanajestilościowąteoriąinformacjiimimożeniejestjedyna(znanajestnaprzykład
jakościowateoriainformacji),pozostajenajpowszechniejuznawana.
2.1.Miarainformacji
Wpoprzednimrozdzialeokreśliliśmynajważniejsząwłasnośćinformacji,sprowadzającą
siędozmniejszenianiepewności.Jednakwspomnianeokreślenieodzwierciedlawyłącznie
faktzmniejszenianiepewności,niewnikającwrelacjeilościowe.Mówiącinaczej,jeżeli
zachodządwazdarzenianiosąceinformację(awięczmniejszająceniepewność),wartozadać
pytanie,którezdarzeniedajewięcejinformacji,aktóremniej.
IntuicyjnerozumienieilościinformacjioddajesłynnezdanieprzypisywaneMarkowiTwa-
inowi:Wiadomość,żepiespogryzłczłowieka,tożadnawiadomość.Alewiadomość,żeczło-
wiekpogryzłpsa,tojestdopierowiadomość.Mówiącbardziejformalnie:jeżelizdarzeniejest
częste,tojegozachodzenienieniesiezbytwieleinformacji(niebudzizainteresowania),nato-
miastzajściezdarzeniarzadkiegoniesiewięcejinformacji(wywołujewiększezainteresowanie).
Skojarzenieużyciaprzymiotnikówczęsteirzadkiezrachunkiemprawdopodobieństwa
jestwpełniuzasadnione,ponieważmiarainformacjizawartejwzdarzeniujestodwrotnie
proporcjonalnadoprawdopodobieństwajegowystąpienia.Traktującrzeczczystomatema-
tycznie,jeżeliprzyoznaczeniuzdarzeniaprzezAoznaczymyprawdopodobieństwazdarze-
niaAprzezP(A),aniepewnośćzdarzeniaAprzezH(A)(Hpochodziodangielskiegosłowa
hesitance),tomożemyścisłezwiązkiprawdopodobieństwainiepewnościsformułować
wponiższychwłasnościach:
11ClaudeShannon(1916-2001)-jedenzamerykańskichpionierówinformatyki,zosiągnięciamiwdziedzinie
sztucznejinteligencji,elektronikiicybernetyki,profesorMIT,pracownikBellLaboratories.Twórcateoriiinforma-
cji,propagatorsystemudwójkowegowwieludziedzinachnieinformatycznych(media),konstruktorsamouczącejsię
myszyszukającejdrogi(fundamentalnyeksperymentcybernetyczny)ipierwszychkomputerówgrającychwszachy.
19
