Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
A.Drozdek"Wprowadzeniedokompresjidanych",Warszawa2007,wyd.2,ISBN978-83-204-3309-8©byWNT
1.1.Informacjaientropia
natomiastjednozezdarzeńzachodzizprawdopodobieństwemrównym1,apozo-
stałezprawdopodobieństwemrównym0,towybórjestzawszetakisamiwszelka
niepewnośćznika.Dowódfaktu,żeH(1,0,…,0)jestograniczeniemdolnym,
a
H
(
1
n
,K
,
1
n
)
ograniczeniemgórnymfunkcjiH,podajemywp.1.3.
4.Aksjomatgrupowania.JeśliwzbiorzeS={x1,…,xn}symbolex1,…,xitwo-
rząpodzbiórSi,toilośćinformacjiniezmieniasiępowyodrębnieniutegopodzbio-
ruirównasięilościinformacjistowarzyszonejzezbioremS−Siplusilośćinforma-
cjiumożliwiającejwybraniezbioruSi,równejpsuma=p1+…+pi,pomnożonejprzez
ilośćinformacjidotyczącejwyborusymboluxiwwypadkuwybraniazbioruSi,tj.
H
(
p
1
,
K
,
p
i
,
p
i
+
1
,
K
,
p
n
)
=
H
(
p
1
+
K
+
p
i
,
p
i
+
1
,
K
,
p
n
)
+
+
(
p
1
+
K
+
p
i
)
H
(
|
|
\
p
1
+
K
p
1
+
p
i
,
K
,
p
1
+
K
p
i
+
p
i
\
|
|
)
Rysunek1.5ilustrujegrupowaniesiedmiusymboli.
Rys.1.5.Ilustracjadziałaniaaksjomatugrupowania
Ponieważlewastronategorównania
n
i
i
H
(
p
1
,
K
,
p
i
,
p
i
+
1
,
K
,
p
n
)
=
∑
p
j
lg
p
j
=
−
∑
p
j
lg
p
j
−
∑
p
j
lg
p
j
j
=
1
j
=
1
j
=
i
+
1
astronaprawa
H
(
p
suma
,
p
i
+
1
,
K
,
p
n
)
+
p
suma
H
(
|
|
\
p
p
suma
1
,
K
,
p
suma
p
i
\
|
|
)
=
=
−
p
suma
lg
p
suma
−
j
=
∑
n
i
+
1
p
j
lg
p
j
−
p
suma
∑
j
=
i
1
p
suma
p
j
lg
p
suma
p
j
17
