Treść książki
Przejdź do opcji czytnikaPrzejdź do nawigacjiPrzejdź do informacjiPrzejdź do stopki
PRAWDOPODOBIEŃSTWOITEORIAINFORMACJI
zmiennatożsamościowa
c
wmodelumieszanymposłużyjakoprzykład.Uta-
jonezmiennemogąodnosićsiędo
x
zapośrednictwemwspólnegorozkładu,
wtymprzypadku
P
(
xjc
)=
P
(
x|c
)
P
(
c
).Rozkład
P
(
c
)względemzmiennej
utajonejorazrozkład
P
(
x|c
)wiążącyzmienneutajonezezmiennymiwi-
docznymiokreślakształtrozkładu
P
(
x
),mimożemożnaopisać
P
(
x
)bez
odwoływaniasiędozmiennejutajonej.Zmienneutajonesąszerzejomawiane
wpunkcie16.5.
Częstostosowanymmodelemmieszanymodużychmożliwościachjest
modelmieszanyGaussa
,wktórymskładniki
p
(
x|c
=i)sągaussow-
skie.Każdyskładnikmaoddzielnieparametryzowanąśredniąarytmetyczną
u(ź)
orazkowariancję
Σ(ź)
.Niektóremieszankimogąmiećwięcejograniczeń,
naprzykładokreślasię,żekowariancjepowinnybyćwspólnedlaskładników
przezograniczenie
Σ(ź)
=
Σj∀ź
.Podobniejakwpojedynczymrozkładzie
Gaussa,mieszankarozkładówgaussowskichmożeograniczaćmacierzkowa-
riancji,wymuszającdiagonalnośćlubizotropowośćdlakażdegozeswoich
składników.
Pozaśrednimiarytmetycznymiikowariancjamiparametrymieszanki
gaussowskiejokreślają
rozkładaprioryczny
(apriori)
Oź
=
P
(
c
=
ź
)dla
każdegoskładnika
ź
.Określenieaprioriwskazuje,żewyrażonesąoczekiwa-
niamodeludotyczące
c
zanimnastąpiobserwacja
x
.Analogicznie
P
(
c|x
)
toprawdopodobieństwaposteriori,gdyżjestwyznaczanepoobserwacji
x
.
ModelmieszanyGaussato
metodauniwersalnejaproksymacji
gęstości
wtymsensie,żekażdagładkagęstośćmożezostaćaproksymowanazokreślo-
nymniezerowymbłędemprzezmieszanymodelGaussazdostatecznąliczbą
składników.Narysunku3.2pokazanopróbkizmieszanegomodeluGaussa.
3.10.Użytecznecechyelementarnychfunkcji
Częstopodczaspracyzrozkładamiprawdopodobieństwa,zwłaszczarozkłada-
miprawdopodobieństwaużywanymiwmodelachdeeplearning,pojawiająsię
pewnefunkcje.Jednąznichjestfunkcjalogistyczno-sigmoidalna:
σ(x)=
1+exp(−x)
1
.
(3.30)
Sigmoidalogistycznajestpowszechnieużywanadopokazaniaparametru
φ
roz-
kładuBernoulliego,gdyżjejzakresemjest(0
j
1),coodpowiadadopuszczal-
nemuzakresowiwartościparametru
φ
.Funkcjętępokazanonarysunku3.3.
Funkcjauleganasyceniu,gdyjejargumentjestmocnododatnilubmocno
ujemny,cooznacza,żefunkcjastajesiębardzopłaskainieczułananiewielkie
zmianyargumentuwejściowego.
65
