Likelihood-függvény

1. Sablon:Label A likelihood-függvény egy statisztikai függvény, amely egy vagy több paraméter valószínűségét fejezi ki adott megfigyelések alapján. Más szóval, a likelihood-függvény azt mutatja meg, hogy egy adott paraméter érték mellett milyen valószínűséggel figyeltük meg az adott adatokat. A maximum-likelihood becslés (MLE) során ezt a függvényt használjuk fel a paraméter(ek) becslésére úgy, hogy a megfigyelések legnagyobb valószínűségét kapjuk.

Likelihood-függvény felépítése:

Tegyük fel, hogy van egy valószínűségi modellünk, amely a $P(X\mid \theta )$ függvényen alapul, ahol: - $X$ a megfigyelt adatok (pl. egy minta), - $\theta$ a modell paramétere(i).

A likelihood-függvény megadja, hogy egy adott paraméter $\theta$ mellett mennyire valószínű a megfigyelt adatok $X$ előfordulása. A likelihood-függvényt általában így írjuk fel: $$L(\theta \mid X)=P(X\mid \theta )$$ ahol $L(\theta \mid X)$ a likelihood függvény, és $P(X\mid \theta )$ a megfigyelt adatok valószínűsége a $\theta$ paraméterekkel.

Példa egyértelműbbé tételére:

Tegyük fel, hogy van egy érme, és nem tudjuk, hogy tisztességes-e. A kísérlet során tízszer feldobjuk az érmét, és 7-szer fej, 3-szor írás eredményt kapunk. A $p$ valószínűséggel modelláljuk azt, hogy fej eredményt kapunk. A megfigyelt adatok tehát 7 fej és 3 írás.

A binomiális eloszlás használatával a likelihood-függvény a következőképpen írható fel: $$L(p\mid X)=(\genfrac{}{}{0ex}{}{10}{7})p^7(1-p{)}^3$$ Itt $p$ az érme fejre esésének valószínűsége, és $(\genfrac{}{}{0ex}{}{10}{7})$ a kombinatorikus tényező (hányféleképpen kaphatunk 7 fejet 10 dobásból).

A maximum-likelihood becslés (MLE) célja megtalálni azt az $p$ értéket, amely maximalizálja ezt a likelihood-függvényt, azaz ahol a megfigyelt eredmények (7 fej, 3 írás) a legvalószínűbbek.

Log-likelihood függvény:

Gyakorlati alkalmazásban gyakran a log-likelihood függvényt használjuk, mivel a logaritmálás megkönnyíti a számításokat. A logaritmus monotóniája miatt ugyanazt a maximumhelyet adja, mint a likelihood-függvény. A log-likelihood függvény a következőképpen néz ki: $$\ell (\theta \mid X)=\log (L(\theta \mid X))$$

Likelihood-függvény és valószínűség közötti különbség:

Fontos különbséget tenni a valószínűség és a likelihood között. A valószínűség azt fejezi ki, hogy ha egy paraméter ismert, akkor mekkora az esélye, hogy bizonyos adatokat megfigyeljünk. A likelihood ezzel szemben azt vizsgálja, hogy a megfigyelt adatok alapján mennyire valószínűek az egyes paraméterértékek.

- Valószínűség: $P(X\mid \theta )$ – adott paraméter mellett mekkora az esély, hogy az adatokat megfigyeljük. - Likelihood: $L(\theta \mid X)$ – adott adatok mellett mekkora az esély, hogy a paraméterek értékei helyesek.

Összegzés:

A likelihood-függvény kulcsfontosságú eszköz a statisztikai modellezésben és becslésben, különösen a maximum-likelihood becslés során, ahol olyan paraméterértékeket keresünk, amelyek a legnagyobb valószínűséget adják a megfigyelt adatok alapján.

• Sablon:En: Sablon:T