Maximum-likelihood becslés

1. Sablon:Label A maximum-likelihood becslés (MLE, Maximum Likelihood Estimation) egy statisztikai módszer, amelyet paraméterek becslésére használunk valószínűségi modellekben. Az MLE célja olyan paraméterértékek megtalálása, amelyek mellett a megfigyelt adatok előfordulásának valószínűsége maximális.

Lépések az MLE alkalmazásához:

1. Valószínűségi függvény: Tegyük fel, hogy van egy minta megfigyeléseinkről, amelyeket egy ismert valószínűségi eloszlásból vettünk, de nem ismerjük az eloszlás paramétereit. A valószínűségi függvény $L(\theta )$ azt fejezi ki, hogy a paraméter ($\theta$) milyen valószínűséggel adja meg a megfigyelt adatok értékeit.

2. Maximum-likelihood függvény: A megfigyelt adatok alapján kiszámítjuk a valószínűségi függvényt, amely az összes megfigyelés együttes valószínűségét adja meg. Ez a likelihood függvény (valószínűségi függvény) a paraméter(ek) függvényében: $$L(\theta )=P(X_1,X_2,\dots ,X_n\mid \theta )$$ ahol $X_1,X_2,\dots ,X_n$ a megfigyelt adatok, és $\theta$ a keresett paraméter vagy paraméterek.

3. Log-likelihood függvény: A valószínűségi függvényt gyakran átalakítjuk log-likelihood függvénnyé, mert a logaritmus segítségével könnyebb a maximális értéket megtalálni: $$\ell (\theta )=\log (L(\theta ))$$ Mivel a logaritmus monoton növekvő függvény, a maximumhelyek ugyanazok, mint az eredeti valószínűségi függvényé.

4. Maximalizálás: Az MLE-ben a cél az, hogy megtaláljuk azt a $\theta$ paramétert, amely maximalizálja a likelihood függvényt. Matematikailag ez deriválással történik: megkeressük a függvény maximumát azáltal, hogy a log-likelihood függvényt deriváljuk a $\theta$-ra nézve, majd a deriváltat nullával tesszük egyenlővé: $$\frac{d}{d\theta }\ell (\theta )=0$$

5. Paraméter becslése: A deriválás és megoldás után megkapjuk azt a paramétert (vagy paramétereket), amely a maximális valószínűséget adja. Ez lesz a maximum-likelihood becslés a keresett paraméterre.

Példa:

Tegyük fel, hogy van egy minta, amelyet egy normális eloszlásból vettünk, és szeretnénk megbecsülni a normális eloszlás középértékét ($\mu$) és szórását ($\sigma$). A likelihood függvény a normális eloszlás esetén a következőképpen alakul:

$$L(\mu ,\sigma )=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x_i-\mu {)}^2}{2{\sigma }^2})$$

Az MLE módszerrel meg kell keresni azt az $\mu$ és $\sigma$ értéket, amely maximalizálja ezt a függvényt. A log-likelihood függvényt maximalizálva kapjuk meg a következő becsléseket:

- $\hat{\mu }=\frac{1}{n}{\sum }_{i=1}^n{x}_i$ — azaz a mintaátlag, - $\widehat{{\sigma }^2}=\frac{1}{n}{\sum }_{i=1}^n(x_i-\hat{\mu }{)}^2$ — azaz a mintaszórás négyzete.

MLE tulajdonságai:

- Konzisztens: Nagy mintaméret esetén a maximum-likelihood becslés közelít a valódi paraméterhez. - Aszimptotikusan normális: Nagy mintánál a becslés normális eloszlást követ. - Hatásos: Nagy mintánál az MLE a legkisebb varianciájú becslést adja a lehetséges becslések közül.

Az MLE egy nagyon gyakori és hasznos módszer paraméterbecslésre különféle statisztikai modellekben.

• Sablon:En: Sablon:T