Maximum-likelihood módszere

1. Sablon:Label A maximum-likelihood (ML) módszer egy statisztikai becslési technika, amelyet a paraméterek optimális becslésére használnak egy adott valószínűségi eloszlás keretein belül. A módszer célja, hogy megtalálja a paramétereket, amelyek a legvalószínűbbé teszik a megfigyelt adatokat.

Főbb lépések

1. Valószínűségi sűrűségfüggvény (PDF): Kezdjük el egy olyan eloszlás megválasztásával, amely jellemzi a megfigyelt adatokat. Legyen a valószínűségi sűrűségfüggvény (PDF) vagy valószínűségi tömegfüggvény (PMF) $f(x;\theta )$, ahol $\theta$ a paraméterek halmaza.

2. Likelihood függvény: A likelihood függvény a megfigyelt adatok alapján a paraméterek valószínűségét adja meg: $$L(\theta )=P(X=x_1,X=x_2,\dots ,X=x_n|\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$ ahol $x_1,x_2,\dots ,x_n$ a megfigyelt adatok.

3. Log-likelihood: A számítás egyszerűsítése érdekében gyakran a log-likelihood függvényt használjuk: $$\ell (\theta )=\log L(\theta )=\sum _{i=1}^n\log f(x_i;\theta )$$

4. Optimalizálás: A következő lépés a maximum keresése, azaz a log-likelihood függvény maximumának meghatározása. Ezt a folyamatot a deriváltak felhasználásával végezhetjük el: $$\frac{d\ell (\theta )}{d\theta }=0$$ A derivált nullára állítása után a második derivált segítségével ellenőrizhetjük, hogy maximumról van-e szó.

5. Becslés: A legnagyobb likelihood értéket adó paramétert $\hat{\theta }$ jelöli, amely a legvalószínűbb becslés a paraméterekre a megfigyelt adatok alapján.

Példa

Tegyük fel, hogy egy kísérlet során megfigyeltünk egy mintaátlagot, és azt szeretnénk megbecsülni, hogy a populáció normális eloszlású, amelynek várható értéke $\mu$ és szórása $\sigma$. A valószínűségi sűrűségfüggvény: $$f(x;\mu ,\sigma )=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$ A log-likelihood függvény:

$$\ell (\mu ,\sigma )=-\frac{n}{2}\log (2\pi )-n\log (\sigma )-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2$$

Ezt a függvényt a $\mu$ és $\sigma$ paraméterek szerint optimalizálva megkapjuk a legjobb becsléseket. Sablon:Hunl