Maximum-Likelihood-Methode

Bei nicht unabhängig verteilten Zufallsvariablen (wie z. B. in Longitudinalstudien) faktorisiert die Likelihood-Funktion nur, falls unabhängige Blöcke von Zufallsvariablen vorliegen. In den jeweiligen Blöcken sind die (bedingten) Korrelationsfunktionen zu schätzen. Beispielsweise gilt für einen Zufallsvektor normalverteilter Zufallsvariablen ${\displaystyle X_{1},\dots X_{n}}$:

${\displaystyle \ell (\vartheta =({\vec {\mu }},\Sigma ))=\log f_{{\vec {\mu }},\Sigma }({\vec {x}})=\log \left({\frac {1}{(2\pi )^{n/2}{\sqrt {\det({\mathit {\Sigma }})}}}}\exp \left(-{\frac {1}{2}}\left[x_{1}-\mu _{1},\ldots ,x_{n}-\mu _{n}\right]{\mathit {\Sigma }}^{-1}\left[x_{1}-\mu _{1},\ldots ,x_{n}-\mu _{n}\right]^{\mathrm {T} }\right)\right),}$

wobei ${\displaystyle {\vec {\mu }}}$ ein Vektor (bedingter) Erwartungswerte und ${\displaystyle \Sigma }$ die Korrelationsmatrix ist, welche beide zu schätzen sind.[5] Da die Zahl der Parameter von ${\displaystyle \Sigma }$ gleich ${\displaystyle n(n+1)/2}$ ist und somit quadratisch in ${\displaystyle n}$ steigt, kann es hilfreich sein, eine parametrische Form für ${\displaystyle \Sigma }$ anzunehmen.

Die Anzahl der Anrufe bei zwei Telefonisten in einer Stunde in einem Call-Center kann mit einer Poisson-Verteilung

${\displaystyle X_{1}\sim {\mathcal {P}}(\lambda )\;}$ und ${\displaystyle \;X_{2}\sim {\mathcal {P}}(\lambda )}$

modelliert werden. Beim ersten Telefonisten gehen drei und beim zweiten fünf Anrufe pro Stunde unabhängig voneinander ein. Die Likelihood-Funktion für den unbekannten Parameter ${\displaystyle \lambda }$ ergibt sich als

${\displaystyle L(\lambda )=P(\{X_{1}=3\}\cap \{X_{2}=5\})=P(X_{1}=3)\cdot P(X_{2}=5).}$

Likelihood-Funktion im nebenstehenden Beispiel

Setzt man die Werte in die Wahrscheinlichkeitsfunktion

${\displaystyle P(X=x)={\frac {1}{x!}}\lambda ^{x}\exp(-\lambda )\quad x=0,1,2,\ldots }$

ein, so folgt

${\displaystyle L(\lambda )={\frac {\lambda ^{3}}{3!}}\exp(-\lambda )\;{\frac {\lambda ^{5}}{5!}}\exp(-\lambda )={\frac {\lambda ^{8}}{3!5!}}\exp(-2\lambda )}$.

Die erste Ableitung der Likelihood-Funktion ergibt sich zu

${\displaystyle {\begin{aligned}\left.{\frac {\rm {d}}{\rm {d\lambda }}}L(\lambda )\right|_{\hat {\lambda }}&={\frac {1}{3!5!}}\left(8\lambda ^{7}\exp(-2\lambda )-2\lambda ^{8}\exp(-2\lambda )\right)\\&={\frac {2\lambda ^{7}\exp(-2\lambda )}{3!5!}}(4-\lambda )\end{aligned}}}$

und die Nullstellen sind offenbar ${\displaystyle {\hat {\lambda }}=0\,}$ und ${\displaystyle {\hat {\lambda }}=4}$. Nur für ${\displaystyle {\hat {\lambda }}_{\text{ML}}=4}$ hat die Likelihood-Funktion ein Maximum und dies ist der Maximum-Likelihood-Schätzwert.

Im allgemeinen Fall, mit ${\displaystyle n}$ Telefonisten, die jeweils ${\displaystyle x_{i}}$ Anrufe pro Stunde erhalten, ergibt sich die Likelihood-Funktion als

${\displaystyle L(\lambda )={\frac {1}{\prod _{i=1}^{n}x_{i}!}}\lambda ^{\sum _{i=1}^{n}x_{i}}\exp(-n\lambda )}$

und die Log-Likelihood-Funktion als

${\displaystyle \ell (\lambda )=\log(L(\lambda ))=\sum _{i=1}^{n}x_{i}\log(\lambda )-\log \left(\prod _{i=1}^{n}x_{i}!\right)-n\lambda .}$

Die Ableitung nach ${\displaystyle \lambda }$ ergibt

${\displaystyle \left.{\frac {\rm {d}}{\rm {d\lambda }}}\ell (\lambda )\right|_{{\hat {\lambda }}_{\text{ML}}}={\frac {\sum _{i=1}^{n}x_{i}}{{\hat {\lambda }}_{\text{ML}}}}-n\;{\overset {\mathrm {!} }{=}}\;0}$

und nach Umformen ergibt sich der Maximum-Likelihood-Schätzer als

${\displaystyle {\hat {\lambda }}_{\text{ML}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}={\overline {x}}}$

und die zugehörige Schätzfunktion als

${\displaystyle \Lambda ={\frac {1}{n}}\sum _{i=1}^{n}X_{i}={\overline {X}}.}$

Eine Urne enthält ${\displaystyle N=8}$ Kugeln, die entweder rot oder schwarz sind. Die genaue Anzahl ${\displaystyle M\in \{0,1,\dotsc ,8\}}$ der roten Kugeln ist nicht bekannt. Nacheinander werden ${\displaystyle n=4}$ Kugeln gezogen und jeweils wieder zurück in die Urne gelegt. Beobachtet werden ${\displaystyle x_{1}=1}$ (erste Kugel ist rot), ${\displaystyle x_{2}=1}$ (zweite Kugel ist rot), ${\displaystyle x_{3}=0}$ (dritte Kugel ist schwarz) und ${\displaystyle x_{4}=1}$ (vierte Kugel ist rot).

Gesucht ist nun die nach dem Maximum-Likelihood-Prinzip plausibelste Zusammensetzung der Kugeln in der Urne.

In jedem Zug ist die Wahrscheinlichkeit, eine rote Kugel zu ziehen, gleich ${\displaystyle \textstyle {\frac {M}{N}}}$. Wegen der Unabhängigkeit der Ziehungen ist die Wahrscheinlichkeit des beobachteten Ergebnisses und damit die zugehörige Likelihood-Funktion in Abhängigkeit vom unbekannten Parameter ${\displaystyle M}$ gegeben durch

${\displaystyle L(M)=\left({\frac {M}{N}}\right)^{3}\left(1-{\frac {M}{N}}\right)={\frac {1}{N^{4}}}M^{3}(N-M)={\frac {1}{8^{4}}}M^{3}(8-M).}$

Es ergeben sich folgende Funktionswerte:

${\displaystyle M}$	${\displaystyle 0}$	${\displaystyle 1}$	${\displaystyle 2}$	${\displaystyle 3}$	${\displaystyle 4}$	${\displaystyle 5}$	${\displaystyle 6}$	${\displaystyle 7}$	${\displaystyle 8}$
${\displaystyle L(M)}$	0	0,002	0,012	0,033	0,063	0,092	0,105	0,084	0

Daraus ergibt sich, dass die Likelihood-Funktion ${\displaystyle L(M)}$ maximal ist für ${\displaystyle M=6}$. Damit ist ${\displaystyle M=6}$ der plausibelste Parameterwert für die Realisierung drei roter Kugeln bei vier Ziehungen und somit der Schätzwert nach der Maximum-Likelihood-Methode.

Seien ${\displaystyle x_{1:n}}$ Realisierungen einer Zufallsstichprobe ${\displaystyle X_{1:n}}$ einer Normalverteilung ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$ mit unbekanntem Erwartungswert ${\displaystyle \mu \in (-\infty ,\infty )}$ und unbekannter Varianz ${\displaystyle \sigma ^{2}>0}$. Die Dichtefunktion für jede einzelne Realisierung ist dann gegeben durch

${\displaystyle f\left(x_{i}\mid \mu ,\sigma ^{2}\right)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp {\left(-{\frac {1}{2\sigma ^{2}}}(x_{i}-\mu )^{2}\right)}}$.

Dann ist

${\displaystyle L(\vartheta )=\prod _{i=1}^{n}f_{\vartheta }\left(x_{i}\right)=\prod _{i=1}^{n}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp {\left(-{\frac {1}{2\sigma ^{2}}}(x_{i}-\mu )^{2}\right)}={\frac {1}{\left(2\pi \sigma ^{2}\right)^{n/2}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right)}$.

die Likelihood-Funktion von ${\displaystyle \vartheta =(\mu ,\sigma ^{2})\in \Theta =(-\infty ,\infty )\times (0,\infty )}$. Als Log-Likelihood-Funktion (auch logarithmische Plausibilitätsfunktion genannt) ergibt sich

${\displaystyle \ell (\vartheta )=\log L(\vartheta )=-{\frac {n}{2}}\log \left(2\pi \sigma ^{2}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}}$.

Bildet man die partiellen Ableitungen von ${\displaystyle \ell (\vartheta )}$ nach ${\displaystyle \mu }$ und ${\displaystyle \sigma ^{2}}$ (bildet man also die Score-Funktionen) und setzt man beide Ausdrücke gleich null, dann erhält man die beiden Likelihood-Gleichungen

${\displaystyle \left.{\frac {\partial }{\partial \mu }}\ell (\vartheta )\right|_{{\hat {\mu }}_{\text{ML}}}=-{\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-{\hat {\mu }}_{\text{ML}})\cdot (-1)\;{\overset {\mathrm {!} }{=}}\;0}$

und

${\displaystyle \left.{\frac {\partial }{\partial \sigma ^{2}}}\ell (\vartheta )\right|_{{{\hat {\sigma }}^{2}}_{\text{ML}}}=-{\frac {n}{2{{\hat {\sigma }}^{2}}_{\text{ML}}}}+{\frac {1}{2({{\hat {\sigma }}^{2}}_{\text{ML}})^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\;{\overset {\mathrm {!} }{=}}\;0}$.

Löst man nun nach ${\displaystyle {\hat {\mu }}_{\text{ML}}}$ und ${\displaystyle {{\hat {\sigma }}^{2}}_{\text{ML}}}$ dann erhält man die beiden Maximum-Likelihood-Schätzungen

${\displaystyle {\hat {\mu }}_{\text{ML}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}={\overline {x}}}$

und

${\displaystyle {{\hat {\sigma }}^{2}}_{\text{ML}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}}$.

Geht man von den Zufallsvariablen ${\displaystyle X_{1},\ldots ,X_{n}}$ und nicht von ihren Realisierungen ${\displaystyle x_{1},\ldots ,x_{n}}$ aus, erhält man den Stichprobenmittelwert

${\displaystyle {\hat {\mu }}_{\text{ML}}={\overline {X}}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}}$

und die Stichprobenvarianz

${\displaystyle {\hat {\sigma }}_{\text{ML}}^{2}={\tilde {S}}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}$

als Maximum-Likelihood-Schätzer.

Tatsächlich hat die Funktion ${\displaystyle L(\vartheta )}$ an dieser Stelle ihr Maximum (siehe Schätzung der Varianz der Grundgesamtheit).

Für den Erwartungswert von ${\displaystyle {\hat {\mu }}_{\text{ML}}}$ ergibt sich

${\displaystyle \operatorname {E} ({\hat {\mu }}_{\text{ML}})=\mu }$,

das heißt, der Maximum-Likelihood-Schätzer ${\displaystyle {\hat {\mu }}_{\text{ML}}}$ ist erwartungstreu für den unbekannten Parameter ${\displaystyle \mu }$.

Man kann zeigen, dass für den Erwartungswert von ${\displaystyle {\hat {\sigma }}_{\text{ML}}^{2}}$

${\displaystyle \operatorname {E} ({\hat {\sigma }}_{\text{ML}}^{2})={\frac {n-1}{n}}\sigma ^{2}}$

gilt (siehe unbekannter Erwartungswert). Der Maximum-Likelihood-Schätzer ${\displaystyle {\hat {\sigma }}_{\text{ML}}^{2}}$ für die unbekannte skalare Störgrößenvarianz ${\displaystyle \sigma ^{2}}$ ist also nicht erwartungstreu. Allerdings kann man zeigen, dass der Maximum-Likelihood-Schätzer ${\displaystyle {\hat {\sigma }}_{\text{ML}}^{2}}$ asymptotisch erwartungstreu für ${\displaystyle \sigma ^{2}}$ ist.

Unter bestimmten Regularitätsbedingungen lässt sich beweisen, dass Maximum-Likelihood-Schätzer existieren, was aufgrund ihrer impliziten Definition als eindeutiger Maximalstelle einer nicht näher bestimmten Wahrscheinlichkeitsfunktion nicht offensichtlich ist. Die für diesen Beweis benötigten Voraussetzungen bestehen im Prinzip ausschließlich aus Annahmen zur Vertauschbarkeit von Integration und Differentiation, was in den meisten betrachteten Modellen erfüllt ist.

Wenn Maximum-Likelihood-Schätzer existieren und gewisse Regularitätsbedingungen erfüllt sind, dann sind sie asymptotisch normalverteilt.[8] Formal gesprochen sei ${\displaystyle {\hat {\vartheta }}_{\text{ML}}}$ der Maximum-Likelihood-Schätzer für einen Parameter ${\displaystyle \vartheta }$ und ${\displaystyle I^{*}(\vartheta )=\operatorname {E} (I(\vartheta ))}$ erwartete Fisher-Information. Dann gilt unter bestimmten Annahmen

${\displaystyle {\sqrt {I^{*}(\vartheta )}}({\hat {\vartheta }}_{\text{ML}}-\vartheta )\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(0,1)}$

bzw.

${\displaystyle {\hat {\vartheta }}_{\text{ML}}\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(\vartheta ,(I^{*}(\vartheta ))^{-1})}$.

Arbeitsweise der drei Tests im Rahmen der Maximum-Likelihood-Methode.

Die Konvergenz der Maximum-Likelihood-Schätzfunktion ${\displaystyle {\hat {\vartheta }}_{\text{ML}}}$ gegen eine Normalverteilung erlaubt die Ableitung allgemeiner Tests zur Prüfung von Modellen und Koeffizienten:

• Likelihood-Quotienten-Test,
• Wald-Test und
• Score-Test oder Lagrange-Multiplikator-Test (LM-Test).

Die Grafik rechts zeigt die Arbeitsweise der Tests auf: Der Likelihood-Quotienten-Test vergleicht die Werte der Likelihood-Funktionen miteinander, der Wald-Test prüft den Abstand zwischen dem geschätzten Parameter und dem vorgegebenen Parameter und der Score-Test, ob die Ableitung der Likelihood-Funktion Null ist.

Da diese Tests nur asymptotisch gültig sind, gibt es für „kleine“ Stichprobenumfänge oft Tests mit besseren Optimalitätseigenschaften.

Im Likelihood-Quotienten-Test wird geprüft, ob sich zwei hierarchisch geschachtelte Modelle (englisch nested models) signifikant voneinander unterscheiden. Ist ${\displaystyle \vartheta }$ ein Parametervektor, sind ${\displaystyle \Theta _{0}\subset \Theta _{1}}$ zwei Parameterräume (${\displaystyle \Theta _{0}}$ reduziertes Modell, ${\displaystyle \Theta _{1}}$ volles Modell) sowie ${\displaystyle L(\vartheta )}$ die Likelihood-Funktion, dann gilt unter der Nullhypothese (${\displaystyle H_{0}\colon \vartheta \in \Theta _{0}}$ vs. ${\displaystyle H_{1}\colon \vartheta \in \Theta _{1}}$)

${\displaystyle LR=-2\log \left({\frac {\max _{\Theta _{0}}L(\vartheta )}{\max _{\Theta _{1}}L(\vartheta )}}\right)\;{\stackrel {a}{\sim }}\;\chi ^{2}(\dim(\Theta _{1})-\dim(\Theta _{0}))}$.

Eine Ablehnung der Nullhypothese bedeutet, dass das „volle Modell“ (das Modell unter der Alternativhypothese) eine signifikant bessere Erklärung liefert als das „reduzierte Modell“ (das Modell unter der Nullhypothese bzw. Nullmodell) .

Während der Likelihood-Quotienten-Test Modelle vergleicht, zielt der Wald-Test auf einzelne Koeffizienten (univariat) oder Koeffizientengruppen (multivariat). Asymptotisch und unter der Nullhypothese ${\displaystyle H_{0}}$ folgt

${\displaystyle W={\sqrt {I({\hat {\vartheta }}_{\text{ML}})}}({\hat {\vartheta }}_{\text{ML}}-\vartheta _{0})\;{\stackrel {a,H_{0}}{\sim }}\;{\mathcal {N}}(0,1)}$.

D.h. die Wald-Teststatistik ist unter o. g. Voraussetzungen standardnormalverteilt. Hierbei bezeichnet ${\displaystyle I(\cdot )}$ die Fisher-Information.

Die Maximum-Likelihood-Methode ist auch eng mit dem Akaike-Informationskriterium (AIC) verknüpft. Hirotsugu Akaike zeigte, dass das Maximum der Likelihood-Funktion ein verzerrter Schätzer für die Kullback-Leibler-Divergenz, der Abstand zwischen dem wahren Modell und dem Maximum-Likelihood-Modell, ist. Je größer der Wert der Likelihood-Funktion ist, desto näher liegt das Modell am wahren Modell, gewählt wird das Modell, das den geringsten AIC-Wert aufweist. Die asymptotische erwartungstreue ist gerade die Anzahl der zu schätzenden Parameter. Mit dem Akaike-Informationskriterium kann man, im Gegensatz zum Likelihood-Quotienten-, Wald- und Score-Test, auch nichtgeschachtelte ML-Modelle vergleichen.

Die Anpassungsgüte kann mithilfe der Pseudo-Bestimmtheitsmaße beurteilt werden.