Erwartungstreue

Die Erwartungstreue ist eine wichtige Eigenschaft eines Schätzers, da die Varianz der meisten Schätzer mit steigendem Stichprobenumfang gegen Null konvergiert. D. h. die Verteilung zieht sich um den Erwartungswert des Schätzers, und damit bei erwartungstreuen Schätzern um den gesuchten wahren Parameter der Grundgesamtheit, zusammen. Bei erwartungstreuen Schätzern können wir erwarten, dass die Differenz zwischen dem aus der Stichprobe berechneten Schätzwert und dem wahren Parameter umso kleiner ist, je größer der Stichprobenumfang ist.

Außer zur praktischen Beurteilung der Qualität von Schätzern ist der Begriff der Erwartungstreue auch für die mathematische Schätztheorie von großer Bedeutung. In der Klasse aller erwartungstreuen Schätzer gelingt es – unter geeigneten Voraussetzungen an das zugrundeliegende Verteilungsmodell –, Existenz und Eindeutigkeit bester Schätzer zu beweisen. Das sind erwartungstreue Schätzer, die unter allen möglichen erwartungstreuen Schätzern minimale Varianz haben.

Um einen unbekannten reellen Parameter ${\displaystyle \gamma }$ einer Grundgesamtheit zu schätzen, berechnet man in der mathematischen Statistik aus einer zufälligen Stichprobe ${\displaystyle X_{1},\dotsc ,X_{n}}$ mit Hilfe einer geeignet gewählten Funktion ${\displaystyle g}$ eine Schätzung ${\displaystyle g(X_{1},\dotsc ,X_{n})}$. Allgemein lassen sich geeignete Schätzfunktionen mit Hilfe von Schätzmethoden, z. B. der Maximum-Likelihood-Methode, gewinnen.

Da die Stichprobenvariablen ${\displaystyle X_{1},\dotsc ,X_{n}}$ Zufallsvariablen sind, ist auch der Schätzer ${\displaystyle g(X_{1},\dotsc ,X_{n})}$ selbst eine Zufallsvariable. Er wird erwartungstreu genannt, wenn der Erwartungswert dieser Zufallsvariable stets gleich dem Parameter ${\displaystyle \gamma }$ ist, egal welchen Wert ${\displaystyle \gamma }$ in Wirklichkeit hat. Durch Erzeugen von Stichprobenwiederholungen kann die Verteilung des Schätzers untersucht werden.

Beispiel Stichprobenmittel

Zur Schätzung des Erwartungswertes ${\displaystyle \gamma =\mu }$ der Grundgesamtheit wird üblicherweise das Stichprobenmittel

${\displaystyle g(X_{1},\dotsc ,X_{n})={\overline {X}}_{n}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

verwendet. Werden alle Stichprobenvariablen ${\displaystyle X_{i}}$ zufällig aus der Grundgesamtheit gezogen, so haben alle den Erwartungswert ${\displaystyle \operatorname {E} (X_{i})=\mu }$. Damit berechnet sich der Erwartungswert des Stichprobenmittels zu

${\displaystyle \operatorname {E} ({\overline {X}}_{n})=\operatorname {E} \left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {E} (X_{i})={\frac {1}{n}}\cdot n\cdot \mu =\mu }$.

Das Stichprobenmittel ist also ein erwartungstreuer Schätzer des unbekannten Verteilungsparameters ${\displaystyle \mu }$.

Verteilung des Schätzers ${\displaystyle {\overline {X}}_{n}}$ für verschiedene Stichprobenumfänge ${\displaystyle n}$.

Falls die Grundgesamtheit normalverteilt ist mit Erwartungswert ${\displaystyle \mu }$ und Varianz ${\displaystyle \sigma ^{2}}$, dann lässt sich die Verteilung von ${\displaystyle {\overline {X}}_{n}}$ genau angeben. In diesem Fall gilt

${\displaystyle {\overline {X}}_{n}\sim {\mathcal {N}}(\mu ,\sigma ^{2}/n),}$

das heißt, das Stichprobenmittel ist ebenfalls normalverteilt mit Erwartungswert ${\displaystyle \mu }$ und Varianz ${\displaystyle {\tfrac {\sigma ^{2}}{n}}}$. Ist der Stichprobenumfang ${\displaystyle n}$ groß, so gilt aufgrund des zentralen Grenzwertsatzes diese Verteilungsaussage zumindest näherungsweise, auch wenn die Grundgesamtheit nicht normalverteilt ist. Die Varianz dieses Schätzers konvergiert also gegen 0, wenn der Stichprobenumfang ${\displaystyle n}$ gegen unendlich geht. Die Grafik rechts zeigt, wie sich für verschiedene Stichprobenumfänge die Verteilung der Stichprobenmittel immer weiter auf einen festen Wert zusammenzieht. Aufgrund der Erwartungstreue ist sichergestellt, dass dieser Wert der gesuchte Parameter ${\displaystyle \mu }$ ist.

In der modernen, maßtheoretisch begründeten mathematischen Statistik wird ein statistisches Experiment durch ein statistisches Modell ${\displaystyle ({\mathcal {X}},{\mathcal {F}},P_{\vartheta }:\vartheta \in \Theta )}$ beschrieben. Dieses besteht aus einer Menge ${\displaystyle {\mathcal {X}}}$, dem Stichprobenraum, zusammen mit einer σ-Algebra ${\displaystyle {\mathcal {F}}}$ und einer Familie ${\displaystyle (P_{\vartheta })_{\vartheta \in \Theta }}$ von Wahrscheinlichkeitsmaßen auf ${\displaystyle {\mathcal {X}}}$.

Es sei ein Punktschätzer

${\displaystyle T\colon {\mathcal {X}}\to \mathbb {R} }$

sowie eine Funktion

${\displaystyle \gamma \colon \Theta \to \mathbb {R} }$

gegeben (im parametrischen Fall die sogenannte Parameterfunktion), die jeder Wahrscheinlichkeitsverteilung ${\displaystyle P_{\vartheta }}$ die zu schätzende Kennzahl ${\displaystyle \gamma (\vartheta )}$ (Varianz, Median, Erwartungswert etc.) zuordnet.

Dann heißt der Schätzer ${\displaystyle T}$ erwartungstreu, wenn

${\displaystyle \operatorname {E} _{\vartheta }(T)=\gamma (\vartheta )\quad \mathrm {f{\ddot {u}}r\;alle\;} \vartheta \in \Theta }$ ist. Hierbei bezeichnet ${\displaystyle \operatorname {E} _{\vartheta }}$ den Erwartungswert bezüglich des Wahrscheinlichkeitsmaßes ${\displaystyle P_{\vartheta }}$.

In Anwendungen ist ${\displaystyle P_{\vartheta }}$ oft die Verteilung einer (reellen oder vektorwertigen) Zufallsvariable ${\displaystyle X\colon \Omega \to {\mathcal {X}}}$ auf einem Wahrscheinlichkeitsraum ${\displaystyle (\Omega ,\Sigma ,Q)}$ mit einem unbekannten Parameter oder Parametervektor ${\displaystyle \vartheta }$. Ein Punktschätzer ${\displaystyle g\colon {\mathcal {X}}\to \mathbb {R} }$ für ${\displaystyle \gamma (\vartheta )}$ in obigem Sinne ergibt dann eine Funktion ${\displaystyle T=g\circ X}$ und diese heißt analog erwartungstreuer Schätzer, wenn gilt

${\displaystyle \operatorname {E} (T)=\operatorname {E} (g(X))=\gamma (\vartheta ),}$

wobei der Erwartungswert nun bezüglich ${\displaystyle Q}$ gebildet wird.

Diese Graphik zeigt eine Verletzung der Unverzerrtheits- und Konsistenzeigenschaft. Es wird im Mittel nicht der wahre Wert 3 geschätzt, sondern -2. Somit ergibt sich eine Verzerrung von 5: ${\displaystyle \mathrm {Bias} ({\hat {\beta }}_{1})=\operatorname {E} ({\hat {\beta }}_{1})-\beta _{1}=3-(-2)=5}$

Es ergibt sich aus der Definition, dass „gute“ Schätzer zumindest näherungsweise erwartungstreu sein, sich also dadurch auszeichnen sollen, dass sie im Mittel nah am zu schätzenden Wert liegen. Üblicherweise ist Erwartungstreue jedoch nicht das einzige wichtige Kriterium für die Qualität eines Schätzers; so sollte er beispielsweise auch eine kleine Varianz haben, also möglichst gering um den zu schätzenden Wert schwanken. Zusammengefasst ergibt sich das klassische Kriterium einer minimalen mittleren quadratischen Abweichung für optimale Schätzer.

Die Verzerrung ${\displaystyle \mathrm {Bias} _{\vartheta }(T)}$ eines Schätzers ${\displaystyle T}$ ist definiert als Differenz zwischen seinem Erwartungswert und der zu schätzenden Größe:

${\displaystyle \mathrm {Bias} _{\vartheta }(T):=\operatorname {E} _{\vartheta }(T)-\gamma (\vartheta )=\operatorname {E} _{\vartheta }(T-\gamma (\vartheta )).}$

Sein mittlerer quadratischer Fehler ${\displaystyle \mathrm {MSE} _{\vartheta }(T)}$ ist

${\displaystyle \mathrm {MSE} _{\vartheta }(T):=\operatorname {E} _{\vartheta }{\bigl (}(T-\gamma (\vartheta ))^{2}{\bigr )}.}$

Der mittlere quadratische Fehler ist gleich der Summe des Quadrats der Verzerrung und der Varianz des Schätzers:

${\displaystyle \mathrm {MSE} _{\vartheta }(T)={\bigl (}\mathrm {Bias} _{\vartheta }(T){\bigr )}^{2}+\operatorname {Var} _{\vartheta }(T).}$

In der Praxis kann eine Verzerrung zwei Ursachen haben:

• einen systematischen Fehler, beispielsweise ein nicht-zufälliger Messfehler in der Apparatur, oder
• einen zufälligen Fehler, dessen Erwartungswert ungleich ${\displaystyle 0}$ ist.

Zufällige Fehler können tolerabel sein, wenn sie dazu beitragen, dass der Schätzer eine kleinere minimale quadratische Abweichung als ein unverzerrter besitzt.

In der Regel ist es nicht von Bedeutung, dass ein Schätzer erwartungstreu ist. Die meisten Resultate der mathematischen Statistik gelten erst asymptotisch, also wenn der Stichprobenumfang ins Unendliche wächst. Daher ist es in der Regel ausreichend, wenn Erwartungstreue im Grenzwert gilt, d. h. für eine Folge von Schätzern ${\displaystyle T_{n}}$ die Konvergenzaussage ${\displaystyle \textstyle \lim _{n\rightarrow \infty }\operatorname {E} _{\vartheta }(T_{n})=\gamma (\vartheta )}$ gilt.

Ein typisches Beispiel sind Schätzer für die Parameter von Normalverteilungen. Man betrachtet in diesem Fall die parametrische Familie

${\displaystyle P_{\vartheta },\;\vartheta \in \Theta }$ mit ${\displaystyle \vartheta =(\mu ,\sigma ^{2})}$ und ${\displaystyle \Theta =\mathbb {R} \times \mathbb {R} ^{+}}$,

wobei ${\displaystyle P_{\vartheta }}$ die Normalverteilung mit Erwartungswert ${\displaystyle \mu }$ und Varianz ${\displaystyle \sigma ^{2}}$ ist. Üblicherweise sind Beobachtungen ${\displaystyle X_{1},\dotsc ,X_{n}}$ gegeben, die stochastisch unabhängig sind und jeweils die Verteilung ${\displaystyle P_{\vartheta }}$ besitzen.

Wie bereits gesehen, ist das Stichprobenmittel ${\displaystyle {\overline {X}}_{n}}$ ein erwartungstreuer Schätzer von ${\displaystyle \gamma _{1}(\vartheta )=\mu }$.

Für die Varianz ${\displaystyle \gamma _{2}(\vartheta )=\sigma ^{2}}$ erhält man als Maximum-Likelihood-Schätzer ${\displaystyle \textstyle s_{n}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}_{n})^{2}}$. Dieser Schätzer ist allerdings nicht erwartungstreu, da sich ${\displaystyle \textstyle \operatorname {E} (s_{n}^{2})={\frac {n-1}{n}}\sigma ^{2}}$ zeigen lässt (siehe Stichprobenvarianz (Schätzfunktion)#Erwartungstreue). Die Verzerrung beträgt also ${\displaystyle \textstyle \operatorname {E} (s_{n}^{2})-\sigma ^{2}=-{\frac {1}{n}}\sigma ^{2}}$. Da diese asymptotisch, also für ${\displaystyle n\rightarrow \infty }$, verschwindet, ist der Schätzer allerdings asymptotisch erwartungstreu.

Darüber hinaus kann man in diesem Fall den Erwartungswert der Verzerrung genau angeben und folglich die Verzerrung korrigieren, indem man mit ${\displaystyle {\tfrac {n}{n-1}}}$ multipliziert (sog. Bessel-Korrektur), und erhält so einen Schätzer für die Varianz, der auch für kleine Stichproben erwartungstreu ist.

Im Allgemeinen ist es jedoch nicht möglich, die erwartete Verzerrung exakt zu bestimmen und somit vollständig zu korrigieren. Es gibt aber Verfahren, um die Verzerrung eines asymptotisch erwartungstreuen Schätzers für endliche Stichproben zumindest zu verringern, zum Beispiel die sogenannte Jackknife-Methode.

Ein erwartungstreuer Schätzer ${\displaystyle T}$ heißt ein regulärer erwartungstreuer Schätzer, wenn

${\displaystyle {\frac {\partial }{\partial \vartheta }}\int T(x)\cdot f_{\vartheta }(x)\,dx=\int T(x)\cdot {\frac {\partial }{\partial \vartheta }}f_{\vartheta }(x)\,dx}$

gilt. ${\displaystyle f_{\vartheta }}$ bezeichnet hier die Dichtefunktion zum Parameter ${\displaystyle \vartheta }$. Differentiation und Integration sollen also vertauschbar sein. Reguläre erwartungstreue Schätzer spielen eine wichtige Rolle in der Cramér-Rao-Ungleichung.

Eine Verallgemeinerung der Erwartungstreue ist die L-Unverfälschtheit, sie verallgemeinert die Erwartungstreue mittels allgemeinerer Verlustfunktionen. Bei Verwendung des Gauß-Verlustes erhält man die Erwartungstreue als Spezialfall, bei Verwendung des Laplace-Verlustes die Median-Unverfälschtheit.

• Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik. de Gruyter Lehrbuch 2004, ISBN 3-11-018282-3.
• Herrmann Witting: Mathematische Statistik, Bd. 1. Parametrische Verfahren bei festem Stichprobenumfang. Vieweg+Teubner, Stuttgart 1985, ISBN 978-3-519-02026-4.
• M. Hardy: „An Illuminating Counterexample“ (PDF; 63 kB)
• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3.
• Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, doi:10.1007/978-3-642-17261-8.

1. Bernd Rönz, Hans G. Strohe (1994), Lexikon Statistik, Gabler Verlag, S. 110, 363
2. Horst Rinne: Taschenbuch der Statistik. 3. Auflage. Verlag Harri Deutsch, 2003, S. 435.
3. Kauermann, G. and Küchenhoff, H.: Stichproben: Methoden Und Praktische Umsetzung Mit R. Springer, 2011, ISBN 978-3-642-12318-4, S. 21. Google Books
4. Rüschendorf: Mathematische Statistik. 2014, S. 126.
5. Georgii: Stochastik. 2009, S. 209.