Stichprobenvarianz (Schätzfunktion)

Meist wird die Stichprobenvarianz unter den Annahmen verwendet, dass die Auswertungen unabhängig und identisch verteilt sind sowie entweder einen bekannten oder einen unbekannten Erwartungswert besitzen. Diese Annahmen werden durch die folgenden statistischen Modelle beschrieben:

• Ist der Erwartungswert unbekannt, so ist das statistische Modell gegeben durch das (nicht notwendigerweise parametrische) Produktmodell

${\displaystyle (\mathbb {R} ^{n},{\mathcal {B}}(\mathbb {R} ^{n}),(P_{\vartheta }^{\otimes n})_{\vartheta \in \Theta })}$.

Hierbei bezeichnet ${\displaystyle P^{\otimes n}}$das n-fache Produktmaß von ${\displaystyle P}$und ${\displaystyle (P_{\vartheta })_{\vartheta \in \Theta }}$ist die Familie aller Wahrscheinlichkeitsmaße mit endlicher Varianz, die mit einer beliebigen Indexmenge ${\displaystyle \Theta }$indiziert sind. Die Stichprobenvariablen ${\displaystyle X_{1},\dots ,X_{n}}$ sind dann unabhängig identisch verteilt gemäß ${\displaystyle P_{\vartheta }}$und besitzen also eine endliche Varianz.

• Ist der Erwartungswert bekannt und gleich ${\displaystyle \mu _{0}}$, so ist das statistische Modell gegeben durch das (nicht notwendigerweise parametrische) Produktmodell

${\displaystyle (\mathbb {R} ^{n},{\mathcal {B}}(\mathbb {R} ^{n}),(P_{\vartheta }^{\otimes n})_{\vartheta \in \Theta })}$.

Hierbei bezeichnet ${\displaystyle (P_{\vartheta })_{\vartheta \in \Theta }}$ die Familie aller Wahrscheinlichkeitsmaße mit endlicher Varianz und Erwartungswert ${\displaystyle \mu _{0}}$, die mit einer beliebigen Indexmenge ${\displaystyle \Theta }$indiziert sind. Die Stichprobenvariablen ${\displaystyle X_{1},\dots ,X_{n}}$ sind dann unabhängig identisch verteilt gemäß ${\displaystyle P_{\vartheta }}$und besitzen somit eine endliche Varianz und den Erwartungswert ${\displaystyle \mu _{0}}$.

Im Falle des bekannten Erwartungswertes ist ${\displaystyle {S^{*}}^{2}}$ ein erwartungstreuer Schätzer für die Varianz. Das bedeutet, es gilt

${\displaystyle \operatorname {E} _{\vartheta }({S^{*}}^{2})=\operatorname {Var} _{\vartheta }(X_{1})=\operatorname {Var} (P_{\vartheta })}$.

Hierbei bezeichnet ${\displaystyle \operatorname {E} _{\vartheta }(Y)}$ bzw. ${\displaystyle \operatorname {Var} _{\vartheta }(Y)}$ die Erwartungswertbildung bzw. die Varianzbildung bezüglich des Wahrscheinlichkeitsmaßes ${\displaystyle P_{\vartheta }}$.

Die Erwartungstreue gilt, da

${\displaystyle \operatorname {E} _{\vartheta }\left({S^{*}}^{2}\right)={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {E} _{\vartheta }\left((X_{i}-\mu _{0})^{2}\right)={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {Var} (X_{i})=\operatorname {Var} _{\vartheta }(X_{1})}$

ist. Hierbei folgt der erste Schritt aus der Linearität des Erwartungswertes, der zweite, da nach der Voraussetzung über den bekannten Erwartungswert ${\displaystyle \mu _{0}=\operatorname {E} _{\vartheta }(X_{i})}$ ist und somit nach der Definition der Varianz ${\displaystyle \operatorname {E} _{\vartheta }(X_{i}-\mu _{0})^{2}=\operatorname {E} _{\vartheta }(X_{i}-\operatorname {E} (X_{i}))^{2}=\operatorname {Var} _{\vartheta }(X_{i})}$ gilt. In den dritten Schritt geht ein, dass die ${\displaystyle X_{i}}$ alle identisch verteilt sind.

Im Falle des unbekannten Erwartungswertes ist ${\displaystyle S^{2}}$eine erwartungstreue Schätzfunktion für die Varianz, es gilt also

${\displaystyle \operatorname {E} _{\vartheta }(S^{2})=\operatorname {Var} (P_{\vartheta })}$

Im Gegensatz dazu ist ${\displaystyle {\tilde {S}}^{2}}$nicht erwartungstreu, denn es gilt

${\displaystyle \operatorname {E} _{\vartheta }({\tilde {S}}^{2})={\frac {n-1}{n}}\operatorname {Var} (P_{\vartheta })}$.

Der Schätzer ${\displaystyle {\tilde {S}}^{2}}$ist aber noch asymptotisch erwartungstreu. Dies folgt direkt aus der obigen Darstellung, denn es ist

${\displaystyle \lim _{n\to \infty }\operatorname {E} _{\vartheta }({\tilde {S}}^{2})=\lim _{n\to \infty }{\frac {n-1}{n}}\operatorname {Var} (P_{\vartheta })=\operatorname {Var} (P_{\vartheta })}$.

Herleitung der Erwartungstreue

Beachte dazu zuerst, dass aufgrund der Unabhängigkeit

${\displaystyle \operatorname {E} (X_{i}X_{j})={\begin{cases}\operatorname {E} (X_{i})\cdot \operatorname {E} (X_{j})&{\text{ falls }}i\neq j\\\operatorname {E} (X_{i}^{2})&{\text{ falls }}i=j\end{cases}}\quad (*)}$

gilt und aufgrund der identischen Verteilungen

${\displaystyle \operatorname {E} (X_{i})=\operatorname {E} (X_{j})}$für alle ${\displaystyle i,j}$ und somit ${\displaystyle \operatorname {E} (X_{i})\cdot \operatorname {E} (X_{j})=\operatorname {E} (X_{i})^{2}\quad (**)}$.

Daraus folgt direkt

${\displaystyle {\begin{aligned}\operatorname {E} _{\vartheta }\left(X_{k}{\overline {X}}\right)&={\frac {1}{n}}\operatorname {E} _{\vartheta }\left(X_{k}\cdot \sum _{i=1}^{n}X_{i}\right)\\&={\frac {1}{n}}\operatorname {E} _{\vartheta }\left(X_{k}^{2}\right)+{\frac {1}{n}}\operatorname {E} _{\vartheta }\left(\sum _{i=1 \atop i\neq k}^{n}X_{i}X_{k}\right)\\&={\frac {1}{n}}\operatorname {E} _{\vartheta }\left(X_{k}^{2}\right)+{\frac {n-1}{n}}\operatorname {E} _{\vartheta }\left(X_{k}\right)^{2}\quad (1)\end{aligned}}}$

aufgrund von ${\displaystyle (*)}$und ${\displaystyle (**)}$im letzten Schritt und unter Verwendung der Linearität des Erwartungswertes.

Analog folgt, weil auch ${\displaystyle X_{1}^{2},\ldots ,X_{n}^{2}}$ identisch verteilt sind (insbesondere also ${\displaystyle \operatorname {E} _{\vartheta }(X_{i}^{2})=\operatorname {E} _{\vartheta }(X_{k}^{2})}$ für alle ${\displaystyle i,k}$),

${\displaystyle {\begin{aligned}\operatorname {E} _{\vartheta }\left({\overline {X}}^{2}\right)&={\frac {1}{n^{2}}}\operatorname {E} _{\vartheta }\left(\sum _{i=1}^{n}\sum _{j=1}^{n}X_{i}X_{j}\right)\\&={\frac {1}{n^{2}}}\operatorname {E} _{\vartheta }\left(\sum _{i=1}^{n}X_{i}^{2}+\sum _{i,j=1 \atop i\neq j}^{n}X_{i}X_{j}\right)\\&={\frac {n}{n^{2}}}\cdot \operatorname {E} _{\vartheta }(X_{k}^{2})+{\frac {n(n-1)}{n^{2}}}\operatorname {E} _{\vartheta }(X_{k})^{2}\\&={\frac {1}{n}}\operatorname {E} _{\vartheta }(X_{k}^{2})+{\frac {n-1}{n}}\cdot \operatorname {E} _{\vartheta }(X_{k})^{2}\quad (2)\end{aligned}}}$

wieder mithilfe von ${\displaystyle (*)}$und ${\displaystyle (**)}$im dritten Schritt.

Mithilfe von ${\displaystyle (1)}$und ${\displaystyle (2)}$im zweiten Schritt sowie von ${\displaystyle (**)}$im dritten Schritt ist dann

${\displaystyle {\begin{aligned}\operatorname {E} _{\vartheta }\left(\sum _{k=1}^{n}(X_{k}-{\overline {X}})^{2}\right)&=\operatorname {E} _{\vartheta }\left(\sum _{k=1}^{n}(X_{k}^{2}-2{\overline {X}}\cdot X_{k}+{\overline {X}}^{2})\right)\\&=\sum _{k=1}^{n}\left(\operatorname {E} _{\vartheta }(X_{k}^{2})-2\left(\underbrace {{\frac {1}{n}}\operatorname {E} _{\vartheta }\left(X_{k}^{2}\right)+{\frac {n-1}{n}}\operatorname {E} _{\vartheta }\left(X_{k}\right)^{2}} _{(1)}\right)+\left(\underbrace {{\frac {1}{n}}\operatorname {E} _{\vartheta }(X_{k}^{2})+{\frac {(n-1)}{n}}\cdot \operatorname {E} _{\vartheta }(X_{k})^{2}} _{(2)}\right)\right)\\&=n\cdot \operatorname {E} _{\vartheta }(X_{1}^{2})-2\operatorname {E} _{\vartheta }\left(X_{1}^{2}\right)-2(n-1)\operatorname {E} _{\vartheta }\left(X_{1}\right)^{2}+\operatorname {E} _{\vartheta }(X_{1}^{2})+(n-1)\cdot \operatorname {E} _{\vartheta }(X_{1})^{2}\\&=(n-1)\cdot \operatorname {E} _{\vartheta }(X_{1}^{2})-(n-1)\operatorname {E} _{\vartheta }(X_{1})^{2}\\&=(n-1)\operatorname {Var} (X_{1})\end{aligned}}.}$

Die letzte Gleichheit folgt hier nach dem Verschiebungssatz. Daraus folgt dann

${\displaystyle \operatorname {E} _{\vartheta }(S^{2})={\frac {1}{n-1}}\operatorname {E} _{\vartheta }\left(\sum _{k=1}^{n}(X_{k}-{\overline {X}})^{2}\right)=\operatorname {Var} _{\vartheta }(X_{1})=\operatorname {Var} (P_{\vartheta })}$

und analog

${\displaystyle \operatorname {E} _{\vartheta }({\tilde {S}}^{2})={\frac {1}{n}}\operatorname {E} _{\vartheta }\left(\sum _{k=1}^{n}(X_{k}-{\overline {X}})^{2}\right)={\frac {n-1}{n}}\operatorname {Var} (P_{\vartheta })}$.

Direkt aus der Definition folgt der Zusammenhang

${\displaystyle S^{2}={\frac {n}{n-1}}{\tilde {S}}^{2}}$

Der Faktor ${\displaystyle {\frac {n}{n-1}}}$wird hierbei als Bessel-Korrektur (nach Friedrich Wilhelm Bessel) bezeichnet.[8] Er kann insofern als Korrekturfaktor verstanden werden, da er ${\displaystyle {\tilde {S}}^{2}}$so korrigiert, dass die Schätzfunktion erwartungstreu wird. Dies folgt, da wie oben gezeigt

${\displaystyle \operatorname {E} _{\vartheta }({\tilde {S}}^{2})={\frac {n-1}{n}}\operatorname {Var} (P_{\vartheta })}$.

und die Bessel-Korrektur genau der Kehrwert des Faktors ${\displaystyle {\frac {n-1}{n}}}$ist. Die Schätzfunktion ${\displaystyle S^{2}}$geht somit aus ${\displaystyle {\tilde {S}}^{2}}$durch die Bessel-Korrektur hervor.

Die korrigierte Stichprobenvarianz ${\displaystyle S^{2}}$ ist ein erwartungstreuer Schätzer für die Varianz ${\displaystyle \sigma _{X}^{2}}$ der Grundgesamtheit. Im Gegensatz dazu ist aber ${\displaystyle {\sqrt {S^{2}}}}$ kein erwartungstreuer Schätzer für die Standardabweichung. Da die Quadratwurzel eine konkave Funktion ist, folgt aus der Jensenschen Ungleichung zusammen mit der Erwartungstreue von ${\displaystyle S^{2}}$

${\displaystyle \operatorname {E} \left({\sqrt {S^{2}}}\right)\leq {\sqrt {\operatorname {E} \left(S^{2}\right)}}=\sigma _{X}}$.

Dieser Schätzer unterschätzt also in den meisten Fällen die Standardabweichung der Grundgesamtheit.

Wählt man eine der Zahlen ${\displaystyle -1}$ oder ${\displaystyle +1}$ durch Wurf einer fairen Münze, also beide mit Wahrscheinlichkeit jeweils ${\displaystyle {\tfrac {1}{2}}}$, so ist das eine Zufallsgröße mit Erwartungswert 0, Varianz ${\displaystyle \sigma ^{2}=1}$ und Standardabweichung ${\displaystyle \sigma =1}$. Berechnet man aus ${\displaystyle n=2}$ unabhängigen Würfen ${\displaystyle X_{1}}$ und ${\displaystyle X_{2}}$ die korrigierte Stichprobenvarianz

${\displaystyle S^{2}={\frac {1}{2-1}}\left(\left(X_{1}-{\bar {X}}\right)^{2}+\left(X_{2}-{\bar {X}}\right)^{2}\right),}$

wobei

${\displaystyle {\bar {X}}={\frac {X_{1}+X_{2}}{2}}}$

den Stichprobenmittelwert bezeichnet, so gibt es vier mögliche Versuchsausgänge, die alle jeweils Wahrscheinlichkeit ${\displaystyle 1/4}$ haben:

${\displaystyle X_{1}}$	${\displaystyle X_{2}}$	${\displaystyle {\bar {X}}}$	${\displaystyle S^{2}}$	${\displaystyle {\sqrt {S^{2}}}}$
${\displaystyle -1}$	${\displaystyle -1}$	${\displaystyle -1}$	${\displaystyle 0}$	${\displaystyle 0}$
${\displaystyle -1}$	${\displaystyle +1}$	${\displaystyle 0}$	${\displaystyle 2}$	${\displaystyle {\sqrt {2}}}$
${\displaystyle +1}$	${\displaystyle -1}$	${\displaystyle 0}$	${\displaystyle 2}$	${\displaystyle {\sqrt {2}}}$
${\displaystyle +1}$	${\displaystyle +1}$	${\displaystyle +1}$	${\displaystyle 0}$	${\displaystyle 0}$

Der Erwartungswert der korrigierten Stichprobenvarianz beträgt daher

${\displaystyle \operatorname {E} \left(S^{2}\right)={\frac {0+2+2+0}{4}}=1=\sigma ^{2}}$.

Die korrigierte Stichprobenvarianz ist demnach also tatsächlich erwartungstreu. Der Erwartungswert der korrigierten Stichprobenstandardabweichung beträgt hingegen

${\displaystyle \operatorname {E} ({\sqrt {S^{2}}})={\frac {0+{\sqrt {2}}+{\sqrt {2}}+0}{4}}={\frac {\sqrt {2}}{2}}<1=\sigma }$.

Die korrigierte Stichprobenstandardabweichung unterschätzt also die Standardabweichung der Grundgesamtheit.

In Systemen, die kontinuierlich große Mengen an Messwerten erfassen, ist es oft unpraktisch, alle Messwerte zwischenzuspeichern, um die Standardabweichung zu berechnen.

In diesem Zusammenhang ist es günstiger, eine modifizierte Formel zu verwenden, die den kritischen Term ${\displaystyle \textstyle \sum _{i=1}^{n}{(X_{i}-{\bar {X}})^{2}}}$ umgeht. Dieser kann nicht für jeden Messwert sofort berechnet werden, da der Mittelwert ${\displaystyle {\bar {X}}}$ nicht konstant ist.

Durch Anwendung des Verschiebungssatzes und der Definition des Mittelwerts ${\displaystyle \textstyle {\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}{X_{i}}}$ gelangt man zur Darstellung

${\displaystyle {\begin{aligned}{\sqrt {S^{2}}}&={}{\sqrt {{\frac {1}{n-1}}\left[\left(\sum _{i=1}^{n}X_{i}^{2}\right)-{\frac {1}{n}}\left(\sum _{i=1}^{n}X_{i}\right)^{2}\right]}}\end{aligned}}}$

bzw.

${\displaystyle {\begin{aligned}{\sqrt {S^{2}}}&={}{\sqrt {{\frac {1}{n}}\left[\left(\sum _{i=1}^{n}X_{i}^{2}\right)-{\frac {1}{n}}\left(\sum _{i=1}^{n}X_{i}\right)^{2}\right]}}\end{aligned}}}$

die sich für jeden eintreffenden Messwert sofort aktualisieren lässt, wenn die Summe der Messwerte ${\displaystyle \textstyle \sum _{i=1}^{n}{X_{i}}}$ sowie die Summe ihrer Quadrate ${\displaystyle \textstyle \sum _{i=1}^{n}{X_{i}^{2}}}$ mitgeführt und fortlaufend aktualisiert werden. Diese Darstellung ist allerdings numerisch weniger stabil, insbesondere kann der Term unter der Quadratwurzel numerisch durch Rundungsfehler kleiner als 0 werden.

Durch geschicktes Umstellen lässt sich für letztere Gleichung eine Form finden, die numerisch stabiler ist und auf die Varianz ${\displaystyle S_{n-1}^{2}}$ und den Mittelwert ${\displaystyle {\bar {X}}_{n-1}}$ des vorhergehenden sowie auf den Stichprobenwert ${\displaystyle X_{n}}$ und den Mittelwert ${\displaystyle {\bar {X}}_{n}}$ des aktuellen Iterationsschrittes ${\displaystyle n}$ zurückgreift:

${\displaystyle {\begin{aligned}S^{2}&={}{\frac {n-1}{n}}\left(S_{n-1}^{2}+{\bar {X}}_{n-1}^{2}\right)+{\frac {X_{n}^{2}}{n}}-{\bar {X}}_{n}^{2}\end{aligned}}}$

Für den Fall normalverteilter Zufallsgrößen lässt sich allerdings ein erwartungstreuer Schätzer angeben:[10]

${\displaystyle {\sqrt {\frac {n-1}{2}}}\ {\frac {\Gamma \left({\frac {n-1}{2}}\right)}{\Gamma \left({\frac {n}{2}}\right)}}{\sqrt {S^{2}}}}$

Dabei ist ${\displaystyle {\sqrt {S^{2}}}}$ die Schätzung der Standardabweichung und ${\displaystyle \Gamma (x)}$ die Gammafunktion. Die Formel folgt, indem man beachtet, dass ${\displaystyle {\frac {(n-1)S^{2}}{\sigma ^{2}}}}$ eine Chi-Quadrat-Verteilung mit ${\displaystyle n-1}$ Freiheitsgraden hat.

Es wurden bei einer Stichprobe aus einer normalverteilten Zufallsgröße die fünf Werte 3, 4, 5, 6, 7 gemessen. Man soll nun die Schätzung für die Standardabweichung errechnen.

Die Stichprobenvarianz ist:

${\displaystyle s_{X}^{2}={\tfrac {1}{4}}(2^{2}+1^{2}+0+1^{2}+2^{2})=2{,}5}$

Der Korrekturfaktor ist in diesem Fall

${\displaystyle {\sqrt {2}}\ {\frac {\Gamma \left(2\right)}{\Gamma \left(2{,}5\right)}}\approx 1{,}063846}$

und die erwartungstreue Schätzung für die Standardabweichung ist damit näherungsweise

${\displaystyle {\hat {\sigma }}=1{,}064{\sqrt {2{,}5}}=1{,}68}$