Satz von Gauß-Markow

Der Satz wurde im Jahr 1821 von Carl Friedrich Gauß bewiesen. Versionen seines Beweises wurden unter anderem von Helmert (1872), Czuber (1891) und Markow (1912) veröffentlicht. Jerzy Neyman, der die Arbeit von Gauß nicht kannte, benannte den Satz unter anderem nach Markow. Seitdem ist der Satz als Satz von Gauß-Markow bekannt. Da die heutige Bezeichnung vor allem auf der Unkenntnis Neymans von Gauß’ Beweis beruht, wird in neuer Zeit – vor allem in englischsprachiger Literatur – vorgeschlagen, den Satz allein nach Gauß zu benennen, etwa Satz von Gauß. Historische Informationen zum Satz von Gauß-Markow finden sich bei Seal (1967), Placket (1972), Stigler (1986) und in History of Mathematical Statistics from 1750 to 1930 von Hald (1998).[2]

In Worten lautet dieser Satz: Der Kleinste-Quadrate-Schätzer ist die beste lineare erwartungstreue Schätzfunktion, wenn die zufälligen Störgrößen (die folgenden Formeln beziehen sich auf die einfache lineare Regression):[3]

• unkorreliert sind:

  ${\displaystyle \operatorname {Cov} (\varepsilon _{i},\varepsilon _{j})=\mathbb {E} [(\varepsilon _{i}-\mathbb {E} (\varepsilon _{i}))(\varepsilon _{j}-\mathbb {E} (\varepsilon _{j}))]=\mathbb {E} (\varepsilon _{i}\varepsilon _{j})=0\quad \forall i\neq j,\;i=1,\dotsc ,n,\;j=1,\dotsc ,n}$.

unabhängige Zufallsvariablen sind immer auch unkorreliert. Man spricht in diesem Zusammenhang auch von Abwesenheit von Autokorrelation.

• im Mittel Null sind: Wenn das Modell einen – von Null verschiedenen – Achsenabschnitt enthält, ist es vernünftig, dass man zumindest fordert, dass der Mittelwert von ${\displaystyle \varepsilon _{i}}$ in der Grundgesamtheit Null ist und sich die Schwankungen der einzelnen Störgrößen über die Gesamtheit der Beobachtungen ausgleichen. Mathematisch bedeutet das, dass der Erwartungswert der Störgrößen Null ist ${\displaystyle \operatorname {E} (\varepsilon _{i})=0\quad ,i=1,\ldots ,n}$. Diese Annahme macht keine Aussage über den Zusammenhang zwischen ${\displaystyle x}$ und ${\displaystyle \varepsilon }$, sondern gibt lediglich eine Aussage über die Verteilung der unsystematischen Komponente in der Grundgesamtheit.[4] Dies bedeutet, dass das betrachte Modell im Mittel dem wahren Zusammenhang entspricht. Wäre der Erwartungswert nicht Null, dann würde man im Mittel einen falschen Zusammenhang schätzen. Zur Verletzung dieser Annahme kann es kommen, wenn eine relevante Variable im Regressionsmodell nicht berücksichtigt wurde (siehe Verzerrung durch ausgelassene Variablen).
• eine endliche konstante Varianz haben (Homoskedastizität):${\displaystyle \forall i:\operatorname {Var} (\varepsilon _{i})=\operatorname {Var} (Y_{i})=\sigma ^{2}=\mathrm {konst.} <\infty }$

wenn die Varianz der Residuen (und somit die Varianz der erklärten Variablen selbst) für alle Ausprägungen der Regressoren gleich ist, liegt Homoskedastizität bzw. Varianzhomogenität vor.

Alle oben genannten Annahmen über die Störgrößen lassen sich so zusammenfassen:

${\displaystyle \forall i:\varepsilon _{i}\;{\sim }\;(0,\sigma ^{2})}$,

das heißt alle Störgrößen folgen der Verteilung ${\displaystyle \varepsilon _{i}\;{\sim }\;(0,\sigma ^{2})}$ mit Erwartungswert ${\displaystyle \mathbb {E} (\varepsilon _{i})=0}$ und der Varianz ${\displaystyle \operatorname {Var} (\varepsilon _{i})=\sigma ^{2}}$. Hierbei ist die Verteilung anfangs nicht näher spezifiziert.

Diese Annahmen werden auch als Gauß-Markow-Annahmen bezeichnet. In der Ökonometrie wird der Satz von Gauß-Markow oft abweichend dargestellt und es werden weitere Annahmen getroffen.

Als Ausgangslage betrachten wir ein typisches multiples lineares Regressionsmodell mit gegebenen Daten ${\displaystyle \{y_{i},x_{ij}\}_{i=1,\dots ,n;j=1,\dots ,k}}$ für ${\displaystyle n}$ statistische Einheiten und ${\displaystyle k}$ Regressoren. Der Zusammenhang zwischen der abhängigen Variablen und den unabhängigen Variablen kann wie folgt dargestellt werden

${\displaystyle y_{i}=\beta _{0}+x_{i1}\beta _{1}+x_{i2}\beta _{2}+\ldots +x_{ik}\beta _{k}+\varepsilon _{i}=\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}+\varepsilon _{i},\quad i=1,2,\dotsc ,n}$.

In Matrixnotation auch

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}}_{(n\times 1)}\quad =\quad {\begin{pmatrix}1&x_{11}&x_{12}&\cdots &x_{1k}\\1&x_{21}&x_{22}&\cdots &x_{2k}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&x_{n2}&\cdots &x_{nk}\end{pmatrix}}_{(n\times p)}\quad \cdot \quad {\begin{pmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{k}\end{pmatrix}}_{(p\times 1)}\quad +\quad {\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix}}_{(n\times 1)}}$

mit ${\displaystyle p=k+1}$. In kompakter Schreibweise

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$.

Hier stellt ${\displaystyle {\boldsymbol {\beta }}}$ einen Vektor von unbekannten Parametern dar (bekannt als Regressionskoeffizienten), die mithilfe der Daten geschätzt werden müssen. Des Weiteren wird angenommen, dass die Störgrößen im Mittel Null sind: ${\displaystyle \mathbb {E} [{\boldsymbol {\boldsymbol {\varepsilon }}}]=\mathbf {0} }$, was bedeutet, dass wir davon ausgehen können, dass unser Modell im Mittel korrekt ist. Hierbei nimmt man von der Datenmatrix ${\displaystyle \mathbf {X} \in \mathbb {R} ^{n\times p}}$ an, dass sie vollen (Spalten-)Rang hat, das heißt, es gilt ${\displaystyle {\mbox{Rang}}(\mathbf {X} )=p}$. Insbesondere ist dann ${\displaystyle \mathbf {X} ^{\top }\mathbf {X} }$ eine reguläre, also invertierbare Matrix. Deshalb spricht man hier vom regulären Fall (s. Überschrift). Ferner nimmt man für die Kovarianzmatrix des Vektors der Störgrößen an, dass ${\displaystyle {\mbox{Cov}}({\boldsymbol {\varepsilon }})=\mathbb {E} \left({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\right)=\sigma ^{2}\mathbf {I} _{n}}$ gilt. Die Gauß-Markow-Annahmen lassen sich im multiplen Fall also zusammenfassen als

${\displaystyle {\boldsymbol {\varepsilon }}\;\sim \;(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{n})}$

wobei der Erwartungswert der Störgrößen der Nullvektor ${\displaystyle \mathbf {0} }$ und die Kovarianzmatrix den Erwartungswert des dyadischen Produkts der Störgrößen

${\displaystyle \mathbf {\Sigma } =\mathbb {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top })={\begin{pmatrix}\sigma ^{2}&0&\cdots &0\\0&\sigma ^{2}&\ddots &\vdots \\\vdots &\ddots &\ddots &0\\0&\cdots &0&\sigma ^{2}\end{pmatrix}}_{(n\times n)}=\sigma ^{2}\mathbf {I} _{n}}$ darstellt.

Diese Annahme ist die Homoskedastizitätsannahme im multiplen Fall. Durch obige Spezifikation des linearen Modells erhält man damit für den Zufallsvektor ${\displaystyle \mathbf {y} }$

${\displaystyle \mathbf {y} \;\sim \;(\mathbf {X} {\boldsymbol {\beta }},\sigma ^{2}\mathbf {I} _{n})}$.[5]

Durch diese Annahmen erhält man:

1. Dass der Kleinste-Quadrate-Schätzer für den wahren Parametervektor ${\displaystyle {\boldsymbol {\beta }}}$, der ${\displaystyle \mathbf {b} =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} }$ lautet, ein minimalvarianter linearer erwartungstreuer Schätzer für ${\displaystyle {\boldsymbol {\beta }}}$ ist.
2. Dass die Kovarianzmatrix des Kleinste-Quadrate-Schätzers ${\displaystyle {\mbox{Cov}}(\mathbf {b} )=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}}$ ist.
3. Dass die geschätzte Varianz der Störgrößen ${\displaystyle {\hat {\sigma }}^{2}={\frac {{\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}}{n-p}}}$ ein erwartungstreuer Schätzer für die unbekannte Varianz der Störgrößen ${\displaystyle \sigma ^{2}}$ ist.

Gegeben, dass der wahre Zusammenhang durch ein lineares Modell beschrieben wird, gilt es den Kleinste-Quadrate-Schätzer mit allen anderen linearen Schätzern zu vergleichen. Um einen Vergleich anstellen zu können beschränkt man sich in der Analyse auf die Klasse der linearen und erwartungstreuen Schätzer. Jeder beliebige Schätzer dieser Klasse, neben dem Kleinste-Quadrate Schätzer ${\displaystyle \mathbf {b} }$, kann dargestellt werden als

${\displaystyle {\overline {\boldsymbol {\beta }}}=\mathbf {A} \mathbf {y} \;}$ mit ${\displaystyle \mathbf {A} \neq \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }}$.

Falls ${\displaystyle \mathbf {A} =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }}$ erhält man den Kleinste-Quadrate-Schätzer ${\displaystyle \mathbf {b} =(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} }$. Die Klasse aller linearen Schätzer ist somit gegeben durch

${\displaystyle {\overline {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} +\mathbf {A} \mathbf {y} -\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} +\underbrace {(\mathbf {A} -\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top })} _{=\mathbf {C} }\mathbf {y} =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} +\mathbf {C} \mathbf {y} }$, wobei die Matrix ${\displaystyle \mathbf {C} }$ gegeben ist durch ${\displaystyle \mathbf {C} =\mathbf {A} -\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }}$

Nun gilt es Restriktionen für ${\displaystyle \mathbf {C} }$ zu finden die sicherstellen, dass ${\displaystyle {\overline {\boldsymbol {\beta }}}}$ erwartungstreu für ${\displaystyle {\boldsymbol {\beta }}}$ ist. Ebenfalls muss die Kovarianzmatrix von ${\displaystyle {\overline {\boldsymbol {\beta }}}}$ gefunden werden. Der Erwartungswert von ${\displaystyle {\overline {\boldsymbol {\beta }}}}$ ergibt

${\displaystyle {\begin{aligned}\mathbb {E} ({\overline {\boldsymbol {\beta }}})&=\mathbb {E} (\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }(\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }})+\mathbf {C} (\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}))\\&=\mathbb {E} (\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {X} {\boldsymbol {\beta }}+\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}+\mathbf {C} \mathbf {X} {\boldsymbol {\beta }}+\mathbf {C} {\boldsymbol {\varepsilon }})\\&={\boldsymbol {\beta }}+\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\underbrace {\mathbb {E} ({\boldsymbol {\varepsilon }})} _{=\mathbf {0} }+\mathbf {C} \mathbf {X} {\boldsymbol {\beta }}+\mathbf {C} \underbrace {\mathbb {E} ({\boldsymbol {\varepsilon }})} _{=\mathbf {0} }\\&={\boldsymbol {\beta }}+\mathbf {C} \mathbf {X} {\boldsymbol {\beta }}\end{aligned}}}$

D. h. ${\displaystyle {\overline {\boldsymbol {\beta }}}}$ ist dann und nur dann erwartungstreu für ${\displaystyle {\boldsymbol {\beta }}}$, wenn ${\displaystyle \mathbf {C} \mathbf {X} =\mathbf {0} }$, also gilt ${\displaystyle \mathbb {E} ({\overline {\boldsymbol {\beta }}})={\boldsymbol {\beta }}\Longleftrightarrow \mathbf {C} \mathbf {X} =\mathbf {0} }$.

Es folgt für die Kovarianzmatrix von ${\displaystyle {\overline {\boldsymbol {\beta }}}}$:

${\displaystyle {\begin{aligned}\mathbf {\Sigma } _{\overline {\boldsymbol {\beta }}}&=\operatorname {Cov} ({\overline {\boldsymbol {\beta }}})=\mathbb {E} \left\{\left[{\overline {\boldsymbol {\beta }}}-\mathbb {E} ({\overline {\boldsymbol {\beta }}})\right]\left[{\overline {\boldsymbol {\beta }}}-\mathbb {E} ({\overline {\boldsymbol {\beta }}})\right]^{\top }\right\}\\&=\mathbb {E} \left\{\left[\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}+\mathbf {C} {\boldsymbol {\varepsilon }}\right]\left[\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}+\mathbf {C} {\boldsymbol {\varepsilon }}\right]^{\top }\right\}\\&=\mathbb {E} \left\{\left[\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}+\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\mathbf {C} ^{\top }+\mathbf {C} {\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}+\mathbf {C} {\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\mathbf {C} ^{\top }\right]\right\}\\&=\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\sigma ^{2}\mathbf {I} _{n}\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}+\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\sigma ^{2}\mathbf {I} _{n}\mathbf {C} ^{\top }+\mathbf {C} \sigma ^{2}\mathbf {I} _{n}\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}+\mathbf {C} {\boldsymbol {\sigma }}^{2}\mathbf {I} _{n}\mathbf {C} ^{\top }\\&=\sigma ^{2}\left[\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}+\mathbf {C} \mathbf {C} ^{\top }\right]\end{aligned}}}$

Daraus folgt

${\displaystyle \mathbf {\Sigma } _{\overline {\boldsymbol {\beta }}}-\mathbf {\Sigma } _{\mathbf {b} }=\sigma ^{2}\mathbf {C} \mathbf {C} ^{\top }}$[8]

Diese Matrix wird immer positiv semidefinit sein, – unabhängig wie ${\displaystyle \mathbf {C} }$ definiert ist – da eine Matrix multipliziert mit ihrer eigenen Transponierten immer positiv semidefinit ist.

Wir betrachten nun den sog. singulären Fall, d. h. es gilt ${\displaystyle {\mbox{Rang}}(\mathbf {X} )<p\;}$. Dann ist auch ${\displaystyle \mathbf {X} ^{\top }\mathbf {X} }$ nicht von vollem Rang, also nicht invertierbar. Der oben angegebene Kleinste-Quadrate-Schätzer ${\displaystyle \mathbf {b} }$ existiert nicht. Man sagt, ${\displaystyle {\boldsymbol {\beta }}}$ ist nicht schätzbar bzw. nicht identifizierbar.

Der singuläre Fall tritt dann ein, wenn ${\displaystyle n<p}$, oder wenn nur in ${\displaystyle q<p}$ verschiedenen Regressoreinstellungen beobachtet wird, oder wenn lineare Abhängigkeiten in der Datenmatrix ${\displaystyle \mathbf {X} }$ vorliegen.

Sei nun ${\displaystyle {\mbox{Rang}}(\mathbf {X} )=m<p}$. Dann sind bestenfalls ${\displaystyle m}$-dimensionale Linearformen ${\displaystyle {\boldsymbol {\gamma }}=\mathbf {A} {\boldsymbol {\beta }}}$ linear und erwartungstreu schätzbar, wobei ${\displaystyle \mathbf {A} }$ eine ${\displaystyle (m\times p)}$-Matrix ist.

Die verallgemeinerte Kleinste-Quadrate-Schätzung (VKQ-Schätzung), die von Aitken[11] entwickelt wurde, erweitert der Satz von Gauß-Markow auf den Fall, bei dem der Vektor der Störgrößen eine nichtskalare Kovarianzmatrix hat, d. h. es gilt ${\displaystyle \mathbf {\Sigma } \neq \sigma ^{2}\mathbf {I} _{n}}$.[12] Der VKQ-Schätzer ist ebenfalls BLUE.

• Bester erwartungstreuer Schätzer (BES)
• Beste lineare erwartungstreue Vorhersage (BLEV)
• Gleichmäßig bester erwartungstreuer Schätzer
• Lokal minimaler Schätzer

• Carolus Fridericus Gauss: Theoria combinationis observationum erroribus minimis obnoxiae. In: Commentationes Societatis Regiae Scientiarum Gottingensis recentiores – Classis Physicae, Band 5 (1819–1822), Henricus Dieterich, Göttingen 1823, S. 33–90 (Göttinger Digitalisierungszentrum).
• A. A. Markoff: Wahrscheinlichkeitsrechnung. 2. Auflage, 1912 (Cornell University Library); siehe insb. Kapitel 7
• Earliest Known Uses of Some of the Words of Mathematics (G) zur Herkunft des Namens

• George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. John Wiley & Sons, New York, Chichester, Brisbane, Toronto, Singapore, ISBN 978-0-471-62414-1, second edition 1988

1. International Statistical Institute: Glossary of statistical terms.
2. Ulrich Kockelkorn: Lineare statistische Methoden. De Gruyter 2018, ISBN 978-3-486-78782-5, S. 329 (abgerufen über De Gruyter Online).
3. Ludwig von Auer: Ökonometrie. Eine Einführung. Springer, ISBN 978-3-642-40209-8, 6. durchges. u. aktualisierte Aufl. 2013, S. 49.
4. Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education 2015, S. 24.
5. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. John Wiley & Sons, New York, Chichester, Brisbane, Toronto, Singapore, ISBN 978-0-471-62414-1, second edition 1988, S. 202.
6. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. John Wiley & Sons, New York, Chichester, Brisbane, Toronto, Singapore, ISBN 978-0-471-62414-1, second edition 1988, S. 203.
7. International Statistical Institute: Glossary of statistical terms.
8. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. John Wiley & Sons, New York, Chichester, Brisbane, Toronto, Singapore, ISBN 978-0-471-62414-1, second edition 1988, S. 205.
9. C. R. Rao, Helge Toutenburg, Shalabh, C. Heumann: Linear Models and Generalizations, Springer-Verlag 2008 (third edition)
10. F. Pukelsheim: Optimal Design of Experiments, Wiley, New York 1993
11. A. C. Aitken: On Least Squares and Linear Combinations of Observations. In: Proceedings of the Royal Society of Edinburgh. 55. Jahrgang, 1935, S. 42–48.
12. David S. Huang: Regression and Econometric Methods. John Wiley & Sons, New York 1970, ISBN 0-471-41754-8, S. 127–147 (google.com).