Prädiktionsmatrix

Gegeben ein typisches multiples lineares Regressionsmodell ${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$, mit ${\displaystyle {\boldsymbol {\beta }}}$ dem ${\displaystyle p\times 1}$ Vektor der unbekannten Regressionsparameter, der ${\displaystyle n\times p}$ Versuchsplanmatrix ${\displaystyle \mathbf {X} }$, dem ${\displaystyle n\times 1}$ Vektor der abhängigen Variablen ${\displaystyle \mathbf {y} }$ und dem ${\displaystyle n\times 1}$ Vektor der Störgrößen ${\displaystyle {\boldsymbol {\varepsilon }}}$. Dann ist die Prädiktionsmatrix definiert durch

${\displaystyle \mathbf {P} \equiv \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\quad }$ mit ${\displaystyle \quad \mathbf {P} \in \mathbb {R} ^{n\times n}}$.

Die Matrix ${\displaystyle \mathbf {X} ^{+}=\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }}$ wird auch Moore-Penrose-Inverse von ${\displaystyle \mathbf {X} }$ genannt.

Die mithilfe der Methode der kleinsten Quadrate geschätzte Regressions(hyper)ebene ist dann gegeben durch die Stichproben-Regressionsfunktion ${\displaystyle {\hat {\mathbf {y} }}={\widehat {\operatorname {E} (\mathbf {y} )}}=\mathbf {X} {\hat {\boldsymbol {\beta }}}}$, wobei ${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} }$ der Kleinste-Quadrate-Schätzvektor ist. Die Prädiktionsmatrix ${\displaystyle \mathbf {P} }$ ist die Matrix der Orthogonalprojektion auf den Spaltenraum von ${\displaystyle \mathbf {X} }$ und hat maximal den Rang ${\displaystyle p}$ (${\displaystyle p=k+1}$ ist die Anzahl der Parameter des Regressionsmodells). Falls ${\displaystyle \mathbf {X} }$ eine ${\displaystyle (n\times p)}$ Matrix mit ${\displaystyle \operatorname {Rang} (\mathbf {X} )=p}$ ist, dann ist ${\displaystyle \operatorname {Rang} (\mathbf {P} )=p}$. Da ${\displaystyle \mathbf {P} }$ eine Projektionsmatrix ist, gilt ${\displaystyle \operatorname {Rang} (\mathbf {P} )=\operatorname {Spur} (\mathbf {P} )=p}$. Die Idempotenz- und die Symmetrieeigenschaft (${\displaystyle \mathbf {P} \cdot \mathbf {P} =\mathbf {P} }$ und ${\displaystyle \mathbf {P} ^{\top }=\mathbf {P} }$) implizieren, dass ${\displaystyle \mathbf {P} }$ ein orthogonaler Projektor auf den Spaltenraum ${\displaystyle S(\mathbf {X} )=S(\mathbf {P} )}$ ist.[3] Die Projektionsrichtung ergibt sich aus der Matrix ${\displaystyle (\mathbf {I} -\mathbf {P} )}$, deren Spalten senkrecht auf ${\displaystyle S(\mathbf {X} )}$ stehen. Die Matrix ${\displaystyle \mathbf {P} }$ wird Prädiktionsmatrix genannt, da sich die Vorhersagewerte ${\displaystyle {\hat {\mathbf {y} }}}$ durch die linksseitige Multiplikation des Vektors ${\displaystyle \mathbf {y} }$ mit dieser Matrix ergeben. Dies kann durch Einsetzen des KQ-Parameterschätzers wie folgt gezeigt werden:[4]

${\displaystyle {\hat {\mathbf {y} }}=\mathbf {X} {\hat {\boldsymbol {\beta }}}=\underbrace {\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }} _{=\mathbf {P} }\mathbf {y} =\mathbf {P} \mathbf {y} }$.

Die Vorhersagewerte von ${\displaystyle y}$ (die ${\displaystyle {\hat {y}}}$-Werte) können also als eine Funktion der beobachteten ${\displaystyle y}$-Werte verstanden werden. Zahlreiche statistische Resultate lassen sich auch mit der Prädiktionsmatrix darstellen. Beispielsweise lässt sich der Residualvektor mittels der Prädiktionsmatrix darstellen als: ${\displaystyle {\hat {\boldsymbol {\varepsilon }}}=\mathbf {y} -{\hat {\mathbf {y} }}=\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}=(\mathbf {I} -\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top })\mathbf {y} =(\mathbf {I} -\mathbf {P} )\mathbf {y} }$.[5] Die (nichttriviale) Kovarianzmatrix des Residualvektors lautet ${\displaystyle \operatorname {Cov} ({\hat {\boldsymbol {\varepsilon }}})=\sigma ^{2}(\mathbf {I} -\mathbf {P} )}$ und spielt für die Analyse von Hebelwerten eine Rolle.

Die Diagonalelemente ${\displaystyle p_{ii}}$ der Prädiktionsmatrix ${\displaystyle \mathbf {P} }$ können als Hebelwerte interpretiert werden und spielen in der Regressionsdiagnostik eine große Rolle. Sie sind gegeben durch

${\displaystyle p_{ii}=\mathbf {x} _{i}^{\top }\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {x} _{i}}$.

Diese Hebelwerte werden bei der Berechnung des Cook-Abstands verwendet und können genutzt werden, um einflussreiche Beobachtungen zu identifizieren. Es gilt ${\displaystyle {\frac {1}{n}}\leq p_{ii}\leq {\frac {1}{r}}}$, wobei ${\displaystyle r}$ die Anzahl der Zeilen in der Versuchsplanmatrix ${\displaystyle \mathbf {X} }$ darstellt, die unterschiedlich sind. Wenn alle Zeilen unterschiedlich sind, dann gilt ${\displaystyle {\frac {1}{n}}\leq p_{ii}\leq 1}$.[6]

1. David C. Hoaglin & Roy E. Welsch: The Hat Matrix in Regression and ANOVA. In: The American Statistician, 32(1), 1978, S. 17–22, doi:10.1080/00031305.1978.10479237, JSTOR:2683469.
2. Samprit Chatterjee & Ali S. Hadi: Influential observations, high leverage points, and outliers in linear regression. In: Statistical Science, 1(3), 1986, S. 379–393, doi:10.1214/ss/1177013622, JSTOR:2245477.
3. Wilhelm Caspary: Fehlertolerante Auswertung von Messdaten, S. 124
4. Rainer Schlittgen: Regressionsanalysen mit R., ISBN 978-3-486-73967-1, S. 27 (abgerufen über De Gruyter Online).
5. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 122.
6. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 108.