Fisher-Information

Als statistisches Modell sei der Grundraum ${\displaystyle X=\{0,1,2,\dots \}}$ gegeben, versehen mit der σ-Algebra ${\displaystyle {\mathcal {A}}={\mathcal {P}}(X)}$, der Potenzmenge. Für ${\displaystyle \lambda \in (0,\infty )}$ sei ${\displaystyle P_{\lambda }}$ die Poisson-Verteilung. Demnach ist die Dichtefunktion, hier bezüglich des Zählmaßes, gegeben durch

${\displaystyle f(x,\lambda )={\frac {\lambda ^{x}}{x!}}\,\mathrm {e} ^{-\lambda }}$.

Damit ergibt sich die Score-Funktion zu

${\displaystyle S_{\lambda }(x)={\frac {\partial }{\partial \lambda }}\ln f(x,\lambda )={\frac {\partial }{\partial \lambda }}\left(x\ln(\lambda )-\ln(x!)-\lambda \right)={\frac {x}{\lambda }}-1}$

Damit ist die Fisher-Information nach den Rechenregeln für die Varianz unter linearen Transformationen

${\displaystyle I(\lambda )=\operatorname {Var} _{\lambda }(S_{\lambda })={\frac {1}{\lambda }}}$.

Als statistisches Modell sei diesmal ${\displaystyle X=(0,\infty )}$ und ${\displaystyle {\mathcal {A}}={\mathcal {B}}((0,\infty ))}$ gewählt. Die ${\displaystyle P_{\lambda }}$ seien Exponentialverteilt zum Parameter ${\displaystyle \lambda \in (0,\infty )}$. Somit besitzen sie die Dichtefunktion (bezüglich des Lebesgue-Maßes)

${\displaystyle f(x,\lambda )=\lambda \exp(-\lambda x)}$.

Demnach ist die Score-Funktion

${\displaystyle S_{\lambda }(x)={\frac {\partial }{\partial \lambda }}\ln f(x,\lambda )={\frac {\partial }{\partial \lambda }}\left(\ln(\lambda )-\lambda x\right)={\frac {1}{\lambda }}-x}$,

folglich ist die Fisher-Information

${\displaystyle I(\lambda )=\operatorname {Var} _{\lambda }(S_{\lambda })={\frac {1}{\lambda ^{2}}}}$

Ist ${\displaystyle P_{\vartheta }}$ durch eine einparametrige Exponentialfamilie gegeben, besitzt also die Dichtefunktion

${\displaystyle f(x,\vartheta )=h(x)A(\vartheta )\exp(\eta (\vartheta )T(x))}$,

so ist die Score-Funktion gegeben durch

${\displaystyle S_{\vartheta }(x)=\eta '(\vartheta )T(x)+{\frac {A'(\vartheta )}{A(\vartheta )}}}$.

Daraus folgt für die Fisher-Information

${\displaystyle I(\vartheta )=\left[\eta '(\vartheta )\right]^{2}\cdot \operatorname {Var} _{\vartheta }(T(x))}$.

Ist die Exponentialfamilie in der natürlichen Parametrisierung gegeben, als ${\displaystyle \eta (\vartheta )=\vartheta }$, so vereinfacht sich dies zu

${\displaystyle S_{\vartheta }(x)=T(x)+{\frac {A'(\vartheta )}{A(\vartheta )}}{\text{ und }}I(\vartheta )=\operatorname {Var} _{\vartheta }(T(x))}$

In diesem Fall ist also die Varianz der kanonischen Statistik ${\displaystyle T}$ die Fisher-Information.

Die Fisher-Information ist im Fall unabhängig und identisch verteilter Zufallsvariablen unter der ersten Regularitätsbedingung additiv, das heißt, für die Fisher-Information ${\displaystyle {\mathcal {I}}^{(n)}}$ einer Stichprobe ${\displaystyle X_{1},\dotsc ,X_{n}}$ unabhängiger und identisch verteilter Zufallsvariabler mit Fisher-Information ${\displaystyle {\mathcal {I}}}$ gilt

${\displaystyle {\mathcal {I}}^{(n)}(\vartheta )=n\cdot {\mathcal {I}}(\vartheta )}$.

Diese Eigenschaft folgt direkt aus der Gleichung von Bienaymé. Die Fisher-Information nimmt also proportional zur Anzahl ${\displaystyle n}$ der Beobachtungen zu.

Ferner gilt für suffiziente Statistiken ${\displaystyle T}$, dass die Fisher-Information bezüglich ${\displaystyle f_{\vartheta }(X)}$ dieselbe wie für ${\displaystyle g_{\vartheta }(T(X))}$ ist, wobei ${\displaystyle f_{\vartheta }(x)=h(x)g_{\vartheta }(T(x))}$ gilt.

Benutzt wird die Fisher-Information speziell in der Cramér-Rao-Ungleichung, wo ihr Kehrwert bei Gültigkeit der angesprochenen Regularitätsbedingung eine untere Schranke für die Varianz eines Schätzers für ${\displaystyle \vartheta }$ liefert: Ist ${\displaystyle T(X)}$ ein erwartungstreuer Schätzer für den unbekannten Parameter ${\displaystyle \vartheta }$, dann gilt ${\displaystyle \operatorname {Var} _{\vartheta }(T(X))\geq {\mathcal {I}}(\vartheta )^{-1}}$.

Ist ${\displaystyle X}$ normalverteilt mit Erwartungswert ${\displaystyle \vartheta }$ als Parameter und bekannter Varianz ${\displaystyle v>0}$, dann ist ${\displaystyle f_{\vartheta }(x)={\frac {1}{\sqrt {2\pi v}}}\mathrm {e} ^{-{\frac {(x-\vartheta )^{2}}{2v}}}}$. Es folgt

${\displaystyle {\frac {\partial }{\partial \vartheta }}\log f_{\vartheta }(x)={\frac {x-\vartheta }{v}}}$,

also

${\displaystyle {\mathcal {I}}(\vartheta )=\operatorname {Var} \left({\frac {X-\vartheta }{v}}\right)={\frac {1}{v}}}$.

Betrachtet man dagegen sowohl den Erwartungswert ${\displaystyle \mu }$ als auch die Varianz ${\displaystyle v}$ als unbekannte Parameter, so ergibt sich

${\displaystyle {\mathcal {I}}(\mu ,v)={\begin{pmatrix}{\dfrac {1}{v}}&0\\0&{\dfrac {1}{2v^{2}}}\end{pmatrix}}}$

als Fisher-Informationsmatrix.