Grenzwertsätze der Stochastik

Die Gesetze der großen Zahlen untersuchen

• was der „typische“ Wert einer Summe von Zufallsvariablen ist und
• wie groß die Abweichungen von diesem typischen Wert sind.

Dabei unterscheidet man zwischen schwachen Gesetzen der großen Zahlen und starken Gesetzen der großen Zahlen. Diese unterscheiden sich im Wesentlichen durch ihren Konvergenzmodus: Die schwachen Gesetze der großen Zahlen betrachten die Konvergenz in Wahrscheinlichkeit, auch stochastische Konvergenz genannt. Die starken Gesetze der großen Zahlen hingegen verwenden eine stärkere Konvergenzart, die fast sichere Konvergenz.

Wird eine beliebige Zahlenfolge ${\displaystyle (a_{n})_{n\in \mathbb {N} }}$ auf ihr asymptotisches Verhalten untersucht, so kann man anstelle nach der Konvergenz der Folge auch die Frage stellen, von welcher Ordnung die Folge ist (siehe auch Landau-Symbole). Das bedeutet es wird eine Funktion ${\displaystyle f(n)}$ gesucht, so dass

${\displaystyle {\frac {a_{n}}{f(n)}}\;{\stackrel {n\to \infty }{\longrightarrow }}\;0}$

ist. Dann heißt die Folge von der Ordnung ${\displaystyle f(n)}$. Solche Folgen wachsen also langsamer als ${\displaystyle f(n)}$. Interessiert man sich weitergehend dafür, um welchen typischen Wert die Folge von einer gewissen Ordnung ist, führt man noch eine zweite Funktion ${\displaystyle g(n)}$ ein, so dass

${\displaystyle {\frac {a_{n}-g(n)}{f(n)}}\;{\stackrel {n\to \infty }{\longrightarrow }}\;0}$

Dabei gibt die Funktion ${\displaystyle f(n)}$ dann an, mit welcher Ordnung sich die Folge ${\displaystyle (a_{n})_{n\in \mathbb {N} }}$ von der Funktion ${\displaystyle g(n)}$ entfernt.

Wendet man diese Idee auf Folgen von Summen von Zufallsvariablen an, so erhält man die Fragestellung: Für welche ${\displaystyle f(n)}$, ${\displaystyle g(n)}$ gilt

${\displaystyle {\frac {S_{n}-g(n)}{f(n)}}\;{\stackrel {n\to \infty }{\longrightarrow }}\;0}$ fast sicher oder in Wahrscheinlichkeit?

Die Gesetze der großen Zahlen liefern als Antwort, dass (unter gewissen Voraussetzungen) der typische Wert der Summe durch

${\displaystyle g(n)=n\operatorname {E} (X_{1})}$

gegeben ist, und die Abweichungen von der Ordnung ${\displaystyle n}$ sind, also

${\displaystyle f(n)=n}$.

Umgekehrt formuliert ist der Erwartungswert der typische Wert für das arithmetische Mittel von Zufallsvariablen.

Ein erstes schwaches Gesetz der großen Zahlen für unabhängig identisch Bernoulli-verteilte Zufallsvariablen wurde von Jakob I Bernoulli gezeigt und 1713 posthum in seiner Ars conjectandi veröffentlicht (Bernoullis Gesetz der großen Zahlen).[1] Eine erste Verallgemeinerung der Ergebnisse von Bernoulli wurde von Siméon Denis Poisson 1837 formuliert.[2] Er verwendete auch als erster die Bezeichnung „Gesetz der großen Zahlen“.[3] Eine bedeutsame Weiterentwicklung war das erste schwache Gesetz der großen Zahlen für Zufallsvariablen beliebiger Verteilung von Pafnuti Lwowitsch Tschebyschow aus dem Jahre 1867 (Tschebyscheffs schwaches Gesetz der großen Zahlen).[3] Es baut im Wesentlichen auf Ergebnissen von Irénée-Jules Bienaymé, insbesondere der Bienaymé-Tschebyscheff-Ungleichung und der Gleichung von Bienaymé, auf. Eine erste Formulierung des schwachen Gesetzes der großen Zahlen, die ohne zweite Momente auskommt, stammt von Alexander Jakowlewitsch Chintschin aus dem Jahre 1929.[3]

Das erste starke Gesetz der großen Zahlen wurde 1909 von Émile Borel bewiesen.[4] Es gilt nur für Folgen von unabhängigen, zum Parameter ${\displaystyle p=0{,}5}$ identisch Bernoulli-verteilten Zufallsvariablen und bildet somit das starke Pendant zu Bernoullis (schwachem) Gesetz der großen Zahlen. Eine erste allgemeine Aussage für die Gütigkeit des starken Gesetzes der großen Zahlen wurde 1917 von Francesco Paolo Cantelli bewiesen (Satz von Cantelli).[5] Sie benötigt noch die Existenz der vierten Momente. Eine weitere Verallgemeinerung wurde 1930 und 1933 von Andrei Nikolajewitsch Kolmogorow gezeigt (Kolmogorows erstes und zweites Gesetz der großen Zahlen), wobei die Voraussetzungen an die benötigten Momente auf die Existenz der zweiten bzw. ersten Momente reduziert wurde.[5]

Die Gesetze der großen Zahlen identifizieren den Erwartungswert als typischen Wert des arithmetischen Mittels von Zufallsvariablen. Die zentralen Grenzwertsätze versuchen dann, Wahrscheinlichkeiten für die Abweichung vom Erwartungswert anzugeben.

Nach dem schwachen Gesetz der großen Zahlen gilt aber

${\displaystyle P\left(\left|{\tfrac {1}{n}}S_{n}-\operatorname {E} (X_{1})\right|\geq \varepsilon \right){\stackrel {n\to \infty }{\longrightarrow }}0}$

für alle ${\displaystyle \varepsilon >0}$. Die Wahrscheinlichkeit konzentriert sich wie zu erwarten immer mehr um den Erwartungswert, die Verteilung des arithmetischen Mittels konvergiert in Verteilung gegen die Dirac-Verteilung auf dem Erwartungswert. Diese Verteilung ist aber für eine Quantisierung der Wahrscheinlichkeiten der Abweichungen von Mittelwert nicht nützlich.

Analog zum Vorgehen bei den Gesetzen der großen Zahlen versucht man daher, eine passende Reskalierung ${\displaystyle f(n)}$ zu finden, so dass

${\displaystyle {\frac {1}{f(n)}}\sum _{i=1}^{n}(X_{i}-\operatorname {E} (X_{i}))\;{\stackrel {n\to \infty }{\longrightarrow }}\;Q\;}$ in Verteilung

für eine nicht degenerierte Wahrscheinlichkeitsverteilung ${\displaystyle Q}$. Für die Verteilungsfunktion ${\displaystyle F_{Q}}$ von ${\displaystyle Q}$ bedeutet dies

${\displaystyle P\left({\frac {1}{f(n)}}\sum _{i=1}^{n}(X_{i}-\operatorname {E} (X_{i}))\leq t\right)\;{\stackrel {n\to \infty }{\longrightarrow }}\;F_{Q}(t)\;}$

an jedem Stetigkeitspunkt von ${\displaystyle F_{Q}}$. Fordert man von der Reskalierung, dass die Wahrscheinlichkeitsverteilung auf der rechten Seite die Varianz 1 besitzen soll, so liefern die zentralen Grenzwertsätze, dass unter gewissen Umständen

${\displaystyle f(n)={\sqrt {n\operatorname {Var} (X_{1})}}}$

ist, insbesondere ist die Grenzverteilung eine Standardnormalverteilung. Somit sind die „mittelgroßen“ Abweichungen von Erwartungswert von der Ordnung ${\displaystyle {\sqrt {n}}}$, wohingegen die großen nach den Gesetzen der großen Zahlen von der Ordnung ${\displaystyle n}$ sind.

Der erste zentrale Grenzwertsatz ist der zentrale Grenzwertsatz von de Moivre-Laplace. Er ist gültig für Summen von Bernoulli-verteilten Zufallsvariablen und wurde von Abraham de Moivre im Jahr 1730 für den Fall ${\displaystyle p={\tfrac {1}{2}}}$ gezeigt und von Pierre-Simon Laplace 1812 für den allgemeinen Fall formuliert.[6] Erste allgemeine Ergebnisse zu den zentralen Grenzwertsätzen stammen von Pafnuti Lwowitsch Tschebyschow mit Korrekturen durch Andrei Andrejewitsch Markow. Im Jahre 1901 formulierte Alexander Michailowitsch Ljapunow die Ljapunow-Bedingung, welche eine hinreichende Bedingung für die Gültigkeit des zentralen Grenzwertsatzes ist (Satz von Ljapunow).[7] Eine weitere, etwas allgemeinere hinreichende Bedingung ist die Lindeberg-Bedingung von Jarl Waldemar Lindeberg aus dem Jahre 1922 (Lindeberg-Theorem). Eine weitere wichtige Aussage ist der Satz von Feller von William Feller aus dem Jahr 1935, der oft mit dem Lindeberg-Theorem zum zentralen Grenzwertsatz von Lindeberg-Feller zusammengefasst wird.[8]

Während sich die zentralen Grenzwertsätze mit den typischen Abweichungen beschäftigen, untersuchen die Gesetze des iterierten Logarithmus die maximale Abweichung über den gesamten Zeitraum. Betrachtet man die Abbildung

${\displaystyle n\mapsto S_{n}(\omega )}$

(in der Theorie der stochastischen Prozesse ein Pfad genannt), so ist dies eine reellwertige Funktion, definiert auf den ganzen Zahlen. Aufgrund der zufälligen Natur dieses Pfades kann man im Allgemeinen auch nach einer Reskalierung solch eines Pfades nicht mit einem eindeutigen nichttrivialen Grenzwert (d. h. ungleich ${\displaystyle 0}$ oder ${\displaystyle \pm \infty }$) des Pfades für ${\displaystyle n\to \infty }$ rechnen. Daher wird anstelle dessen untersucht, welche Werte dieser Pfad (nach Reskalierung) noch unendlich oft erreicht.

Um somit eine Aussage über die größten Werte herzuleiten, die noch unendlich oft erreicht werden, sucht man ein ${\displaystyle f(n)}$, so dass

${\displaystyle \limsup _{n\to \infty }\left({\frac {S_{n}(\omega )}{f(n)}}\right)=1}$

ist, da der Limes superior der größte Häufungspunkt einer Folge ist. Analoge Aussagen über die unendlich oft besuchten Minimalwerte erhält man über den Limes inferior.

Hier gibt die Reskalierung dann an, von welcher Größenordnung die maximalen Fluktuationen sind. Diese Größenordnung kann zwar überschritten werden, aber nur endlich oft. Konkret zeigen die Gesetze des iterierten Logarithmus, dass (unter gewissen Voraussetzungen)

${\displaystyle f(n)={\sqrt {2n\ln \ln(n)}}}$

für fast alle ${\displaystyle \omega \in \Omega }$ ist, woraus sich die Bezeichnung als iterierter Logarithmus ableitet.

Ein erstes Gesetz des iterierten Logarithmus für unabhängig Bernoulli-Verteilte Zufallsvariablen zum Parameter ${\displaystyle p=0{,}5}$ zeigte Alexander Jakowlewitsch Chintschin im Jahr 1922.[4] Zwei Jahre darauf zeigte er die allgemeinere Fassung für Zufallsvariablen, die zwei verschiedene Werten annehmen.[9] Eine erste allgemeine Version des Gesetzes des iterierten Logarithmus wurde 1929 von Andrei Nikolajewitsch Kolmogorow gezeigt.[10] Weitere Versionen, beispielsweise von William Feller, wurden im Laufe der Zeit veröffentlicht.[11] Eine gängige Version des Gesetzes des iterierten Logarithmus ist der Satz von Hartman-Wintner, der 1941 von Philip Hartman und Aurel Wintner bewiesen wurde. Ebenso finden sich Formulierungen in stetiger Zeit für den Wiener-Prozess.

Nach dem schwachen Gesetz der großen Zahlen konvergiert das arithmetische Mittel schwach gegen den Erwartungswert. Die Wahrscheinlichkeit, einen vom Erwartungswert abweichenden Wert zu erhalten konvergiert damit gegen Null. Die Theorie großer Abweichungen untersucht, wie schnell diese Konvergenz stattfindet.[12][13]

Als lokale Grenzwertsätze werden Aussagen bezeichnet, die sich aufbauend auf der Fragestellung der zentralen Grenzwertsätze damit beschäftigen, unter welchen Bedingungen die Wahrscheinlichkeitsdichten der Zufallsvariablen gegen die Wahrscheinlichkeitsdichte der Grenzverteilung konvergieren.[14]