Gauß-Prozess

Ein (reellwertiger) Gauß-Prozess ist ein stochastischer Prozess ${\displaystyle (X_{t})_{t\in T}}$ auf einer beliebigen Indexmenge ${\displaystyle T}$, wenn seine endlichdimensionalen Verteilungen mehrdimensionale Normalverteilungen, auch Gauß-Verteilungen genannt, sind. Es soll also für alle ${\displaystyle n\in \mathbb {N} }$ und alle Indizes ${\displaystyle t_{1},t_{2},\dotsc ,t_{n}\in T}$ die multivariate Verteilung von ${\displaystyle (X_{t_{1}},X_{t_{2}},\dotsc ,X_{t_{n}})}$ durch eine ${\displaystyle n}$-dimensionale Normalverteilung gegeben sein.

Eine ein- oder mehrdimensionalen Normalverteilung ist durch die Angabe des Erwartungswertvektors und der Kovarianzmatrix vollständig bestimmt. Die Wahrscheinlichkeitsverteilung eines Gauß-Prozesses liegt durch die Angabe aller endlichdimensionalen Verteilungen fest. Daher ist ein Gaußprozess durch eine Erwartungswertfunktion

${\displaystyle \mu (t):=\mathbb {E} [X_{t}],\quad t\in T}$

und eine Kovarianzfunktion

${\displaystyle \gamma (s,t):=\operatorname {Cov} [X_{s},X_{t}]:=\mathbb {E} \left[(X_{s}-\mu (s))(X_{t}-\mu (t))\right],\quad s,t\in T}$

eindeutig bestimmt. Durch das Funktionenpaar ${\displaystyle (\mu :T\to \mathbb {R} ,\gamma :T\times T\to \mathbb {R} )}$ liegen die Parameter aller mehrdimensionalen Normalverteilungen fest und damit liegt die Wahrscheinlichkeitsverteilung des Gauß-Prozesses fest.

Falls ${\displaystyle \gamma (t,t)>0}$ für alle ${\displaystyle t\in T}$ gilt, ist durch

${\displaystyle \varrho (s,t):={\frac {\gamma (s,t)}{\sqrt {\gamma (s,s)\gamma (t,t)}}},\quad s,t\in T}$

die Korrelationsfunktion des Gauß-Prozesses gegeben.

• Als mehrdimensionale Normalverteilungen sind nicht nur reguläre Verteilungen mit invertierbarer Kovarianzmatrix zugelassen, sondern auch singuläre Verteilungen, bei denen die Kovarianzmatrix positiv semidefinit, aber nicht positiv definit, und damit nicht invertierbar ist.
• Bei vielen Anwendungen, aber nicht immer, ist ${\displaystyle t}$ ein Zeitindex und ${\displaystyle T\subseteq \mathbb {R} }$ eine Menge von Zeitpunkten.
• Die Varianzfunktion ist

${\displaystyle \sigma ^{2}(t):=\operatorname {Var} [X_{t}]=\operatorname {Cov} [X_{t},X_{t}]=\gamma (t,t),\quad t\in T\;.}$

Aus der Kovarianzfunktion können die Varianzfunktion und die Korrelationsfunktion gewonnen werden. Aus einer gegebenen Korrelationsfunktion und einer Varianzfunktion ergibt sich die Kovarianzfunktion.

Eine Charakterisierung des Gauß-Prozesses durch die drei Funktionen ${\displaystyle \mu (\cdot )}$, ${\displaystyle \sigma ^{2}(\cdot )}$ und ${\displaystyle \varrho (\cdot ,\cdot )}$ ist für Anwendungen deswegen interessant, weil die Erwartungswertfunktion und die Varianzfunktion vollständig die eindimensionalen Verteilungen beschreibt, da

${\displaystyle X_{t}\sim {\mathcal {N}}(\mu (t),\sigma ^{2}(t))\quad {\text{für alle }}t\in T}$

gilt, während die Korrelationsfunktion vollständig die gesamte Abhängigkeitsstruktur der Zufallsvariablen erfasst und zugleich keine Parameter aus den Verteilungen der einzelnen Zufallsvariablen enthält. Für einen Gauß-Prozess ist also die Abhängkeitsstruktur vollständig durch die Korrelationsstruktur bestimmt.

• Eine Kovarianzfunktion ist positiv semidefinit. Eine Funktion ${\displaystyle \gamma :T\times T\to \mathbb {R} }$ ist genau dann eine Kovarianzfunktion, falls sie positiv semidefinit ist.
• Für einen Gauß-Prozess ${\displaystyle (X_{t})_{t\in T}}$ folgt aus der paarweisen Unkorreliertheit aller ${\displaystyle X_{t}}$, d. h. aus

${\displaystyle \mathrm {Cov} [X_{s},X_{t}]=0\quad {\text{für alle }}s,t\in T\;,}$

die stochastische Unabhängigkeit der Familie von Zufallsvariablen, d. h. für alle ${\displaystyle m\in \mathbb {N} }$ und beliebige ${\displaystyle m}$ voneinander verschiedene Indizes ${\displaystyle t_{1},\dots ,t_{m}}$ gilt

${\displaystyle P(X_{t_{1}}\leq x_{1},\dots ,X_{t_{m}}\leq x_{m})=\prod _{j=1}^{m}P(X_{t_{j}}\leq x_{j})\quad {\text{für alle }}x_{1},\dots ,x_{m}\in \mathbb {R} \;.}$

• Jeder Gauß-Prozess ist ein stochastischer Prozess zweiter Ordnung, er besitzt also endliche zweite Momente, d. h. ${\displaystyle \mathbb {E} [X_{s}X_{t}]\in \mathbb {R} }$ für ${\displaystyle s,t\in T}$.

Gauß-Prozesse lassen sich auch mit Bildmenge ${\displaystyle \mathbb {R} ^{n}}$ (oder ${\displaystyle \mathbb {C} ^{n}}$) definieren. Ein ${\displaystyle n}$-variater Gauß-Prozess ist ein ${\displaystyle \mathbb {R} ^{n}}$-wertiger Gauß-Prozess[1]

${\displaystyle (\mathbf {X} _{t})_{t\in T}=(X_{t}^{(1)},\dots ,X_{t}^{(n)})_{t\in T}.}$

Analog kann man jetzt die Erwartungswertvektor-Funktion und Kovarianz-Matrix-Funktion bilden. Notiere für die ${\displaystyle i}$-te und ${\displaystyle j}$-te Komponente

${\displaystyle \mu _{i}(t):=\mathbb {E} [X_{t}^{(i)}],\qquad \gamma _{ij}(s,t):=\operatorname {Cov} [X_{s}^{(i)},X_{t}^{(j)}],}$

dann ist die Erwartungswertvektor-Funktion

${\displaystyle {\boldsymbol {\mu }}(t):=\mathbb {E} [\mathbf {X} _{t}]=(\mu _{1}(t),\dots ,\mu _{n}(t))}$

und die Kovarianz-Matrix-Funktion

${\displaystyle {\boldsymbol {\gamma }}(s,t):=\operatorname {Cov} [\mathbf {X} _{s},\mathbf {X} _{t}]=\left(\gamma _{ij}(s,t)\right)_{i,j=1}^{n},}$

wobei die rechte Seite als Matrix zu verstehen ist.

Die Verteilung des Prozesses ist ein gaußsches Maß auf dem Raum ${\displaystyle (\mathbb {R} ^{n})_{T}}$, dem Raum der ${\displaystyle \mathbb {R} ^{n}}$-wertigen Funktionen von ${\displaystyle T}$.

Allgemein ist ein univariater Gauß-Prozess eine Familie von reellwertigen Zufallsvariablen ${\displaystyle (X_{t})_{t\in T}}$ mit beliebiger Indexmenge ${\displaystyle T}$, so dass jede endliche Teilfamilie normalverteilt ist. Dies ist ein sehr allgemeines Konzept und umfasst für verschiedene Arten der Indexmenge ${\displaystyle T}$ beispielsweise die Konzepte einer Zufallsvariablen, einer zufälligen endlichen Folge, einer zufälligen Folge, einer zufälligen Funktion, einer zufälligen Matrix oder eines zufälligen Feldes.

Auch wenn die Indexmenge ${\displaystyle T}$ beliebig ist, spricht man typischerweise nur dann von einem stochastischen Prozess, wenn die Indexmenge unendlich ist, da sich für eine endliche Indexmenge wohlbekannte Spezialfälle ergeben.

Für eine einelementige Indexmenge ${\displaystyle T=\{1\}}$ ist der Gauß-Prozess eine normalverteilte Zufallsvariable oder gaußsche Zufallsvariable ${\displaystyle X_{1}\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$ mit ${\displaystyle \mu =\mu (1)}$ und ${\displaystyle \sigma ^{2}=\gamma (1,1)}$. Die Realisierungen sind Zahlen in ${\displaystyle x\in \mathbb {R} }$.

Für eine endliche Indexmenge ${\displaystyle T=\{t_{1},\dots ,t_{n}\}}$ ist der Gauß-Prozess ${\displaystyle (X_{t})_{t\in T}=(X_{t_{1}},\dots ,X_{t_{n}})}$ eine endliche Folge normalverteilter Zufallsvariablen, die eine gemeinsame ${\displaystyle n}$-dimensionale Normalverteilung

${\displaystyle (X_{t_{1}},\dots ,X_{t_{n}})\sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

mit dem Erwartungswertvektor ${\displaystyle {\boldsymbol {\mu }}=(\mu (t_{1}),\dots ,\mu (t_{n}))}$ und der (${\displaystyle n\times n}$)-Kovarianzmatrix ${\displaystyle {\boldsymbol {\Sigma }}=(\sigma _{ij})}$ mit den Elementen ${\displaystyle \sigma _{ij}=\gamma (t_{i},t_{j})}$ für ${\displaystyle i,j=1,\dots ,n}$ besitzen. Die Realisierungen der endlichen Folge sind Vektoren ${\displaystyle (x_{t_{1}},\dots ,x_{t_{n}})\in \mathbb {R} ^{n}}$.

Bei einer Interpretation von ${\displaystyle t}$ als Zeitindex und von ${\displaystyle T=\{1,\dots ,n\}}$ als Menge aufeinanderfolgender Zeitpunkte sind die bedingten Verteilungen

${\displaystyle [X_{2}\mid X_{1}=x_{1}],\quad [X_{3}\mid X_{2}=x_{2},X_{1}=x_{1}],\dots [X_{n}\mid X_{n}=x_{n},\dots X_{1}=x_{1}]}$,

die bedingten Erwartungswerte

${\displaystyle \mathbb {E} [X_{2}\mid X_{1}=x_{1}],\quad \mathbb {E} [X_{3}\mid X_{2}=x_{2},X_{1}=x_{1}],\dots \mathbb {E} [X_{n}\mid X_{n-1}=x_{n-1},\dots X_{1}=x_{1}]}$

und die bedingten Varianzen

${\displaystyle \mathbb {Var} [X_{2}\mid X_{1}=x_{1}],\quad \mathbb {Var} [X_{3}\mid X_{2}=x_{2},X_{1}=x_{1}],\dots \mathbb {Var} [X_{n}\mid X_{n-1}=x_{n-1},\dots X_{1}=x_{1}]}$

von besonderem Interesse. Diese charakterisieren die Wahrscheinlichkeitsverteilung von ${\displaystyle X_{t}}$, wenn beobachtete Werte bis zum Zeitpunkt ${\displaystyle t-1}$ vorliegen. Es ist eine Besonderheit der mehrdimensionalen Normalverteilung, dass die bedingten Verteilungen einer mehrdimensionalen Normalverteilung wieder mehrdimensionale Normalverteilungen sind, wobei die bedingten Erwartungswerte lineare Funktionen der Vergangenheitswerte ${\displaystyle x_{1},\dots ,x_{n-1}}$ sind, während die bedingten Varianzen nicht von diesen abhängen.

Für die Indexmenge ${\displaystyle T=\mathbb {N} }$ ist der Gauß-Prozess ${\displaystyle (X_{t})_{t\in \mathbb {N} }}$ eine Folge ${\displaystyle (X_{1},X_{2},\dots )}$ normalverteilter Zufallsvariablen mit der zusätzlichen Eigenschaft, dass jeder endliche Teilvektor eine mehrdimensionale Normalverteilung besitzt. Die Realisierungen sind Zahlenfolgen ${\displaystyle (x_{1},x_{2},\dots )\in \mathbb {R} ^{\infty }}$. Dabei bezeichnet ${\displaystyle \mathbb {R} ^{\infty }}$ die Menge aller reellwertigen Folgen, also der Funktionen ${\displaystyle \mathbb {N} \to \mathbb {R} }$, ${\displaystyle (1,2,\dots )\mapsto (x_{1},x_{2},\dots )}$. In diesem Fall kann der Gauß-Prozess als zufällige Folge interpretiert werden, dessen Realisierungen gewöhnliche Zahlenfolgen sind.

Für die Indexmenge ${\displaystyle T=\mathbb {R} }$ ist der Gauß-Prozess ${\displaystyle (X_{t})_{t\in \mathbb {R} }}$ eine Familie normalverteilter Zufallsvariablen mit der Eigenschaft, dass jede endliche Teilfamilie eine mehrdimensionale Normalverteilung besitzt. Die Realisierungen, die auch Pfade oder Trajektorien heißen, sind Familien von reellen Zahlen ${\displaystyle (x_{t})_{t\in \mathbb {R} }}$ und damit gewöhnliche Funktionen ${\displaystyle t\mapsto x_{t}}$ für ${\displaystyle t\in \mathbb {R} }$. In diesem Fall kann also der Gauß-Prozess als Modell einer zufälligen Funktion interpretiert werden, deren Realisierungen nicht-stochastische Funktionen sind. Analog ist die Interpretation, wenn die Indexmenge ${\displaystyle T}$ ein Teilintervall von ${\displaystyle \mathbb {R} }$ ist.

Die Interpretation als Modell einer zufälligen Funktion ist eine häufige Anwendung von Gauß-Prozessen. Formal ist ein Gauß-Prozess eine Familie ${\displaystyle (X_{t})_{t\in \mathbb {R} }}$ von Zufallsvariablen mit einer bestimmten Struktur der Erwartungswerte, der Varianzen und der Korrelation. Bei einer Interpretation als zufälliger Funktion ist jede Realisierung eines Gauß-Prozesses eine gewöhnliche Funktion (ein so genannter Pfad). Die Verteilung der Realisierungen eines Gaußprozesses kann also als Wahrscheinlichkeitsverteilung von Funktionen verstanden werden.

Die Eigenschaften des Gauß-Prozesses bestimmen die Eigenschaften seiner Realisierungen. Liegen beobachtete Werte vor, die als Realisierung eines stochastischen Prozesses interpretiert werden können, so können durch geeignete Einstellung der Verteilungsparameter eines Gauß-Prozesses die beobachteten Eigenschaften der Realisierungen reproduziert werden. Man spricht dann auch von Kalibrierung oder „Fitten“ des Prozesses. Mit Methoden der statistischen Inferenz versucht man, aus den Eigenschaften eines beobachteten Pfades oder mehrerer beobachteter Pfade auf die Verteilungsparameter (Erwartungswertfunktion, Varianzfunktion und Korrelationsfunktion) des zugrundeliegenden Gauß-Prozesses zu schließen. Dabei ist es wegen der großen Parameterzahl des schätzenden Modells im Vergleich zur Anzahl der vorliegenden Beobachtungswerte regelmäßig erforderlich, das zu schätzende Modell stark einzuschränken, beispielsweise durch die Annahme der Stationarität.

Ein spezieller Gauß-Prozess mit der Indexmenge ${\displaystyle T=[0,\infty )}$ ist die Brownsche Bewegung (oder Wienerprozess).

Eine Verallgemeinerung der Brownschen Bewegung mit der ${\displaystyle n}$-dimensionalen Indexmenge ${\displaystyle T=[0,\infty )^{n}}$ ist ein eindimensionales, ${\displaystyle n}$-parametrisches Brownsches Blatt.

Ein spezieller Gauß-Prozess mit der Indexmenge ${\displaystyle T=[0,t_{0}]}$ mit ${\displaystyle t_{0}>0}$ und der Eigenschaft ${\displaystyle P(X_{0}=X_{t_{0}}=0)=1}$ ist die Brownsche Brücke.

Ein spezieller Gauß-Prozess mit der Indexmenge ${\displaystyle T=[0,\infty )}$ ist der Ornstein-Uhlenbeck-Prozess.

Für eine Indexmenge ${\displaystyle T\subseteq \mathbb {R} ^{n}}$ mit ${\displaystyle n>1}$ nennt man den Gauß-Prozess ${\displaystyle (X_{t})_{t\in T}}$ gaußsches Zufallsfeld[2] oder gaußsches zufälliges Feld (engl. gaussian random field). Bei räumlichen Modellierungen ist in der Regel ${\displaystyle T=\mathbb {R} ^{2}}$ oder ${\displaystyle T=\mathbb {R} ^{3}}$, zum Beispiel für Modelle der Geostatistik. Im Bereich der Technik, der Naturwissenschaften und der theoretischen Physik sind auch gaußsche Zufallsfelder mit ${\displaystyle n>3}$ nicht selten.

Für eine Indexmenge ${\displaystyle T=\{1,\dots ,m\}\times \{1,\dots ,n\}}$ ist der Gauß-Prozess ${\displaystyle (X_{t})_{t\in \{1,\dots ,m\}\times \{1,\dots ,n\}}}$ eine gaußsche zufällige Matrix der Dimension ${\displaystyle m\times n}$, deren Elemente normalverteilte Zufallsvariablen sind, wobei jede Teilmatrix und jeder Teilvektor eine mehrdimensionale Normalverteilung besitzt. In diesem Fall kann der Gauß-Prozess als zufällige Matrix interpretiert werden, dessen Realisierungen gewöhnliche Matrizen von reellen Zahlen sind. Eine zufällige Matrix ist ein endlicher und diskreter Spezialfall eines Zufallsfeldes mit zweidimensionaler Indexmenge ${\displaystyle T\subset \mathbb {R} ^{2}}$.

Ein ${\displaystyle d}$-variater Gauß-Prozess ist eine Familie von ${\displaystyle d}$-dimensionalen normalverteilten Zufallsvektoren ${\displaystyle (\mathbf {X} _{t})_{t\in T}}$ mit beliebiger Indexmenge ${\displaystyle T}$, so dass jede endliche Teilfamilie normalverteilt ist. Dabei besitzen jeweils ${\displaystyle n}$ verschiedene Zufallsvektoren ${\displaystyle \mathbf {X} _{t_{1}},\dots ,\mathbf {X} _{t_{n}}}$ mit ${\displaystyle \{t_{1},\dots ,t_{n}\}\subseteq T}$ eine gemeinsame ${\displaystyle (n\cdot d)}$-dimensionale Normalverteilung.

Das Konzept eines ${\displaystyle d}$-variaten Gauß-Prozesses ${\displaystyle (\mathbf {X} _{t})_{t\in T}}$ mit der Interpretation von ${\displaystyle t}$ als Zeitindex und ${\displaystyle T=\mathbb {N} }$ oder ${\displaystyle T=\mathbb {Z} }$ wird in der multivariaten Zeitreihenanalyse genutzt, bei der die zeitgleich beobachteten Werte ${\displaystyle \mathbf {x} _{t_{1}},\dots ,\mathbf {x} _{t_{n}}\in \mathbb {R} ^{d}}$ von ${\displaystyle d}$ Zeitreihen als endlicher Ausschnitt einer Realisierung eines ${\displaystyle d}$-dimensionalen stochastischen Prozesses interpretiert werden.

Ein spezieller ${\displaystyle d}$-variater Gaußprozess mit der Indexmenge ${\displaystyle T=[0,\infty )}$ ist die ${\displaystyle d}$-dimensionale Brownsche Bewegung oder der ${\displaystyle d}$-dimensionale Wiener-Prozess. Eine Verallgemeinerung der ${\displaystyle d}$-dimensionale Brownsche Bewegung mit der ${\displaystyle n}$-dimensionalen Indexmenge ${\displaystyle T=[0,\infty )^{n}}$ ist ein ${\displaystyle d}$-dimensionales, ${\displaystyle n}$-parametrisches Brownsches Blatt.

Eine große Klasse von Kovarianzfunktionen erhält man dadurch, wenn man die Fourier-Transformation eines symmetrischen Wahrscheinlichkeitsmaßes ${\displaystyle \mu }$ auf ${\displaystyle \mathbb {R} }$ berechnet

${\displaystyle \varphi (t)=\int _{-\infty }^{\infty }e^{itx}\mu (dx)}$

und dann

${\displaystyle \gamma (s,t)=\varphi (s-t)}$

setzt.[3]

Dies ist eine Folge des Satz von Bochner, der sagt, jede positiv-definite Funktion ${\displaystyle K}$ ist die Fourier-Transformation eines positiven endlichen Borelmaß. Auch die Umkehrung gilt. Der Satz lässt sich durch Normalisierung auf Wahrscheinlichkeitsmaße übertragen.

Gaußsche Markow-Prozesse sind Gauß-Prozesse, welche auch Markow-Prozesse sind. Folgende zwei Resultate zur Kovarianzfunktion sind bekannt:

Ein reeller Gaußscher Prozess ist genau dann ein Markow-Prozess, wenn für alle ${\displaystyle s\leq t\leq u}$ auch

${\displaystyle \gamma (s,t)\gamma (t,u)=\gamma (t,t)\gamma (s,u)}$

gilt.[4]

Alle reellen gaußschen Markow-Prozesse besitzen eine Kovarianzfunktion der Form

${\displaystyle \gamma (s,t)=f(\min(s,t))g(\max(s,t)),}$

wobei ${\displaystyle f(x),g(x)}$ reelle Funktionen sind. Beispiele:[5][6]

• Brownsche Bewegung:

${\displaystyle \gamma (s,t)=\min(s,t)}$

• Brownsche Brücke:

${\displaystyle \gamma (s,t)=\min(s,t)-st=\min(s,t)(1-\max(s,t))}$

• stationärer Ornstein-Uhlenbeck-Prozess:

${\displaystyle \gamma (s,t)=ae^{-b|s-t|/2}=ae^{b\min(s,t)/2}e^{-b\max(s,t)/2},\quad a,b>0}$

• nicht-stationärer Ornstein-Uhlenbeck-Prozess:

${\displaystyle \gamma (s,t)=a\left(e^{-b|s-t|}-e^{-b(s+t)}\right)=a\left(e^{-b\left(2\max(s,t)-s-t\right)}-e^{-b(s+t)}\right),\quad a,b>0}$

• Der stationäre Ornstein-Uhlenbeck-Prozess ist der einzige gaußsche Markow-Prozess, der zugleich stationär ist ${\displaystyle \gamma (s+h,t+h)=\gamma (s,t)}$.[7]