Normalisierter Fluss

Betrachte Bijektionen ${\displaystyle f_{i}}$, sodass ${\displaystyle z_{1}=f_{1}(z_{0})}$, sodass ${\displaystyle z_{0}=f_{1}^{-1}(z_{1})}$.

Aufgrund des Transformationssatzes gilt:

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}\right|,}$ bzw.

${\displaystyle \log(p_{1}(z_{1}))=\log(p_{0}(z_{0}))+\log \left(\left|\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}\right|\right)=\log(p_{0}(z_{0}))-\log \left(\left|\det {\frac {df_{1}(z_{1})}{dz_{1}}}\right|\right),}$

daher gilt

${\displaystyle \log(p_{n}(z_{n}))=\log(p_{n-1}(z_{n-1}))-\log \left(\left|\det {\frac {df_{n}(z_{n})}{dz_{n}}}\right|\right),}$

und wiederholtes Einsetzen der Regel liefert:

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$

Ziel des Trainings ist es die Kullback-Leibler-Divergenz zwischen der geschätzten Wahrscheinlichkeitsdichte ${\displaystyle p_{\theta }:=p_{K}}$ und der wahren, die Stichproben generierende, Wahrscheinlichkeitsdichte ${\displaystyle p^{*}}$ zu minimieren:

${\displaystyle {\hat {\theta }}={\underset {\theta }{\operatorname {arg\,min} }}\ D_{KL}[p^{*}(x)||p_{\theta }(x)]}$.

Durch Schätzen des Erwartungswertes in der Kullback-Leibler-Divergenz mithilfe einer Realisierung des Stichprobenmittelwertes (und Vernachlässigung konstanter Terme) können die optimalen Maximum-Likelihood Parameter ${\displaystyle {\hat {\theta }}}$ geschätzt werden:

${\displaystyle {\hat {\theta }}=\arg \min _{\theta }-{\hat {\mathbb {E} }}_{p^{*}(x)}[\log(p_{\theta }(x))]=\arg \min _{\theta }-{\frac {1}{N}}\sum _{i=0}^{N}\log(p_{\theta }(x_{i}))}$

Das früheste Beispiel einer Abbildung ${\displaystyle f}$ ist der planare Fluss[1]. Bei gegebener Aktivierungsfunktion ${\displaystyle h}$, und Parametern ${\displaystyle \theta =(u,w,b)}$ mit entsprechender Dimension, ist

$${\displaystyle x=f_{\theta }(z)=z+uh(\langle w,z\rangle +b)}$$

und die inverse ${\displaystyle f_{\theta }^{-1}}$ (ohne allgemeingültige geschlossene Form).

Der Jacobian ist ${\displaystyle |\det(I+h'(\langle w,z\rangle +b)uw^{T})|=|1+h'(\langle w,z\rangle +b)\langle u,w\rangle |}$.

Damit der Fluss invertierbar ist, muss die Determinante überall ungleich null sein, was z. B. mit ${\displaystyle h=\tanh }$ und ${\displaystyle \langle u,w\rangle >-1}$ der Fall ist.