Softmax-Funktion

In der Mathematik ist die sogenannte Softmax-Funktion oder normalisierte Exponentialfunktion[1]^:198 eine Verallgemeinerung der logistischen Funktion, die einen ${\displaystyle K}$-dimensionalen Vektor ${\displaystyle \mathbf {z} }$ mit reellen Komponenten in einen ${\displaystyle K}$-dimensionalen Vektor ${\displaystyle \sigma (\mathbf {z} )}$ ebenfalls als Vektor reeller Komponenten in den Wertebereich ${\displaystyle (0,1)}$ transformiert, wobei sich die Komponenten zu ${\displaystyle 1}$ aufsummieren. Der Wert ${\displaystyle 1}$ kommt nur im Sonderfall ${\displaystyle K=1}$ vor. Die Funktion ist gegeben durch:

${\displaystyle \sigma$ :\mathbb {R} ^{K}\to \left\{z\in \mathbb {R} ^{K}\mid z_{i}\geq 0,\sum _{i=1}^{K}z_{i}=1\right\}}

${\displaystyle \sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}}}$    für j = 1, …, K.

In der Wahrscheinlichkeitstheorie kann die Ausgabe der Softmax-Funktion genutzt werden, um eine kategoriale Verteilung – also eine Wahrscheinlichkeitsverteilung über ${\displaystyle K}$ unterschiedliche mögliche Ereignisse – darzustellen. Tatsächlich entspricht dies der gradient-log-Normalisierung der kategorialen Wahrscheinlichkeitsverteilung. Somit ist die Softmax-Funktion der Gradient der LogSumExp-Funktion.

Die Softmax-Funktion wird in verschiedenen Methoden der Multiklassen-Klassifikation verwendet, wie bspw. bei der multinomialen logistischen Regression (auch bekannt als Softmax-Regression)[1]^:206–209[2], der multiklassen-bezogenen linearen Diskriminantenanalyse, bei naiven Bayes-Klassifikatoren und künstlichen neuronalen Netzen[3]. Insbesondere in der multinomialen logistischen Regression sowie der linearen Diskriminantenanalyse entspricht die Eingabe der Funktion dem Ergebnis von ${\displaystyle K}$ distinkten linearen Funktionen, und die ermittelte Wahrscheinlichkeit für die ${\displaystyle j}$-te Klasse gegeben ein Stichprobenvektor ${\displaystyle x}$ und einem Gewichtsvektor ${\displaystyle w}$ entspricht:

${\displaystyle P(y=j\mid \mathbf {x} )={\frac {e^{\mathbf {x} ^{\mathsf {T}}\mathbf {w} _{j}}}{\sum _{k=1}^{K}e^{\mathbf {x} ^{\mathsf {T}}\mathbf {w} _{k}}}}}$

Dies kann angesehen werden als Komposition von ${\displaystyle K}$ linearen Funktionen ${\displaystyle \mathbf {x} \mapsto \mathbf {x} ^{\mathsf {T}}\mathbf {w} _{1},\ldots ,\mathbf {x} \mapsto \mathbf {x} ^{\mathsf {T}}\mathbf {w} _{K}}$ und der Softmax-Funktion (wobei ${\displaystyle \mathbf {x} ^{\mathsf {T}}\mathbf {w} }$ das innere Produkt von ${\displaystyle \mathbf {x} }$ und ${\displaystyle \mathbf {w} }$ bezeichnet). Die Ausführung ist äquivalent zur Anwendung eines linearen Operators definiert durch ${\displaystyle \mathbf {w} }$ bei Vektoren ${\displaystyle \mathbf {x} }$, so dass dadurch die originale, möglicherweise hochdimensionale Eingabe in Vektoren im ${\displaystyle K}$-dimensionalen Raum ${\displaystyle \mathbb {R} ^{K}}$ transformiert wird.