Maximum-Entropie-Methode

Die Methode wurde 1957 von Edwin Thompson Jaynes in Anlehnung an Methoden der statistischen Mechanik und der Shannonschen Informationstheorie eingeführt.[1] Die Grundidee des Maximum-Entropie-Verfahrens ist es, in Situationen ohne spezifische Informationen, die Unsicherheit der a priori Wahrscheinlichkeiten so zu maximieren, dass keine willkürlichen Annahmen über die gegebene Situation gemacht werden müssen. Die Maximum-Entropie-Methode legt sich so wenig wie möglich fest. Jaynes zufolge[2] ist dies aber nur der letzte Schritt, um nach Einfüllen aller vorhandenen Information etwaige noch bestehende Lücken zu schließen.

In der statistischen Physik bedeutet dies: „Unter allen Zuständen eines physikalischen Systems, die kompatibel mit dem vorhandenen Wissen über das System sind, ist jener zu wählen, welcher die Entropie maximiert.“

Die Methode wird zur optimalen Extraktion von Information aus verrauschten Signalen in Abhängigkeit vom Signal-Rausch-Verhältnis verwendet. Sie findet in der Spektralanalyse und der digitalen Bildverarbeitung Anwendung.

Entropie ist ein Maß für den Informationsgehalt einer Zufallsvariablen ${\displaystyle X}$. Ein weniger wahrscheinliches Ergebnis vermittelt mehr Informationen als ein wahrscheinlicheres Ergebnis. Entropie ist also ein Maß für die Unsicherheit eines Ergebnisses. Wenn das Ziel darin besteht, eine möglichst „unwissende“ Wahrscheinlichkeitsverteilung zu finden, sollte die Entropie folglich maximal sein. Formal ist Entropie wie folgt definiert:

Wenn ${\displaystyle X}$ eine diskrete Zufallsvariable mit der Wahrscheinlichkeitsverteilung ${\displaystyle P(X=x_{i})=p_{i}}$ ist, dann ist die Entropie von ${\displaystyle X}$ definiert als

${\displaystyle \mathrm {H} (X)=-\sum _{i}p_{i}\log _{2}p_{i}}$

Wenn ${\displaystyle X}$ eine stetige Zufallsvariable mit der Wahrscheinlichkeitsdichte ${\displaystyle p(x)}$ ist, dann ist die differentielle Entropie von ${\displaystyle X}$ definiert als[3]

${\displaystyle \mathrm {H} (X)=-\int _{-\infty }^{+\infty }p(x)\log p(x)\,\mathrm {d} x}$

Ein Ansatz zur Berechnung der Entropie wurde von Graham Wallis vorgeschlagen. Es sind Informationen gegeben, die Wahrscheinlichkeiten ${\displaystyle p_{1},\ldots ,p_{m}}$ verschiedenen Zufallsvariablen zuweisen. Die Gesamtwahrscheinlichkeit wird unter ihnen aufgeteilt, also gilt ${\displaystyle \sum _{i=1}^{m}p_{i}=1}$.

Wählt man einige ganze Zahlen ${\displaystyle n}$, die wesentlich größer als ${\displaystyle m}$ sind, und stellt sich vor, man hat ${\displaystyle n}$ kleine Mengen von Wahrscheinlichkeiten, jeweils von der Größe ${\displaystyle \delta ={\tfrac {1}{n}}}$, um sie auf richtige Weise zu verteilen. Angenommen, man soll diese Mengen unter ${\displaystyle m}$ Möglichkeiten zufällig verteilen. Wenn man diese Wahrscheinlichkeiten so verteilt, so dass jede Box die gleiche Wahrscheinlichkeit hat, erhält man, dass das Zufallsexperiment folgende Wahrscheinlichkeiten hat: ${\displaystyle p_{i}=n_{i}\cdot \delta ={\tfrac {n_{i}}{n}}}$. Die Wahrscheinlichkeit, dass dies geschehen wird, ist die Multinomialverteilung ${\displaystyle {\frac {n!}{n_{1}!\cdot \dots \cdots n_{m}!}}}$.

Für große ${\displaystyle n}$ folgt aus der Stirlingformel

${\displaystyle n!\sim {\sqrt {2\pi n}}\;\left({\frac {n}{\mathcal {e}}}\right)^{n}}$

Logarithmieren ergibt

${\displaystyle \log(n!)\sim \log \left({\sqrt {2\pi n}}\right)+n\log \left({\tfrac {n}{e}}\right)}$

${\displaystyle \log(n!)\sim \log \left({\sqrt {2\pi n}}\right)+n\log(n)-n}$

Nimmt man den Logarithmus von ${\displaystyle W}$ und ersetzt ${\displaystyle \log(n!)}$ durch die Näherung der Stirlingformel, erhält man schließlich die Definition der Informationsentropie, wie sie durch den Satz von Shannon abgeleitet wird:[3]

${\displaystyle -\sum _{i=1}^{m}p_{i}\log _{2}p_{i}=\mathrm {H} (p_{1},\ldots ,p_{m})}$

Anstatt die Einschränkungsgleichungen zu verwenden, um die Anzahl der Unbekannten zu verringern, kann man die Anzahl der Unbekannten erhöhen. Man definiert die Lagrange-Multiplikatoren ${\displaystyle \alpha }$ und ${\displaystyle \beta }$ und dann die Lagrange-Funktion

${\displaystyle L=S-(\alpha -\log _{2}e)\left(\sum _{i}p(A_{i})-1\right)-\beta \left(\sum _{i}g(A_{i})p(A_{i})-G\right)}$

wobei ${\displaystyle \log _{2}e\approx 1{,}4427}$. Der Lagrange-Multiplikator ${\displaystyle \alpha }$ wird wie Entropie in Bit gemessen, und ${\displaystyle \beta }$ wird in Bit pro Einheit ${\displaystyle G}$ gemessen. Wenn ${\displaystyle S}$ in Joule pro Kelvin ausgedrückt wird und natürliche Logarithmen in der Entropiedefinition verwendet werden, ist die Formel für ${\displaystyle L}$ etwas anders:

${\displaystyle L=S-k_{B}(\alpha -1)\left(\sum _{i}p(A_{i})-1\right)-k_{B}\beta \left(\sum _{i}g(A_{i})p(A_{i})-G\right)}$

und die Einheiten für ${\displaystyle \alpha }$ und ${\displaystyle \beta }$ sind nicht mehr in Bits: ${\displaystyle \alpha }$ ist dimensionslos und ${\displaystyle \beta }$ wird mit dem Inversen der Einheiten von ${\displaystyle G}$ ausgedrückt.[4]

Ein relativ neues Anwendungsgebiet der MEM stellt die Makroökonomik dar. Im Rahmen der ökonophysikalischen Strömung, die abseits des wirtschaftswissenschaftlichen Mainstreams verschiedene Methoden der statistischen Mechanik auf die Modellierung der Wirtschaft anwendet, kam es zur Verwendung der MEM.[5]

In der Biogeographie wird die Maximum-Entropie-Methode zur Modellierung von Verbreitungsgebieten verwendet. Ein Beispiel dafür ist die Software Maxent.[6]

• Edwin Thompson Jaynes: Information Theory and Statistical Mechanics. In: The Physical Review. Band 106, Nr. 4, 15. Mai 1957, S. 620–630 (bayes.wustl.edu [PDF]).
• Nailong Wu: The Maximum Entropy Method. Springer, Berlin 1997, ISBN 978-3-540-61965-9.

• Eine Einführung (auf Englisch)
• Kurzerklärung (auf Englisch)

1. Edwin Thompson Jaynes: Information Theory and Statistical Mechanics. In: The Physical Review. Band 106, Nr. 4, 15. Mai 1957, S. 620–630 (bayes.wustl.edu [PDF]).
2. Persi Diaconis: A Frequentist Does This, A Bayesian That. In: SIAM News. 13. März 2004 (volltext [abgerufen am 28. Dezember 2007]).
3. Michael Franke: The Maximum Entropy Principle
4. Massachusetts Institute of Technology: Principle of Maximum Entropy
5. Duncan K. Foley: Statistical Equilibrium in Economics: Method, Interpretation, and an Example (Memento vom 8. September 2006 im Internet Archive) In: XII Workshop on „General Equilibrium: Problems, Prospects and Alternatives“ 07-1999 New School University, New York.
6. Steven J. Phillips, Miroslav Dudík, Robert E. Schapire (2006): Maximum entropy modeling of species geographic distributions. Ecological Modelling 190, 231-259. pdf