minimierung relativer Entropie/ Kullback Leibler Divergenz |
| 10.03.2011, 10:38 | Zündholz | Auf diesen Beitrag antworten » |
| minimierung relativer Entropie/ Kullback Leibler Divergenz Hallo zusammen, ich überlege gerade warum die Minimierung der relativen Entropie eine sinnvolle Sache ist. Zur Situation: Die relative Entropie ist ein Maß für die Unterscheidbarkeit zweier Maße. Man ist nun interessiert an der (unbekannten) Verteilung beispielsweise einer Zufallsvariable. Diese bekommt man indem man die relative Entropie (bzgl. eines Referenzmaßen - z.B. des Lebesguemaßes) minimiert. Ich verstehe allerdings die Heuristik dahinter nicht wirklich. Meine Ideen: Ich hoffe jemand kennt sich mit dem Thema aus. 1) Ich dachte mir, da die Entropie mir den Informationsgewinn anhand einer Beobachtung liefert, ist es sinnvoll diese zu maximieren, also aus einer unsicherheit durch eine Beobachtung möglichst viel Information zu ziehen (ist das richtig?). 2) Man geht nun also dazu über den Abstand der Verteilung die man sozusagen "schätzen" will zu der Verteilung der maximalen Unsicherheit (Gleichverteilung) zu minimieren -> minimierung der relativen Entropie (zumindest ist das im Diskreten so, stimmt das auch im Kontinuierlichen?). Da die Gleichverteilung die maximale Unsicherheit gibt, gibt sie ja auch den maximal möglichen Informationsgewinn wieder (stimmt das?). So könnte ich mir erklären warum man den Abstand beider Entropien minimiert, um die zu schätzende Verteilung möglichst nah an die Gleichverteilung bzw. dann an ein Referenzmaß zu bringen. Allerdings ist das nur eine Überlegung bei der ich mir recht unsicher bin und die eher aus der Not geboren wurde, zumal ich noch nicht einmal genau weiß ob 1) richtig ist (und wie man das anhand der Definition erkennt?). Also ich hoffe ihr könnt mir weiterhelfen und vielleicht habt ihr eine Idee was die Idee 
dahinter ist.Schöne Grüße |
||
|
|
Verwandte Themen
| Die Beliebtesten » |
| Die Größten » |
| Die Neuesten » |
|
