Entropie

19.12.2018, 04:50

Lara98

Entropie

Meine Frage:
Sei X eine positive Zufallsgröße mit Erwartungswert E(X) = 1. Dann wird E(Xlog(X)) als Entropie von X bezeichnet.
Zeigen Sie mittels Jensen-Ungleichung, dass die Entropie von X nicht-negativ ist.

Meine Ideen:
Also ich denke der entscheidende Schritt ist hier, dass Xlog als Funktion konvex sein muss. Hier habe ich Schwierigkeiten das nachzuweisen.
Wie muss ich am besten an diese Aufgabe herangehen?
Vielen Dank.

19.12.2018, 07:47

HAL 9000

Auf diesen Beitrag antworten »

Ist $\begin{eqnarray*} f \end{eqnarray*}$ zweimal differenzierbar, dann ist $\begin{eqnarray*} f''(x)\geq 0 \end{eqnarray*}$ hinreichend für Konvexität. Es kann doch nicht so schwer sein, das für $\begin{eqnarray*} f(x)=x\ln(x) \end{eqnarray*}$ nachzuweisen.

19.12.2018, 10:39

Lara98

Auf diesen Beitrag antworten »

Aber in diesem Fall ist X doch nicht unbedingt die Identität. Also ich mein Xlog(x) = X(x)log(x) ist nicht unbedingt xlog(x). Oder sehe ich das hier falsch?

19.12.2018, 11:09

Guppi12

Auf diesen Beitrag antworten »

Hallo,

ich denke du solltest dir nochmal genau die Formulierung der Ungleichung ansehen. Schreib sie wenn nötig hier in allgemeiner Fassung auf und teile uns dann mit, welche Abbildungen speziell in die verschiedenen Platzhalter der Ungleichung eingesetzt werden.

19.12.2018, 11:54

Lara98

Auf diesen Beitrag antworten »

Die Ungleichung lautet $\begin{eqnarray*} E(f(X)) \geq f(E(X)) \end{eqnarray*}$
Wir setzen $\begin{eqnarray*} f(x) := Xlog(x) \end{eqnarray*}$
$\begin{eqnarray*} E(X) = 1 \Rightarrow f(E(X)) = 0 \end{eqnarray*}$
Um zu zeigen, dass E(f(X)) nicht-negtativ ist, muss ich zeigen, dass f, also Xlog, konvex ist.

Oder bin ich falsch?

19.12.2018, 12:46

HAL 9000

Auf diesen Beitrag antworten »

Achte auf korrekte Groß- und Kleinschreibung der Symbole!

Zitat:

Original von Lara98
Wir setzen $\begin{eqnarray*} f(x) := Xlog(x) \end{eqnarray*}$

Nein, eben nicht!!! Es ist $\begin{eqnarray*} f(x) = x\log(x) \end{eqnarray*}$ , das Groß- $\begin{eqnarray*} X \end{eqnarray*}$ hat in dieser Funktionsdefinition nichts zu suchen.

Wenn man es als Argument einsetzt, dann ist natürlich $\begin{eqnarray*} f(X) = X\log(X) \end{eqnarray*}$ , na klar - aber eben erst dann.

Neue Frage »

Antworten »

Entropie

Verwandte Themen