Mutual information

09.05.2022, 16:39	McST	Auf diesen Beitrag antworten »
Mutual information Hallo, ich habe folgende Aufgabe zu Lösen: Let X,Y be independent RVs, each with values in {0; 1} and probabilities ( $\begin{eqnarray} \frac{1}{2} ; \frac{1}{2} \end{eqnarray}$ ). Compute I(X + Y ;X) Hier ist mein aktueller Lösungsweg, ich bin mir nicht sicher ob dass so Stimmt. Zuerst umformen mithilfe von einem Lemma. $\begin{eqnarray} I(X+Y;X) = H(X+Y) - H(X+Y \mid X) \end{eqnarray}$ Dann erstelle ich die Wahrscheinlichkeiten für die Relevanten Fälle uns setzte in die Formeln für Entropy ein: $\begin{eqnarray} <br /> \mathbb{P}(X=0) = \frac{1}{2} <br /> \mathbb{P}(X=1) = \frac{1}{2} <br /> \mathbb{P}(X+Y=0) = \frac{1}{4} <br /> \mathbb{P}(X+Y=1) = \frac{1}{2} <br /> \mathbb{P}(X+Y=2) = \frac{1}{4} <br /> \mathbb{P}(X+Y=0 \mid X=0) = \frac{1}{2} <br /> \mathbb{P}(X+Y=1 \mid X=0) = \frac{1}{2} <br /> \mathbb{P}(X+Y=1 \mid X=1) = \frac{1}{2} <br /> \mathbb{P}(X+Y=2 \mid X=1) = \frac{1}{2} <br /> \end{eqnarray}$ $\begin{eqnarray} <br /> Z=X+Y<br /> H(Z) = -\sum\limits_{z\ in Z} p_z log_2(p_z) = 1.5<br /> H(Z \mid X) = -\sum\limits_{z,x\ in Z,X} p_zp(z \mid x) log_2(p(z \mid x)) = 1<br /> <br /> I(X+Y;X) = H(X+Y) - H(X+Y \mid X) = 0.5<br /> \end{eqnarray*}$ Da mutual Information die Unabhägigkeit zwischen zwei RVs beschreibt macht dass ergebniss Sinn denke ich. Mich wüde auch interessieren ob es noch einen "leichteren"/direkteren Lösungsweg gibt anstatt alle Wahrscheinlichkeitsverteilungen in die Entropy Formeln ein zu setzen? Hätte ich noch weiter vereinfachen können? LG

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »