Unbestimmtheit bzgl der Informationstheorie

18.11.2016, 17:00	xvzwx	Auf diesen Beitrag antworten »
Unbestimmtheit bzgl der Informationstheorie Hallo, ich lese mich gerade in das Thema der Entropie ein und bin auf folgende Aufgabe gestoßen: Wie groß ist die Entropie einer fünfstelligen Zahl, wobei jede Ziffer unabhängig und gleichverteilt aus der Menge $\begin{eqnarray} X = \left\{ 0,...,9 \right\} \end{eqnarray}$ stammt. Meine Überlegungen: $\begin{eqnarray} \Rightarrow \end{eqnarray}$ Jede dieser fünf Zahlen besitzt die Wahrscheinlichkeit $\begin{eqnarray} \frac{1}{10} \end{eqnarray}$ , da Gleichverteilt. Nun würde ich dies einfach in die Formel einsetzten und folgendes erhalten: $\begin{eqnarray} H(X) = - \sum\limits_{i=1}^{10} \frac{1}{10} \log_{2}(\frac{1}{10} ) \approx 3.3219 \end{eqnarray}$ $\begin{eqnarray} \Rightarrow \end{eqnarray}$ aufgerundet sind minimal 4 Bits nötig um eine Zahl zu kodieren. Da die Zeichen unabhängig und gleichverteilt sind würde ich nun das ganze für jede Ziffer aufsummieren und folgendes erhalten: $\begin{eqnarray} H(X) = (- \sum\limits_{i=1}^{10} \frac{1}{10} * \log_{2}(\frac{1}{10} )) * 5 \approx 16.61 \end{eqnarray}$ $\begin{eqnarray} \Rightarrow \end{eqnarray*}$ es werden aufgerundet minimal 17 Bits für die Kodierung der fünfstelligen Zahl benötigt. Meine Frage: ist diese Vorgehensweise richtig oder habe ich mich da komplett geirrt? leider gibt es zu dieser Aufgabe keinen Lösungsvorschlag.
19.11.2016, 13:09	Elvis	Auf diesen Beitrag antworten »
Die 17-stellige Dualzahl 11000011010011111 ist die Binärdarstellung der 5-stelligen Dezimalzahl 99999. Das passt recht gut zu deinem Ergebnis (ich gestehe, ich kenne die Formel nicht mehr (zu lange her, dass ich Einführung in die Informatik gehört habe, und mein damaliges Buch ist verloren gegangen)).
19.11.2016, 16:56	xvzwx	Auf diesen Beitrag antworten »
Danke für die Antwort So betrachtet macht meine Lösung scheinbar halbwegs Sinn. Die Formel findet man übrigens unter dem Begriff Entropy (Information Theory) bzw Shannon-Entropy. Diese sieht folgendermaßen aus: $\begin{eqnarray} H(X) = - \sum\limits_{i=1}^{n} P(x_{i}) \log_{b}(P(x_{i})) \end{eqnarray}$ wobei n die Mächtigkeit des Ereignisraumes darstellt.
20.11.2016, 10:12	Elvis	Auf diesen Beitrag antworten »
Ja danke, ich erinnere mich duster an die Shannon'sche Informationstheorie. Passt anscheinend, was Du gemacht hast.

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »