Zeitabhängige Wahrscheinlichkeitsdichte. Einheit der Entropie

13.12.2020, 20:23	Physiker2020	Auf diesen Beitrag antworten »
Zeitabhängige Wahrscheinlichkeitsdichte. Einheit der Entropie Meine Frage: Hallo liebes Forum, ich bin Physiker und in meiner Forschung zur theoretischen Biologie tauchen vermehrt differentielle Entropien auf... allerdings führt diese in meinen Gleichungen zu Konflikten mit der physikalischen Dimension... Gegeben sei eine zeitabhängige Wahrscheinlichkeitsdichte, der Einfachheit halber z. B. eine Exponentialverteilung $\begin{eqnarray} f(t)=\lambda\exp(-\lambda t) \end{eqnarray}$ . Somit hat der Skalenparameter die Dimension 1/Sekunde. Wenn ich nun die differentielle Entropie berechne erhalte ich $\begin{eqnarray} H=-\ln\lambda \end{eqnarray}$ . Die Dimension dieser Einheit sollte nun die Pseudoeinheit Bit bzw. Shannon haben. Allerdings steht im Logarithmus nun eine Zeitdimension und das ist bekanntlich eigentlich nicht gut... aber es handelt sich in diesem Fall nur bedingt um eine physikalische Aussage, sondern eher um eine statistische. Kann man mit dieser Begründung die Einheit einfach sich einfach wegdenken? Meine Ideen: Ich habe z.B. folgende Gleichung hergeleitet $\begin{eqnarray} \mu(t)=-H\dot p\log(\dot p)\exp\left(-H\int\dot p\log\dot p\mathrm{d}t\right) \end{eqnarray}$ . Von der Aussage her ist die Gleichung richtig... aber die Dimension sollte eigentlich 1/Sekunde sein. Diese wird richtig durch die Ableitung der Wahrscheinlichkeit generiert, aber im Logarithmus und in der Exponentialfunktion müsste sie dann weggedacht werden... Und mathematisch scheint mir das nicht sauber zu sein... Was muss man bei sowas bedenken? Vielen lieben Dank für Antworten!
13.12.2020, 22:14	Dopap	Auf diesen Beitrag antworten »
bei einfachen Sachen mag das noch alles funktionieren und mein Taschenrechner nimmt auch Gleichungen mit Dimensionen an was aber schnell unangenehm wird. An Graphen findet man oft $\begin{eqnarray} v[km/h]\,\,\text{ und} \,\, t[min] \end{eqnarray}$ alles nur Bilder. Konsequent wäre $\begin{eqnarray} \frac{v}{\text{km/h}} \end{eqnarray}$ etc. als Achsenbezeichnung und Zahlen an den Koordinaten-Strichen. Das heißt, mathematisch stehen nur Zahlen in den Gleichungen/Funktionen. Für die physikalische Korrektheit und die Dimension ist mMn der Physiker zuständig. Und nicht jede Gleichung ist konsequent auf Dimensionen getrimmt, je älter desto weniger. z.B. gibt es je nach Annahme beinahe jede Woche eine neue lautstark verkündete aber leider nur *mathematische* "Lösung" des "black hole information paradox" [ was gar nichts mit Information zu tun hat ] Soll jetzt lediglich eine gedankliche Anregung sein.
14.12.2020, 18:35	Physiker2020	Auf diesen Beitrag antworten »
Okay, also wenn ich Sie richtig verstehe, soll ich es mathematisch verstehen... ? So habe ich es mir auch gedacht... natürlich sind differentielle Entropien nicht auf Einheiten getrimmt, sowas passiert ja auch oft bei Reihenentwicklungen, dass die Einheiten dann nicht mehr "richtig " sind, also rein mathematisch sind... Habe ich das soweit richtig verstanden? Allerdings fand ich es halt bei dem von mir genannten Beispiel etwas kurios... wollte daher mal sichergehen, da mir das bisher so noch nicht untergekommen ist.... LG
14.12.2020, 21:21	Ehos	Auf diesen Beitrag antworten »
@Physiker2020 Zu deiner eigentlichen Frage kann ich nicht viel beitragen. Trotzdem möchte ich folgendes bemerken: Wenn in einer physikalischen Formel die Funktionen $\begin{eqnarray} \exp(...) \end{eqnarray}$ oder $\begin{eqnarray} \log(...) \end{eqnarray}$ auftreten, so müssen beide Argumente (...) stets dimensionslos sein, also [(...)]=[1]. Daraus ergeben sich zwei Schlussfolgerungen: Erstens: Da in deiner Formel der Faktor $\begin{eqnarray} \log \left ( \tfrac{dp}{dt}\right ) \end{eqnarray}$ auftritt, muss die Größe $\begin{eqnarray} p \end{eqnarray}$ die Dimension "Sekunde" haben. Zweitens: Im Faktor $\begin{eqnarray} \exp \left [-H\cdot \int \tfrac{dp}{dt}\cdot \log \left ( \tfrac{dp}{dt}\right )\,dt\right ] \end{eqnarray}$ muss die Größe H ebenfalls dimensionslos sein, denn das Integral ist dimensionslos.
14.12.2020, 21:46	Physiker2020	Auf diesen Beitrag antworten »
Hallo Ehos, deine Bemerkungen waren mir schon klar! Trotzdem Danke! Das Problem ist halt, dass die Wahrscheinlichkeit immer dimensionslos ist... Und die Entropie ist hier als mathematische Größe und weniger als "physikalische" zu verstehen... aber das führt halt genau zu einem Konflikt in der von mir angegebenen Gleichung... Das Integral ist mehr oder weniger dimensionslos... es taucht halt nur der Faktor im Logarithmus auf... was physikalisch nicht schön ist, aber mathematisch im Sinne der Entropie einer Wahrscheinlichkeitsverteilung sinnvoll ist... Ich finde es halt im "physikalischen Sinne" nicht sauber... die Größe $\begin{eqnarray} \mu \end{eqnarray}$ sollte die Dimension einer Frequenz haben... hat sie auch mehr oder weniger halt... Man kann die Gleichung auch wie folgt umformulieren: $\begin{eqnarray} \mu(t)=\dot H(t)\exp(H(t)) \end{eqnarray}$ Hier stimmt es dann, wenn man davon ausgeht, dass die Entropie in bit ist (also egt. dimensionslos). Dann hat man als Einheit 1/sekunde...
14.12.2020, 22:47	HAL 9000	Auf diesen Beitrag antworten »
Im Gegensatz zu vielen anderen Größen der Stochastik gibt es bei der Informationsentropie $\begin{eqnarray} I_n = -\sum_k p_{n,k}\log_2\left(p_{n,k}\right) \end{eqnarray}$ mit den Einzelwahrscheinlichkeiten $\begin{eqnarray} p_{n,k} \end{eqnarray}$ einer diskreten Zufallsgröße $\begin{eqnarray} X_n \end{eqnarray}$ i.d.R. keine Konvergenz von $\begin{eqnarray} I_n \end{eqnarray}$ selbst dann, wenn $\begin{eqnarray} X_n \end{eqnarray}$ in Verteilung konvergiert - Beispiel: $\begin{eqnarray} X_n \end{eqnarray}$ sei gleichverteilt auf $\begin{eqnarray} \frac{1}{n},\frac{2}{n},\ldots,\frac{n}{n} \end{eqnarray}$ , konvergiert in Verteilung gegen die stetige Gleichverteilung auf [0,1], aber es hat die Informationsentropie $\begin{eqnarray} I_n = -n\cdot \frac{1}{n}\cdot \log_2\left(\frac{1}{n}\right) = \log_2\left(n\right)\to \infty \end{eqnarray}$ für $\begin{eqnarray} n\to\infty \end{eqnarray}$ . Insofern tut man sich schwer, das für diskrete Zufallsgröße einleuchtende Konzept der Informationsentropie in "natürlicher" Weise auf stetige Verteilungen zu erweitern.
Anzeige

14.12.2020, 22:55	Dopap	Auf diesen Beitrag antworten »
Es steht dir frei eine "neue" Maßeinheit zu verwenden , zum Beispiel bit ohne das jetzt genau zu definieren. Wenn du unter $\begin{eqnarray} \rm 1V_r \end{eqnarray}$ einen Versprecher verstehst, dann kann $\begin{eqnarray} \overline r=4\frac {\rm V_r}{\rm h} \end{eqnarray}$ eines Vortragenden für dich durchaus sinnig sein.

1

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »