Change-Point Detection

15.05.2006, 18:51

Havoide

Change-Point Detection

Hallo!

Also wir haben folgende Aufgabe:

Zitat:

Es wird ein physikalisches Messsignal zu den Zeitpunkten $\begin{eqnarray*} t_{i} (i=1,2,...,N) \end{eqnarray*}$ aufgenommen. Das heisst, es liege eine Stichprobe $\begin{eqnarray*} \underline{s} \end{eqnarray*}$ vom Umfang $\begin{eqnarray*} N \end{eqnarray*}$ vor. Bis zu einem Zeitpunkt $\begin{eqnarray*} t_{I} \end{eqnarray*}$ hat das zugrunde liegende Signal einen konstanten Wert $\begin{eqnarray*} c_{1} \end{eqnarray*}$ , danach springt das Signal auf eine neue Konstante $\begin{eqnarray*} c_{2} \end{eqnarray*}$ . Statt des wahren Wertes $\begin{eqnarray*} c_{\nu} \end{eqnarray*}$ liefert das Experiment Werte $\begin{eqnarray*} s_{i} \end{eqnarray*}$ , die einen Gauß'schen statisitschen Fehler aufweisen. Das heisst, die Messwerte haben die Wahrscheinlichkeitsdichte
$\begin{eqnarray*} p(s_{i}|c_{\nu},\sigma)=\frac{1}{\sqrt{2\pi\sigma^{2}}}exp(-\frac{(s_{i}-c_{\nu})^{2}}{2\sigma^{2}}) \end{eqnarray*}$

Ermitteln Sie die Wahrscheinlichkeit $\begin{eqnarray*} P(I|\underline{s},\sigma) \end{eqnarray*}$ für die Position $\begin{eqnarray*} I \end{eqnarray*}$ des changepoints. Verwenden Sie hierbei flache Prior-Wahrscheinlichkeiten für die Signale $\begin{eqnarray*} c_{1} \end{eqnarray*}$ und $\begin{eqnarray*} c_{2} \end{eqnarray*}$ und ebenso einen flachen Prior für die Position $\begin{eqnarray*} I \end{eqnarray*}$

Dadurch ist ja schonmal klar, dass man das Bayes'sche Theorem verwenden soll: also $\begin{eqnarray*} P(I|\underline{s},\sigma) = \frac{1}{Z} p(\underline{s}|I,\sigma) \underbrace{p(I)}_{const.} = \frac{1}{Z'}p(\underline{s}|I,\sigma) \end{eqnarray*}$ . Hier habe ich schon mein erstes Problem: auf der rechten Seite steht eine Wahrscheinlichkeit, links eine Wahrscheinlichkeitsdichte!

Trotzdem mal weiter: $\begin{eqnarray*} p(\underline{s}|I,\sigma) \end{eqnarray*}$ wäre ja dann bestimmbar:
$\begin{eqnarray*} p(s_{j}|I,\sigma)=\int p(s_{j}|c_{1},\sigma,) * p(c_{1}) dc_{1} \end{eqnarray*}$ für $\begin{eqnarray*} j \leq I \end{eqnarray*}$
Analgog für die Werte $\begin{eqnarray*} j \geq I \end{eqnarray*}$ . Und da die Messwerte offenbar unkorreliert sein sollen, würde dann Produktbildung genügen.
Wenn man nun obiges Integral aber ausführt erhält man (wegen der Konstant von $\begin{eqnarray*} p(c_{1}) \end{eqnarray*}$ ):
$\begin{eqnarray*} p(s_{j}|I,\sigma) = \int_{-\infty}^{\infty} p(s_{j}|c_{1},\sigma)p(c_{1})dc_{1}=p(c_{1}) \end{eqnarray*}$ (Einfach den Faktor vor das Integral ziehen und Normierung der Gauss-Verteilung benutzen). Das macht aber auch keinen Sinn, weil die Konstante sicherlich nicht absolut integrierbar und damit auch nicht normierbar ist.

Also zusammengefasst, wäre ich für einen Hinweis dankbar. smile

15.05.2006, 19:52

Auf diesen Beitrag antworten »

Gleichmäßige stetige Verteilungen wie dein $\begin{eqnarray*} p(c_1) \end{eqnarray*}$ gibt es nur auf Mengen endlichen Lebesgue-Maßes, z.B. endlichen Intervallen, also keinesfalls auf ganz $\begin{eqnarray*} \mathbb{R} \end{eqnarray*}$ wie bei dir! geschockt

15.05.2006, 20:07

Havoide

Auf diesen Beitrag antworten »

Naja, das dachte ich mir eben auch, dass das nicht allzu viel Sinn machen kann. Aber wenn das gleichverteilit sein soll und kein Intervall angegeben ist? Ich habe die Aufgabenstellung 1:1 abgeschrieben, aber ich kann darin nicht wirklich einen Sinn erkennen.

Das Andere is Folgendes: Im ersten Schritt verwende ich ja das Bayes'sche Theorem. Geht das überhaupt, weil dann würde a stehen: Wahrscheinlichkeit = Wahrscheinlichkeitsdichte, und das macht ja auch keinen Sinn!

Also ich wäre für Hinweise, wie man das Beispiel anders angehen könnte dankbar.

15.05.2006, 20:14

Auf diesen Beitrag antworten »

Zitat:

Original von Havoide
Im ersten Schritt verwende ich ja das Bayes'sche Theorem. Geht das überhaupt, weil dann würde a stehen: Wahrscheinlichkeit = Wahrscheinlichkeitsdichte, und das macht ja auch keinen Sinn.

Du meinst das hier:

Zitat:

Original von Havoide
$\begin{eqnarray*} P(I|\underline{s},\sigma) = \frac{1}{Z} p(\underline{s}|I,\sigma) \underbrace{p(I)}_{const.} \end{eqnarray*}$

Links wird wohl auch eine Dichte stehen. Das ist alles eine Konsequenz dieser furchtbar liederlichen Schreibweise, die ich schon in deinem letzten Thread angemahnt habe. Im Rahmen eines Buches, wo alle Symbole ordentlich erklärt werden, mag eine solche Kurzschreibweise noch angehen. Aber hier ist sie tödlich.

15.05.2006, 20:22

Havoide

Auf diesen Beitrag antworten »

Auf der linken Seite also $\begin{eqnarray*} P(I|\underline{s},\sigma) \end{eqnarray*}$ steht eine Wahrscheinlichkeit, es gibt auch nur diskrete Werte für I, also, wann das Signal springen kann. Aber dann kann ich ja Bayes nicht verwenden, weil dann rechts eine Dichte stehen würde, ich werde aus der Angabe einfach nicht schlau.

Ich denke mir, dass das allgemein nicht möglich sein wird, die Bayes'sche Formel anzuwenden, wenn links eine Wahrscheinlichkeit steht und rechts nach Anwenden eine Dichte.

Für die Schreibweise muss ich mich entschuldigen, aber ich übernehme nur die Angabe, wie wir sie bekommen habe und es ist nicht unbedingt immer einfach, daraus schlau zu werden.
Naja, sonst bleibt mir nichts übrig als die Literatur durchzukramen, ob man irgendwo etwas findet.

15.05.2006, 20:37

Auf diesen Beitrag antworten »

Vielleicht sagst du mal was zu $\begin{eqnarray*} Z \end{eqnarray*}$ , deiner Normierungskonstante. Die müsste ja nach Bayes gleich

$\begin{eqnarray*} Z = \sum\limits_{I} p(\underline{s}|I,\sigma) p(I) \end{eqnarray*}$

sein, oder? Da haben wir's ja: Das ist auch keine Wahrscheinlichkeit, sondern nur eine Dichte $\begin{eqnarray*} Z = p(\underline{s}|\sigma) \end{eqnarray*}$ .

Wie ich schon sagte: Liederliche Schreibweise.

15.05.2006, 20:46

Havoide

Auf diesen Beitrag antworten »

Ja, das ist auch eine Dichte, aber ich brauche dennoch auf der linken Seite eine Wahrscheinlichkeit und keine Dichte.

15.05.2006, 21:08

Auf diesen Beitrag antworten »

$\begin{eqnarray*} I \end{eqnarray*}$ ist diskret, ja? Dann schreib rechts auch $\begin{eqnarray*} P(I) \end{eqnarray*}$ statt $\begin{eqnarray*} p(I) \end{eqnarray*}$ ...
Mann, Mann, Mann - durch die Bezeichnungen müsste man wirklich mit einem eisernen Besen mal durchkehren.

15.05.2006, 21:30

Havoide

Auf diesen Beitrag antworten »

Genau das ist ja das Problem, $\begin{eqnarray*} I \end{eqnarray*}$ ist diskret, wenn ich allerdings den Bayes'schen Satz anwende, komme ich zu kontinuierlichen Verteilungen, gemäß der obigen Gauß-Verteilung.

Die Gleichung $\begin{eqnarray*} P(I|\underline{s},\sigma)=\frac{1}{Z}p(\underline{s}|I,\sigma) \end{eqnarray*}$ stimmt so, weil links habe ich eine diskrete Größe, nämlich I, wobei I ein ELement der Indexmenge ist. Das ist der Zeitpunkt, an dem $\begin{eqnarray*} c_{1} \end{eqnarray*}$ zu $\begin{eqnarray*} c_{2} \end{eqnarray*}$ wird, also sich auch die Messgrößen $\begin{eqnarray*} s_{i} \end{eqnarray*}$ von der einen Gauß-Verteilung mit Mittelwerte $\begin{eqnarray*} c_{1} \end{eqnarray*}$ zur anderen mit Mittelwerte $\begin{eqnarray*} c_{2} \end{eqnarray*}$ wechseln. Also müsste ja tatsächlich rechts eine Wahrscheinlichkeit und links eine Dichte stehen.

16.05.2006, 18:44

Havoide

Auf diesen Beitrag antworten »

Also ich habe heute nochmal nachgefragt $\begin{eqnarray*} p(I|\underline{s},\sigma) \end{eqnarray*}$ soll natürlich eine Dichte sein, Angabefehler. Dann weiss ich auch noch, dass ich den Satz von Bayes anwenden soll:

Also ich fang nochmal von vorne an:
Gegeben:
Indexmenge $\begin{eqnarray*} M=\left\{1,2,...,I,...,N\right\}=\left\{1,2,...,I\right\} \cup \left\{I+1,...,N\right\}=: A \cup B \end{eqnarray*}$
Stichprobe $\begin{eqnarray*} \underline{s}=\left\{s_{1},s_{2},...,s_{I},...,s_{N}\right\} = \left\{s_{1},s_{2},...,s_{I}\right\} \cup \left\{s_{I+1},...,s_{N}\right\}=:s_{A} \cup s_{B} \end{eqnarray*}$

Gesucht:
$\begin{eqnarray*} p(I|\underline{s},\sigma) \end{eqnarray*}$ , wobei ich im Folgenden $\begin{eqnarray*} \sigma \end{eqnarray*}$ weglassen werde.
Also: $\begin{eqnarray*} p(I|\underline{s}) = \frac{p(I)}{p(\underline{s})}p(\underline{s}|I)=:\frac{1}{Z}p(\underline{s}|I) \end{eqnarray*}$
weil ja $\begin{eqnarray*} p(I) \end{eqnarray*}$ nach Voraussetzung konstant sein soll.

Damit kann ich dann Folgendes berechnen:
$\begin{eqnarray*} p(s_{A}|I)=\int_{-\infty}^{\infty}p(s_{A}|I,c_{1}\underbrace{p(c_{1})}_{const.}dc_{1} \end{eqnarray*}$
Das ganze ist natürlich von $\begin{eqnarray*} I \end{eqnarray*}$ unabhängig, weil bei $\begin{eqnarray*} i \in A \end{eqnarray*}$ die Messwerte um den Wert $\begin{eqnarray*} c_{1} \end{eqnarray*}$ streuen.
Das ganze lässt sich dann noch umformen:
$\begin{eqnarray*} p(s_{A}|c_{1})=(\frac{1}{\sqrt{2\pi\sigma^{2}}})^{I}exp(\frac{1}{2\sigma^{2}}\sum_{i=1}^{i=I}(s_{i}-c_{1})^{2}) \end{eqnarray*}$
Und daraus: $\begin{eqnarray*} p(s_{A}|c_{1})=(\frac{1}{\sqrt{2\pi\sigma^{2}}})^{I}exp(\frac{(I\Delta s_{A})^{2}}{2\sigma^{2}})exp(\frac{I}{2\sigma^{2}}(\overline{s_{A}}-c_{1})^{2}) \end{eqnarray*}$
wobei $\begin{eqnarray*} \overline{s_{A}} \end{eqnarray*}$ der Mittelwert der Stichprobe und $\begin{eqnarray*} (\Delta s_{A})^{2} \end{eqnarray*}$ die Varianz der Stichprobe sein sollen.
Analog: $\begin{eqnarray*} p(s_{B}|c_{2})=(\frac{1}{\sqrt{2\pi\sigma^{2}}})^{N-(I+1)}exp(\frac{((N-I-1)\Delta s_{B})^{2}}{2\sigma^{2}})exp(\frac{N-I-1}{2\sigma^{2}}(\overline{s_{B}}-c_{2})^{2}) \end{eqnarray*}$

Wäre dankbar, wenn mir jemand sagen könnte, ob es bis jetzt stimmt.

Neue Frage »

Antworten »

Change-Point Detection

Verwandte Themen