Bayessche Entscheidungsregel - Bedingte Wahrscheinlichkeit P(x | Klasse) berechnen

30.06.2019, 19:00

Kim_97

Bayessche Entscheidungsregel - Bedingte Wahrscheinlichkeit P(x | Klasse) berechnen

Meine Frage:
Hallo zusammen,

ich beschäftige mich gerade mit einer Übungsaufgabe zu einem Bayes-Klassifikator. Die Aufgabe lautet:

Betrachten Sie ein Zweiklassenproblem in dem die beiden Klassen k1 und k2 erkannt werden sollen. Die Klassifikation basiere auf einem eindimensionalen reell-wertigen Merkmal x.
Für die Klassen k1 und k2 wurden die folgenden Daten beobachtet:

[Tabelle mit Daten]

Es ist bekannt, dass die Merkmale sowohl für die Klasse k1 als auch für die Klasse k2 normalverteilt sind.

1. Berechnen Sie mit Hilfe des Maximum-Likelihood-Schätzers die Parameter der Normalverteilung für die Klassen k1 und k2.
2. Bestimmen Sie nun für die "neuen" Beobachten x_beob1 = 7 und x_beob2 = 10 auf Basis der zuvor bestimmten Verteilungen mit Hilfe der Bayesschen Entscheidungsregel bei gleichverteiltem Prior die zugehörigen Klassen.

Meine Ideen:
Den ersten Teil konnte ich noch halbwegs gut lösen.
Als Parameter habe ich hier

$\begin{eqnarray*} \mu_{k_{1}} = 7.89\\ \sigma^{2}_{k_{1}} = 12.35\\\\ \mu_{k_{2}} = 11.74\\ \sigma^{2}_{k_{2}} = 12.43\\ \end{eqnarray*}$

Nun habe ich die Entscheidungsregel für ein 2-Klassen Problem:

P(x | k_1) * P(k_1) > P(x | k_2) * P(k_2).
Da der Prior ja gleichverteilt sein soll, ist ja P(k_1) = P(k_2) = 0.5

Nun frage ich mich nur, wie man die Wahrscheinlichkeit P(x | k_1) berechnet. Mein naiver Ansatz wäre gewesen, dass jetzt einfach in die Dichtefunktion einzusetzen, allerdings hatte ich irgendwo gelesen, dass man die Ergebnisse der Dichtefunktion gerade nicht als Wahrscheinlichkeit interpretieren kann. Und das Ergebnis, was da für x=7 herauskommen würde (0.055) ist auch weit entfernt von der angegebenen 7.89Lösung (0.016).

Und kann ich die bedingte Wahrscheinlichkeit formulieren als "Die Wahrscheinlich für x unter der Bedingung, dass x zu Klasse k_1 gehört" ??

Vllt. kann mir einer einen Tipp geben, wie man auf die bedingte Wahrscheinlichkeit kommt.

Danke!

01.07.2019, 09:35

Huggy

Auf diesen Beitrag antworten »

RE: Bayessche Entscheidungsregel - Bedingte Wahrscheinlichkeit P(x | Klasse) berechnen
Die Bayes-Regel gilt im diskreten Fall für die Wahrscheinlichkeiten und im stetigen Fall für die Dichten. Wenn man die Wahrscheinlichkeiten für die Elementarereignisse im diskreten Fall als Zähldichte bezeichnet, nimmt die Regel für beide Fälle die gleiche Form an. Nur steht im diskreten Fall im Nenner eine Summe und im stetigen Fall ein Integral.

Du hast in deiner Rechnung einfach den Nenner der Bayesregel weggelassen. Unter Berücksichtigung des Nenners komme ich bei $\begin{eqnarray*} x=7 \end{eqnarray*}$ auf

$\begin{eqnarray*} P(K_1|x) \approx 0.705769 \end{eqnarray*}$

$\begin{eqnarray*} P(K_2|x) \approx 0.294231 \end{eqnarray*}$

Die angebliche Lösung $\begin{eqnarray*} 0.016 \end{eqnarray*}$ kann ich mir nicht erklären.

01.07.2019, 11:31

Kim_97

Auf diesen Beitrag antworten »

Hi Huggy, danke dirt für die Antwort.

Ich muss gestehen, ich bin im Falle der Normalverteilung noch etwas verwirrt, was den Unterschied bei der Berechnung von P(Klasse | x) und P(x | Klasse) angeht. In der Vorlesung hatten wir ein Beispiel mit E-Mails (Spam vs. Kein-Spam), da war es leichter nachvollziehbar, was die bedingte Wahrscheinlichkeit berechnet.

Also um nochmal zu dieser Aufgabe zurückzukommen und wieso ich den Nenner weggelassen habe:

Eigentlich möchte ich ja Folgendes Berechnen:
$\begin{eqnarray*} argmax_{k_{i}} P(k_{i} | x) \end{eqnarray*}$

In den Beispielen, die wir bisher gerechnet haben, war es immer so, dass man den Ausdruck nicht direkt berechnen konnte, da es unendlich viele Wahrscheinlichkeitsverteilungen für x gab, die man nicht alle kennt. Deshalb wurde immer der Satz von Bayes angewandt.

$\begin{eqnarray*} P(k_{i} | x) = \frac{P(x | k_{i}) \cdot P(k_{i})}{P(x)} \end{eqnarray*}$

Wenn ich das jetzt auf mein argmax anwende, dann wurde der Nenner weggelassen (das soll wohl der Trick sein), weil das argmax unabhängig von P(x) ist, es blieb also nur noch:

$\begin{eqnarray*} argmax_{k_{i}} P(k_{i} | x) = argmax_{k_{i}}P(x | k_{i}) \cdot P(k_{i}) \end{eqnarray*}$
Den Nenner wollte man wohl weglassen, weil in den Beispielen immer die Verteilung P(x) nicht direkt berechnenbar war.

Wenn ich dich richtig verstehe, ist dieser Fall hier ggf. anders? Die Umstellung ist garnicht nötig und man kann direkt P(k_i | x) ausrechnen?
So ganz kann ich mir noch nicht erklären, auf welche Weise du P(K1 | x) berechnet hast.

Die vermeintliche Lösung 0.016 stammt von einem anderen Studenten aus einer alten Klausur, die ich gefunden habe. Vermutlich hatte er dann genauso wenig Ahnung wie ich gerade verwirrt

01.07.2019, 13:25

Huggy

Auf diesen Beitrag antworten »

So ganz sicher bin ich mir nicht, ob ich dein Problem verstehe. Vielleicht klärt sich einiges, wenn ich die meiner Meinung nach richtige Rechnung noch mal ausführlich darstelle. Die unterscheidet sich allerdings nicht von deiner, abgesehen von dem fehlenden Nenner. Auf den gehe ich dann aber noch mal ein.

Es sei $\begin{eqnarray*} f_K(k) \end{eqnarray*}$ die Priori-Zähldichte für die Klasse $\begin{eqnarray*} K \end{eqnarray*}$ mit

$\begin{eqnarray*} f_K(k_1)=f_K(k_2)=0.5 \end{eqnarray*}$

und

$\begin{eqnarray*} f_X(x|k) \end{eqnarray*}$

die bedingte Dichte des Merkmals $\begin{eqnarray*} X \end{eqnarray*}$ , die gleich den Dichten der beiden genannten Normalverteilungen sei. Wenn nun für $\begin{eqnarray*} X \end{eqnarray*}$ ein Wert $\begin{eqnarray*} x \end{eqnarray*}$ beobachtet wird, dann ist nach der Bayes-Regel die Posterio-Zähldichte von $\begin{eqnarray*} K \end{eqnarray*}$

$\begin{eqnarray*} f_K(k|x)=\frac {f_K(k)f_X(x|k)}{f_K(k_1)f_X(x|k_1)+f_K(k_2)f_X(x|k_2)} \end{eqnarray*}$

Einsetzen von $\begin{eqnarray*} x=7 \end{eqnarray*}$ ergibt für $\begin{eqnarray*} f_K(k_1|x=7) \end{eqnarray*}$ und $\begin{eqnarray*} f_K(k_2|x=7) \end{eqnarray*}$ die beiden schon von mir genannten Wahrscheinlichkeiten = bedingten Zähldichten. Dabei stimmt der Zähler von $\begin{eqnarray*} f_K(k_1|x=7) \end{eqnarray*}$ mit den von dir genannten $\begin{eqnarray*} 0.055 \end{eqnarray*}$ überein.

Wenn man sich nur für für das Verhältnis

$\begin{eqnarray*} \frac {f_K(k_1|x)} {f_K(k_2|x)} \end{eqnarray*}$

interessiert braucht man den Nenner nicht, denn der kürzt sich ja aus dem Quotienten heraus. Auch für die Frage, welcher der beiden Werte größer ist, braucht man den Nenner nicht. Der Nenner bewirkt nur, dass das Ergebnis tatsächlich eine auf 1 normierte Zähldichte bzw. Dichte ist. Deshalb ist es auch nicht unbedingt ein Problem, wenn man den Nenner nur schwer über die dort stehende Summe oder das dort stehen Integral berechnen kann.

01.07.2019, 14:31

Kim_97

Auf diesen Beitrag antworten »

Danke nochmal!

Jetzt habe ich auf jeden Fall verstanden, wie der Nenner zustande kommt, berechnet wird und wieso ich den in meinem Fall weglassen kann.

Um das Große und Ganze hier wirklich zu verstehen fehlen mir bzgl. der Normalverteilung glaube ich die Zusammenhänge zwischen Wahrscheinlichkeit, Dichtefunktion, Verteilungsfunktion etc. Normal probiere ich immer alles zu hinterfragen und zu verstehen, in diesem Fall ist es glaub ich sicherer sich die Lösungsschritte zu merken, sonst verwirr ich mich kurz vor der Klausur nur wieder selbst smile

Korrigier mich, wenn ich falsch liege, aber wenn ich das richtig sehe, wird die bedingte Wahrscheinlichkeit P(x | k_i) jetzt mit der Dichtefunktion (ich schreibs mal als $\begin{eqnarray*} \varphi \end{eqnarray*}$ ) der jeweiligen Normalverteilung berechnet, also
$\begin{eqnarray*} P(x | k_{i}) = \varphi_{i}(x) \end{eqnarray*}$

Wenn ich also in der Klausur entscheiden will, ob ein ungesehenes Ereignis x zu k_1 oder k_2 gehört, prüfe ich, ob
$\begin{eqnarray*} \varphi_{k_{1}}(x) \cdot P(k_{1}) > \varphi_{k_{2}}(x) \cdot P(k_{2}) \end{eqnarray*}$

Wenn ich jetzt nicht totalen Mist geschrieben habe, sollte ich in der Klausur mit dieser Art von Aufgabe hoffentlich klarkommen Freude

01.07.2019, 15:03

Huggy

Auf diesen Beitrag antworten »

Zitat:

Original von Kim_97
Korrigier mich, wenn ich falsch liege, aber wenn ich das richtig sehe, wird die bedingte Wahrscheinlichkeit P(x | k_i) jetzt mit der Dichtefunktion (ich schreibs mal als $\begin{eqnarray*} \varphi \end{eqnarray*}$ ) der jeweiligen Normalverteilung berechnet, also
$\begin{eqnarray*} P(x | k_{i}) = \varphi_{i}(x) \end{eqnarray*}$

Das ist richtig.
Einzige Einschränkung ist die Verwendung des Großbuchstabens $\begin{eqnarray*} P \end{eqnarray*}$ . Der suggeriert, dass hier eine Wahrscheinlichkeit vorliegt. In dem konkreten Anwendungsfall steht hier aber eine Wahrscheinlichkeitsdichte. In anderen Anwendungsfällen mag dort eine Wahrscheinlichkeit stehen.

01.07.2019, 15:07

Kim_97

Auf diesen Beitrag antworten »

Perfekt, danke dir smile

Das Forum ist super, hat mir damals im Bachelor immer schon viel gebracht bei den Matheprüfungen Freude

Neue Frage »

Antworten »

Bayessche Entscheidungsregel - Bedingte Wahrscheinlichkeit P(x | Klasse) berechnen

Verwandte Themen