Berechnen der Wahrscheinlichkeit und deren Genauigkeit aus Messdaten

Neue Frage »

Hubert1965 Auf diesen Beitrag antworten »
Berechnen der Wahrscheinlichkeit und deren Genauigkeit aus Messdaten
Hallo!

Ich erkläre zuerst mal wo die Daten herkommen die auszuwerten sind:

Du hast eine Maschine die dir sagt welcher von zwei Gegenständen der schwerere ist. Die Maschine hat zwei Öffnungen (links und rechts) und da gibt man je einen Gegenstand hinein. Dann drückt man auf einen Knopf und die Maschine sagt dann "Der linke Gegenstand ist schwerer" oder "Der rechte ...".

Allerdings lügt die Maschine manchmal!

So funktioniert sie:

Die Maschine kann sich zwar nicht an einzelne Gegenstände erinnern, aber an Paare von Gegenständen. Wenn man ein bestimmtes Paar mehrmals in die Maschine steckt erhält man immer dieselbe Antwort. Dabei ist egal ob man die Gegenstände in dieselben Öffnungen steckt oder ob man sie vertauscht. Der Gegenstand der beim ersten Mal als der schwerere bezeichnet wurde wird bei diesem Paar immer als der schwerere bezeichnet.

Wenn das Paar zum ersten Mal in der Maschine steckt entscheidet die Maschine per Zufall zwischen zwei Methoden:
  • Mit einer Wahrscheinlichkeit von wiegt sie die beiden Gegenstände ab und gibt dann das wahrheitsgetreue Ergebnis aus. Dieses Ergebnis merkt sich die Maschine für dieses Paar.
  • Bei der anderen Methode werden die Gegenstände nicht gewogen. Die Maschine behauptet dann in 50% aller Fälle das der linke Gegenstand der schwerere wäre und in den anderen 50% dass es der rechte ist. Diese Aussage speichert die Maschine ebenfalls ab.


Außer dieser seltsamen Maschine gibt es keine Möglichkeit die Gewichte der Gegenstände zu bestimmen oder zu vergleichen. Aber an den Gewichten bist du ohnehin nicht interessiert. Deine Aufgabe ist es die Wahrscheinlichkeit zu bestimmen mit der die Maschine die Wiege-Methode verwendet.

Dir stehen beleibig viele Gegenstände zur Verfügung. Unter allen Gegenständen die du der Maschine geben kannst gibt es keine zwei die gleich schwer sind. Die Gewichte der Gegenstände unterscheiden sich voneinander immer so stark, dass die Maschine beim Wiegen immer das richtige Ergebnis erhält.

Aber du musst für jeden Vergleich Geld bezahlen und du kannst dir nur eine begrenzte Anzahl von Vergleichen leisten. Aber trotzdem willst du so genau wie möglich ermitteln.

Das sind die Fragen um die es geht:

  • Was ist die effizienteste Methode um mit möglichst wenigen Vergleichen möglichst genau zu bestimmen?
  • Wenn man die Ergebnisse aus mehreren Versuchen hat: Wie berechnet man daraus ?
  • Was ist ein gutes Maß für die Genauigkeit von ? Ist das die Standardabweichung (bzw. Varianz)? Gibt es andere Genauigkeits-Maße? Wie berechnet man diese Genauigkeit?



Das habe ich mir bisher überlegt:

Mit drei Objekten (A, B, C) kann man drei Paare bilden (AB, AC, BC). Für jedes Paar kann die Maschine zwei mögliche Antworten ausspucken, macht insgesamt 8 Kombinationen ( heißt: x ist schwerer als y. bedeutet das Gegenteil):

  1. A < B, B < C, A < C (das ist konsistent, denn es entspricht der Reihenfolge A < B < C)
  2. A < B, B < C, A > C (Das ist inkonsistent. Es gibt keine Reihenfolge die dieses Ergebnis liefert. Die Maschine hat in mindestens einem der drei Vergleiche gelogen)
  3. A < B, B > C, A < C (konsistent: A < C < B)
  4. A < B, B > C, A > C (konsistent: C < A < B)
  5. A > B, B < C, A < C (konsistent: B < A < C)
  6. A > B, B < C, A > C (konsistent: B < C < A)
  7. A > B, B > C, A < C (inkonsistent)
  8. A > B, B > C, A > C (konsistent: C < B < A)


Wenn , wenn die Maschine also immer wiegt und nie Zufallsantworten gibt, dann kommen die Fälle 2 und 7 nie vor. Das heißt: Wenn nach sehr vielen Dreiergruppen kein einziges Mal der Fall 2 oder 7 aufgetreten ist, dann wird p=1 sein.

Wenn aber , wenn die Maschine also nie wiegt und immer nur Zufallsantworten gibt, dann kommen die Fälle 2 und 7 genau so häufig vor wie alle anderen Fälle. Man wird also feststellen, dass ein Viertel aller Dreiergruppen ein inkonsistentes Ergebnis liefert. Umkehrschluss: Wenn man nach sehr vielen Dreiergruppen erkennt, dass 25% aller Tripel inkonsistent sind, dann wird p=0 sein.

Dabei muss man nur darauf achten, dass man niemals ein Paar bei mehr als einem Tripel berücksichtigt. Anderenfalls wären die Ergebnisse der einzelnen Tripel nicht voneinander unabhängig.

Sei nun die Anzahl inkonsistenter Tripel gebrochen durch die Anzahl aller Tripel, dann glaube ich, dass man wie folgt berechnen kann:


(Von den beiden Lösungen ist die positive die richtige. Die negative liegt nicht in der Wertemenge.)

Ich habe diese Formel durch numerische Experimente mit einem Tabellenkalkulationsprogramm durch Versuch und Irrtum gefunden. Sie stimmt sehr gut mit den r-Werten überein, die man aus je einer Millionen Tripel erhält, die man für 11 verschiedene Werte von p erhält. Ich bin aber nicht in der Lage diese Formel aus der Angabe abzuleiten.
Die von mir gefundene Formel hat aber auch einen kleinen Makel: Wenn nahe bei 0 liegt, kann es im Rahmen der statistischen Schwankungsbreite durchaus vorkommen, dass größer als 0,25 ist (wenn passiert das sogar in fast jeder zweiten Versuchsreihe). Dann steht unter der Wurzel aber eine negative Zahl, wodurch es für p dann keine reelle Lösung gibt.

Und was die Genauigkeit von betrifft fehlt mir überhaupt jede sinnvolle Idee. Ein sinnvolles Genauigkeitsmaß müsste berücksichtigen, dass p nur im Interval zwischen 0 und 1 liegen kann. Wenn herauskäme, dass und die Standardabweichung bei 0,3 liegt, dann hieße das ja, dass mit einer nicht zu vernachlässigenden Wahrscheinlichkeit auch Werte größer als 1 denkbar wären, was aber Unsinn ist. ist nicht normalverteilt, daher halte ich die Standardabweichung auch nur für bedingt geeignet. Ich lasse mich aber gerne durch nachvollziehe Argumente vom Gegenteil überzeugen.


Das sind nun meine konkreten Fragen an euch:

  1. Ist die von mir beschriebene Strategie optimal? Gibt es eine bessere? Zur Erinnerung: Jede Messung ist teuer. Ich möchte mit möglichst wenigen Vergleichen zu einem möglichst genauen Wert von kommen.
  2. Ist die Formel korrekt? Wenn ja: Warum? Wenn nein: Wie sieht eine bessere Formel aus? Warum ist sie besser?
  3. Ist die Standardabweichung ein geeignetes Maß für die Genauigkeit von ? (Bitte begründen). Welche anderen Maße kämen denn sonst noch infrage? Wie berechnet man sie?



Zusätzliche Bemerkungen (nicht Teil der Aufgabenstellung)

Das oben geschilderte Problem ist der Versuch einen sauberen Rahmen für ein Problem zu schaffen, das mich derzeit in einer anderen Verkleidung beschäftigt:

Ich schreibe ein Computerprogramm das die Klicks von Usern auf einer Webseite auswertet. Jeder User bekommt zugleich zwei verschiedene kurze Texte angezeigt. Jeder Text ist nur 1 oder 2 Sätze lang und beinhaltet eine Aussage aus dem Bereich "nutzloses Wissen". Der User soll auf den Text klicken der ihm/ihr besser gefällt. Danach werden zwei andere Beiträge angezeigt zwischen denen sich der User wieder entscheiden muss.

Das eigentliche Ziel ist natürlich aus diesen Entscheidungen eine Reihung der Beliebtheit der Beiträge zu ermitteln. Mir ist bei der groben Durchsicht der Daten aber aufgefallen, dass es User gibt, deren Wertungen eine ziemlich klare Reihung erkennen lassen. Diese User fällen offenbar vor jedem Klick tatsächlich eine Entscheidung.

Andere User scheinen hingegen völlig zufällig auf die Beiträge zu klicken nur um möglichst schnell das nächste Paar lesen zu können. Bei diesen Usern finde ich sehr viele inkonsistente Dreier-Gruppen (und auch größere Gruppen von Beiträgen mit inkonsistenten Verknüpfungen)

Ich möchte nun die Daten von den Zufalls-Klickern mit geringerem Gewicht in den eigentlichen Algorithmus einfließen lassen als die Daten der gewissenhaften Vergleicher. Dazu möchte ich jedem User eine Wahrscheinlichkeit zuordnen die Auskunft darüber gibt wie häufig er/sie wirklich entscheidet bzw. wie häufig er/sie eine Zufallsentscheidung trifft. Dabei ist mir klar dass auch Menschen, die gewissenhaft Vergleichen ohne jemals zufällig zu klicken, inkonsistente Vergleichs-Ketten produzieren können. Aber ich gehe davon aus, dass das bei ihnen seltener geschieht als bei denen die wirklich ohne nachzudenken irgendwohin klicken.


Vielen Dank!
Hubert Schölnast
xb Auf diesen Beitrag antworten »

Deine Formel stimmt.Für die Unsicherheit musst du ableiten
denn das dr ist die Unsicherheit bei der Binomialverteilung
Huggy Auf diesen Beitrag antworten »
RE: Berechnen der Wahrscheinlichkeit und deren Genauigkeit aus Messdaten
Das ist ein interessantes Problem. Du solltest überlegen, ob du mit der bayesianischen Interpretation von Wahrscheinlichkeit glücklich bist. Falls ja, kannst du die unbekannte Wahrscheinlichkeit p als Zufallsvariable ansehen und mit der Formel für die bedingte Wahrscheinlichkeit ihre Dichtefunktion bestimmen. Aus dieser Dichtefunktion ergibt sich dann der Erwartungswert und die Standardabweichung von p. Das Problem von Wurzeln mit negativem Argument taucht dann erst gar nicht auf.

Die folgende Abbildung zeigt die sich ergebenden Dichtefunktionen von p bei der Untersuchung von n = 10 Tripeln für k = 0 bis 10 inkonsistente Tripelvergleiche:

[attach]35175[/attach]

Die Schnittpunkte der Kurven mit der y-Achse sind von unten nach oben k = 0 bis k = 10.
Hubert1965 Auf diesen Beitrag antworten »

Vielen Dank, Huggy!

Ich habe mir einen Wahrscheinlichkeits-Baum gezeichnet und durchgerechnet, und habe auf diese Weise folgenden Zusammenhang zwischen p und r berechnet:



mit:
p = Wahrscheinlichkeit mit der die Maschine die Wiegemethode anwendet,
r = Wahrscheinlichkeit dafür dass ein Trippel inkonsistent ist.

Wenn ich diese Gleichung nach p auflöse, erhalte ich genau den bereits in der Frage geposteten, aber nur empirisch ermittleten Zusammenhang:



Somit habe ich diese Gleichung auch durch eine Herleitung abgesichert.

Als nächstes habe ich mir dann überlegt mit welcher Wahrscheinlichkeit eine bestimmte Anzahl von inkonsistenten Tripeln zu erwarten ist, wenn n Tripel untersucht werden:

Es seien p und r wie oben,
n = Anzahl der voneinander unabhängigen Tripel die insgesamt untersucht werden,
k = Anzahl der inkonsistenten Tripel unten den untersuchten Tripeln,
W(k,n,r) bzw. W(k,n,p) = Wahrscheinlichkeit dafür, dass man unter n Tripel genau k inkonsistente findet.



Einsetzen von [1] in [3]:







Nehmen wir nun als Beispiel an, dass ich 10 Tripel untersucht hätte und festgestellt hätte, dass darunter 2 inkonsistente Tripel waren:





Das Ergebnis ist in diesem Fall also ein gerades Polynom in vom Grad 20. Der Graph dieses Polynoms im Interval (0..1) ist genau der dritte von unten in deinem Diagramm. Daher nehme ich an, dass diese Funktion mit der von dir genannten Dichtefunktion identisch ist.

Im Interval (0..1) hat diese Funktion ein Maximum bei p=0,4472..., also bei genau
Hätte ich drei oder mehr inkonsistente Tripel gefunden läge das Maximum bei genau p=0.

Ich interpretiere das so, dass das Maximum von W(k,n,p) (nach p angeleitet) genau beim gesuchten p liegt. Ist das richtig?

Aber bei der Standardabweichung tappe ich noch im Dunkeln. Wie ermittle ich diese? Ist das möglicherweise ein Wert, der mit der zweiten Ableitung der Dichtefunktion an der Stelle des Maximums zusammenhängt? (Also die Krümmung der Funktion an dieser Stelle?) Das ist nur geraten, aber es erscheint mir einigermaßen plausibel zu sein. Gegen diese Annahme spricht aber, dass W(1,4,p) sein Maximum genau bei p=0 hat, dass dort aber auch die Krümmung genau 0 ist. (Der Graph der Funktion ist an der Stelle p=0 weder nach oben noch nach unten gekrümmt. In der -Umgebung von p=0 ist der Graph völlig eben.) Wie könnte das eine sinnvolle Standardabweichung ergeben?
Huggy Auf diesen Beitrag antworten »

Deine Herleitung von r und die sich über die Binomialverteilung daraus ergebende Wahrscheinlichkeit sind richtig.

p ist ein unbekannter Parameter, im Sinne der Häufigkeitsinterpretation von Wahrscheinlichkeit aber keine Zufallsgröße. Daher kann man für p keine Wahrscheinlichkeit angeben. Bei der Bayes-Interpretation von Wahrscheinlichkeit kann man dagegen auch für p Wahrscheinlichkeiten angeben.

Solange man nichts über p weiß, wird man p gleichverteilt im Intervall [0, 1] annehmen:



Wenn man nun bei n unabhängigen Tripelvergleichen k inkonsistente Tripel gefunden hat, ergibt sich daraus eine bedingte Wahrscheinlichkeit



Der Faktor im Nenner sorgt dafür, dass das Integral über 1 wird, man also eine wohldefinierte Dichtefunktion hat.

Wenn man aus einen Punktschätzer für p gewinnen will, kann man den wahrscheinlichsten Wert nehmen, also das Maximum der Kurve. Man kann aber auch den Erwartungswert nehmen. Der würde sich errechnen zu:



Die Varianz von p ist



und die Standardabweichung ist die Wurzel daraus. Mit der Krümmung der Dichtefunktion hat das nichts zu tun.
Hubert1965 Auf diesen Beitrag antworten »

Ich kann dir leider nur teilweise folgen.

Bis zu dieser Stelle ist alles klar:



Danach wird's duster für mich. Bevor ich aber auf diesen unklaren Teil eingehe, noch ein Wort zu und dem davor gesagten:

Ich wechsle jetzt mal von der Wiegemaschine zum ursprünglichen Problem (siehe Eröffnungsposting, letzter Abschnitt "Zusätzliche Bemerkungen"). Es geht im ursprünglichen Problem darum das Verhalten mehrere verschiedener User zu bewerten indem ich ihr Verhalten durch ein Model erkläre, in dem der Parameter p angibt mit welcher Wahrscheinlichkeit ein User Hirnschmalz einsetzt um tatsächlich eine Entscheidung zu treffen anstatt ohne nachzudenken per Zufall eine von zwei Möglichkeiten zu wählen. Ein User der nach diesem Modell immer tatsächliche Entscheidungen trifft (p=1) produziert niemals inkonsistente Tripel.

Von einem neuen User kenne ich das p noch nicht, es kann jeden Wert zwischen 0 und 1 annehmen, daher halte ich es durchaus für gerechtfertigt, p als Zufallsgröße anzusehen.

Eine Auswertung der bereits vorliegenden Daten zeigt aber, dass keineswegs gleichverteilt ist. Es gibt eine Häufung zu beiden Rändern (0 und 1) hin:



Überall dort, wo r > 0.25 ist habe ich in der Spalte p die Zahl 0 ohne Nachkommastellen geschrieben, um dadurch anzudeuten, dass unter der Wurzel eine negative Zahl steht.

Ich würde wie folgt modellieren:



Wobei in der Größenordnung von ca. 10 liegt und so zu wählen ist, dass die Fläche unter der Kurve wieder 1 ergibt.

Jetzt zu dem Teil, bei dem es um geht:

Meinst du mit dasselbe wie ich mit ? Ist das also die Funktion von k, n und p, die ich in[4c] festgehalten habe?

Wie ist zu verstehen? Ich lese das als die Wahrscheinlichkeit eine bestimmte Kombination von k und n zu erhalten wenn ein bestimmtes p vorliegt. Aber ich erhalte in Wahrheit keine Kombination. Ich gebe auch n vor und erhalte dann ein bestimmtes k. Müsste es dann nicht heißen, oder vielleicht sogar ?
 
 
Huggy Auf diesen Beitrag antworten »

Zitat:
Original von Hubert1965
Ich würde wie folgt modellieren:


Wenn man schon Informationen über hat, kann man sie in dieser Art einfließen lassen.

Zitat:
Meinst du mit dasselbe wie ich mit ? Ist das also die Funktion von k, n und p, die ich in[4c] festgehalten habe?

Ja, nur habe ich sie in der für bedingte Wahrscheinlichkeiten üblichen Form geschrieben. Dabei steht vor dem Strich die Größe, deren Wahrscheinlichkeit man betrachtet. Nach dem Strich stehen die die Bedingungen bzw. die gegebenen Größen, unter denen man sie betrachtet. Am exaktesten wäre die Schreibweise , wie auch von dir weiter unten angemerkt.
Hubert1965 Auf diesen Beitrag antworten »

Danke!
Neue Frage »
Antworten »



Verwandte Themen

Die Beliebtesten »
Die Größten »
Die Neuesten »