Diskussion:Maximum-Likelihood-Methode

Zum Archiv

Wie wird ein Archiv angelegt?

Automatische Archivierung

Auf dieser Seite werden Abschnitte halbmonatlich automatisch archiviert, wenn sie mit {{Erledigt|1=--~~~~}} markiert sind. Um die Diskussionsseite nicht komplett zu leeren, verbleibt mindestens ein Abschnitt.

Beispiel

Der Herleitung der Formel

$L(p)=p^{3}\,(1-p)$ ist im Artikel (für mich zumindest) nicht ersichtlich. --Roland 5. Jul 2005 20:20 (CEST)

Hier die Herleitung:

Die Wahrscheinlichkeitsfunktion für die Ziehungen bei denen rote Kugeln getroffen wurden ist:

$f_{x_{i}}\,(x_{i})={\frac {M}{N}}x_{i}$

wenn $p={\frac {M}{N}}$ dann ergibt sich

$f_{x_{i}}\,(x_{i})=p\cdot x_{i}$

Die Wahrscheinlichkeitsfunktion für die Ziehungen bei denen keine Kugeln getroffen wurden ist:

$f_{x_{i}}\,(x_{i})={\frac {N-M}{N}}x_{i}$

und mit $p={\frac {M}{N}}$ ergibt sich

$f_{x_{i}}\,(x_{i})=(1-p)x_{i}$

(nicht signierter Beitrag von 87.79.6.190 (Diskussion) 15:34, 31. Mar 2008)

Zur Definition

"Die Maximum-Likelihood-Methode ist aufgrund ihrer Vorteile gegenüber anderen Schätzverfahren (beispielsweise OLS- und Momentenmethode) das wichtigste Prinzip zur Gewinnung von Schätzfunktionen für die Parameter einer Verteilung."

Meines Wissens ist der OLS-Schätzer unter den jeweiligen Voraussetzungen der ML-Schätzer... (nicht signierter Beitrag von 134.102.109.25 (Diskussion) 2:06, 7. Aug 2007)

Blöder Satz, da nicht angegeben wird, was die Vorteile sind, bzw. welche Eigenschaften als vorteilhaft im Vergleich zu anderen Schätzern gelten (nicht signierter Beitrag von 85.179.81.203 (Diskussion) 0:58, 10. undefined 2008)

Könnte z.B. das hier sein: Vorteil von ML ggü. OLS ist, daß die exakte Wahrsch.verteilung der Schätzer bekannt ist und somit Verfahren des statistischen Schließens (induktive Statistik!) angewandt werden können. Es können Nullhypothesen über den wahren Wert eines Regressionskoeffizienten getestet werden und auch die Bestimmung von Konfidenz-Intervallen ist möglich, was mit OLS nicht funktioniert. ...ist natürlich nicht vollständig, und mit der Momentenmethode kenne ich mich (noch) nicht aus... (nicht signierter Beitrag von Stomitaeter (Diskussion | Beiträge) 00:15, 9. Apr. 2010 (CEST))

Bezeichnung

Ich finde es wichtig, den Unterschied zwischen probability und likelihood zu erwähnen, da dies zum Verständnis beiträgt. Siehe hierzu auch Benutzer_Diskussion:Scherben#Maximumm_Likelihood. Mein Vorschlag:

Die englischen Wörter "probability" und "likelihood" haben unterschiedliche Bedeutung. Da die Übersetzung ins Deutsche diese Unterscheidung nicht zulässt, hat sich für diese Methode noch keine deutsche Bezeichnung etabliert. Beide Worte werden im deutschen mit "Wahrscheinlichkeit" übersetzt.

Vielleicht kann man das an geeigneter Stelle in den Artikel einbauen? -- Sulai 00:26, 9. Dez. 2007 (CET)

Man schreibt es probability. --Philipendula 00:37, 9. Dez. 2007 (CET)

Habe es korrigiert, danke. -- Sulai 01:48, 9. Dez. 2007 (CET)

Wie nennen deutsche Statistiker denn "likelihood". Nijdam 00:39, 19. Jan. 2010 (CET)

meiner erfahrung nach meist "likelihood" (wie im englischen). -- seth 21:37, 19. Jan. 2010 (CET)

Wenn ihr es belegt haben wollt: "Diese Bezeichnung bleibt üblicherweise unübersetzt" aus J. Bortz, Statistik, ISBN 354021271, 6. Auflage, Springer. --Erzbischof 21:52, 19. Jan. 2010 (CET)

:-) -- seth 22:19, 19. Jan. 2010 (CET)

Also in älteren Statistiklehrbüchern spricht man von der maximalen Mutmaßlichkeit (in Wallis & Roberts (1973), Methoden der Statistik, übersetzt von Prof. Wagenführ, rororo). Aber der Begriff hat sich wohl nicht durchgesetzt. --Sigbert 20:57, 20. Jul. 2010 (CEST)

Es gibt für Maximum-Likelihood keine etablierte „deutsche“ Übersetzung, daher sollte sollte der Begriff Maximum-Likelihood in jedem Fall beibehalten werden.--Jonski (Diskussion) 15:27, 25. Feb. 2019 (CET)

eine heuristische Herleitung

ich lese:"mit Hilfe der Binomialverteilung B(10|1, 0,2)" und schaue mir den Artikel Binomialverteilung an: "Ist p die Erfolgswahrscheinlichkeit bei einem Versuch, und die Anzahl der Versuche n, dann bezeichnet man mit B(k | p,n) die Wahrscheinlichkeit genau k Erfolge zu erzielen." Wurden hier nicht die Werte in der Klammer vertauscht und es müsste B(1|0,2;10) heißen? Auch die Anzahl n des Ziehens wird nicht erwähnt. Zudem wird nicht gesagt, warum überhaupt die Binomialverteilung verwendet wird. Der Grund wird vermutlich Ziehen mit Zurücklegen sein. Es könnte ja genausogut ohne Zurücklegen mit hypergeomtr. Vert. sein... Das ganze Beispiel ist recht unstrukturiert, bin zwar auch kein Experte,aber das hier finde ich schon besser: " == Herleitung als Laplace-Wahrscheinlichkeit ==

Versuchsschema: Ein Korb enthält N nummerierte Bälle, davon sind M schwarz und N − M weiß. Die Wahrscheinlichkeit, einen schwarzen Ball zu ziehen, ist also p=M/N. Es werden einzeln und nacheinander, rein zufällig, insgesamt n Bälle entnommen, untersucht und wieder zurückgelegt.

Wir berechnen die Anzahl der Möglichkeiten, in denen man k schwarze Bälle findet und daraus die sogenannte Laplace-Wahrscheinlichkeit („Anzahl der für das Ereignis günstigen Möglichkeiten geteilt durch Gesamtanzahl der (gleichwahrscheinlichen) Möglichkeiten“)..." (aus dem Artikel Binomialverteilung) (nicht signierter Beitrag von Stomitaeter (Diskussion | Beiträge) 00:58, 9. Apr. 2010 (CEST))

Richtig, man könnte den Grund für die Annahme dieser Verteilung nocheinmal nennen. Weiterhin halte ich den Satz "Die Maximum-Likelihood-Methode versucht diese Schätzung nun so zu erstellen, dass das Ergebnis unserer Stichprobe damit am wahrscheinlichsten wird." für sachlich falsch. Hier werden Wahrscheinlichkeit und Likelihood verwechselt, denn die Methode versucht gerade nicht, eine Verteilung zu finden, deren wahrscheinlichste (probability) Produktion die Stichprobe ist, sondern aus den sich im Parameter unterscheidenden Verteilungen diejenige zu finden, für die es unter allen Kandidaten am wahrscheinlichsten (likelihood) ist, daß genau sie die Stichprobe produziert hat. Die Aussagen mögen für die Binomialverteilung äquivalent sein, müssen es aber bei Annahme einer anderen Verteilung nicht zwangsläufig sein. -- Douba 17:02, 20. Jul. 2010 (CEST)

• Also ich habe mal im Satz oben zu "Die Maximum-Likelihood-Methode versucht diese Schätzung nun so zu erstellen, dass das Auftreten unserer Stichprobe damit am wahrscheinlichsten wird." geändert.
• In dem konkreten Beispiel ist es tatsächlich die Wahrscheinlichkeit mit der die Stichprobe auftritt, deswegen nimmt man ja eine diskrete Verteilung bei der Einführung der ML-Methode :) Bei einer stetigen Verteilung ist es natürlich die Likelihood, aber das sollte man vielleicht am Ende des Abschnitts ergänzen. Es geht ja darum die Grundidee rüber zu bringen und nicht alles mathematisch exakt zu haben.
• Ob Ziehen mit oder ohne Zurücklegen spielt keine Rolle, da bei einer grossen Anzahl von Kugeln die hypergeometrische Verteilung mit der Binomialverteilung approximiert werden kann. --Sigbert 20:46, 20. Jul. 2010 (CEST)

Eigenschaften von Maximum-Likelihood-Schätzern

Woher kommen all diese Behauptungen? Sicherlich nicht aus den verwiesen original Werken, wenn doch dann sollte ich sie mir vielleicht anschauen, in der zeitgemäßen Literatur (ich habe ca. 5 Bücher da, wird immer nur für das explizite Statistische Modell etwas gezeigt, und nicht allgemein! Kann bitte die Person die es eingefügt die Quellen zu den Beweisen angeben! (nicht signierter Beitrag von 92.76.182.181 (Diskussion) 16:49, 15. Apr. 2012 (CEST))

Bitte in Zunkunft ein paar konkrete Beispiele nennen. Es ist nun nur noch schwer nachvollziehbar, was gemeint ist.

Ich werde mir das in den nächsten Tagen (hoffentlich, wenn ich Zeit finde) anschauen und eventuell Einzelnachweise nachtragen.

Sonst: Hat jemand was konkretes, zu dem Einzelnachweise gewünscht sind?

Grüße, --Martin Thoma 00:09, 12. Dez. 2014 (CET)

Ich greife das mal wieder auf: Gibt es z. B. einen Beleg für die Aussage, dass allein die Existenz des ML-Schätzers ausreicht, um asymptotische Normalität zu garantieren? In Schervish's "Theory Of Statistics" wird die Aussage nur mit mehreren Zusatzannahmen bewiesen und darauf hingewiesen, dass man diese Annahmen zwar etwas abschwächen, aber nicht ganz weglassen kann.

--MeasureOne (Diskussion) 12:44, 16. Jun. 2022 (CEST)

Ich bin mir ziemlich sicher, dass dazu ein paar Regularitätskriterien erfüllt müssen sein, deshalb war das nicht richtig. Allen voran muss die Loglikelihood differenzierbar sein, damit man überhaupt eine Taylorreihe bilden kann und die Kriterien für den zentralen Grenzwertsatz müssen auch erfüllt sein um die Konvergenz zur Normalverteilung zu zeigen. --Tensorproduct (Diskussion) 15:57, 7. Aug. 2022 (CEST)

Bild zu Score-Test und Likelihood Ratio Tests

Arbeitsweise der drei Tests im Rahmen der Maximum-Likelihood-Methode.

Das Bild aus dem Artikel hat bei mir gewisse Assoziationen geweckt:

1. auf Gradienten der (Log) likelihood basierende Verfahren zum Fitten von Parametern in ML-Modellen berechnen die Score-Funktion
2. die Likelihood-Ratio tritt im Metropolis-Algorithmus in der Bayesschen Inferenz auf: $P_{acc}(\theta _{i}\to \theta ^{*})=min(1,{\frac {{\mathcal {L}}(y|\theta ^{*})}{{\mathcal {L}}(y|\theta _{i})}})$ (bei gleicher Vorschlagdichte und flat Priors)

Dass das gleiche Prinzip statistischen Tests zugrunde liegt, scheint gerade im Monte-Carlo Setting naheliegend (annehmen/ablehnen neuer Parameter...)

Gibt es Literatur, welche diese Aspekte in diese Richtung diskutiert? @Sigma^2: hast du hier vielleicht weitere Einsichten? Ich denke eine Darlegung im Artikel wäre erkenntnisstiftend, würde aber natürlich gute Quellen erfordern um Theoriefindung zu vermeiden. biggerj1 (Diskussion) 21:02, 12. Okt. 2023 (CEST)