„Metaanalyse“ – Versionsunterschied

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen
Versionsgeschichte interaktiv durchsuchen
[gesichtete Version][gesichtete Version]
← Zum vorherigen VersionsunterschiedZum nächsten Versionsunterschied →
Inhalt gelöscht Inhalt hinzugefügt
VisuellWikitext
Xylophon11 (Diskussion | Beiträge)
22 Bearbeitungen
Keine Bearbeitungszusammenfassung
Belege
Zeile 33: Zeile 33:
Liegen heterogene Effektgrößen vor, so kann man Strategien anwenden, die die Untersuchungen mit heterogenen Effektgrößen in homogene Subgruppen teilen. Anschließend sollte der Einfluss von [[Moderatorvariable]]n auf die Heterogenität bestimmt werden, dies geschieht [[Varianzanalyse|varianz]]- oder [[Clusteranalyse|clusteranalytisch]]. Bestehen keine direkten Annahmen über die Wirkung von Moderatorvariablen, kann auch eine Korrelation zwischen den Moderatorvariablen und den studienspezifischen Effektgrößen berechnet werden. Die Höhe der Korrelation beschreibt dabei den Einfluss der Moderatorvariablen auf die Heterogenität der einzelnen Effektgrößen.
Liegen heterogene Effektgrößen vor, so kann man Strategien anwenden, die die Untersuchungen mit heterogenen Effektgrößen in homogene Subgruppen teilen. Anschließend sollte der Einfluss von [[Moderatorvariable]]n auf die Heterogenität bestimmt werden, dies geschieht [[Varianzanalyse|varianz]]- oder [[Clusteranalyse|clusteranalytisch]]. Bestehen keine direkten Annahmen über die Wirkung von Moderatorvariablen, kann auch eine Korrelation zwischen den Moderatorvariablen und den studienspezifischen Effektgrößen berechnet werden. Die Höhe der Korrelation beschreibt dabei den Einfluss der Moderatorvariablen auf die Heterogenität der einzelnen Effektgrößen.


Da Untersuchungsberichte häufig lückenhaft sind und teils nur über signifikante bzw. nicht-signifikante Ergebnisse berichtet wird, gibt es Verfahren, die es ermöglichen, auch diese Untersuchungen metaanalytisch zu verwenden (z. B. Auszählung, [[Vorzeichentest]], [[Binomialtest]] und Berechnung der exakten [[Irrtumswahrscheinlichkeit]], es resultiert die [[Stouffer-Prüfgröße]]). Mit Hilfe des ’fail-safe N‘ (nach Rosenthal) lässt sich beim Vorliegen eines signifikanten Gesamttests ausrechnen, wie viele Studien mit einem mittleren Effekt der Größe Null noch zusätzlich vorhanden sein müssten, damit der Gesamttest nicht signifikant ist.
Da Untersuchungsberichte häufig lückenhaft sind und teils nur über signifikante bzw. nicht-signifikante Ergebnisse berichtet wird, gibt es Verfahren, die es ermöglichen, auch diese Untersuchungen metaanalytisch zu verwenden (z.&nbsp;B. Auszählung, [[Vorzeichentest]], [[Binomialtest]] und Berechnung der exakten [[Irrtumswahrscheinlichkeit]], es resultiert die [[Stouffer-Prüfgröße]]). Mit Hilfe des ’fail-safe N‘ (nach Rosenthal, 1979<ref name=":0">{{Literatur|Titel = Performance und Vertrauen in Unternehmenskooperationen: Eine Metaanalyse zu den Bestimmungsfaktoren für den Zusammenhang zwischen Performance und Vertrauen in Unternehmenskooperationen|Verlag = kassel university press GmbH|Jahr = 2011-01-01|ISBN = 9783862192151|Online = {{Google Buch|BuchID=Skybef0WeCwC| Seite=135 }}|Seiten = 135}}</ref>) lässt sich beim Vorliegen eines signifikanten Gesamttests ausrechnen, wie viele Studien mit einem mittleren Effekt der Größe Null noch zusätzlich vorhanden sein müssten, damit der Gesamttest nicht signifikant ist. Über die Berechnung des Fail-Save N soll dem Problem begegnet werden, dass graue Literatur, also unveröffentlichte Unteruchungen, nicht erfasst werden (siehe unten).<ref name=":0" />


== Kritik ==
== Kritik ==
Zeile 41: Zeile 41:
''Äpfel-Birnen-Problem:'' Kritisiert wird, dass Metaanalysen Untersuchungen mit unterschiedlichen Operationalisierungsvarianten zusammenfassen. Es wird gefordert, dass vor allem in Bezug auf die abhängige Variable homogene [[Operationalisierung]]en vorliegen müssen, da sie alle Indikatoren für das gleiche [[Konstrukt]] sein sollen. Andernfalls beziehen sich die Untersuchungen auf unterschiedliche Kriterien, eine Zusammenfassung wäre dann nicht sinnvoll.
''Äpfel-Birnen-Problem:'' Kritisiert wird, dass Metaanalysen Untersuchungen mit unterschiedlichen Operationalisierungsvarianten zusammenfassen. Es wird gefordert, dass vor allem in Bezug auf die abhängige Variable homogene [[Operationalisierung]]en vorliegen müssen, da sie alle Indikatoren für das gleiche [[Konstrukt]] sein sollen. Andernfalls beziehen sich die Untersuchungen auf unterschiedliche Kriterien, eine Zusammenfassung wäre dann nicht sinnvoll.


''Schubladenproblem:'' Häufig werden nur Ergebnisse publiziert, die angenommene [[Hypothese]]n bestätigen oder signifikante Ergebnisse aufweisen, während Untersuchungen mit nicht-signifikanten Ergebnissen nicht veröffentlicht werden ([[Publikationsbias]]). Dadurch erfolgt eine Verzerrung der metaanalytischen Ergebnisse, da diese die Existenz eines Effekts zu oft nachweisen.<ref name="Bortz S.674">[[Jürgen Bortz]], Nicola Döring: ''Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler.'' 4., überarbeitete Auflage. Springer Medizin-Verlag, Heidelberg 2006, ISBN 3-540-33305-3, S. 674, [http://books.google.de/books?id=13GbPUYAUHsC&pg=PA674#v=onepage&q=&f=false (online)].</ref> Unveröffentlichte Literatur bezeichnet man auch als [[graue Literatur]]. „Interessanterweise hatte die graue Literatur in der ehemaligen DDR als nicht zensierte Literatur meist einen höheren wissenschaftlichen Wert als die offizielle, staatlich kontrollierte Literatur.“<ref name="Bortz S.360">Jürgen Bortz, Nicola Döring: ''Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler.'' 4., überarbeitete Auflage. Springer Medizin-Verlag, Heidelberg 2006, ISBN 3-540-33305-3, S. 360, [http://books.google.de/books?id=13GbPUYAUHsC&pg=PA360#v=onepage&q=&f=false (online)].</ref> „Eine Liste der neuesten Diplomarbeiten und Dissertationen im Fach Psychologie ist halbjährlich der ''Psychologischen Rundschau'' beigelegt.“<ref name="Bortz S.360"/> Das Problem an graue Literatur heranzukommen wird bei Marylu C. Rosenthal<ref>Marylu C. Rosenthal: ''The Fugitive Literature.'' In: Harris Cooper, Larry V. Hedges (Hrsg.): ''The Handbook of Research Synthesis.'' Russell Sage Foundation, New York NY 1994, ISBN 0-87154-226-9, S. 85–94.</ref> (1994) behandelt.<ref name="Bortz S.674"/>
''Schubladenproblem''<ref>{{Literatur|Titel = Forschungsmethoden und Evaluation: für Human- und Sozialwissenschaftler|Verlag = Springer-Verlag|Jahr = 2013-09-03|ISBN = 9783662072998|Online = {{Google Buch| BuchID=aqHyBQAAQBAJ| Seite=646 }}|Seiten = 646}}</ref> ''(engl. File Drawer Problem''<ref>{{Literatur|Titel = Metaanalyse|Verlag = Rainer Hampp Verlag|Jahr = 2014|ISBN = 9783866189751|Online = {{Google Buch| BuchID=xNoXAwAAQBAJ| Seite=77 }}|Seiten = 77}}</ref>''):'' Häufig werden nur Ergebnisse publiziert, die angenommene [[Hypothese]]n bestätigen oder signifikante Ergebnisse aufweisen, während Untersuchungen mit nicht-signifikanten Ergebnissen nicht veröffentlicht werden ([[Publikationsbias]]). Dadurch erfolgt eine Verzerrung der metaanalytischen Ergebnisse, da diese die Existenz eines Effekts zu oft nachweisen.<ref name="Bortz S.674">[[Jürgen Bortz]], Nicola Döring: ''Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler.'' 4., überarbeitete Auflage. Springer Medizin-Verlag, Heidelberg 2006, ISBN 3-540-33305-3, S. 674, [http://books.google.de/books?id=13GbPUYAUHsC&pg=PA674#v=onepage&q=&f=false (online)].</ref> Unveröffentlichte Literatur bezeichnet man auch als [[graue Literatur]]. „Interessanterweise hatte die graue Literatur in der ehemaligen DDR als nicht zensierte Literatur meist einen höheren wissenschaftlichen Wert als die offizielle, staatlich kontrollierte Literatur.“<ref name="Bortz S.360">Jürgen Bortz, Nicola Döring: ''Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler.'' 4., überarbeitete Auflage. Springer Medizin-Verlag, Heidelberg 2006, ISBN 3-540-33305-3, S. 360, [http://books.google.de/books?id=13GbPUYAUHsC&pg=PA360#v=onepage&q=&f=false (online)].</ref> „Eine Liste der neuesten Diplomarbeiten und Dissertationen im Fach Psychologie ist halbjährlich der ''Psychologischen Rundschau'' beigelegt.“<ref name="Bortz S.360"/> Das Problem an graue Literatur heranzukommen wird bei Marylu C. Rosenthal<ref>Marylu C. Rosenthal: ''The Fugitive Literature.'' In: Harris Cooper, Larry V. Hedges (Hrsg.): ''The Handbook of Research Synthesis.'' Russell Sage Foundation, New York NY 1994, ISBN 0-87154-226-9, S. 85–94.</ref> (1994) behandelt.<ref name="Bortz S.674"/>


''Problem der abhängigen Messungen:'' Dieses Problem tritt auf, wenn verschiedene (abhängige) Teilergebnisse an der gleichen Stichprobe erhoben worden sind. Da Untersuchungseinheiten von Metaanalysen aber Einzelstudien und nicht Teilstichproben sind, darf immer nur ein Ergebnis einer Untersuchung in die Metaanalyse mit eingehen, da andernfalls diese Untersuchung ein größeres Gewicht erhalten würde als eine Untersuchung, die nur mit einem Ergebnis in die Metaanalyse eingeht. Entweder wählt man das wichtigste Ergebnis unter den Teilergebnissen, oder man bildet das [[Arithmetisches Mittel|arithmetische Mittel]] als Schätzung des Gesamtergebnisses.
''Problem der abhängigen Messungen:'' Dieses Problem tritt auf, wenn verschiedene (abhängige) Teilergebnisse an der gleichen Stichprobe erhoben worden sind. Da Untersuchungseinheiten von Metaanalysen aber Einzelstudien und nicht Teilstichproben sind, darf immer nur ein Ergebnis einer Untersuchung in die Metaanalyse mit eingehen, da andernfalls diese Untersuchung ein größeres Gewicht erhalten würde als eine Untersuchung, die nur mit einem Ergebnis in die Metaanalyse eingeht. Entweder wählt man das wichtigste Ergebnis unter den Teilergebnissen, oder man bildet das [[Arithmetisches Mittel|arithmetische Mittel]] als Schätzung des Gesamtergebnisses.

Version vom 5. Juli 2015, 18:15 Uhr

Forest plot zur grafischen Veranschaulichung der Ergebnisse einer Metaanalyse

Eine Metaanalyse ist eine Zusammenfassung von Primär-Untersuchungen zu Metadaten, die mit quantitativen, statistischen Mitteln arbeitet. Der Begriff wurde 1976 vom Psychologen Gene V. Glass (* 1940) in seinem Artikel "Primary, Secondary and Meta-Analysis of Research" eingeführt. Er definiert Metaanalyse als […] analysis of analyses. I use it to refer to the statistical analysis of a large collection on analysis results from individual studies for the purpose of integrating the findings. (deutsch: „[…] Analyse von Analysen. Damit meine ich die statistische Analyse einer großen Sammlung von Analyse-Ergebnissen mehrerer Einzelstudien, die dadurch zusammengeführt werden sollen.“).[1] Durchgeführt wurde die erste Metaanalyse jedoch bereits 1904 von Karl Pearson, der die Teststärke von Studien mit wenigen Probanden durch Zusammenfassen erhöhen wollte.

Im Gegensatz zur Methode der Metaanalyse stehen qualitative Verfahren, bei denen auf dem Wege subjektiver Einschätzung versucht wird, aus dem Inhalt der Primärstudien Schlüsse zu ziehen. Beim Verwenden qualitativer Verfahren sind fehlerhafte Schlussfolgerungen oder Auswertungen viel eher möglich als bei Metaanalysen.[2]

Einsatzgebiete und Gründe

Metaanalysen ermöglichen die Zusammenfassung von verschiedenen Untersuchungen zu einem wissenschaftlichen Forschungsgebiet. Dabei werden die empirischen Einzelergebnisse inhaltlich homogener Primärstudien zusammengefasst. Ziel ist eine Effektgrößeneinschätzung. Es soll untersucht werden, ob ein Effekt vorliegt und wie groß dieser ist.

Metaanalysen werden v. a. in der Medizin, Psychologie und der empirischen Sozialforschung häufig eingesetzt. Dort helfen sie bei zwei Problemen:

  1. Aus mancherlei Gründen sind die Stichproben der Primärstudien viel zu klein, um verlässliche Ergebnisse zu bringen: Kann man nun viele Untersuchungen geeignet zusammenfassen, so ist das damit gewonnene Ergebnis sehr viel genauer und sicherer.
  2. Häufig benutzen die Primärstudien nicht genau dieselben Methoden, Definitionen oder ziehen ihre Stichproben nicht aus derselben Grundgesamtheit. Dann ist zunächst einmal fraglich, ob und wie man diese Einflüsse von dem Gegenstand der Untersuchung überhaupt trennen kann.

Methode

Eine Metaanalyse umfasst sämtliche Elemente des sozialwissenschaftlichen Forschungsprozesses, wie sie auch bei einer Primärforschung vollzogen werden (Cooper 1982; Schnell et al. 1995).

  1. Am Beginn stehen die Auswahl eines geeigneten Forschungsproblems sowie die genaue Eingrenzung des Forschungsgegenstandes.
  2. Die Datenerhebung besteht im Fall publikationsbasierter Metaanalysen in einer systematischen und möglichst erschöpfenden Literaturrecherche.
  3. Im Anschluss daran werden die Informationen in den gesammelten Publikationen codiert und elektronisch aufbereitet.
  4. Die eigentliche (statistische) Datenanalyse besteht in der Regel aus zwei Schritten: der Befundintegration und der anschließenden Heterogenitätsanalyse.
  5. Abschließend sind die Ergebnisse angemessen aufzubereiten und mit Bezug auf das Forschungsproblem zu interpretieren.

Das Verfahren der Metaanalyse ähnelt dem narrativen Review, das die einschlägige Literatur zu einem wissenschaftlichen Thema strukturiert vorstellt und mit kritischen Kommentaren versieht. Kritisiert wird die Subjektivität der Auswahl von Untersuchungen. Hier erreicht die Metaanalyse eine größere Objektivität, indem sie Kriterien für die Auswahl der Primärstudien für die Metaanalyse festlegt, dadurch verringert sich hingegen die mögliche Anzahl der Untersuchungen, die in eine Metaanalyse aufgenommen werden können.

Die Zusammenfassung verschiedener Untersuchungen zu einem wissenschaftlichen Forschungsgebiet ist nur sinnvoll, wenn die Effektgrößen der einzelnen Untersuchungen Schätzungen einer gemeinsamen Populationseffektgröße sind. Es ist eine Homogenitätsprüfung notwendig.

Homogenitätsprüfungen gehen von einer einheitlichen Effektgröße Δ (sprich: Delta) aus. Δ ist ein universelles Effektgrößenmaß und entspricht der bivariaten Produkt-Moment-Korrelation. Es wird präferiert, da verschiedene statistische Kennwerte (z. B. r, t, F) in Δ transformiert werden können.

Die studienspezifischen Effektgrößen werden anschließend durch einen Signifikanztest auf Homogenität geprüft. Sind die Effektgrößen homogen, kann ein durchschnittlicher Δ-Wert berechnet werden, er entspricht der Schätzung der Populationseffektgröße und kann auf Signifikanz geprüft und hinsichtlich seiner Größe klassifiziert werden.

Liegen heterogene Effektgrößen vor, so kann man Strategien anwenden, die die Untersuchungen mit heterogenen Effektgrößen in homogene Subgruppen teilen. Anschließend sollte der Einfluss von Moderatorvariablen auf die Heterogenität bestimmt werden, dies geschieht varianz- oder clusteranalytisch. Bestehen keine direkten Annahmen über die Wirkung von Moderatorvariablen, kann auch eine Korrelation zwischen den Moderatorvariablen und den studienspezifischen Effektgrößen berechnet werden. Die Höhe der Korrelation beschreibt dabei den Einfluss der Moderatorvariablen auf die Heterogenität der einzelnen Effektgrößen.

Da Untersuchungsberichte häufig lückenhaft sind und teils nur über signifikante bzw. nicht-signifikante Ergebnisse berichtet wird, gibt es Verfahren, die es ermöglichen, auch diese Untersuchungen metaanalytisch zu verwenden (z. B. Auszählung, Vorzeichentest, Binomialtest und Berechnung der exakten Irrtumswahrscheinlichkeit, es resultiert die Stouffer-Prüfgröße). Mit Hilfe des ’fail-safe N‘ (nach Rosenthal, 1979[3]) lässt sich beim Vorliegen eines signifikanten Gesamttests ausrechnen, wie viele Studien mit einem mittleren Effekt der Größe Null noch zusätzlich vorhanden sein müssten, damit der Gesamttest nicht signifikant ist. Über die Berechnung des Fail-Save N soll dem Problem begegnet werden, dass graue Literatur, also unveröffentlichte Unteruchungen, nicht erfasst werden (siehe unten).[3]

Kritik

Garbage-in-Garbage-out-Problem: Kritisiert wird, die Ergebnisse einer Metaanalyse seien wenig valide, weil jede beliebige Untersuchung unabhängig von ihrer methodischen Qualität in die Metaanalyse eingeht. Allerdings kann der Einfluss der methodischen Qualität der Untersuchungen auf das Ergebnis der Metaanalyse kontrolliert werden, indem Bewertungskriterien herangezogen werden, anhand derer die Ergebnisse einer Untersuchung bewertet und ihre Effektgröße damit gewichtet werden kann.

Äpfel-Birnen-Problem: Kritisiert wird, dass Metaanalysen Untersuchungen mit unterschiedlichen Operationalisierungsvarianten zusammenfassen. Es wird gefordert, dass vor allem in Bezug auf die abhängige Variable homogene Operationalisierungen vorliegen müssen, da sie alle Indikatoren für das gleiche Konstrukt sein sollen. Andernfalls beziehen sich die Untersuchungen auf unterschiedliche Kriterien, eine Zusammenfassung wäre dann nicht sinnvoll.

Schubladenproblem[4] (engl. File Drawer Problem[5]): Häufig werden nur Ergebnisse publiziert, die angenommene Hypothesen bestätigen oder signifikante Ergebnisse aufweisen, während Untersuchungen mit nicht-signifikanten Ergebnissen nicht veröffentlicht werden (Publikationsbias). Dadurch erfolgt eine Verzerrung der metaanalytischen Ergebnisse, da diese die Existenz eines Effekts zu oft nachweisen.[6] Unveröffentlichte Literatur bezeichnet man auch als graue Literatur. „Interessanterweise hatte die graue Literatur in der ehemaligen DDR als nicht zensierte Literatur meist einen höheren wissenschaftlichen Wert als die offizielle, staatlich kontrollierte Literatur.“[7] „Eine Liste der neuesten Diplomarbeiten und Dissertationen im Fach Psychologie ist halbjährlich der Psychologischen Rundschau beigelegt.“[7] Das Problem an graue Literatur heranzukommen wird bei Marylu C. Rosenthal[8] (1994) behandelt.[6]

Problem der abhängigen Messungen: Dieses Problem tritt auf, wenn verschiedene (abhängige) Teilergebnisse an der gleichen Stichprobe erhoben worden sind. Da Untersuchungseinheiten von Metaanalysen aber Einzelstudien und nicht Teilstichproben sind, darf immer nur ein Ergebnis einer Untersuchung in die Metaanalyse mit eingehen, da andernfalls diese Untersuchung ein größeres Gewicht erhalten würde als eine Untersuchung, die nur mit einem Ergebnis in die Metaanalyse eingeht. Entweder wählt man das wichtigste Ergebnis unter den Teilergebnissen, oder man bildet das arithmetische Mittel als Schätzung des Gesamtergebnisses.

Literatur

  • Harris M. Cooper: Scientific guidelines for conducting integrative research reviews. In: Review of Educational Research 52, 1982, ISSN 0034-6543, S. 291–302.
  • Harris Cooper, Larry V. Hedges (Hrsg.): The Handbook of Research Synthesis. Russell Sage Foundation, New York NY 1994, ISBN 0-87154-226-9.
  • Gene V. Glass: Primary, Secondary and Meta-Analysis of Research. In: Educational Researcher 5, 1976, ISSN 0013-189X, S. 3–8.
  • Joachim Hartung, Guido Knapp, Bimal K. Sinha: Statistical meta-analysis with applications. J. Wiley & Sons, Inc., Hoboken NJ 2008, ISBN 978-0-470-29089-7, (Wiley Series in Probability and Statistics).
  • John E. Hunter, Frank L. Schmidt, Gregg B. Jackson: Meta-Analysis. Cumulating research findings across studies. Sage Publications, Beverly Hills CA 1982, ISBN 0-8039-1864-X, (Studying organizations 4), (Empfehlenswerte Einleitung).
  • Rainer Schnell, Paul B. Hill, Elke Esser: Methoden der empirischen Sozialforschung. 5. völlig überarbeitete und erweiterte Auflage. Oldenbourg Verlag, München u. a. 1995, ISBN 3-486-23489-7.

Weblinks

Einzelnachweise

  1. ↑ Gene V. Glass: Primary, Secondary and Meta-Analysis of Research. In: Educational Researcher 5, 1976, S. 3–8.
  2. ↑ Beispiele bei Hunter, Schmidt, Jackson: Meta-Analysis. 1982.
  3. ↑ a b Performance und Vertrauen in Unternehmenskooperationen: Eine Metaanalyse zu den Bestimmungsfaktoren für den Zusammenhang zwischen Performance und Vertrauen in Unternehmenskooperationen. kassel university press GmbH, 2011, ISBN 978-3-86219-215-1, S. 135 (eingeschränkte Vorschau in der Google-Buchsuche).
  4. ↑ Forschungsmethoden und Evaluation: für Human- und Sozialwissenschaftler. Springer-Verlag, 2013, ISBN 978-3-662-07299-8, S. 646 (eingeschränkte Vorschau in der Google-Buchsuche).
  5. ↑ Metaanalyse. Rainer Hampp Verlag, 2014, ISBN 978-3-86618-975-1, S. 77 (eingeschränkte Vorschau in der Google-Buchsuche).
  6. ↑ a b Jürgen Bortz, Nicola Döring: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 4., überarbeitete Auflage. Springer Medizin-Verlag, Heidelberg 2006, ISBN 3-540-33305-3, S. 674, (online).
  7. ↑ a b Jürgen Bortz, Nicola Döring: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 4., überarbeitete Auflage. Springer Medizin-Verlag, Heidelberg 2006, ISBN 3-540-33305-3, S. 360, (online).
  8. ↑ Marylu C. Rosenthal: The Fugitive Literature. In: Harris Cooper, Larry V. Hedges (Hrsg.): The Handbook of Research Synthesis. Russell Sage Foundation, New York NY 1994, ISBN 0-87154-226-9, S. 85–94.
Abgerufen von „https://de.wikipedia.org/w/index.php?title=Metaanalyse&oldid=143760799“