p-Hacking

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen

p-Hacking, auch als data dredging, data snooping oder specification searching bekannt, bezeichnet die Verzerrung[1] und Manipulation von Forschungsresultaten durch den Gebrauch von Data-Mining.

Der -Wert wird dadurch „gehackt“, dass er unter die 5-%-Grenze gedrückt wird, woraus folgt, dass die Wahrscheinlichkeit steigt, dass dieses Forschungsergebnis publiziert wird. Dies führt dazu, dass selektiv Analysen mit statistisch signifikanten Resultaten publiziert werden, wobei Analysen, die nicht signifikante Resultate aufweisen, unveröffentlicht bleiben (File-Drawer-Problem). Somit geht -Hacking oft mit einem Publikationsbias einher. Die häufige Fehlinterpretation von -Werten und die Anwendung von -Hacking hat zu unzähligen falschen Forschungsresultaten geführt, die der Wissenschaft geschadet haben.[2] -Hacking kann durch die Benutzung von Metaanalysen aufgedeckt werden[1] und als Antwort der Autoren auf die Tatsache angesehen werden, dass Studien mit signifikanten Ergebnissen für die Publikation präferiert werden.

Statistische Signifikanz durch Zufall[Bearbeiten | Quelltext bearbeiten]

Der Prozess des Data-Minings in einem einzigen Datensatz impliziert automatisch, dass durch akribisches Suchen von Variablenkombinationen, die eine Korrelation aufweisen könnten, automatisch eine große Anzahl an Hypothesen getestet wird.

Konventionelle Signifikanztests legen a priori eine Fehlerwahrscheinlichkeit für einen Fehler 1. Art fest. Notwendigerweise muss also das Risiko akzeptiert werden, ein falsches Testergebnis anzunehmen. Wenn eine Vielzahl von statistischen Tests durchgeführt wird, dann produzieren manche per Konstruktion durch Zufall falsche Ergebnisse. Somit stellt sich heraus, das 5 % der zufällig ausgewählten Hypothesen nur durch Zufall signifikant auf dem 5-%-Level sind, 1 % auf dem 1-%-Level usw. Wenn ausreichend viele Hypothesen getestet wurden, ist es praktisch sicher, dass manche Hypothesen fälschlicherweise als statistisch signifikant erscheinen.

Gegenmaßnahmen[Bearbeiten | Quelltext bearbeiten]

Eine zunehmende Anzahl von Fachzeitschriften geht mittlerweile zum Format des registrierten Berichts über, um wissenschaftlichem Fehlverhalten wie p-Hacking und HARKing entgegenzutreten.[3]

Literatur[Bearbeiten | Quelltext bearbeiten]

Weblinks[Bearbeiten | Quelltext bearbeiten]

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. a b Megan L. Head u. a.: The Extent and Consequences of P-Hacking in Science. In: PLOS Biology. 13. März 2015, abgerufen am 11. April 2018. S. 1.
  2. Regina Nuzzo: Wenn Forscher durch den Signifikanztest fallen. In: Spektrum.de. 2. Februar 2014, abgerufen am 11. April 2018.
  3. Promoting reproducibility with registered reports. In: Nature.com. 10. Januar 2017, abgerufen am 11. April 2018.