p-Hacking

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

p-Hacking, auch als data dredging, data snooping oder specification searching bekannt, bezeichnet die Verzerrung[1] und Manipulation von Forschungsresultaten durch den Gebrauch von Data-Mining. Der p-Wert wird dadurch „gehackt“, dass der -Wert unter die 5-%-Grenze gedrückt wird, woraus folgt, dass die Wahrscheinlichkeit steigt, dass dieses Forschungsresultat publiziert wird. Dies führt dazu, dass selektiv Analysen mit statistisch signifikanten Resultaten publiziert werden, wobei Analysen, die nicht signifikante Resultate aufweisen, unveröffentlicht bleiben (File-Drawer-Problem). Somit geht -Hacking oft mit einem Publikationsbias einher. Die häufige Fehlinterpretation von -Werten und die Anwendung von -Hacking hat zu unzähligen falschen Forschungsresultaten geführt, die der Wissenschaft geschadet haben.[2] -Hacking kann durch die Benutzung von Metaanalysen aufgedeckt werden[1] und als Antwort der Autoren auf die Tatsache angesehen werden, dass Studien mit signifikanten Ergebnissen für die Publikation präferiert werden.

Statistische Signifikanz durch Zufall[Bearbeiten | Quelltext bearbeiten]

Der Prozess des Data-Minings in einem einzigen Datensatz impliziert automatisch, dass durch akribisches Suchen von Variablenkombinationen, die eine Korrelation aufweisen könnten, automatisch eine große Anzahl an Hypothesen getestet wird. Konventionelle Signifikanztests legen a priori eine Fehlerwahrscheinlichkeit für einen Fehler 1. Art fest. Notwendigerweise muss also das Risiko akzeptiert werden, ein falsches Testresultat anzunehmen. Wenn eine Vielzahl von statistischen Tests durchgeführt wird, dann produzieren manche per Konstruktion durch Zufall falsche Resultate. Somit stellt sich heraus, das 5 % der zufällig ausgewählten Hypothesen nur durch Zufall signifikant auf dem 5-%-Level sind, 1 % auf dem 1-%-Level usw. Wenn ausreichend Hypothesen getestet wurden, ist es beinahe sicher, dass manche Hypothesen fälschlicherweise als statistisch signifikant erscheinen.

Literatur[Bearbeiten | Quelltext bearbeiten]

Weblinks[Bearbeiten | Quelltext bearbeiten]

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. a b Megan L. Head: The Extent and Consequences of P-Hacking in Science. In: plosbiology S. 1.
  2. Regina Nuzzo: Wenn Forscher durch den Signifikanztest fallen.