Diskussion:Kritik an den PISA-Studien

Kritik und Diskussionen an anderen Stellen in der WP

• In der Diskussion des Pisa-Methoden-Artikels

(Könnte weiter hier ergänzt werden. Hatte das versehentlich in den Artikel selbst geschrieben und gleich rückgängig gemacht und hierher geschoben. -- Ich setze das mal gegen die Richtlinien an den Anfang dieser Diskussion, weil das auch eine Anfangsinformation ist. Wer meint, dass da auch die Reihenfolge eingehalten werden muss, darf das gerne nach unten setzen.) --Delabarquera 11:50, 16. Dez. 2008 (CET)

Kritik von Dr. Gaeth

Hallo "Frau Holle", ich habe für den "Politik Poker" einen Artikel geschrieben, in dem ich einige Argumente meiner Dissertation einmal zusammengefaßt habe: http://www.politik-poker.de/pisa-zukunft-der-bildung-oder-joulupukki.php

viele Grüße Frank Gaeth (nicht signierter Beitrag von 87.77.51.91 (Diskussion) 12:54, 17. Jun. 2010 (CEST))

habe die folgende Zusammenfassung der Dissertation von Gaeth erst einmal ausgelagert. Wer kämpft sich durch die 370 Seiten durch und arbeitet die Kernpunkte etwas besser heraus und in den Haupttext ein? -- Frau Holle 17:43, 26. Aug. 2007 (CEST)

[Statistische Mängel] sowohl in Durchführung als auch in der Auswertung. Die Vergleichbarkeit zwischen den Ländern ist u. a. aufgrund der unterschiedlichen Einschulungsmodalitäten nicht gegeben, eine repräsentative Stichprobenziehung gar nicht möglich und auch nicht durch nachträgliches Adjustieren, etwa mittels Gewichtungsvariablen, durchführbar. Die Differenzen in den (relationalen) Rating-Skalen seien inhaltlich nicht interpretierbar. In Wahrheit würden in den Punktelisten nur kleine Differenzen zwischen Ländern abgebildet, die genauso gut durch eben diese methodischen Mängel und fachlichen Mängel erklärbar seien.

Was messen PISA-Aufgaben? Eine Studie an der Freien Universität Berlin (FU-Berlin) zeigte erhebliche Mängel in der statistischen Auswertung durch das MPIB für die PISA2000-I und -E Studien auf. http://www.pisa2000.de [1] http://www.diss.fu-berlin.de/2005/218/. Die Mangelhaftigkeit der Auswertungen durch die Erziehungswissenschaftler des MPIB würde sogar den Wert der PISA-Studie an sich in Frage stellen. Einige Argumente:

(1) Ursache für das schlechte Abschneiden der Schülerinnen und Schüler in Deutschland sei die Stichprobendefinition nach Lebensalter (und nicht nach Schulalter wie bei der IGLU-Studie). In Deutschland wird vergleichsweise spät eingeschult, mithin befinden sich die meisten Probanden in der Klassenstufe 9. Würden Schülerinnen und Schüler nach Schulalter (Klassenstufe) getestet, dann erreichten diese Testwerte im oberen Testleistungsbereich.

(2) Die hohen sozialen Disparitäten im Lesen seien einem mangelhaften Testkonstrukt zuzuschreiben, das einerseits mit der Stichprobendefinition zusammenhinge und andererseits das Ergebnis von so genannten Boden- und Deckeneffekten sei. Diese entstünden bei ungeeignetem, dem Kenntnisstand der Schüler nicht adäquatem Testkonstrukt.

(3) Die so genannten „Nichtleser“ seien lediglich eine Fehlinterpretation eines Items (read for enjoyment). Gefragt wurde in der PISA-Studie eben nicht danach, wer nicht liest, sondern lediglich danach, wer in seiner Freizeit „aus Vergnügen“ lese. Das MPIB hatte daraus die Folgerung abgeleitet, dass es in Deutschland besonders viele schwache Leser (also sog. „Nichtleser“) gäbe. Japan jedoch weise erheblich mehr „Nichtleser“ auf (bei hohem Testwert im Lesen), Brasilien hingegen die wenigsten (bei niedrigem Testwert).

Die Studie weist auf mehreren Hundert Seiten praktisch sämtliche von den Berliner Psychologen berechneten Statistiken als wissenschaftlich nicht haltbar aus. Der Psychologe und Direktor des federführenden Instituts IPN-Kiel, Prof. Prenzel, reagierte auf die Studie des Berliner FU-Statistikers im Rahmen eines ganzseitigen Artikels im Berliner Tagesspiegel, ohne jedoch auf die Inhalte der Studie einzugehen.

hier noch ein älterer, bisher unbeantworteter Diskussionsbeitrag rüberkopiert:

Bitte verständlicher

Den folgenden Abschnitt müsste man verständlicher hinbekommen. (Ich will da selbst nicht reinschreiben, weil ich die Hintergründe zu wenig kenne.)

"(3) Die so genannten „Nichtleser“ seien lediglich eine Fehlinterpretation eines Items (read for enjoyment). Gefragt wurde in der PISA-Studie eben nicht danach, wer nicht liest, sondern lediglich danach, wer in seiner Freizeit „aus Vergnügen“ lese. Das MPIB hatte daraus die Folgerung abgeleitet, dass es in Deutschland besonders viele schwache Leser (also sog. „Nichtleser“) gäbe. Japan jedoch weise erheblich mehr „Nichtleser“ auf (bei hohem Testwert im Lesen), Brasilien hingegen die wenigsten (bei niedrigem Testwert)."

Frage: Was hat Pflicht- und Schullesen vs. "Vergnügungslesen" mit zu messenden Leistungen zu tun? Woher einer etwas kann muss doch prinzipiell unwichtig sind. Der unterstellte Zusammenhang "besonders viele schwache Leser (also sog. „Nichtleser“)" ist m. E. unzulässig. Selbst wenn man einen Zusammenhang zwischen Freizeitlesen und Leseleistung überprüfen will, bleibt diese Frage bestehen. --Delabarquera 13:55, 1. Jul. 2007 (CEST)

Offener Kritikpunkt

Ich lese in den Kritiken immer nur etwas über die Auswahl der Stichprobe, die Aufgabenstellung, Alter usw. Was ist aber eigentlich der Anreiz für einen Schüler, bei dem PISA-Test gut abzuschneiden? Wenn man mich dafür ausgewählt hätte und mein persönliches Ergebnis nirgends aufgeschienen wäre und es keine Konsequenzen für mich gehabt hätte, ob ich da gut oder schlecht abschneide, dann hätte ich mich da auch nicht sonderlich bemüht, was natürlich auch das Testergebnis maßgeblich beeinflusst. Ich unterstelle einmal, dass diese Einstellung in Österreich oder Deutschland viele haben, während vielleicht andere Länder "patriotischer" sind. Schließlich bedeutet ja auch ein schlechtes Abschneiden einen Vorteil für die Schüler, weil die Politik dann gezwungen ist, mehr ins Schulsystem zu investieren ... Ich habe diesen Kritikpunkt bisher nirgends gefunden, kann ihn daher auch nicht eintragen. Oder stehe ich mit meiner Meinung alleine da? Weiß jemand, ob es dazu auch eine "Expertenmeinung" gibt?

Ja, da gibt es durchaus Literatur. Ich baue mal etwas ein. -- 89.49.168.62 21:46, 28. Nov. 2007 (CET)

Multiple choice

Diese Aussage verstehe ich nicht:

Wuttke (2006) hat entdeckt, dass bis zu 10% der deutschsprachigen Schüler 

das Multiple Choice-Format nicht verstehen und mehr als eine Antwortalternative ankreuzen. Beim MC ist es doch je nach Aufgabenstellung auch erlaubt mehrere Antworten anzukreuzen, oder war das bei Pisa immer nur eine richtige Möglichkeit. Wenn dann müsste das hier präzisiert werden, dass die Schüler nicht beachtet haben wieviele Antworten jeweils möglich waren.--WerWil 21:12, 13. Dez. 2007 (CET)

Quellen ?

Der Artikel ist imho sehr gut gelungen, aber es fehlen an einigen Stellen imho noch Quellen--Cumtempore 22:59, 28. Dez. 2007 (CET)

Es wäre hilfreich, wenn Du sagst, bei welchen Stellen das Fehlen von Quellenangaben besonders auffällt. - Lieben Gruß, Frau Holle 20:30, 29. Dez. 2007 (CET)

beim Absatz "Curriculare Validität" fehlen Quellen. hier fiel es mir gerade besonders auf. Wann hat Baumert das wo gesagt? Oder sein Nachfolger. - Liebe Grüße Kaddinsky 16:06, 04. Mai, 2011

hier habe ich etwas gefunden, das vielleicht dazu passt. Da geht es darum, dass skandinavien bei PISa zuerst immer so gut war und nun plötzlich schlecht ist. Das kann imho Zweifel an der qualität der Messung aufkommen lassen--Cumtempore 17:28, 10. Jan. 2008 (CET)

Hi ct, welcome back. Danke für den Link. Bei PISA war Skandinavien im engeren Sinne von Anfang an nicht überragend; der Abfall war weniger von P00 und P06, sondern von vorigen Studien wie TIMSS zu PISA. Im Hopmann-Buch gibt es einen Artikel von einem Schweden oder Norweger, der meint, dass das vor allem mit Mentalität und Motivation zu tun hat: der norwegische Schüler (ähnlich wahrscheinlich auch der typische deutsche Schüler) fragt sich: was bringt mir das? ich soll zwei Stunden arbeiten und werde nicht einmal eine Rückmeldung bekommen? wenn dann auch noch die Aufgaben ungewohnt sind und auf Dauer keinen Spaß machen, dann kommen eben schlechtere Ergebnisse heraus als in Korea. -- Frau Holle 17:45, 10. Jan. 2008 (CET)

Lemma

Müsste der Name des Artikels nicht "Kritik an den PISA-Studien" lauten, unter "Kritik der PISA-Studien" verstehe ich von den PISA-Studien ausgehende Kritik. Der Artikel gefällt mir übrigens sehr gut ;-) --Zollernalb 01:02, 30. Dez. 2007 (CET)

Hatte ich mich auch schon gefragt. Dann verschiebe ich mal. Danke übrigens für die gründliche Nachbearbeitung. -- Frau Holle 11:48, 30. Dez. 2007 (CET)

gerne. --Zollernalb 11:59, 30. Dez. 2007 (CET)

Oma-Tauglichkeit

• Was sind "low-stakes- und high-stakes-Tests"

• Was sind "die erlaubten 5% der Zielpopulation"?

Die letzte Frage gehört vielleicht in die Diskussion PISA-Studien, wird aber hier aufgeführt, weil die Passage im Text vorkommt. --Slartibartfass 21:41, 23. Apr. 2009 (CEST)

kleiner Zwischenruf

Schwierig ist der Vergleich mit den 15-Jährigen schon. Nur: In Finnland sind 15-jährige noch auf der Schule und das hat trotzdem gut abgeschnitten... ;-) Also: Bitte bei aller guten Zusammenfassung von wissenschaftlicher Literatur auch persönliche kritische Reflexion der Quellen, die man benutzt. An mancher Stelle mag das geschehen sein, aber gerade in diesem Fall vermisse ich etwas davon! --Cellomantiker 9:30, 19. Jun. 2009 (CEST)

Fremdsprachenkompetenz

Mich irritiert bei der ganzen PISA-Diskussion, warum nie - nicht einmal bei der Kritik - von (Fremd-)Sprachkompetenz die Rede ist. Ist die Fähigkeit, mit anderen Kulturen zu kommunizieren, so wirtschafts-irrelevant? Und das in der Zeit der Globalisierung? Dass man nur mit muttersprachlicher Kompetenz nicht weiter kommt, müsste sich doch herumgesprochen haben. Ich würde mich freuen, wenn jemand hierzu einige -ausgegorenene wie unausgegorene- Gedanken beisteuern würde. -- 84.151.74.13 20:06, 23. Feb. 2010 (CET)

Mathematik in Frankreich vs. Deutschland

Gibt es für die interessante Aussage ... die Spezifität des französischen Mathematikunterrichts, der großen Wert auf strenge Beweise legt eine Quelle? Hält Frankreich noch an diesem (sinnvollen) Prinzip fest? Gibt es eigentlich eine Studie, die nachweist, dass Schüler durch einen auf alltagsrelevante Fertigkeiten beschränkten Mathematikunterricht mehr kognitive Fähigkeiten erlernen als durch den klassischen Mathematikunterricht nach dem Humboldtschen Bildungsideal? --Skraemer 00:53, 3. Jun. 2010 (CEST)

PISA = IQ-Test

Im Abschnitt über den Artikel von Herrn Rindermann sollte nicht unerwähnt bleiben, dass diese Position durchaus umstritten ist, besonders, weil ihm bei seiner Urteilsfindung grundlegende methodische Fehler vorgeworfen worden sind. -- 92.226.37.176 04:36, 29. Nov. 2010 (CET)

PISA und die möglichen Fern -Validierungen

Ich habe gerade einmal, angeregt von diesem WP-Artikel, über mögliche Fern- und Eichkorrelationen nachgedacht. -- Summe und für mich entscheidend: "Wer korreliert denn Lebensqualität in den einzelnen Ländern -- die ja natürlich durchaus subjektiv und kulturspezifisch erfahren wird -- mit Pisa-Ergebnissen?" Kontext der Frage hier. --Delabarquera 11:16, 8. Dez. 2010 (CET)

Es ergeben sich ja manchmal die erstaunlichsten Querverbindungen: "Mehr als Wachstum. Die politische Neudefinition des Wohlstands. Von Ulrike Greim. Der Wohlstand in Deutschland wächst. Das zumindest lässt sich aus dem Bruttoinlandsprodukt ablesen. Doch schon längst generiert sich Wohlstand nicht mehr nur aus Konsumgütern. Bisher werden, so Experten, ökologische und gesellschaftliche Aspekte zu wenig berücksichtigt." Und Wissen und Bildung, wenn wir denn wissen, wie wir der Wachstum / Verdorren usw. korrekt messen sollen. --Delabarquera 17:29, 18. Jan. 2011 (CET)

Sind die PISA-Assessements eine Schulleistungsuntersuchung?

Dort steht dann "Laut Wikipedia ist das der Fall". Ich halte es aber für schlecht, wenn sich die Wikipedia selbst zitiert. - Traditional Heinz 14:37, 12. Apr. 2011 (CEST)

vorschlag zu externem link

gudn tach!
das portal rubikon.news mag an sich keine sehr gute qualitaet liefern und besitzt anscheinend keine professionelle redaktion und somit ist der artikel [2] letztlich nur ein blog-post, aber inhaltlich relativ umfangreich und er verlinkt selbst viele weitere beitraege. -- seth 18:48, 30. Apr. 2017 (CEST)

@seth: Also Du hast eigentlich oben alles zusammengefassst, warum der Link nicht in den Artikel gehört. Dass der Autor des Artikels an Büchern zu Verschwörungstheorien zu 9/11 mitgearbeitet hat, spricht auch nicht gerade für den Link. Entfernt. --KurtR (Diskussion) 04:21, 7. Feb. 2018 (CET)

gudn tach!

ja, die bisherige literatur im wp-artikel ist schon recht umfangreich und zudem wissenschaftlich, sodass es wohl kein allzugrosser verlust ist, auf den rubikon-artikel zu verzichten. mein herzblut haengt nicht dran. zumindest ist er ja jetzt hier auf der talk page verlinkt. vielleicht nutzen dort verlinkte beitraege, die man hier im artikel noch verwerten kann. -- seth 23:58, 7. Feb. 2018 (CET)

Korrellationen zeigen keine Kausalitäten

Viele der aus den Pisastudien abgeleiteten Aussagen sind statistisch nicht haltbar und völlig unsinnig. Beispiel: [3] Kausalzusammenhänge können nur im Rahmen von bei Pisa in der Regel nicht eingesetzten Doppelblindstudien statistisch begründet werden. Die bei Pisa eingesetzten Korrelation sind dafür ungeeignet (Statistik 1.Semester). Zudem sind die eingesetzten Meßverfahren völlig unbrauchbar, da diese keinerlei Wissens- und Kompetenzpersistenzen sondern bestenfalls Momentaufnahmen abbilden und das obwohl seit 150 Jahren schon Ebbinghaus Vergessensprozesse untersuchte, diese aber in keinem Schulsystem berücksichtigt werden.

(wohl auch deshalb weil Schulen historisch vor allem aus der kurzfristigen, militärischen Perspektive und da aus Sicht des Abnutzungskrieges, also einen Tick länger als der Gegner durchhalten zu können, entwickelt wurden. Für auf dem Schlachtfeld zu verschleissendes Menschenmaterial gab es keine längerfristige Perspektive, bei der Vergessenskurven relevant wurden. In der heutigen Wissengesellschaft sieht das anders aus. Da kommt es auf Wissensintegration in vorhandenes, noch nicht abgebautes Wissen an. An diese Erfordernisse wurden die bei Pisa untersuchten Schulsysteme und deren Qualifikationsmeßsysteme aber noch nicht ausreichend adaptiert. Bei den hier nicht untersuchten Aus- und Fortbildungsmaßnahmen von Piloten in der Luftfahrt ist man da schon weiter)

Wie katastrophal falsch in ganzen Wissenschaftsdissiplinen z.B. Medizin Statistik systematisch fehlinterpretiert wird hat ja schon John Ioannidis von der Standford Universität sehr eindrücklich demonstriert.[4] Es gilt also auch für Pisa die vielfach belegte Regel:

Wer mißt mißt Mist.

2003:71:EF27:10D1:E505:F442:99BA:19C1 02:03, 13. Jun. 2018 (CEST)