Qualitätssicherung in der Psychologischen Diagnostik

Auf dem Gebiet der Psychologischen Diagnostik gibt es verschiedene Konzepte und Ansätze, die Qualität sichern bzw. zu heben. Mit entsprechenden Qualitätsinitiativen soll auch eine Abgrenzung gegenüber einem unqualifizierten Einsatz von Testverfahren durch nicht entsprechend qualifizierte Personen (der bis zur Scharlatanerie gehen kann) erreicht werden.

Die Qualität psychodiagnostischer Verfahren ist Auftraggebern von Psychodiagnostik und Diagnostizierten nicht immer leicht ersichtlich, weil häufig nur Ergebnisse der Verfahren bekanntgegeben werden und die Funktionsweise der Instrumente nicht ausreichend dargestellt wird. Damit ist es den Beteiligten erschwert, professionell entwickelte Instrumente von solchen zu unterscheiden, welche die Gütekriterien psychodiagnostischer Verfahren nicht oder nur teilweise erfüllen. Nach mehreren Schätzungen der Berufsverbände werden nur etwa 20% aller psychodiagnostischen Untersuchungen von qualifizierten Personen mit geeigneten Instrumenten (also mit ausreichender Qualität) vorgenommen.

Weil solche Instrumente oft und zunehmend für Entscheidungen von hoher Tragweite eingesetzt werden (Zulassungsentscheidungen für Bildungswege, Entscheidungen über Stellenbesetzungen und Karriereplanungen, Tauglichkeitsentscheidungen für bestimmte Tätigkeiten; Feststellung von Erkrankungen und Störungen und Ableitung der richtigen Behandlungsmaßnahmen), und Fehlentscheidungen beträchtliche Mehrkosten verursachen, beginnt sich bei allen Beteiligten ein Qualitätsbewusstsein zu entwickeln. Für die Rechtmäßigkeit dieser Entscheidungen ist es notwendig, dass die zugrundeliegenden Regeln sich nicht nur den Experten erschließen, sondern auch allgemeinverständlich und nachvollziehbar sind.

Dem steht entgegen, dass solche verbindlichen Richtlinien auf Gesetzesebene fehlen und auch nicht in Sicht sind. Das liegt auch daran, dass allseits anerkannte Kriterien für Qualität fehlen - auch im Fach selbst über die Details notwendiger Mindeststandards noch diskutiert wird. In den letzten Jahren hat es mehrere Versuche gegeben, Kriterien zu definieren und allgemeinverständlich darzustellen. Der Prozess der Konsensfindung ist noch nicht abgeschlossen. Angemerkt sei, dass man sich allerdings über die grundsätzlichen Anforderungen innerhalb der Psychologie seit langem einig ist. Diese gehören zum psychologischen Grundwissen und deren Einhaltung zu den berufsethischen Grundlagen psychologischer Tätigkeit. Der Diagnostik-Anbietermarkt ist aber nicht auf psychologische Fachpersonen begrenzt und vor allem außerhalb der Psychologie liegende Widerstände (vgl. DIN 33430) verzögern die Konsensfindung.

Man hat innerhalb der Psychologie erkannt, dass es nicht ausreicht, wenn diese Richtlinien nur für Fachleute verständlich sind. Deren Kenntnis ist auch für Auftraggeber und Diagnostizierte wichtig, um Fehlanwendungen psychologischer Verfahren zu erkennen bzw. geeignete Anbieter zu evaluieren. Denn letztendlich entscheiden vor allem die Auftraggeber in vielen Bereichen, welche Verfahren sich am Markt durchsetzen (z. B. Personaldiagnostik).

Elemente, die der Qualitätssicherung bedürfen

Massnahmen der Qualitätssicherung müssen den gesamten diagnostischen Prozess umfassen, Dieser beinhaltet drei Aspekte:

• Die Qualität der eingesetzten Verfahren, insbesondere die Erfüllung der Gütekriterien psychodiagnostischer Verfahren
• Die Qualifikation der beteiligten Personen
• Die Einhaltung von Abläufen und Regeln (Datenschutz, Wahrung der persönlichen Integrität, Art der Rückmeldung der Ergebnisse) von der Planung bis zur diagnostischen Entscheidung.

Internationale Initiative

Die Internationale Testkommission (ITC) hat Internationale Richtlinien für die Testanwendung verabschiedet, die von vielen Berufsverbänden anerkannt wird (unter anderem auch vom Berufsverband Deutscher Psychologinnen und Psychologen. Deutsche Fassung hier.

Inhalt:

• 1 VERANTWORTUNG FÜR ETHISCH KORREKTE TESTANWENDUNG
  • 1.1 Handeln in professioneller und ethisch korrekter Weise
  • 1.2 Stellen sicher, dass sie für die Testanwendung fachkompetent sind
  • 1.3 Übernehmen Verantwortung für ihre Anwendung von Tests
  • 1.4 Gewährleisten die sichere Verwahrung von Testmaterial
  • 1.5 Gewährleisten die vertrauliche Behandlung von Testergebnissen
• 2 FACHLICH KOMPETENTE PRAXIS IN DER TESTANWENDUNG
  • 2.1 Evaluation der möglichen Brauchbarkeit von Tests in einer diagnostischen Situation
  • 2.2 Auswahl technisch einwandfreier und für die Situation angemessener Tests
  • 2.3 Beachtung von Fragen der Fairness bei der Testanwendung
  • 2.4 Notwendige Vorbereitungen für die Testdurchführung
  • 2.5 Fachlich kompetente Testvorgabe
  • 2.6 Akkurate Testauswertung und Analyse der Testergebnisse
  • 2.7 Angemessene Interpretation der Testergebnisse
  • 2.8 Klare und exakte Weitergabe der Testergebnisse
  • 2.9 Überprüfung der Angemessenheit eines Tests und seiner Anwendung
• ANHANG A: RICHTLINIEN FÜR DEN ENTWURF VON GRUNDSÄTZEN IN DER TESTANWENDUNG
• ANHANG B: RICHTLINIEN FÜR VEREINBARUNGEN ZWISCHEN DEN AN EINEM TESTPROZESS BETEILIGTEN
• ANHANG C: GESICHTSPUNKTE, DIE BEI TESTS MIT BEHINDERTEN ODER IN ANDERER WEISE BEEINTRÄCHTIGTEN PERSONEN BEACHTET WERDEN SOLLTEN

Initiative in Deutschland

Für die Eignungsdiagnostik gibt es eine DIN-Norm 33430, welche den ganzen diagnostischen Prozess (Verfahren, beteiligte Personen und Abläufe) betrifft. In Österreich wurde diese Norm im wesentlichen inhaltsgleich als Ö-Norm D4000 verabschiedet.

Projekt ISO-Norm ISO-10667

Auf Initiative von DIN konstituierte sich im März 2007 eine internationale ISO-Arbeitsgruppe, welche DIN 33430 und weitere internationale Initiativen zu einer ISO Norm "Psychological assessment" (Procedures and methods to assess people in work and organizational settings) weiterentwickeln soll. Mit einer dann international verbindlichen Norm wird ab 2011 gerechnet, die als ISO-10667 angekündigt ist. Aufgaben sind:

• The selection, integration, implementation and evaluation of assessment procedures;
• The interpretation of the assessment results and subsequent judgment reports;
• The requirements of the qualification of all individuals taking an active part in the assessment process;
• Fairness and ethical principles in the process;
• Personnel decisions to be made such as recruitment, selection, development, succession planning and reassignment.

Eine offizielle deutschsprachige Übersetzung wird erst am Ende erstellt, wenn die deutschsprachigen Länder sich dafür entscheiden, diese Norm zu übernehmen. Es ist allerdings auch möglich, dass weiter die DIN 33430 als Qualitätsinstrument verwendet wird - wenn die ISO-Norm hinsichtlich ihrer Qualität wesentlich hinter die DIN-Norm zurückfällt.

Qualitätsstandards für spezielle Aspekte

Übersetzung und Adaptation von Tests in andere Sprachen

Viele Tests sind stark sprach- und kulturabhängig. Das betrifft Formulierungen (die idiomatisch sein können) oder in verschiedenen Bildungssystemen bzw. durch verschiedene Bildungswege unterschiedlich geförderte Fähigkeiten und Fertigkeiten. Relevant wird dies für die Auswahl der adäquaten Vergleichsnormen, die für die Auswertung gelten. Beispielsweise zeigt sich Extraversion in Amerika anders als in Europa. Es reicht nicht aus, Tests zu übersetzen. Es muss auch geprüft werden, ob noch das Gleiche gemessen wird. Außerdem ist fast immer eine Neunormierung der Tests in den jeweils anderen Sprachen notwendig.

Technical Standards for Translating and Adapting Tests and Establishing Test Score Equivalence wurden von sechs führenden internationalen psychologischen Fachgesellschaften 1994 herausgegeben. Sie beinhalten Antworten zu allen wichtigen Fragen, die bei Testadaptationen und -übersetzungen auftreten.

Richtlinien für computer- und internetgestütztes Testen

Die Nutzung von Informationstechnologie in der psychologischen Diagnostik wird immer verbreiteter. Die Internationale Testkommission ITC hat deshalb Richtlinien für computer- und internetgestütztes Testenerarbeitet, welche Möglichkeiten und Grenzen dieses Zuganges berücksichtigen.

• 1. Give due regard to technological issues in Computer-based (CBT) and Internet Testing
  • A. Give consideration to hardware and software requirements
  • B. Take account of the robustness of the CBT/Internet test
  • C. Consider human factors issues in the presentation of material via computer or the Internet
  • D. Consider reasonable adjustments to the technical features of the test for candidates with disabilities
  • E. Provide help, information, and practice items within the CBT/Internet test
• 2. Attend to quality issues in CBT and Internet testing
  • A. Ensure knowledge, competence and appropriate use of CBT/Internet testing
  • B. Consider the psychometric qualities of the CBT/Internet test
  • C. Where the CBT/Internet test has been developed from a paper and pencil version, ensure that there is evidence of equivalence
  • D. Score and analyse CBT/Internet testing results accurately
  • E. Interpret results appropriately and provide appropriate feedback
  • F. Consider equality of access for all groups
• 3. Provide appropriate levels of control over CBT and Internet testing
  • A. Detail the level of control over the test conditions
  • B. Detail the appropriate control over the supervision of the testing
  • C. Give due consideration to controlling prior practice and item exposure
  • D. Give consideration to control over test-taker’s authenticity and cheating
• 4. Make appropriate provision for security and safeguarding privacy in CBT and Internet testing
  • A. Take account of the security of test materials
  • B. Consider the security of test-taker’s data transferred over the Internet
  • C. Maintain the confidentiality of test-taker results

Andere Länder

USA: Standards for Educational and Psychological Testing

Die Amerikanische Psychologenvereinigung (American Psychological Association, APA) hat eine international stark beachtete Qualitätsrichtlinie veröffentlicht, die Standards for Educational and Psychological Testing. Die aktuelle Fassung wurde 1999 in den USA verabschiedet.

In deutscher Sprache wurde eine frühere, aber ähnliche Fassung als Supplementum 1/1998 der Zeitschriften Diagnostica und der Zeitschrift für Differentielle und Diagnostische Psychologie veröffentlicht. Sie beinhaltet:

• Methodische Standards für die Testkonstruktion und -evaluation
• Standards für eine fachlich kompetente Testanwendung
• Standards für besondere Anwendungen (sprachliche Minderheiten, Personen mit Behinderungen)
• Standards für Vorgehensweisen (Durchführung, Auswertung, Interpretation; Schutz der Rechte der Probanden)

USA: Code of Fair Testing Practices in Education

Diese Standards (Stand 2004) sind vor allem auf Diagnostik im Bildungsbereich ausgerichtet. Sie sind mit den vorgenannten kompatibel, sehr auf Verständlichkeit und Praktikabilität ausgerichtet.

• A. Developing and Selecting Appropriate Tests (Testentwicklung und Testauswahl werden im Zusammenhang mit der Eignung für eine Fragestellung diskutiert)
• B. Administering and Scoring Tests (Anwendungsempfehlungen und die richtige Auswertung)
• C. Reporting and Interpreting Test Results (wie sollen Testergebnisse richtig interpretiert werden)
• D. Informing Test Takers (wie sollen Testergebnisse und diagnostische Entscheidungen bekanntgegeben werden).

Informationen über Tests und diagnostische Verfahren

Nach wie vor bleibt es für Laien schwer, die Qualität psychodiagnostischer Verfahren und Vorgehensweisen einzuschätzen. Hierzu ist detaillierte Information über die Verfahren notwendig, die üblicherweise in Form von Handbüchern von den Testentwicklern bereitgestellt werden muss. Mindeststandard der Dokumentation sind Aussagen über

• Die theoretischen Grundlagen, auf denen das Verfahren beruht;
• Die einzelnen Entwicklungsschritte;
• Die Überprüfung der Gütekriterien;
• Detaillierte Richtlinien für Durchführung, Auswertung und Interpretation.

Nicht immer existieren diese Handbücher überhaupt, nicht immer werden sie frei zur Verfügung gestellt (was allerdings dann legitim ist, wenn das Verfahren zu schützen ist).

Auftraggeber, besonders von größeren Projekten, sollten allerdings auf die Einsichtnahme in diese Handbücher bestehen. Es bleibt für Laien dann unter Umständen trotzdem schwer, die Verfahrensgüte einzuschätzen. Man kann entweder Experten für die Bewertung der Verfahren beiziehen oder aber in der Fachliteratur Rezensionen dieser Verfahren suchen. Eine Reihe wissenschaftlicher Zeitschriften veröffentlichen regelmäßig solche Rezensionen, die in der Regel auch unabhängig von den Testentwicklern durchgeführt werden.

Vom Testkuratorium der Föderation Deutscher Psychologenvereinigungen im Auftrag gegebenen Rezensionen von Testverfahren sollen zukünftig einem Schema folgen, welches an die DIN 33430 angelehnt ist.

Im deutschen Sprachraum sammelt das Leibniz-Zentrum für Psychologische Information und Dokumentation (ZPID) in an der Universität Trier Informationen über Tests und Testrezensionen.