Diskussionsbeitrag zur Einführung von DIN 33430, der Bewertung

ZENTRUM FÜR TESTENTWICKLUNG
UND DIAGNOSTIK
AM DEPARTEMENT FÜR PSYCHOLOGIE
UNIVERSITÉ DE FRIBOURG SUISSE
UNIVERSITÄT FREIBURG SCHWEIZ
CENTRE POUR LE DEVELOPPEMENT
DE TESTS ET LE DIAGNOSTIC
AU DEPARTEMENT DE PSYCHOLOGIE
Prof.Dr. K.-D. Hänsgen (Direktor)
UNI - Rte d’Englisberg 9
1763 GRANGES-PACCOT
+41(26) 300 7989/6 +41(26) 300 9763
www.unifr.ch/ztd [email protected]
Fribourg, 17.10.2003
DIN 33430 – Blick „von aussen“ auf
Chancen, Risiken und Nebenwirkungen
Klaus-D. Hänsgen
Auch in der Schweiz wird DIN 33430 "Anforderungen an Verfahren und deren Einsatz
bei berufsbezogenen Eignungsbeurteilungen" mit Interesse beobachtet. Die deutschsprachigen Diagnostik-Märkte sind eng verzahnt, viele Dienstleistungsanbieter der Schweiz operieren auch in Deutschland. Eine Europäisierung oder gar Internationalisierung der Norm wird
angestrebt. Welchen Rat kann man den Anbietern in der Schweiz geben? Sollen sie die DINNorm beachten? Wie arbeitet man überhaupt nach DIN 33430?
Was ist DIN 33430?
Kurz zur Erinnerung: DIN 33430 wurde im Juni 2002 in Deutschland verabschiedet und beinhaltet Qualitätskriterien und -standards für berufsbezogene Eignungsbeurteilungen sowie
Qualifikationsanforderungen an die an der Eignungsbeurteilung beteiligten Personen. Es geht
um die wichtigen Bereiche der Berufswahl, der Bewerberauswahl und der Berufslaufbahnplanung. Normativ geregelt werden gleichzeitig drei Bereiche (1) Kriterien für Ablauf und Organisation sowie Verantwortlichkeiten des Diagnoseprozesses, (2) Anforderungen an die
Qualifikation der Auftragnehmer für Diagnostik und (3) Anforderungen an die verwendeten
Methoden (Verfahrenshinweise, Gütekriterien, Normen) - was gemeinhin als Anforderungen
für die Gestaltung eines Handbuches verstanden werden kann. Es ist also eine recht komplexe
„Prozessnorm“1, die bei den meisten Anbietern doch einigen Arbeitsaufwand in der Umsetzung erfordern wird. Lohnt sich dieser Aufwand?
Die gegenwärtige Diskussion zur Einführung wird wie erwartet von heftigen Diskussionen
begleitet, die aus der Sicht der verschiedensten Interessengruppen geführt wird. Sie kann hier
1
DIN 33430, Ausgabe 2002-06 Anforderungen an Verfahren und deren Einsatz bei berufsbezogenen
Eignungsbeurteilungen. Beuth Verlag Berlin www.beuth.de. Mehr zu den Inhalten: siehe auch www.unifr.ch/ztd.
aus Platzgründen nicht wiedergegeben werden2. Ob, wie und wann sich die Norm durchsetzt,
ist noch nicht entschieden. Die Notwendigkeit einer DIN-Norm wurde ja seinerzeit auch damit begründet, dass man sich gegen die verbreitete „Scharlatanerie“ auf diesem Gebiet durchsetzen und der wissenschaftlich gesicherten Psychodiagnostik zum Durchbruch verhelfen
muss.
Wie funktioniert das DIN-System eigentlich?
Um die Durchsetzbarkeit der DIN 33430 richtig zu beurteilen, muss man das DIN-System
verstehen: Zunächst ist diese Norm selber eine Übereinkunft der „interessierten Kreise“ –
die Arbeitsgruppe, welche die Norm erstellt hat, war praktisch frei in ihrer Zusammensetzung.
Testautoren, Verlage, Wissenschaftler, Praktiker und grosse Testanwender waren involviert.
Der resultierende Entwurf wurde nach erneuter breiter Diskussion im Fach durch die Arbeitsgruppe quasi selbst in Kraft gesetzt. Insgesamt ist die Bezeichnung "Kompromiss" durchaus
angebracht: Kritiker, denen die Norm nicht weit genug geht, finden sich ebenso wie solche,
die eine "Überregulierung" sehen.
Das Deutsche Institut für Normung ist ein „e.V.“ (eingetragener Verein). Es gibt nun DINNormen, die Gesetzeskraft haben. Vermutlich gehören einige Bauvorschriften dazu. Der Gesetzgeber hat dann zusätzliche Regelungen erlassen, sich der Norm quasi „angeschlossen“.
Die DIN-Norm 33430 ist und bleibt dagegen eine freiwillige Norm, gehört zum gesetzlich
nicht geregelten Bereich. Entsprechend ist es jedem diagnostischen Anbieter ganz eindeutig
selbst überlassen, ob er nach dieser DIN-Norm arbeitet und auch jeder Auftraggeber ist frei,
ob er auf die Einhaltung der DIN-Norm bei seiner Auswahl achtet.
Wie soll die Einhaltung von DIN 33430 unter solchen Bedingungen funktionieren? Auftraggeber stehen unter einem Rechtfertigungsdruck (sachlich, ethisch, ökonomisch) – beispielsweise eine Personalabteilung vor dem eigenen Management. Die Diagnostik muss einen Erfolgsnachweis für die Unternehmen erbringen. Weitere Stichworte sind Konsumentenschutz aber auch Rechts- und Prozesssicherheit für Auftraggeber, Auftragnehmer wie Diagnostizierte
gehört dazu.
DIN sollte man kennen!
Die Suche nach Kriterien, Entscheidungen für einen Diagnostik-Anbieter zu begründen, war
auch vor DIN schon ausgeprägt – jetzt stehen erstmals allgemeiner akzeptierte Kriterien mit
DIN 33430 zur Verfügung. Die Hoffnung, dass DIN 33430 einfach wegen fehlender Alternativen zur Absicherung übernommen wird, ist trotz der jetzt auch deutlichen Widerstände
also nicht unbegründet. Viele Unternehmen lassen diagnostische Angebote bereits jetzt wissenschaftlich evaluieren. Selbst wenn das Wort DIN-Norm offiziell dabei gar nicht fällt, ist
damit zu rechnen, dass die Gutachter die DIN-Norm für ihre Arbeit heranziehen. Es lohnt sich
also in jedem Falle, sich damit zu beschäftigen.
Wie arbeitet man mit und nach DIN 33430?
Um das DIN-System nun aber effizient und ohne innere Reibungsverluste so einzuführen,
dass der gewünschte Effekt erreicht wird, scheinen noch einige Denkanstrengungen notwendig zu sein. Dazu muss man das DIN-System noch weiter erklären:
2
Hier reicht es, einmal " DIN 33430" in eine Suchmaschine im Internet einzugeben.
ZENTRUM FÜR TESTENTWICKLUNG UND DIAGNOSTIK
2
Bei freiwilligen Normen reicht die Eigenerklärung, dass man nach DIN vorgeht, grundsätzlich aus. Jeder Anbieter kann also ab sofort auf seine Fahne schreiben „Wir arbeiten nach DIN
33430“ – muss niemanden um Erlaubnis fragen. Ist das dann auch gewährleistet? Darüber
wacht der Markt selber: Werden Verstösse sichtbar, können Abmahnungen erfolgen – Anbieter können ihre Reputation nicht beliebig oft verlieren und man hat mir erklärt, dass wettbewerbsrechtliche Verstösse auch zu empfindlichen Abmahnforderungen führen können.
Dies wohlgemerkt nur dann, wenn man vorher erklärt hat, nach DIN 33430 zu arbeiten! Es
ist nicht abmahnbar, wenn ein Anbieter nicht nach DIN vorgeht – dies selbst aber nie behauptet hat. Hier rechnet man eindeutig damit, dass durch die Auftraggeber genügend Druck
am Markt entsteht, dass sich kein Anbieter um einen Bezug auf DIN 33430 drücken kann.
Zusätzlich zur Eigenerklärung kann man sich die DIN-Kompatibilität durch eine unabhängige
Stelle zertifizieren lassen. Das Ergebnis ist eine Konformitätsbewertung (Zertifikat). Im gesetzlich nicht geregelten Bereich kann nun auch jede Stelle (Einrichtungen oder Privatpersonen) solche Zertifikate ausstellen, dass der Anbieter XY nach DIN 33430 vorgeht. Wie man
bei solchen Konformitätsbewertungen vorgeht, ist in der Normenreihe DIN EN 45000 bzw.
DIN EN ISO/IEC 17000 festgelegt. Grundsätzlich reguliert hier aber ebenfalls nur der Markt,
was ein solches Zertifikat wert ist – die „Stelle“ muss natürlich ein entsprechendes Gewicht
haben, damit sich der Anbieter einen Nutzen davon verspricht, das Zertifikat zu verwenden.
Die Tätigkeit des Zertifizierens wird in der Regel vergütet – Geld wird vom Anbieter sicher
nur dann gezahlt, wenn die Kosten durch Marktvorteile wieder eingespielt werden können.
Die zertifizierende Stelle wird wiederum gut daran tun, den Zertifizierungsprozess sehr sorgfältig durchzuführen, weil alle Nachlässigkeiten bei Abmahnung des Anbieters auch auf diese
zurückfallen können. Auch die zertifizierenden Stellen müssen sich ihren Ruf wahren.
Schliesslich ist noch die Möglichkeit des „Akkreditierens“ der zertifizierenden Stellen zu
erwähnen. Eine autorisierte Stelle (die Akkreditierungsstelle) erkennt die Kompetenz einer
Zertifizierungsstelle formell an - dass diese Stelle in der Lage ist, bestimmte Zertifikate überhaupt auszustellen. Hier bestehen Unsicherheiten, ob und wie dies bei DIN 33430 geregelt
wird. Zuständig scheint dafür grundsätzlich der Deutsche Akkreditierungsrat, eine Arbeitsgemeinschaft, die im Jahre 1991 in Deutschland von Ministerien des Bundes, Ministerien der
Länder sowie von Vertretern der deutschen Wirtschaft gegründet wurde. Die TGA
(Trägergemeinschaft für Akkreditierung GmbH) hat bisher offenbar die Koordinierung für
den gesetzlich nicht geregelten Bereich übernommen, dies aber laut Mitteilung auf ihrer
Homepage vom 29.8.2003 aus rechtlichen Gründen aufgegeben. Zum einen ist zum Zeitpunkt
des Schreibens dieser Zeilen noch offen, welche Suborganisation dort zuständig sein wird,
weil unklar ist, ob Produkte, Personal oder Prozesse das bestimmende Moment von DIN
33430 ist. Aus unbestätigten Quellen gibt es auch Aussagen, dass es keine offizielle
Akkreditierung geben wird.
Im Übrigen habe ich auch noch kein Gegenargument dafür gefunden, dass ein Fachverband
aus der Psychologie bestimmte qualifizierte Zertifizierer aus seinen Reihen selber akkreditiert, dass sie die entsprechende Kompetenz besitzen. Er ist dann selber eine private Akkreditierungsstelle. Wieder allein deshalb, weil der Bereich gesetzlich nicht geregelt ist. Wer
könnte besser die Anforderungen an die Organisationsstruktur, die Verfahrens- und Methodenkompetenz, die Personalqualifikation und die Unabhängigkeit der Zertifizierungsstellen
festlegen und überprüfen wie ein Fachverband?
ZENTRUM FÜR TESTENTWICKLUNG UND DIAGNOSTIK
3
Das System scheint das gleiche wie beim ganzen DIN zu sein: auch der Wert von Akkreditierung wird einzig vom Markt bestimmt – Fachverbände oder das Testkuratorium sollten da
gute Karten haben.
Eins scheint gesichert: Selbst wenn es eine offizielle Akkreditierung gibt, bleiben alle bisherigen Aussagen gültig: man kann durch Eigenerklärung nach DIN 33430 arbeiten, man kann
sich durch beliebige unabhängige Dritte zertifizieren lassen – weil es sich um einen gesetzlich
nicht geregelten Bereich handelt. Der Wert eines Zertifikats durch eine akkreditierte Stelle
wird wiederum vor allem vom Markt bestimmt – Anbieter werden sich dann bevorzugt an
solche akkreditierten Stellen wenden, weil sie sicher sind, dass die Kompetenz der Stelle geprüft worden ist und dies sie gegenüber anderen genügend auszeichnet.
DIN ist Marktwirtschaft!
Eigentlich handelt es sich bei DIN also um ein marktwirtschaftlich reguliertes System. Es ist
für sich genommen nicht bürokratisch und es setzen sich nur Dinge durch, die den Interessen
der Auftraggeber (Wen wähle ich?) und der Anbieter (Wie arbeite ich?) entsprechen. Den
Wert von Zertifikaten und Akkreditierungen, also aller ernannten und selbst ernannten
„Richter“, bestimmt ebenfalls der Markt. Kompetenz und Ruf der Stellen muss ausgewiesen
sein bzw. sich erarbeitet werden. Eingriffe in dieses System muss man also danach beurteilen,
wie sie sich auf diese Wechselwirklungen auswirken. Was sind also die Fehler, die wir machen können?
Übermässige „Regulierungssucht“ (das „Machtstreben“ der Zertifizierer und Akkreditierer –
bzw. auch deren finanzielle Interessen) und die unkritische „Regulierungssehnsucht“ (als „Sicherheitsbedürfnis“ zur Delegierung der Verantwortung auf Dritte durch Auftraggeber wie
der Anbieter) scheinen die beiden Systemkomponenten zu sein, die destruktiv wirken können.
Prozessnorm: drei Aspekte gehören immer zusammen!
Ein erster Fehler bestünde darin, einen der drei inhaltlichen Aspekte der Norm zu verabsolutieren. Wenn die „Normerfinder“ wollen, dass ausreichende Ausbildung, der richtige Prozessablauf und genügende Methodentransparenz bei DIN 33430 nur im Zusammenhang zu sehen
sind, dann müssen alle drei Aspekte auch wirklich als Einheit bewertet werden.
Es kann keine Methoden (Tests) geben, die für sich genommen nach DIN 33430 vorgehen.
Die DIN-Norm ist kein „Testsiegel“. Der beste Test kann falsch und nicht DIN-konform eingesetzt werden. Die meisten Fehler werden vermutlich ohnehin bei der Ergebnisinterpretation
gemacht – adäquate Qualifikation und richtiger Ablauf sind hier die Voraussetzungen zur
Fehlervermeidung.
Es reicht auch nicht, die Anbieter nur auszubilden bzw. es geht auch nicht, DIN als „Zugangsregelung“ zur Diagnostik misszuverstehen – etwa, wenn man „Lizenzen“ zur Diagnostik erteilen würde. Der Markt könnte dies nicht einordnen bzw. würde dies im beschriebenen DIN-System überhaupt nicht wirken. Ausbildungsangebote allein scheinen nach bisherigen Informationen auch nicht den erhofften Anklang zu finden. Die Befragung zur Situation
der Diagnostik in der Schweiz3 brachte das klare Ergebnis, dass ausgebildete Psychologen
3
http://www.unifr.ch/ztd/tkfsp/docs/situsuisse.html
ZENTRUM FÜR TESTENTWICKLUNG UND DIAGNOSTIK
4
trotz aller erlebten Defizite der Diagnostikausbildung mehrheitlich nicht für eine quasi obligatorische Zusatzausbildung sind. Die Situation in Deutschland wird vermutlich kaum anders
sein. Für nicht entsprechend Ausgebildete ist der oben beschriebene "Druck des Marktes" offenbar ebenfalls noch nicht gross genug, sich zusätzlich ausbilden zu lassen.
Schliesslich ist es auch nicht ausreichend, nur die Abläufe zu definieren, ohne auf Ausbildung und Methoden zu achten.
Die „DIN Erfinder“ haben durch die Komplexität der Norm vermutlich nicht den leichtesten
Weg gewählt, wenn man alle drei Aspekte im Zusammenhang sehen muss.
Wann - wo - wie zertifizieren?
DIN CERTCO (www.dincertco.de) unternimmt den Versuch, alle drei Aspekte gleichzeitig
im Zertifizierungsprozess zu beachten. DIN CERTCO ist die Zertifizierungsorganisation des
Deutschen Instituts für Normung e.V. - also die „DIN-nächste“ Zertifizierungseinrichtung.
Das Vorgehen sollte daher auch ausreichend prototypisch und wegweisend für andere mögliche Zertifizierer sein. An diesem Beispiel wird aber ein weiteres und vermutlich schwerwiegendes Problem deutlich.
Im Prüfantrag4 ist neben der Bezeichnung der Vorgehensweise und der Bezeichnung der Person zunächst auch nur EIN Verfahren zu bezeichnen, welches man verwendet.
Mit einzureichen sind dafür u.a. die Verfahrenshinweise (Handbuch, Manual) und ein Fallbeispiel. DIN CERTCO führt die Prüfungen selber nicht durch, sondern delegiert die Prüfung an
Einrichtungen (zunächst genannt ist eine5).
Am Markt gibt es bekanntlich zwei Typen von Auftragnehmern: "Monotestanbieter" (ein
einziger Test wird für alle möglichen Fragestellungen eingesetzt) und "Problembearbeiter"
(die je nach Fragestellung auf ein ganzes Arsenal von Testverfahren zurückgreifen - das jeweils geeignetste einsetzen). Im deutschen Sprachraum dürfte die Zahl der für Eignungsdiagnostik geeigneten und auch publizierten Tests weit jenseits der 100 liegen.
Beide Zugänge sind legitim (wenn die Eignung für die Fragestellungen der Tests wie in DIN
gefordert genau definiert wird). Ein Problembearbeiter wird dabei durchaus mehrere Verfahren regelmässig anwenden und beherrschen. "Problembearbeiter" haben in ihrer Ausbildung
gelernt, welche verschiedenen Tests man wann mit Erfolg einsetzen kann und deshalb gehen
die meisten ausgebildeten Psychologen auch so vor – sollten Sie es auch tun, wenn aus der
Psychodiagnostik-Ausbildung etwas hängen geblieben ist.
Es hätte beim bisher vorgeschlagenen Verfahren die andere (vermutlich grössere) Gruppe der
"Problembearbeiter" deutliche Nachteile, weil deren Methodenfreiheit empfindlich eingeschränkt würde. Nehmen wir als Beispiel einen Maurer. Der muss eine bestimmte Ausbildung
haben, bestimmte Abläufe einhalten und geeignete Werkzeuge einsetzen. Das alles will ja
DIN 33430 im übertragenen Sinne regeln. Der Zertifizierungsansatz würde ihn auf einen bestimmten Hammer festlegen - wenn er andere Werkzeuge braucht, wäre dies durch das Zerti4
http://www.en.dincertco.de/sixcms/upload/news/beruf_ant_d.pdf
5
Pressemitteilung „DIN CERTCO zertifiziert Personaldienstleistungen nach DIN 33430“ vom 22. September
2003 – siehe auch http://www.dincertco.de/sixcms/detail.php3?id=2024
ZENTRUM FÜR TESTENTWICKLUNG UND DIAGNOSTIK
5
fikat nicht gedeckt. Oder wieder für Tests: wird einer verwendet, der nicht ins Zertifikat einbezogen ist, wird unter Umständen eine Abmahnung riskiert.
Offensichtlich muss man bei den Methoden grundsätzlich publizierte (in einem anerkannten
Verlag) und unpublizierte (die nur in einem Netzwerk verwendet werden, deren Dokumentation im Fach in der Regel nicht allgemein bekannt ist) viel strenger unterscheiden.
Es würden nachfolgende paradoxe Situationen auftreten können:
•
•
Erfolgreiche und publizierte Tests, die von zahlreichen Anbietern eingesetzt werden,
müssten bei jedem Anbieter neu bewertet werden
Jeder einzelne „Problembearbeiter“-Auftragnehmer müsste sein gesamtes Arsenal
möglicher Methoden zertifizieren lassen.
Dies würde nur einen Vorwurf an die DIN-Norm bekräftigen, dass es nämlich der Schaffung
zusätzlicher Geldquellen für Zertifizierer dient, die dann an ihren eigenen Kollegen verdienen.
So ist in der Gebührentabelle6 von DIN CERTCO vermerkt, dass die Prüfung jedes weiteren
Verfahrens 70GE (entspricht aktuell 2450 Euro) kostet – also in der Regel mehr als die Anschaffungskosten publizierter Verfahren. Will man eine Standard-Testbibliothek von
beispielsweise 10 Instrumenten zertifizieren, summiert sich das schnell in astronomische
Bereiche. Das wäre nach meiner Meinung die von vielen Seiten befürchtete
„Beutelschneiderei“.
Es sind also massive Bedenken dagegen anzumelden, dass geeignete Verfahren für einen ausgebildeten Psychologen dann tabu bleiben, wenn er es selber nicht in sein Zertifikat einbezogen hat - er aber auf eine Fragestellung stösst, wo er genau diese Methode braucht. Da das
Zertifikat alle einbezogenen Verfahren auflistet, würde eine Verwendung von Verfahren
darüber hinaus auch ganz klar dessen Gültigkeit in diesem Falle „ausser Kraft“ setzen.
Die Qualität von Tests richtig bewerten!
Beim "Methodenkriterium" muss man daher noch einmal über die Bücher gehen. Richtig
ist, dass man Tests nicht "an sich" in DIESER komplexen DIN-Norm zertifizieren kann - sie
können von den falschen Leuten falsch eingesetzt werden. Andererseits birgt die Veröffentlichung in einem Verlag nicht von vornherein die Garantie für Qualität.
Die Frage wäre also, wie man "Problembearbeitern" ihre Methodenfreiheit lässt, dennoch auf
die Methodenqualität achtet.
An dieser Stelle muss noch auf eine "Raffinesse" der DIN 33430 hingewiesen werden: Im
Anhang A, der normativ ist, werden "Anforderungen an Verfahrenshinweise" definiert. Die
Beurteilung erfolgt also aufgrund der Dokumentation bzw. des Handbuches – wie erwartet
werden Stellungnahmen zu den üblichen Gütekriterien erwartet. Wahrheitsgetreue Informationen werden verlangt – Belege sind (nur) auf Anforderung zu liefern.
Folgt man nun dem Link von DIN CERTCO zu der bisher anerkannten Begutachtungsstelle,
findet sich dort eine Checkliste, die offenbar recht formal Punkt für Punkt die DIN-Anforde6
Gebührenordnung für die Zertifizierung von Dienstleistungen Berufsbezogene Eignungsbeurteilungen nach
DIN 33430 gültig an 01.08.2003; Din Certco Burgggrafenstrasse 6 D-10787 Berlin
ZENTRUM FÜR TESTENTWICKLUNG UND DIAGNOSTIK
6
rungen nach "ja", "nein" bzw. bei bestimmten Punkten immerhin auch "entfällt" beurteilt. Ich
stelle mir das nun so vor, dass ein Gutachter das Handbuch liest, die Checkliste ausfüllt und
dann (hoffentlich) ein Aggregationskriterium hat, ab wann die DIN-Anforderungen (noch) erfüllt sind. Wird eine solche Evaluation der Sachlage gerecht?
Aus meinen Erfahrungen sammeln sich unter den "Monotestanbietern" gehäuft die "schwarzen Schafe", weil es sich offensichtlich als sehr lukrativ erwiesen hat, einen "Universaltest"
zu entwickeln, den möglichst zu computerisieren, mit einem langen Report zu versehen und
die Anwendungen für teures Geld zu verkaufen. Ich durfte viele solche Anbieter für
Auftraggeber begutachten und fast immer stellten sich Konstruktionsmängel bzw. fehlende
Dokumentationen heraus. Es kommt dazu, dass die Anwendung und die Kenntnis von
Konstruktionsdaten wie Gütekriterien meist auf ein enges Personen-Netzwerk begrenzt sind –
dieses Wissen sogar nach aussen geschützt wird. Insofern ist es praktisch unmöglich, diese
Verfahren im Fach zu bewerten. Für diesen Personenkreis "Monotestanbieter" wäre der
vorgeschlagene Zugang ohne Zweifel also gar nicht so falsch – ist er da aber auch
ausreichend?
Qualitätssicherung muss für publizierte Verfahren nicht neu erfunden werden. Dies geschieht
in Form von Rezensionen. Die für die Diagnostik massgeblichen Zeitschriften rezensieren
regelmässig Verfahren. Rezensenten werden meines Wissens nach Kompetenz ausgewählt,
kennen sich in der Materie aus. Indem ihr "Urteil" publiziert wird, stellen sie sich ebenso der
Diskussion der Fachöffentlichkeit wie die Autoren der Tests. Bei Widersprüchen zwischen
Testautoren und Rezensenten bieten die Zeitschriften eine Möglichkeit zur Replik und ReReplik, die schon in vielen Fällen Verfahren transparenter gemacht hat. Die Publikation des
Verfahrens schafft auch eine gewisse Objektivität: für wichtige Verfahren gibt es zahlreiche
Anwendungsstudien, wo die Gütekriterien von dritter Seite überprüft werden. Sollte es also zu
günstigeren Bewertungen im Handbuch gekommen sein, als real vorhanden, relativiert sich
das meist sehr schnell und ein Rezensent bezieht in der Regel die Sekundärliteratur in die
Bewertung des Verfahrens mit ein.
Diese Kontrollmechanismen existieren für unpublizierte Verfahren nicht einmal in Ansätzen – vor allem dann nicht, wenn der Zugang zu den Konstruktionsdaten gegen aussen geschützt wird und von unabhängiger Stelle keine Vergleichsuntersuchungen durchgeführt werden können. Zwischen Auftragnehmer und Zertifizierer besteht immerhin ein gewisses Abhängigkeitsverhältnis – die Zertifizierung wird bezahlt (Rezensionen sind frei von finanziellen
Interessen – es gibt zumeist nicht einmal Sonderdrucke davon). Hier fehlen ganz eindeutig
Kontroll- und Prüfschritte, die dem Vorgehen bei publizierten Verfahren entsprechen. Es gehört meist auch seitens der Evaluatoren viel Durchsetzungsvermögen dazu, an die Informationen „hinter den Werbe-Hochglanzbroschüren“ zu kommen.
Das bei DIN CERTCO bisher dargestellte Verfahren weist weitere Nachteile auf: Die Bewertung der Verfahren ist Autoren und Verlagen nicht zwingend zugänglich – so entstehen
auch keine direkten Anreize für Verbesserungen. Eingedenk der Erfahrungen bei Rezensionen
sollte des Weiteren ein Controlling- und Rekurssystem vorgesehen werden, um möglichen
Willkürentscheidungen der Zertifizierer vorzubeugen (etwa, indem die Bewertungen von
Methoden in geeigneter Weise zur Diskussion gestellt werden, kompetente Fachbeiräte eingerichtet werden o.ä.). Sonst bleibt der „Geruch“ bestehen, dem Markt „auf die Schnelle“ etwas
aufzupressen, was nur bestimmten Interessengruppen (z.B. den Monotestanbietern) nutzt.
ZENTRUM FÜR TESTENTWICKLUNG UND DIAGNOSTIK
7
Der Weg, die grundsätzliche DIN-Kompatibilität von Verfahren zu beurteilen, müsste also ein
im Fach nachvollziehbarer sein. Bei publizierten Verfahren ist wegen der breiten Nutzung
und der gleichzeitigen Nutzung mehrerer Methoden bei einem Anbieter die Methode der
Rezension nach meiner Meinung die bisher einzig akzeptierbare.
Hier sollte das Testkuratorium der Förderation deutscher Psychologenverbände seine Koordinierungstätigkeit weiter ausbauen, indem man die Bewertungskriterien für Rezensionen DINkompatibel standardisiert (was schon geschehen ist) und die Ergebnisse in Form einer Rezensionsdatenbank bekannt macht, wo man leicht auf die Rezensionen zugreifen könnte. Die
Testzentrale der Schweizer Psychologen verweist auf eine Datei, die vom Testkuratorium zur
Verfügung gestellt wurde – die aber nicht aktuell scheint. Diese Initiative müsste ggf. wieder
belebt werden, ggf. auch in Zusammenarbeit mit dem ZPID (Zentrum für Psychologische
Information und Dokumentation) in Trier.
Man könnte ausserdem nachdenken, Ausbildung und Methodenwahlkompetenz zu verzahnen,
indem beispielsweise nur ab einem bestimmten Ausbildungslevel die Wahl der Methoden
aufgrund der „Selbstbewertung“ zertifiziert wird – sich für andere Ausbildungslevel die Anforderung an die Zertifizierung der Methode erhöht.
Die Zukunft ist offen!
DIN 33430 scheint im besten Sinne des Wortes ein System zu sein, welches sich selbst reguliert und Fehlentwicklungen keine Chance gibt. Alle Interessengruppen müssen sich nicht nur
entscheiden, ob sie DIN 33430 wollen oder nicht, sondern auch durch "systemkonforme"
Angebote dafür sorgen, dass DIN in gewünschter Weise wirkt – aber eben nicht nur für eine
einzelne Interessengruppe. DIN 33430 ist und bleibt eine Chance, die aber auch schnell vertan
werden kann.
Klaus-Dieter Hänsgen ist Professor an der Universität Freiburg/Schweiz
und Direktor des Zentrums für Testentwicklung und Diagnostik, welches
mit dem Eignungstest für das Medizinstudium in der Schweiz betraut ist.
Darüber hinaus ist er Testautor und Herausgeber eines Testsystems zur
computerunterstützten Diagnostik.
WEB: www.unifr.ch/ztd Email: [email protected]
Hinweis: der Beitrag bezieht sich auf den am 17.10.2003 bekannten und in öffentlichen
Quellen dargestellten Stand. Wir werden in Form von Updates über uns bekannt werdende
weitere Entwicklungen informieren. Desgleichen danken wir für Hinweise, falls einzelne
Informationen hier unrichtig dargestellt sein sollten oder wir auf Entwicklungen nicht
rechtzeitig aufmerksam werden.
ZENTRUM FÜR TESTENTWICKLUNG UND DIAGNOSTIK
8