Kinder-DIPS - Hogrefe eContent

Transcription

Zeitschrift für Kinder- und Jugendpsychiatrie und Psychotherapie, 41 (5), 2013, 319–334
Z. Kinder-Jugendpsychiatr.
M.Psychother.
Neuschw ander
41 (5)et©al.:
2013
Interrater-Reliabilität
Verlag Hans Huber, Hogrefe
des Kinder-DIPS
AG , Bern
Originalarbeit
Interrater-Reliabilität des
Diagnostischen Interviews bei
psychischen Störungen im Kindesund Jugendalter (Kinder-DIPS)
Murielle Neuschwander1, Tina In-Albon2, Carmen Adornetto3,
Binia Roth4 und Silvia Schneider1
1
Klinische Kinder- und Jugendpsychologie, Ruhr-Universität Bochum, 2Klinische Psychologie und
Psychotherapie des Kindes- und Jugendalters, Universität Koblenz-Landau, 3Kinder- und
Jugendpsychiatrische Klinik der UPK Basel, 4Kinder- und Jugendpsychiatrie, Baselland
Zusammenfassung. Fragestellung: Ziel der vorliegenden Studie ist, die Interrater-Reliabilität des Diagnostischen Interviews bei psychischen Störungen im Kindes- und Jugendalter (Kinder-DIPS; Schneider, Unnewehr & Margraf, 2009) anhand von Eltern- und Kinderinterviews für verschiedene Störungsklassen zu ermitteln. Zusätzlich wird geprüft, ob sich in Abhängigkeit des Alters oder des Geschlechtes des Kindes, Unterschiede hinsichtlich der Interrater-Reliabilität ergeben. Methodik: 264 Eltern- und 213 Kinderinterviews wurden
von 48 geschulten Interviewern in kinder- und jugendpsychiatrischen und schulpsychologischen Einrichtungen sowie im Rahmen eines
Forschungsprojektes durchgeführt. Ergebnisse: Die Übereinstimmungsmaße der Eltern- und Kinderinterviews zeigen eine gute bis sehr
gute Interrater-Reliabilität der Oberklassen Expansive Störungen, Ticstörungen, Ausscheidungsstörungen, Affektive Störungen, Essstörungen, Schlafstörungen sowie einem Großteil der spezifischen Diagnosen und für den Ausschluss psychischer Störungen. Das Geschlecht
und das Alter der interviewten Kinder hatten keinen Einfluss auf die Reliabilitätswerte. Schlussfolgerung: Die Ergebnisse zeigen, dass
es sich beim Kinder-DIPS mit trainierten Interviewern für die Oberklassen psychischer Störungen um ein reliables Eltern- und Kinderinterview zur Diagnostik psychischer Störungen handelt.
Schlüsselwörter: Psychische Störungen, Kinder-DIPS, strukturiertes Interview im Kindes- und Jugendalter, Reliabilität
Abstract. Interrater reliability of the «Diagnostisches Interview bei psychischen Störungen im Kindes- und Jugendalter» (Kinder-DIPS)
Objective: This study investigates the interrater reliability of the «Diagnostisches Interview bei psychischen Störungen im Kindes- und
Jugendalter» (Kinder-DIPS; Schneider, Unnewehr & Margraf, 2009) based on child and parent interviews. It further investigates differences in the interrater reliability depending on age or sex of the children. Method: 48 certified interviewers conducted 264 parent and
213 child interviews in various inpatient, outpatient, and research settings. Results: There is a good interrater reliability for the parent
and child interviews for the major diagnostic categories of conduct disorders, tic disorders, elimination disorders, mood disorders, eating
disorders, sleeping disorders, the majority of the specific psychiatric disorders, and the exclusion of psychiatric disorders. Neither the
sex nor the age of the children influenced interrater reliability. Conclusions: The second and expanded Kinder-DIPS proves to be a reliable
parent and child interview for the assessment of mental disorders in both outpatient and inpatient settings.
Keywords: mental disorders, Kinder-DIPS, structured interview for children and adolescents, reliability
Einleitung
Psychische Störungen im Kindes- und Jugendalter weisen
eine mittlere Periodenprävalenz (1–12 Monate) von 22 %
auf (Eschmann, Weber Häner & Steinhausen, 2007). Die
häufigsten psychischen Störungen im Kindes- und JugendDOI 10.1024/1422-4917/a000247
alter stellen Angststörungen, hyperkinetische und dissoziale Störungen dar. Im Jugendalter treten zudem vermehrt
affektive Störungen, Substanzmissbrauch und Essstörungen auf (Essau, Karpinski, Petermann & Conradt, 1998;
Ihle & Esser, 2002; Merikangas et al., 2010). Bei etwa 40 %
der Kinder und Jugendlichen liegen eine oder mehrere ko-
Z. Kinder-Jugendpsychiatr. Psychother. 41 (5) © 2013 Verlag Hans Huber, Hogrefe AG, Bern
320
M. Neuschwander et al.: Interrater-Reliabilität des Kinder-DIPS
morbide psychische Störungen vor (Essau et al., 1998;
Merikangas et al., 2010).
Um eine solide Indikationsstellung und somit eine adäquate Behandlung zu ermöglichen, ist eine zuverlässige
und valide Differentialdiagnostik unbedingt erforderlich
(Silverman & Ollendick, 2005). Zur Feststellung von Störungen mit Krankheitswert ist eine kategoriale und eine dimensionale Diagnostik sinnvoll (Heubrock & Petermann,
2005). Im Rahmen der kategorialen Diagnostik stellen
strukturierte und standardisierte Interviews zur Diagnosestellung nach den Kriterien von ICD-10 oder DSM-IV-TR
den Gold-Standard für eine zuverlässige Diagnosestellung
psychischer Störungen bei Kindern und Jugendlichen dar
(Costello, Egger & Angold, 2005; In-Albon, Dubi, Adornetto, Blatter-Meunier & Schneider, 2011). Für den englischen Sprachraum existieren verschiedene standardisierte
und strukturierte Interviews zur Diagnostik psychischer
Störungen im Kindes- und Jugendalter (vgl. Schneider &
Adornetto, 2006). Im deutschen Sprachraum sind drei
strukturierte Interviews, das Mannheimer Elterninterview
(MEI; Esser, Blanz, Geisel & Laucht, 1989), das Diagnostische Interview bei psychischen Störungen im Kindes- und
Jugendalter (Kinder-DIPS; Schneider, Unnewehr & Margraf, 2009) und das Kiddie-SADS-Present and Lifetime
(K-SADS-PL; Delmo, Weiffenbach, Gabriel, Stadler &
Poustka, 2001) aktuell verfügbar. Zudem sind das halbstrukturierte Interview CASCAP-D (Psychopathologisches
Befund-System für Kinder und Jugendliche; Döpfner, Berner, Flechtner, Lehmkuhl & Steinhausen, 1999) und das
DISYPS-II (Diagnostik-System für psychische Störungen
nach ICD-10 und DSM-IV für Kinder und Jugendliche –
II; Diagnose-Checkliste; Döpfner, Görtz-Dorten & Lehmkuhl, 2008) erhältlich. Tabelle 1 beschreibt deutschsprachige Verfahren, deren Altersbereich, Klassifikationssystem
der Diagnosestellung und Gütekriterien. Neben den störungsübergreifenden klinischen Interviews existieren weitere störungsspezifische Interviews für den Kinder- und Jugendbereich wie bspw. die Interviews zur Posttraumatischen Belastungsstörung bei Kindern und Jugendlichen
(IBS-KJ; Steil & Füchsel, 2006), die deutsche Version des
Child Eating Disorder Examination (ChEDE; Hilbert, im
Druck), die deutsche Version der Children’s Depression
Rating Scale – Revised (CDRS-R; Keller, Grieb, Kölch &
Spröber, 2012) oder das Diagnostische Interview für Autismus – Revidiert (ADI-R; Bölte, Rühl, Schmötzer &
Poustka, 2005).
Lapouse und Monk (1959, 1964) sowie Rutter und
Graham (1968) verwendeten erstmals für die Diagnostik
psychischer Störungen im Kindes- und Jugendalter Parallelversionen strukturierter Interviews für Eltern und Kinder. Verhaltensweisen, Gefühle und Fähigkeiten der Kinder wurden direkt erfragt. Der Wortlaut der Fragen, die
Antwortkategorien und die Reihenfolge der Fragen wurden dem Interviewer genau vorgegeben. Gezeigt werden
konnte, dass Kinder ihre Beschwerden reliabel schildern
können (Angold, 2002; Rutter & Graham, 1968). Hinsichtlich des Geschlechts und Alters der Kinder bestehen
unterschiedliche Befunde in Bezug auf reliable und valide Angaben. Nach Herjanic, Herjanic, Brown und
Wheatt (1975) können Mädchen reliablere Angaben machen als Jungen. Unter Experten besteht keine Einigkeit,
ab welchem Alter Kinder im Rahmen von diagnostischen
Interviews ausreichend detaillierte und genaue Angaben
zur Diagnosestellung geben können, was sicherlich auch
mit einer bislang spärlichen Datenlage zusammenhängt.
Angold, Erkanli, Costello und Rutter (1996) zeigten aufgrund ihrer Datenanalyse, dass Kinder ab dem Alter von
9 Jahren ebenso genaue Angaben zu Beginn, Dauer und
Zusammentreffen von Symptomen machen, wie ihre Eltern. Edelbrock, Costello, Dulcan, Kalas und Conover
(1985) konnten zeigen, dass diagnostische Interviews mit
Kindern ab dem Alter von 10 Jahren sinnvoll durchgeführt werden können. Herjanic et al. (1975) teilten aufbauend auf Entwicklungsstufen ihre Stichprobe in die Alterskategorien 6–8, 9–13 und 14–16 Jahre ein, wobei die
Ergebnisse keine signifikanten Unterschiede zwischen
den Altersgruppen zeigten. Nach Poustka (1988) sollten
diagnostische Interviews bei Kindern erst ab dem Alter
von 12 Jahren durchgeführt werden, wobei es sich hierbei
nicht um eine empirisch fundierte Aussage handelt. Insgesamt kann festgehalten werden, dass der Einfluss des
Alters auf die Reliabilität und Validität von strukturierten
Interviews nicht abschließend eingeordnet werden kann
und empirische Studien notwendig sind, um diese wichtige Frage zu klären. Generell kann davon ausgegangen
werden, dass die altersgerechte Formulierung der Fragen
in strukturierten Interviews einen erheblichen Einfluss
auf Reliabilität und Validität der Antworten haben dürfte
(Breton et al., 1995).
Für die Diagnostik psychischer Störungen im Kindesund Jugendalter gilt, dass verschiedene Informanten
(Kind, Eltern, andere Bezugspersonen) in den diagnostischen Prozess eingebunden werden müssen, um eine
vollständige Erfassung der Symptomatologie des Kindes
und somit eine valide Diagnosestellung zu ermöglichen
(Kraemer et al., 2003; Silverman & Ollendick, 2005).
Strukturierte klinische Interviews sind hinsichtlich ihrer
Gütekriterien abhängig von der Güte der ihnen zugrundeliegenden Klassifikationssysteme (siehe Mohr &
Schneider, 2013). Für deutschsprachige Interviews und
andere Verfahren, die für die Diagnostik im Kindes- und
Jugendalter existieren, kann festgehalten werden, dass
diese hinsichtlich ihrer psychometrischen Gültigkeit wenig überprüft sind. Aufgrund einer Überarbeitung der
Erstauflage des Kinder-DIPS (Unnewehr, Schneider &
Margraf, 1995), wurde eine Überprüfung der Gütekriterien für die Zweitauflage des Kinder-DIPS (Schneider,
Unnewehr et al., 2009) notwendig. Ziel der vorliegenden
Studie ist es, die Interrater-Reliabilität des Kinder-DIPS
anhand von Kinder- und Elterninterviews für verschiedene Störungsklassen zu ermitteln. Zusätzlich soll überprüft werden, ob sich in Abhängigkeit des Alters oder des
Geschlechtes des Kindes Unterschiede hinsichtlich der
Interrater-Reliabilität ergeben.
321
322
Methodik
Kinder-DIPS für DSM-IV-TR
Das Kinder-DIPS (Schneider, Unnewehr et al., 2009) ist ein
strukturiertes Interview zur Erfassung psychischer Störungen
im Kindes- und Jugendalter, welches erlaubt die Fragen an
das Alter der Kinder anzupassen. Das Kinder-DIPS umfasst
eine Kinderversion zur direkten Befragung des Kindes bzw.
Jugendlichen sowie eine parallele Elternversion ab frühestens 6 Jahren (Empfehlung für die Kinderversion: ab frühestens 8 Jahren). Die Abfolge der Interviewfragen ist syndromorientiert und zur Vermeidung unnötiger Fragen enthält das
Interview an entsprechenden Stellen Sprungregeln, welche
das Überspringen einzelner Abschnitte erlauben. Es können
derzeitige und Lebenszeitdiagnosen nach DSM-IV-TR
(APA, 2000) und ICD-10-Diagnosen (WHO, 2000) erhoben
werden und die Überführung der Diagnosestellung vom einen zum anderen Klassifikationssystem ist anhand einer Tabelle möglich. In der 2. Auflage wurden neue, für den psychotherapeutischen Bereich wichtige psychische Störungen
aufgenommen, z. B. Ticstörungen, Schlafstörungen, Prüfungsangst, Selektiver Mutismus, Pica und Binge-EatingStörung und formale Änderungen vorgenommen. Zudem
wurde ein Screening zu Nikotin-, Alkohol- und Drogenmissbrauch integriert (für eine Übersicht siehe Handbuch des Kinder-DIPS für DSM-IV-TR; Schneider, Suppiger, Adornetto,
Unnewehr & Margraf, 2009). Das Kinder-DIPS für DSMIV-TR und ICD-10 erfasst die folgenden Störungskategorien: Störungen der Aufmerksamkeit, der Aktivität und des
Sozialverhaltens, Ticstörungen, Angststörungen, Störungen
der Ausscheidung, Schlafstörungen, Affektive Störungen
und Essstörungen. Neben dem Teil zur Erfassung spezifischer psychischer Störungen enthält das Kinder-DIPS einen
allgemeinen klinisch-demographischen Teil und Screeningfragen zu körperlichen Krankheiten, entwicklungsbezogenen
Koordinationsstörungen, Kommunikationsstörungen, Schulund Teilleistungsstörungen, Substanzmissbrauch, nicht-organische Psychosen sowie zu Medikamentengebrauch. Zudem werden eine psychiatrische Anamnese, eine Familienanamnese psychischer Störungen sowie die Achsen IV (psychosoziale und umgebungsbedingte Probleme) und V
(globale Erfassung des Funktionsniveaus) des DSM-IV-TR
erhoben. Das Kinder-DIPS enthält therapierelevante Fragen
zu auslösenden und modulierenden Faktoren, um das Interview insbesondere für den psychotherapeutischen Gebrauch
nutzbar zu machen.
Ablauf der Untersuchung
Zur Überprüfung der Interrater-Reliabilität wurden 264 Eltern- und 213 Kinderinterviews, welche in kinder- und jugendpsychiatrischen und psychologischen Einrichtungen geführt wurden, auf Tonband aufgenommen und von einem
zweiten unabhängigen Diagnostiker gegenkodiert. Der unab-
hängige Diagnostiker nahm anhand der Tonbandaufnahme
eine eigenständige klinische Einschätzung vor. Die Diagnosestellungen wurden in Fallkonferenzen besprochen und bei
abweichenden Diagnosen wurden Konsensdiagnosen gebildet. Die ermittelten Symptome wurden von den Interviewern
beschrieben, es wurden Einschätzungen anhand DSM-IVTR-Diagnosen vorgenommen und anhand einer Checkliste
für jede Störungskategorie Gründe für mangelnde Übereinstimmung zwischen zwei Diagnostikern erhoben. Die Kinder
und deren Eltern wurden nach derzeitigen sowie früheren
psychischen Problemen der Kinder befragt, somit konnten
neben aktuellen auch Lebenszeitdiagnosen der Kinder erhoben werden. Die Eltern und die Kinder wurden über die Untersuchung informiert und gaben ihr schriftliches Einverständnis zur Teilnahme am diagnostischen Interview.
Interviewer und Schulung
Alle Interviewer absolvierten ein standardisiertes Training
in der Durchführung und Auswertung des Kinder-DIPS
(siehe Handbuch des Kinder-DIPS für DSM-IV-TR;
Schneider, Suppiger et al., 2009) und mussten eine Zertifizierungsprüfung mit einem reliablen Interviewer bestehen.
Erst nach Abschluss einer erfolgreichen Zertifizierung
wurden die Interviewer in die Studie für die Durchführung
von Interviews bzw. Gegenkodierungen aufgenommen.
Die Eltern- und Kinderinterviews sowie die Gegenkodierungen wurden von 48 Interviewern (39 Psychologen
mit Bachelorabschluss: 35 Frauen, Alter: 21.18–42.15 Jahre; MW = 25.86; SD = 3.81 und 4 Männer, Alter:
24.37–26.83 Jahre; MW = 25.78; SD = 1.59 und 9 diplomierte Psychologinnen: 9 Frauen, Alter: 27.78–45.72 Jahre; MW = 31.63, SD = 5.54) durchgeführt. Der Range für
die Anzahl geführter Kinderinterviews pro Interviewer lag
zwischen 1 und 17 und für die Anzahl geführter Elterninterviews zwischen 1 und 36. Die neun diplomierten Psychologinnen führten die Interviews im Rahmen einer Therapiestudie durch und die Interviews in der Kinder- und
Jugendpsychiatrie Baselland (Kinder: n = 76; Eltern: n =
65) und dem Schulpsychologischer Dienst Basel-Stadt
(Kinder: n = 10; Eltern: n = 13) (siehe Rekrutierung) sowie
alle Gegenkodierungen (Kinder: n = 213; Eltern: n = 264)
wurden von den 39 Psychologen mit Bachelorabschluss
durchgeführt.
Stichprobe
Rekrutierung
Im Zeitraum von Februar 2004 bis Dezember 2008 wurden
in der Kinder- und Jugendpsychiatrie Baselland (KJP), im
Schulpsychologischen Dienst Basel-Stadt (SPD) sowie im
Rahmen einer Therapiestudie an der Universität Basel, insgesamt 272 Kinder (KJP: n = 114, 41.91 %; SPD: n = 16,
5.88 %; Forschung: n = 142, 52.21 %) und 346 Eltern (KJP:
323
Abbildung 1. Verlauf der Datenerhebung.
n = 114, 32.95 %; SPD: n = 16, 4.62 %; Forschung: n =
216, 62.43 %) über die Reliabilitätsstudie informiert und
für eine Studienteilnahme angefragt. Die teilnehmenden
Institutionen organisierten die Rekrutierung der Studienteilnehmenden in ihrer Patientenpopulation. Der Verlauf
der Datenerhebung ist in Abbildung 1 dargestellt.
Kinder
Der Mädchenanteil bei den Kinderinterviews betrug
50.2 % (n = 107) und das durchschnittliche Alter der Kinder war 11.31 Jahre (SD = 2.70; Min. = 6.02, Max. = 18.44).
Die folgenden Schultypen waren vertreten: 2.3 % besuchten den Kindergarten, 53.1 % die Grundschule, 14.1 % die
Mittelstufe, 11.3 % die Oberstufe (Real-/Sekundarschule),
8.9 % die Oberstufe (Gymnasium), 1.4 % hatten die Schule
abgebrochen und 9 % fielen unter «andere Schule» (z. B.
Sonderschule, Berufsausbildung).
Eltern
Bei den Elterninterviews betrug der Mädchenanteil 51.9 %
(n = 137) und das Durchschnittsalter der Kinder lag bei
10.04 Jahre (SD = 2.88, Min. = 4.82, Max. = 17.89).
138 (52.3 %) der Interviews fanden mit den Müttern, 13
(4.9 %) mit den Vätern und 113 (42.8 %) mit beiden Elternteilen statt. Die interviewten Eltern waren durchschnittlich
41.50 Jahre (SD = 5.41, Min. = 27.74, Max. 60.96) alt.
64.5 % der Mütter waren berufstätig (Angestellte: 53.1 %,
n = 140, Beamte: 3.4 %, n = 9, Selbstständig Erwerbende:
8.0 %, n = 21), 31.4 % waren Hausfrauen, 0.4 % arbeitslos
und von 3.8 % fehlt die Angabe zur Berufstätigkeit. 86.7 %
der Väter waren berufstätig (Angestellte: 66.2 %, n = 175,
Beamte: 7.2 %, n = 19, Selbstständig Erwerbende: 12.1 %,
n = 32), 1.1 % Hausmänner, 1.5 % arbeitslos und von
10.6 % fehlt diese Angabe. 74.6 % der Eltern waren verheiratet, 18.2 % getrenntlebend oder geschieden, 0.4 %
verwitwet, 4.2 % ledig und von 2.7 % fehlt die Angabe.
Maße zur Reliabilitätsbestimmung
Zur Bestimmung der Reliabilität werden auf der Ebene von
Oberklassen psychischer Störungen (z. B. Angststörungen,
Schlafstörungen) und auf der Ebene der einzelnen Diagnosekategorien (z. B. Soziale Phobie, Spezifische Phobie) die
prozentuale Übereinstimmung, der Kappa-Koeffizient (Cohen, 1960) und der Y-Koeffizient (Yule, 1912) angegeben.
Anhand der drei Übereinstimmungsmaße sind Aussagen
über die Reliabilität einzelner Diagnosekategorien und Störungsklassen möglich. Die prozentuale Übereinstimmung
berücksichtigt das Ausmaß der zufällig zu erwartenden Übereinstimmung nicht, was zu einer Überschätzung der Übereinstimmung führt (Asendorpf & Wallbott, 1979). Der Y-Koeffizient (Yule, 1912) ist dem Kappa-Koeffizienten (Cohen,
1960) ähnlich, ist jedoch unabhängig von der Basisrate (Auf-
324
tretenshäufigkeit bestimmter Störungsbilder) und bleibt im
Bereich einer beobachteten Basisrate von 1–50 % stabil
(Spitznagel & Helzer, 1985). Kappa-Koeffizienten mit einer
Basisrate < 10 % stellen eine Unterschätzung der Übereinstimmung dar. Kappa- und Y-Werte > .40 werden als akzeptable und Werte > .70 als sehr gute Übereinstimmung interpretiert (Burke, 1986). Wenn eine Zelle der Häufigkeitstabelle Null ist, kann der Y-Koeffizient nicht interpretiert werden,
da er den Endpunkt eines Wertebereiches erreicht (–1 oder
+1). Dies gilt auch für die Berechnung des Kappa, wenn die
Zellen der Diagonale beide den Wert Null enthalten. Dies
wurde anhand der Pseudo-Bayes Schätzung (Bishop, Fienberg & Holland, 2007; Formeln 12.7–19 und 12.7–20) ausgeglichen und es wurden jeweils die absoluten sowie die geschätzten Koeffizienten berechnet. Für die Interpretation der
Übereinstimmung werden die geschätzten Koeffizienten berücksichtigt. Die Übereinstimmungsmaße sollten in Relation
zueinander interpretiert und nicht als absolute Werte verstanden werden. Die globale prozentuale Übereinstimmung zwischen zwei Interviewern gibt an, inwiefern mehrere Diagnosen gleichzeitig übereinstimmend gestellt werden können.
Hierbei lag eine Übereinstimmung nur dann vor, wenn beide
Interviewer in allen aktuellen und früheren Diagnosen übereinstimmten. Zwischen Haupt- und Zusatzdiagnose wurde
nicht unterschieden. Die Übereinstimmungskoeffizienten
wurden für die gesamte und für die klinische Stichprobe berechnet. Der Vorteil der Berechnungen für die Gesamtstichprobe besteht darin, dass auch die Reliabilität bzgl. des Ausschlusses psychischer Störungen ermittelt werden kann.
Nachteilig ist zu erwähnen, dass sich durch dieses Vorgehen
die Basisraten der zu überprüfenden Diagnoseklassen reduzieren. Um diesem Nachteil entgegen zu wirken, wurden die
Übereinstimmungsmaße zusätzlich für die klinische Stichprobe berechnet, um mehr Diagnoseklassen interpretierbar
zu machen.
Fehleranalyse bei Nichtübereinstimmung
Die Gründe für eine nichtübereinstimmende Diagnose zwischen Interviewern und Gegenkodierern wurden im Rahmen von Fallkonferenzen festgehalten. Anhand einer
Checkliste zur Fehleranalyse konnte für jede Störungskategorie der Grund für die mangelnde Übereinstimmung
festgehalten werden. Folgende Kategorien wurden unterschieden:
1. Interviewfehler: Sprungregel falsch angewendet; starke
Abweichung von standardisierten Fragen; ungenügende
Folgefragen zu Diagnoseklärung; unvollständige Befragung; Protokollierungsfehler.
2. Auswertungsfehler: DSM-Kriterien falsch angewendet;
Differentialdiagnostische Aspekte falsch beachtet.
3. Unterschiedliche Symptomgewichtung: bezüglich Symptomen, Leiden/Beeinträchtigung.
4. Qualität der Tonaufnahme: die Antwort wurde nicht verstanden; ein Teil der Aufnahme fehlt.
5. Unterschiedliche differentialdiagnostische Bewertung.
6. DSM-IV-TR oder Kinder-DIPS unpräzise/unklar: beispielsweise zu allgemein formulierte Diagnosekriterien;
spezifische Störungen, welche nicht anhand des KinderDIPS erfasst werden.
Einfluss des Geschlechts und des Alters der Kinder
auf die Reliabilität
Um zu prüfen, ob sich in Abhängigkeit des Alters der Kinder
UnterschiedeinderInterrater-Reliabilitätergeben,wurdenAlterskategorien in Anlehnung an die Befunde zu Altersunterschieden hinsichtlich der Reliabilität von Interviews mit Kindern gebildet (Angold et al., 1996; Edelbrock et al., 1985; Herjanicetal.,1975;Poustka,1988).Eswurdenfürdievorliegende
UntersuchungdieAlterskategorien6.0–9.99Jahre,10.0–11.99
Jahre und älter als 12 Jahre gewählt. Die Alterskategorie der
jüngsten Kinder wurde weiter in die Kategorien von 6.0–7.99
und 8.0–9.99 Jahre bzw. von 6.0–8.99 und 9.0–9.99 Jahre eingeteilt. Um den Einfluss des Alters und des Geschlechts der
interviewten Kinder auf die Wahrscheinlichkeit, dass zwei Interviewer hinsichtlich der Diagnosestellung übereinstimmen,
kontinuierlichzutesten,wurde eine binärelogistische Regressionsanalyse mit den Prädiktoren Alter und Geschlecht der interviewten Kinder berechnet. Die binäre logistische RegressionsanalysewurdefürdieGesamtstichprobederKinderinterviews(N=213)undfürdieTeilstichprobederKinderinterviews
nach Ausschluss der gesunden Kinder (N = 106), d. h. ohne
DiagnoseneinerpsychischenStörung,berechnet.
Ergebnisse
Es wurden insgesamt 213 Kinder- sowie insgesamt 264 Elterninterviews durchgeführt und gegenkodiert. Durchschnittlich wurden 0.84 Lebenszeitdiagnosen (SD = 1.09, Range
0–7) anhand der Kinderinterviews sowie 1.33 Lebenszeitdiagnosen (SD = 1.13, Range 0–6) anhand der Elterninterviews
vergeben. Die Kinderinterviews (n = 175) dauerten durchschnittlich 76.63 Minuten (SD = 34.83, Range 10–180 Minuten) und die Elterninterviews (n = 223) durchschnittlich
98.75 Minuten (SD = 40.06, Range 24–328 Minuten).
Interrater-Reliabilität Eltern
(Lebenszeitdiagnosen)
Die Ergebnisse zur Interrater-Reliabilität für die Lebenszeitdiagnosen auf der Ebene von Oberklassen psychischer Störungen sowie auf der Ebene von spezifischen Diagnosen sind
in den Tabellen 2 und 3 dargestellt. Die prozentuale Übereinstimmung der Oberklassen beträgt mindestens 96.21 %. Insgesamt ist die Interrater-Reliabilität der Oberklassen gut bis
sehr gut. Die Kappa-Werte liegen zwischen 0.94 und 0.97
und die Y-Werte zwischen 0.85 und 0.97.
325
Tabelle 2
Interrater-Reliabilität des Kinder-DIPS Elternversion (Oberklasse, Lebenszeitdiagnosen) für die gesamte Stichprobe
(N = 264)
DSM-IV-TR Oberklassen
Häufigkeiten
–/–
–/+
+/–
+/+
Expansive Störungen
220
2
2
40
Ticstörungen
246
2
2
14
Ausscheidungsstörungen
238
3
2
21
Affektive Störungen
233
1
2
28
Angststörungen
Essstörungen
Schlafstörungen
Keine Diagnosen
104
2
6
152
258
3
0
3
240
7
3
14
202
1
%
Kappa [95 % KI]
Yule’s Y
98.49
(.94 [.89, .99c]
.96
98.49
(.87) [.74, .99c]
.93
98.11
(.88) [.78, .98]
.93
98.86
(.94 [.88, 1.00]
.97
96.97
(.94 [.90, .98]
.95
98.86
(.66) [.29, 1.00]
96.21
(.72) [.55, .89]
.85
98.86
(.97 [.93, 1.00]
.97
1.00/.87a
2
59
Anmerkungen. Kappa-Koeffizienten, die aufgrund einer Basisrate der jeweiligen Oberklasse von < 10 % (n = 26.4 (Formel: (+/+) + ((+/–) +
(–/+)/2)) eine Unterschätzung darstellen, sind in Klammer aufgeführt. aPseudo-Bayes Schätzung von Kappa bzw. Y. – nicht berechenbar. KI =
Konfidenzintervalle. cObergrenze des KI wurde abgerundet, 1.00 wurde nicht erreicht.
Tabelle 3
Interrater-Reliabilität des Kinder-DIPS Elternversion (Störungsebene, Lebenszeitdiagnosen) für die gesamte Stichprobe
(N = 264)
DSM-IV-TR Spezifische Diagnosen
Häufigkeiten
–/–
–/+
+/–
+/+
Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung
242
0
3
19
Störung mit oppositionellem Trotzverhalten
238
1
1
24
Störung des Sozialverhaltens
260
1
0
3
Tourette-Störung
262
0
0
2
Chronische motorische oder vokale Ticstörung
Vorübergehende motorische oder vokale Ticstörung
Enuresis
Enkopresis
257
1
1
5
254
1
1
8
239
3
2
20
261
0
0
3
%
Kappa [95 % KI]
Yule’s Y
98.86
(.92) [.83, 1.00]
1.00/.96a
99.24
(.96) [.90, 1.00]
99.62
(.86) [.57, 1.00]
1.00/0.93a
(1.00)/(.80a) [.36, 1.00]b
1.00/.96a
100.00
.97
99.24
(.83) [.59, 1.00]
.95
99.24
(.89) [.73, 1.00]
.96
98.11
(.88) [.77, .98]
.93
100.00
(1.00)/(.86a) [.55, 1.00]b
1.00/.97a
326
Major Depression
Dysthyme Störung
Störung mit Trennungsangst
Panikstörung ohne Agoraphobie
Häufigkeiten
–/–
–/+
+/–
+/+
242
2
2
18
252
1
2
9
160
2
3
99
263
1
0
0
Panikstörung mit Agoraphobie
264
0
0
0
Agoraphobie ohne Panikstörung
262
0
0
2
Spezifische Phobie
222
1
7
34
215
1
3
45
Sozialphobie
Selektiver Mutismus
264
0
0
0
Zwangsstörung
260
1
0
3
Generalisierte Angststörung
253
1
4
6
Posttraumatische Belastungsstörung
263
0
0
1
Pica
261
3
0
0
262
0
0
2
263
0
0
1
Anorexia Nervosa
Bulimia Nervosa
Binge Eating Disorder
264
0
0
0
Primäre Insomnie
245
5
3
11
Primäre Hypersomnie
263
1
0
0
Schlafstörung mit Alpträumen
261
0
0
3
Pavor Nocturnus
264
0
0
0
263
1
Schlafstörung mit Schlafwandeln
%
Kappa [95 % KI]
Yule’s Y
98.49
(.89) [.79, .99c]
.94
98.86
(.85) [.68, 1.00]
.94
98.11
(.95 [.93, .99c]
.96
99.62
–
–
100.00
–
–
100.00
(1.00)/(.80a) [.36, 1.00]b
1.00/.96a
96.97
(.88 [.79, .96]
.94
98.49
(.95 [.90, .99c]
.97
100.00
–
–
99.62
(.86) [.57, 1.00]
1.00/.93a
98.11
(.70) [.43, .96]
.90
(1.00)/(.67a) [.00, 1.00]b
1.00/.95a
–
–
100.00
(1.00)/(.80a) [.36, 1.00]b
1.00/.96a
100.00
(1.00)/(.67a) [.00, 1.00]b
1.00/.95a
100.00
–
–
100.00
98.86
96.97
(.72) [.52, .91]
.86
99.62
–
–
100.00
(1.00)/(.86a) [.55, 1.00]b
1.00/.97a
100.00
–
–
99.62
–
–
0
0
(–/+)/2)) eine Unterschätzung darstellen, sind in Klammer aufgeführt. a Pseudo-Bayes Schätzung von Kappa bzw. Y. – nicht berechenbar. KI =
Konfidenzintervalle. b Konfidenzintervall basierend auf Pseudo-Bayes Schätzung von Kappa. c Obergrenze des KI wurde abgerundet, 1.00 wurde
nicht erreicht.
Auf der Ebene der spezifischen Diagnosen lagen alle
prozentualen Übereinstimmungen über 96.97 %. Für die
Interrater-Reliabilität der spezifischen Diagnosen über die
Lebenszeit ergaben sich gute bis sehr gute Werte. Die Kappa-Werte lagen zwischen 0.88 und 0.95 und die Y-Werte
zwischen 0.86 und 0.97.
Die globale prozentuale Übereinstimmung zeigte, dass
in 83.3 % (n = 220) der Interviews zwei Interviewer in allen
Lebenszeitdiagnosen (aktuelle und frühere Diagnosen)
übereinstimmten. Die maximale Anzahl komorbider Diagnosen betrug hierbei sieben. Bei Betrachtung der aktuellen
Diagnosen stimmten in 87.9 % (n = 232) der Interviews
beide Interviewer hinsichtlich aller Diagnosen überein. Bei
86.7 % (n = 229) dieser Fälle wurde Übereinstimmung hinsichtlich primärer und zusätzlicher Diagnose erzielt. Die
maximale Anzahl aktueller Diagnosen betrug sechs.
Interrater-Reliabilität (Eltern) bei
ausschließlicher Betrachtung der Klinischen
Stichprobe
Nach Ausschluss der Kinder ohne Diagnosen psychischer
Störungen, kann der Kappa-Koeffizient für die spezifischen
Diagnosen ADHS (Kappa = 0.92), Störung mit oppositionellem Trotzverhalten (Kappa = 0.95) und Enuresis (Kappa =
0.90) interpretiert und als sehr gut eingeschätzt werden.
Interrater-Reliabilität Kinder
(Lebenszeitdiagnosen)
Die Ergebnisse zur Interrater-Reliabilität für die Lebenszeitdiagnosen auf der Ebene von Oberklassen psychischer Störungen sowie auf der Ebene von spezifischen Diagnosen sind
in den Tabellen 4 und 5 dargestellt. Die prozentuale Übereinstimmung der Oberklassen beträgt mindestens 95.31 %. Die
Interrater-Reliabilität der Oberklassen ist insgesamt gut bis
sehr gut. Die Kappa-Werte liegen zwischen 0.90 und 0.92
und die Y-Werte liegen zwischen 0.94 und 0.97.
Auf der Ebene der spezifischen Lebenszeitdiagnosen lagen alle prozentualen Übereinstimmungen über 97.65 %.
Für die Interrater-Reliabilität der spezifischen Diagnosen
über die Lebenszeit ergaben sich gute bis sehr gute Werte.
Die Kappa-Werte lagen zwischen 0.92 und 0.98 und die
Y-Werte zwischen 0.84 und 0.97.
Die globale prozentuale Übereinstimmung zeigte, dass in
90.6 % (n = 193) der Interviews zwei Interviewer in allen
Lebenszeitdiagnosen (aktuelle und frühere Diagnosen) übereinstimmten, wobei die maximale Anzahl komorbider Diagnosen sieben betrug. In 92.0 % (n = 196) der Interviews
stimmten zwei Interviewer hinsichtlich der aktuell bestehenden Diagnosen überein, davon stimmten in 92.0 % (n = 196)
der Fälle die beiden Interviewer auch hinsichtlich der Zuordnung der Diagnosen als primär bzw. zusätzlich überein. Die
maximale Anzahl aktueller Diagnosen betrug fünf.
327
Interrater-Reliabilität (Kinder) bei
ausschließlicher Betrachtung der Klinischen
Stichprobe
Nach Ausschluss der Kinder ohne Diagnosen psychischer
Störungen, kann der Kappa-Koeffizient für die spezifischen Diagnosen Major Depression (Kappa = 0.96), Soziale Phobie (Kappa = 0.96) und Primäre Insomnie (Kappa =
0.95) interpretiert und als sehr gut eingeschätzt werden.
Fehleranalyse Eltern und Kinder
Die häufigsten Fehlerquellen bei nichtübereinstimmenden
Diagnosestellungen können für die Eltern- und Kinderinterviews der Tabelle 6 entnommen werden.
Interrater-Reliabilität aktuelle und primäre
Diagnosen
Das zeitliche Auftreten von Diagnosen (aktuell bzw. früher) wird durch die Analysen anhand von Lebenszeitdiagnosen nicht berücksichtigt. Aus diesem Grund wurden die
Reliabilitätsberechnungen ebenfalls für die Übereinstimmung aller aktuell bestehenden Diagnosen zum Zeitpunkt
des Interviews sowie für die Primärdiagnose, welche aktuell vergeben wurde, durchgeführt. Übereinstimmend mit
den Ergebnissen zu den Lebenszeitdiagnosen wurde für alle aktuellen Diagnosen auf der Basis der Oberklassen für
die Elterninterviews die Expansiven Störungen, Ticstörungen, Angststörungen, Schlafstörungen sowie der Ausschluss von psychischen Störungen (keine Diagnosen) und
auf der Basis spezifischer Störungsbereiche (Störung mit
oppositionellem Trotzverhalten, Chronische motorische
oder vokale Ticstörung, Major Depression, Dysthyme Störung, Störung mit Trennungsangst, Spezifische Phobie, Soziale Phobie, Generalisierte Angststörung und Primäre Insomnie) sehr gute Reliabilitätswerte ermittelt. Alle prozentualen Übereinstimmungen lagen über 96.21 %. Die
Kappa-Werte lagen zwischen 0.87 und 0.98 und die Yule’s
Y-Werte zwischen 0.88 und 0.98. Die Übereinstimmung
der aktuellen Diagnosen anhand der Kinderinterviews weisen für die Oberklassen (Ticstörungen, Angststörungen,
Schlafstörungen und keine Diagnosen) sowie die Störungsebene (Störung mit Trennungsangst und Spezifische Phobie) ebenfalls sehr gute Reliabilitätswerte auf. Alle prozentualen Übereinstimmungen lagen über 94.37 %. Die Kappa-Werte lagen zwischen 0.89 und 0.98 und die Yule’s
Y-Werte zwischen 0.87 und 0.97. Ausführliche Tabellen zu
den Reliabilitätsmaßen der aktuell bestehenden und der
Primärdiagnosen können bei den Autoren angefordert werden.
328
Tabelle 4
Interrater-Reliabilität des Kinder-DIPS Kinderversion (Oberklasse, Lebenszeitdiagnosen) für die gesamte Stichprobe
(N = 213)
DSM-IV-TR Oberklassen
Häufigkeiten
%
–/–
–/+
+/–
+/+
Expansive Störungen
201
0
1
11
Ticstörungen
202
6
1
4
Ausscheidungsstörungen
203
0
1
9
Affektive Störungen
191
0
2
20
Angststörungen
132
1
9
71
208
0
0
5
Essstörungen
Schlafstörungen
Keine Diagnosen
195
1
2
15
97
8
Kappa [95 % KI]
Yule’s Y
99.53
(.95) [.86, 1.00]
1.00/.96a
96.71
(.52) [.17, .87]
99.53
(.95) [.84, 1.00]
1.00/.96a
99.06
(.95) [.87, 1.00]
1.00/.96a
95.31
.90 [.84, .96]
(1.00)/(.91a) [.72, 1.00]b
100.00
.94
.94
1.00/.97a
98.59
(.90) [.79, 1.00]
.95
95.78
.92 [.86, .97]
.95
1
107
(–/+)/2)) eine Unterschätzung darstellen, sind in Klammer aufgeführt. a Pseudo-Bayes Schätzung von Kappa bzw. Y. – nicht berechenbar. KI =
Konfidenzintervalle. b Konfidenzintervall basierend auf Pseudo-Bayes Schätzung von Kappa.
Tabelle 5
Interrater-Reliabilität des Kinder-DIPS Kinderversion (Störungsebene, Lebenszeitdiagnosen) für die gesamte Stichprobe
(N = 213)
Häufigkeiten
%
–/–
–/+
+/–
+/+
210
0
1
2
207
0
0
6
208
1
0
4
Tourette-Störung
212
0
0
1
Chronische motorische oder vokale Ticstörung
208
0
1
4
Vorübergehende motorische oder vokale Ticstörung
206
1
1
5
Enuresis
204
0
1
8
211
0
0
2
Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung
Störung mit oppositionellem Trotzverhalten
Störung des Sozialverhaltens
Enkopresis
99.53
100.00
99.53
Kappa [95 % KI]
Yule’s Y
(.80) [.40, 1.00]
1.00/.90a
(1.00)/(.92a) [.76, 1.00]b
1.00/.97a
(.89) [.66, 1.00]
.93a
(1.00)/(.67a) [.00, 1.00]b
1.00/.95a
99.53
(.89) [.66, 1.00]
1.00/.93a
99.06
(.83) [.60, 1.00]
99.53
(.94) [.82, 1.00]
1.00/.96a
(1.00)/(.80a) [.36, 1.00]b
1.00/.96a
100.00
100.00
.94
Häufigkeiten
%
–/–
–/+
+/–
+/+
Major Depression
195
0
2
16
Dysthyme Störung
206
0
1
6
173
2
3
35
Störung mit Trennungsangst
Panikstörung ohne Agoraphobie
Panikstörung mit Agoraphobie
Agoraphobie ohne Panikstörung
213
0
0
0
212
0
1
0
210
1
1
1
187
0
1
25
Sozialphobie
198
1
1
13
Selektiver Mutismus
212
0
1
0
Zwangsstörung
209
0
1
3
Generalisierte Angststörung
205
0
3
5
212
0
0
1
213
0
0
0
210
0
0
3
Bulimia Nervosa
212
0
0
1
Binge Eating Disorder
212
0
0
1
Primäre Insomnie
202
0
1
10
Primäre Hypersomnie
211
1
0
1
208
0
1
4
Spezifische Phobie
Posttraumatische Belastungsstörung
Pica
Anorexia Nervosa
Schlafstörung mit Alpträumen
329
Kappa [95 % KI]
Yule’s Y
99.06
(.94) [.85, 1.00]
1.00/.96a
99.53
(.92) [.77, 1.00]
1.00/.95a
97.65
(.92 [.85, .99]
.94
100.00
–
–
100.00
–
–
99.06
(.50) [.00, 1.00]
.87
99.53
(.98 [.93, 1.00]
99.06
(.92) [.82, 1.00]
99.53
–
–
99.53
(.86) [.57, 1.00]
1.00/0.92a
98.59
(.76) [.50, 1.00]
1.00/.92a
100.00
(1.00)/(.67a) [.00, 1.00]b
1.00/.95a
100.00
–
–
100.00
(1.00)/(.86a) [.55, 1.00]b
1.00/.96a
100.00
(1.00)/(.67a) [.00, 1.00]b
1.00/.95a
100.00
(1.00)/(.67a) [.00, 1.00]b
1.00/.95a
99.53
(.95) [.85, 1.00]
1.00/.96a
99.53
(.67) [.01, 1.00]
1.00/.84a
99.53
(.89) [.67, 1.00]
1.00/.93a
1.00/.97a
.96
(–/+)/2)) eine Unterschätzung darstellen, sind in Klammer aufgeführt. aPseudo-Bayes Schätzung von Kappa bzw. Y. – nicht berechenbar. KI =
Konfidenzintervalle. bKonfidenzintervall basierend auf Pseudo-Bayes Schätzung von Kappa.
330
Tabelle 6
Fehleranalyse des Kinder-DIPS Eltern- und Kinderversion (Störungsebene, Lebenszeitdiagnosen) für die gesamte Stichprobe
Elternversion
Oberklassen (n)
Interviewfehler
Sprungregel falsch angewendet
Oberklassen (%)
Kinderversion
Oberklassen (n)
Oberklassen (%)
11
19.64
4
14.29
0
.00
0
.00
Starke Abweichung von standardisierten Fragen
1
1.79
2
7.14
Ungenügende Folgefragen zur Diagnosestellung
9
16.07
1
3.56
Protokollierungsfehler
1
1.79
0
.00
Unvollständigkeit der Befragung
0
.00
0
.00
Andere Gründe
0
.00
1
3.57
Auswertungsfehler
23
41.07
12
42.86
18
32.14
10
35.72
DSM-Kriterien falsch angewendet
Differentialdiagnostische Aspekte falsch beachtet
Unterschiedliche Symptomgewichtung
5
8.93
2
7.14
15
26.79
11
39.28
bezüglich Symptomen
9
16.07
7
25.00
bezüglich Leiden/Beeinträchtigung
6
10.71
4
14.28
Qualität der Tonaufnahme
0
.00
0
.00
Antwort wurde nicht verstanden
0
.00
0
.00
Ein Teil der Aufnahme fehlt (Qualität der Aufnahme)
0
.00
0
.00
Unterschiedliche differentialdiagnostische Bewertung
4
7.14
1
3.57
DSM-IV-TR oder Kinder-DIPS unpräzise/unklar
Total
3
5.36
0
.00
56
100.00
18
100.00
Tabelle 7
Binäre logistische Regression der vorhersagenden Wahrscheinlichkeit für übereinstimmende Diagnosestellung zwischen
zwei Interviewern in Abhängigkeit des Alters und Geschlechts des interviewten Kindes (gesamte Stichprobe, N = 213)
Prädiktor
B
SD
Odds Ratio (= eB)
95 % KI des Odds Ratio
Untere Grenze
Konstante
Wald’s χ2
.30
1.07
Obere Grenze
1.69
1.64
5.43
.08
.15
1.08
.81
1.44
.61
.26
2.04
2.09
7.69
.13
461.18
.33
.95
Alter
Geschlecht (männlich = 1, weiblich = 2)
p
Alter × Geschlecht
–.22
.18
.80
.56
1.14
.21
1.56
Anmerkungen. SD = Standardfehler; KI = Konfidenzintervall. R2 = 11.75 (Hosmer & Lemeshow), .02 (Cox & Snell), .04 (Nagelkerke). Modell
χ2(3) = 3.72, p = .29.
Tabelle 8
Binäre logistische Regression der vorhersagenden Wahrscheinlichkeit für übereinstimmende Diagnosestellung zwischen
zwei Interviewern in Abhängigkeit des Alters und Geschlechts des interviewten Kindes (nach Ausschluss der Kinder ohne
Diagnose, n = 106)
Prädiktor
B
SD
Odds Ratio (= eB)
95 % KI des Odds Ratio
Untere Grenze
p
Wald’s χ2
Obere Grenze
Konstante
.51
1.73
1.67
.77
.09
Alter
.12
.16
1.13
.83
1.52
.45
.58
Geschlecht (männlich = 1, weiblich = 2)
.88
2.29
2.40
.03
212.88
.70
.15
Alter × Geschlecht
–.15
.20
.86
.59
1.26
.44
.60
Anmerkungen. SD = Standardfehler; KI = Konfidenzintervall. R2 = 7.85 (Hosmer & Lemeshow), .03 (Cox & Snell), .05 (Nagelkerke). Modell
χ2(3) = 3.61, p = .31.
Einfluss des Alters und des Geschlechts der
interviewten Kinder
Zusätzlich wurde untersucht, ob das Geschlecht und das Alter
einen Einfluss auf die Reliabilitätswerte der Kinderinterviews haben. Die deskriptiven Vergleiche ergaben, dass das
Geschlecht keinen Einfluss auf die Reliabilitätswerte der Lebenszeitdiagnosen auf der Ebene von Oberklassen hat (ausführliche Tabellen können bei den Autoren angefordert werden). Der Vergleich der Alterskategorien (6.0–9.99 Jahre,
10.0–11.99 Jahre, älter als 12 Jahre) der Kinderinterviews
ergab für die Lebenszeitdiagnosen auf der Ebene der Oberklassen keine nennenswerten Unterschiede hinsichtlich der
Reliabilitätswerte. Die geringste prozentuale Übereinstimmung betrug über die drei Kategorien 92.86 % (Ticstörungen), der niedrigste Kappa-Wert betrug 0.86 (Schlafstörungen) und der niedrigste Yule’s Y-Wert betrug 0.75 (Expansive
Störungen). Nach Burke (1986) können diese Werte als sehr
gute Übereinstimmungen interpretiert werden. Für die spezifischen Lebenszeitdiagnosen Störung mit Trennungsangst,
Spezifische Phobie und Soziale Phobie zeigte sich deskriptiv,
dass auch hier keine Altersunterschiede in Bezug auf die Reliabilitätswerte bestehen. Die Alterskategorie der jüngsten
Kinder wurde nochmals in zwei Gruppen eingeteilt, um den
Einfluss des Alters zu untersuchen. Die Gruppe der 6.00 bis
7.99-Jährigen unterschied sich nicht nennenswert von der
Gruppe der 8.00 bis 9.99-Jährigen und die Gruppe der 6.0 bis
8.99-Jährigen unterschied sich nicht von der Gruppe der 9.0
bis 9.99-Jährigen hinsichtlich der Reliabilitätswerte. Die Interrater-Reliabilität für die Lebenszeitdiagnosen auf der Ebene der Oberklassen sowie die überprüften spezifischen Lebenszeitdiagnosen ergab gute bis sehr gute Werte (ausführliche Tabellen können bei den Autoren angefordert werden).
Die kontinuierliche Testung des möglichen Einflusses
des Alters und Geschlechts der interviewten Kinder auf die
Übereinstimmung zwischen zwei Interviewern hinsichtlich
der Diagnosestellung, wurde mittels einer binären logistischen Regressionsanalyse überprüft. Tabelle 7 können die
Ergebnisse für die Gesamtstichprobe der Kinderinterviews
(N = 213) und Tabelle 8 können die Ergebnisse der Teilstichprobe der Kinderinterviews nach Ausschluss der gesunden Kinder (N = 106), d. h. ohne Diagnosen einer psychischen Störung, entnommen werden. Die Ergebnisse verweisen darauf, dass die Wahrscheinlichkeit für eine
Diagnose-Übereinstimmung zweier Interviewer weder
durch das Alter noch durch das Geschlecht des interviewten Kindes signifikant beeinflusst wird.
Diskussion
Die Ergebnisse der vorliegenden Studie zur Interrater-Reliabilität zeigen, dass die 2. Auflage des Kinder-DIPS gute
bis sehr gute Interrater-Reliabilitäten aufweist, welche vergleichbar mit jenen der 1. Auflage des Kinder-DIPS (Un-
331
newehr et al., 1995) sind. Aufgrund der umfangreicheren
Stichprobengröße sowie der höheren Auftretenshäufigkeit
spezifischer Störungsbereiche, konnten für die vorliegende
Untersuchung im Vergleich zur Überprüfung der 1. Auflage für weitere Störungsbilder Reliabilitätsmaße berechnet
und interpretiert werden. Gute bis sehr gute Interrater-Reliabilitäten ergaben sich für die Eltern- und Kinderversion
der Kinder-DIPS-Oberklassen Expansive Störungen, Ticstörungen, Ausscheidungsstörungen, Affektive Störungen,
Angststörungen, Essstörungen und Schlafstörungen. Anhand der Kinderinterviews konnten neben der prozentualen
Übereinstimmung, welche mindestens bei 97.65 % lag, für
23 der 27 spezifischen Kinder-DIPS-Diagnosen, weitere
Übereinstimmungsmaße berechnet werden (Ausnahme:
Panikstörung ohne/mit Agoraphobie, Selektiver Mutismus
und Pica). Alle Kappa- und Y-Koeffizienten sind als gut
bis sehr gut zu interpretieren (Ausnahme: Agoraphobie
ohne Panikstörung, Kappa = 0.50). Für 21 der 29 spezifischen Diagnosen der Elterninterviews konnten neben der
prozentualen Übereinstimmung, welche mindestens bei
96.07 % lag, weitere Übereinstimmungsmaße berechnet
werden (Ausnahmen: Panikstörung ohne/mit Agoraphobie,
Selektiver Mutismus, Pica, BED, Primäre Hypersomnie,
Pavor Nocturnus und Schlafstörung mit Schlafwandeln).
Alle Kappa- und Y-Koeffizienten können als gut bis sehr
gut interpretiert werden. Der Ausschluss von psychischen
Störungen erwies sich für die Eltern- (98.86 %) und die
Kinderversion (95.78 %) ebenfalls als sehr reliabel.
Mittels der Methode der Pseudo-Bayes Schätzung (Bishop et al., 2007) konnten Kappa- und Y-Koeffizienten für
Störungsbilder mit einer zu geringen Basisrate (< 10 %)
berechnet und interpretiert werden. Nach Ausschluss der
Kinder ohne psychische Störungen konnten weitere Kappa-Koeffizienten auf der Basis von Lebenszeitdiagnosen
für spezifische Diagnosen der Eltern- und Kinderinterviews interpretiert und als sehr gut eingeschätzt werden.
Ergebnisse im Vergleich zu weiteren
deutschsprachigen klinischen Interviews
Die Interrater-Reliabilität des Kinder-DIPS kann nur bedingt mit den Gütekriterien anderer deutschsprachiger Interviews verglichen werden. Mit einem Kappa von 0.71
und einer prozentualen Übereinstimmung von 79 % liegen
ebenfalls gute Interrater-Reliabilitätsmaße der Diagnosestellung anhand des MEI (Esser et al., 1989) vor. Diese
wurden jedoch anhand von nur 34 Interviews erhoben und
bedürfen daher einer Replikation an einer größeren Stichprobe, die es auch erlaubt, für spezifische Störungsbilder
Gütekriterien zu bestimmen. Die Befunde zur Prüfung einiger Symptomskalen des CASCAP-D lassen keinen Vergleich mit der Interrater-Reliabilität des Kinder-DIPS zu,
da anhand des CASCAP-D keine Diagnosestellung erfolgt
(Döpfner, Berner, Schwitzgebel & Lehmkuhl, 1994). Aus
Mangel an publizierten Befunden zur Reliabilität der
332
Checklisten des DISYPS-II (Döpfner et al., 2008) und des
K-SADS (Delmo et al., 2001), können ebenfalls keine weitergehenden Vergleiche mit Reliabilitätsbefunden deutschsprachiger diagnostischer Verfahren berichtet werden.
Fehlerquellen
In 44 der 264 Eltern- sowie 20 der 213 Kinderinterview lag
keine Übereinstimmung zwischen zwei Interviewern in allen Lebenszeitdiagnosen vor. Als häufigste Fehlerquelle
wurde die fehlerhafte Anwendung der DSM-IV-TR-Kriterien (Auswertungsfehler) ermittelt. Über alle Interviews
betrachtet, ist die Fehlerquote jedoch relativ gering.
Da das Kinder-DIPS auf dem DSM aufbaut, kann die Reliabilitätsprüfung des Kinder-DIPS auch als Überprüfung der
Reliabilität der Diagnosekriterien des DSM-IV-TR betrachtet werden. Diese enge Verknüpfung mit dem DSM-IV-TR
machte das Kinder-DIPS abhängig von der Gültigkeit und
Veränderungen des Klassifikationssystems. Somit können
strukturierte und standardisierte Interviews lediglich so reliabel sein, wie das Klassifikationssystem auf dem sie beruhen.
Einfluss des Geschlechts und des Alters der
Kinder auf die Reliabilität
In der vorliegenden Untersuchung wurden einerseits die
Reliabilitätsmaße getrennt nach Geschlecht sowie Alterskategorien der Kinderinterviews berechnet und deskriptiv
verglichen und andererseits wurde eine binäre logistische
Regressionsanalyse mit den Kovariablen Alter und Geschlecht der interviewten Kinder berechnet. Es zeigte sich,
dass das Geschlecht des Kindes keinen Einfluss auf die Interrater-Reliabilität hat. Dieses Ergebnis steht im Gegensatz zu den Befunden von Herjanic et al. (1975), dass Mädchen reliablere Informanten sind als Jungen und bestätigt
die Ergebnisse von Edelbrock et al. (1985) und Angold et
al. (1996), wonach kein Geschlechtsunterschied für Reliabilitätswerte bzw. präzise Antworten im Rahmen diagnostischer Interviews vorhanden waren. Somit kann angenommen werden, dass die Reliabilität des Kinder-DIPS nicht
mit dem Geschlecht des Kindes in Zusammenhang steht.
Zur Anwendung von diagnostischen Interviews in Abhängigkeit vom Alter des Kindes liegen, wie oben berichtet,
unterschiedliche Befunde vor (Angold et al., 1996; Edelbrock et al., 1985; Herjanic et al., 1975; Poustka, 1988).
Dem Alter der Kinder konnte in der vorliegenden Untersuchung keine entscheidende Rolle hinsichtlich der Interrater-Reliabilitätsmaße beigemessen werden. Die prozentualen Übereinstimmungen, die Kappa- und die Y-Werte sind
für die überprüften Alterskategorien deskriptiv vergleichbar und das Alter hat keinen signifikanten Einfluss auf die
Übereinstimmung zwischen zwei Interviewern. Somit
kann das Kinder-DIPS bereits mit Kindern im Grundschulalter durchgeführt werden. Die Ergebnisse der vorliegen-
den Untersuchung stehen in Einklang mit denjenigen von
Herjanic et al. (1975), unterscheiden sich jedoch von jenen
von Angold et al. (1996), Edelbrock et al. (1985) und der
Lehrmeinung von Poustka (1988).
Bei der Rekrutierung wurde speziell darauf geachtet,
dass neben den Interviews im Rahmen des Forschungsprojekts, Kinder und Eltern aus klinisch-psychiatrischen und
schulpsychologischen Institutionen rekrutiert wurden. Der
häufige Einwand, dass strukturierte Interviews primär im
Forschungskontext reliabel durchführbar sind, kann durch
die Ergebnisse der vorliegen Studie nicht bestätigt werden.
Es zeigte sich, dass unabhängig vom Rekrutierungsort und
dem Alter der Kinder reliable Interviewergebnisse erzielt
werden konnten.
Einschränkungen
Einschränkend muss erwähnt werden, dass aufgrund kleiner Stichprobengrößen, auch nach Ausschluss von Kindern
ohne psychische Störungen, für spezifische Störungsbereiche (Elterninterviews: Tic-, Ess- und Schlafstörungen; Kinderinterviews: Tic-, Ausscheidungs- und Schlafstörungen)
eine abschließende Interpretation und Beurteilung der Interrater-Reliabilität nicht möglich ist und die Befunde als
vorläufig betrachtet werden müssen. Des Weiteren waren
die Studienbedingungen für die Teilnehmenden der drei
Teilstichproben nicht exakt identisch. Für das Forschungsprojekt wurden spezifische Alterskategorien (6- bis 12-Jährige) rekrutiert und es bestand eine Zeitvorgabe bzgl. der
Durchführung des Interviews. Diese gezielte Rekrutierung
einer bestimmten Alterskategorie sowie der Zeitdruck zur
Durchführung des Interviews bestanden in der Praxis nicht.
Weiterhin wurden alle Interviews und Gegenkodierungen
der Interviews in den beiden Praxisinstitutionen von Psychologen mit Bachelorabschluss durchgeführt. Die neun
diplomierten Psychologinnen haben lediglich im Forschungskontext Interviews geführt. Aus diesem Grund
konnte der Ausbildungsgrad bzw. die klinische Erfahrung
der Interviewer, nicht berücksichtigt und nicht analysiert
werden, ob der Ausbildungsstand mit der Interviewdauer
oder höheren Reliabilitätswerten einhergeht. Aufgrund des
standardisierten Trainings zur Durchführung des KinderDIPS, kann jedoch davon ausgegangen werden, dass alle
Interviewer einen Mindeststandard an klinischer Erfahrung
mit strukturierten Interviews aufwiesen. Weiter kann das
Fehlen von näheren Angaben zum Bildungsstand der Eltern bemängelt werden. Der Einfluss von Schul- und Berufsbildung der Eltern hinsichtlich der Reliabilität der Interviewdaten konnte daher nicht untersucht werden.
Schlussfolgerungen und Ausblick
Basierend auf den Ergebnissen kann gezeigt werden, dass das
Kinder-DIPS ein reliables Erhebungsinstrument für die Di-
agnostik psychischer Störungen sowie für den Ausschluss
psychischer Störungen im Kindes- und Jugendalter anhand
von Eltern- und Kindinformationen ist. Zudem ist die untersuchte Stichprobe der Eltern (N = 264) und Kinder (N = 213)
auch im internationalen Kontext als groß zu betrachten, die
Geschlechterverteilung der Kinder ist ausgeglichen, es wurden Interviews im Forschungskontext sowie in der Praxis
durchgeführt, ein breites Spektrum hinsichtlich des Alters der
Kinder konnte berücksichtigt werden und neben genügend
Deutschkenntnissen wurde auf weitere Ausschlusskriterien
verzichtet. Es zeigten sich gute bis sehr gute Reliabilitätsmaße, unabhängig vom Alter und Geschlecht der Kinder. Die
vorliegenden Ergebnisse und Hinweise, dass auch klinische
Beurteiler vom Einsatz strukturierter Interviews profitieren
können (Dolle, Schulte-Körne, von Hofacker, Izat & Allgaier, 2012), machen das Kinder-DIPS für die Praxis und
Forschung einsetzbar. In Anbetracht dieser Gegebenheiten
können die Ergebnisse der psychometrischen Überprüfung
des Kinder-DIPS als sehr gut beurteilt werden. Die vorliegenden Ergebnisse zur Interrater-Reliabilität sollen durch Untersuchungen zur Akzeptanz, Test-Retest-Reliabilität und zur
Validitätsprüfung (in Vorbereitung) des Kinder-DIPS ergänzt
werden. Ergebnisse zur Akzeptanz des Kinder-DIPS zeigen,
dass Kinder und ihre Eltern am Interview wieder teilnehmen
würden und sie sich durch die strukturierte Diagnostik gut
verstanden fühlen (in Vorbereitung). Ein breiter Einsatz
strukturierter Interviews erscheint daher wünschenswert und
machbar (Seehagen, Pflug & Schneider, 2012).
Abschließend soll darauf hingewiesen werden, dass
strukturierte Interviews, wie das Kinder-DIPS, eines stringenten Trainings in Durchführung und Auswertung bedürfen. Nur so kann die reliable und valide Anwendung sichergestellt werden.
Danksagung
Die Autoren danken allen Kindern und Eltern für die Teilnahme an der Studie, allen Interviewern für die Durchführung und Auswertung der Interviews sowie der Kinder- und
Jugendpsychiatrie Baselland und dem Schulpsychologischen Dienst Basel-Stadt für die Unterstützung des Forschungsprojektes.
Literatur
Ambrosini, P. (2000). Historical development and present status
of the Schedule for Affective Disorders and Schizophrenia for
School-Age Children (K-SADS). Journal of the American
Academy of Child and Adolescent Psychiatry, 39, 49–58.
American Psychiatric Association. (Eds.). (2000). Diagnostic and
Statistical Manual of Mental Disorders – Text Revision (DSMIV-TR). Washington, DC: Autor.
Angold, A. (2002). Diagnostic interviews with parents and children. In M. Rutter & E. Taylor (Hrsg.), Child and adolescent
psychiatry (4th ed., pp. 32–51). Oxford: Blackwell Science.
333
Angold, A., Erkanli, A., Costello, E. J. & Rutter, M. (1996). Precision, reliability and accuracy in the dating of symptom onsets
in child and adolescent psychopathology. Journal of Child
Psychology and Psychiatry, 37, 657–664.
Asendorpf, J. & Wallbott, H. G. (1979). Maße der Beobachtungsübereinstimmung: Ein systematischer Vergleich. Zeitschrift für
Sozialpsychologie, 10, 243–252.
Bishop, Y. M. M., Fienberg, S. E. & Holland, P. W. (2007). Discrete multivariate analysis: Theory and applications. New
York: Springer.
Bölte, S., Rühl, D., Schmötzer, G. & Poustka, F. (2005). Diagnostisches Interview für Autismus – Revidiert (ADI-R). Bern: Huber.
Breton, J.-J., Bergeron, L., Valla, J.-P., Lapine, S., Houde, L. &
Gaudet, N. (1995). Do children aged 9–11 years unterstand the
DISC version 2.25 questions? Journal of the American Academy of Child and Adolescent Psychiatry, 34, 946–956.
Burke, J. D. (1986). Diagnostic categorization by the Diagnostic
Interview Schedule (DIS): A comparison with other methods
of assessment. In J. Barrett & R. M. Rose (Eds.), Mental disorders in the community (pp. 255–285). New York: Guilford.
Cohen, J. (1960). A coefficient of agreement for nominal scales.
Educational and Psychological Measurement, 20, 37–46.
Costello, E. J., Egger, H. & Angold, A. (2005). 10-year research
update review: The epidemiology of child and adolescent psychiatry disorders: I. methods and public health burden. Journal
of the American Academy Child and Adolescent Psychiatry,
44, 972–986.
Delmo, C., Weiffenbach, O., Gabriel, M., Stadler, C. & Poustka,
F. (2001). Diagnostisches Interview. Kiddie-Sads-Present and
Lifetime Version (K-SADS-PL). Frankfurt am Main: Klinik für
Psychiatrie und Psychotherapie des Kindes- und Jugendalters.
Dolle, K., Schulte-Körne, G., von Hofacker, N., Izat, Y. & Allgaier
A.-K. (2012). Übereinstimmung von klinischer Diagnose, strukturierten Interviews und Selbstbeurteilungsfragebögen bei Depression im Kindes- und Jugendalter. Zeitschrift für Kinder- und
Jugendpsychiatrie und Psychotherapie, 40, 405–414.
Döpfner, M., Berner, W., Flechtner, H., Lehmkuhl, G. & Steinhausen, H.-C. (1999). Psychopathologisches Befund-System für Kinder und Jugendliche (CASCAP-D). Göttingen: Hogrefe.
Döpfner, M., Berner, W., Schwitzgebel, P. & Lehmkuhl, G.
(1994). Dimensionen psychischer Störungen bei Kindern und
Jugendlichen auf der Basis klinischer Beurteilungen. Zeitschrift für Kinder- und Jugendpsychiatrie, 22, 299–317.
Döpfner, M., Görtz-Dorten, A. & Lehmkuhl, G. (2008). DISYPSII. Diagnostik-System für Psychische Störungen nach ICD-10
und DSM-IV für Kinder und Jugendliche – II. Bern: Huber.
Edelbrock, C., Costello, A. J., Dulcan, M. K., Kalas, R. & Conover,
N. C. (1985). Age differences in the reliability of the psychiatric
interview of the child. Child Development, 56, 265–275.
Eschmann, S., Weber Häner, Y. & Steinhausen, H.-C. (2007). Die
Prävalenz psychischer Störungen bei Kindern und Jugendlichen unter Berücksichtigung soziodemografischer Merkmale.
Zeitschrift für Klinische Psychologie und Psychotherapie, 36,
270–279.
Essau, C., Karpinski, N. A., Petermann, F. & Conradt, J. (1998).
Häufigkeit und Komorbidität psychischer Störungen bei Jugendlichen: Ergebnisse der Bremer Jugendstudie. Zeitschrift
für Klinische Psychologie, Psychiatrie und Psychotherapie,
46, 105–124.
334
Esser, G., Blanz, B., Geisel, B. & Laucht, M. (1989). Mannheimer
Elterninterview (MEI). Weinheim: Beltz.
Herjanic, B., Herjanic, M., Brown, F. & Wheatt, T. (1975). Are
children reliable reporters? Journal of Abnormal Child Psychology, 3, 41–48.
Heubrock, D. & Petermann, F. (2005). Diagnostik in der klinischen Kinderpsychologie. In F. Petermann & H. Reinecker
(Hrsg.), Handbuch der Klinischen Psychologie und Psychotherapie (S. 178–190). Göttingen: Hogrefe.
Hilbert, A. (in press). Eating Disorder Examination für Kinder:
deutschsprachige Übersetzung. Münster: Verlag für Psychotherapie.
Ihle, W. & Esser, G. (2002). Epidemiologie psychischer Störungen im Kindes- und Jugendalter: Prävalenz, Verlauf, Komorbidität und Geschlechtsunterschiede. Psychologische Rundschau, 53, 159–169.
In-Albon, T., Dubi, K., Adornetto, C., Blatter-Meunier, J. &
Schneider, S. (2011). Neue Ansätze in der Diagnostik von
Angststörungen im Kindes- und Jugendalter und deren Gütekriterien. Klinische Diagnostik und Evaluation, 4, 133–147.
Keller, F., Grieb, J., Kölch, M. & Spröber, N. (2012). Children’s
Depression Rating Scale – Revised by E. O. Poznanski and
H. B. Mokros: Deutsche Version (CDRS-R). Göttingen: Hogrefe.
Kraemer, H. C., Measelle, J. R., Ablow, J. C., Essex, M. J., Boyce,
W. T. & Kupfer, D. J. (2003). A new approach to integrating
data from multiple informants in psychiatric assessment and
research: Mixing and matching contexts and perspectives.
American Journal of Psychiatry, 160, 1566–1577.
Lapouse, R. & Monk, M. (1959). Fears and worries in a representative sample of children. American Journal of Orthopsychiatry, 29, 803–818.
Lapouse, R. & Monk, M. (1964). Behavior deviations in a representative sample of children: Variation by sex, age, race, social
class, and family size. American Journal of Orthopsychiatry,
34, 436–446.
Merikangas, K. R., He, J., Burstein, M., Swanson, S. A., Avenevoli, S., Cui, L., . . . Swendsen, J. (2010). Lifetime prevalence
of mental disorders in U. S. adolescents: Results from the National Comorbidity Survey replication – Adolescent supplement (NCS-A). Journal of American Academy of Child and
Adolescent Psychiatry, 49, 980–989.
Mohr, C. & Schneider S. (2013). Anxiety disorders. European
Child Adolescent Psychiatry, 22(Suppl. 1), 17–22.
Poustka, F. (1988). Kinderpsychiatrische Untersuchungen. In H.
Remschmidt & M. H. Schmidt (Hrsg.), Kinder- und Jugendpsychiatrie in Klinik und Praxis (Bd. I, S. 478–511). Stuttgart:
Thieme.
Rutter, M. & Graham, P. (1968). The reliability and validity of
the psychiatric assessment of the child: I. Interview with the
child. British Journal of Psychiatry, 114, 563–579.
Schneider, S. & Adornetto, C. (2006). Standardisierte Diagnostik
mit Interviews. In F. Mattejat (Hrsg.), Lehrbuch der Psychotherapie, 4 Verhaltenstherapie mit Kindern, Jugendlichen und
deren Familien (S. 159–169). München: CIP-Medien.
Schneider, S., Suppiger, A., Adornetto, C., Unnewehr, S. & Margraf, J. (2009). Handbuch zum Kinder-DIPS. In S. Schneider,
S. Unnewehr & J. Margraf (Hrsg.), Diagnostisches Interview
bei psychischen Störungen im Kindes- und Jugendalter (Kinder- DIPS) (S. 1–62). Heidelberg: Springer.
Schneider, S., Unnewehr, S. & Margraf, J. (Hrsg.). (2009). Diagnostisches Interview bei psychischen Störungen im Kindesund Jugendalter (Kinder-DIPS) (2. aktualisierte und erweiterte
Aufl.). Heidelberg: Springer.
Schwab-Stone, M., Fallon, T., Briggs, M. & Crowther, B. (1994).
Reliability of diagnostic reporting for children aged 6–11
years: A test-retest study of the Diagnostic Interview Schedule
for Children – Revised. American Journal of Psychiatry, 151,
1048–1054.
Seehagen, S., Pflug, V. & Schneider, S. (2012). Psychotherapie
und Wissenschaft. Harmonie oder Dissonanz? Zeitschrift für
Kinder- und Jugendpsychiatrie und Psychotherapie, 40,
301–306.
Silverman, K. W. & Ollendick, T. H. (2005). Evidence-based assessment of anxiety and its disorders in children and adolescents. Journal of Clinical Child and Adolescent Psychology,
34, 380–411.
Spitznagel, E. L. & Helzer, J. E. (1985). A proposed solution to
the base rate problem in the kappa statistic. Archives of General Psychiatry, 42, 725–728.
Steil, R. & Füchsel, G. (2006). Interviews zur Posttraumatischen
Belastungsstörung bei Kindern und Jugendlichen (IBS-KJ).
Göttingen: Hogrefe.
Unnewehr, S., Schneider, S. & Margraf, J. (1995). Diagnostisches
Interview bei psychischen Störungen im Kindes- und Jugendalter (Kinder-DIPS). Berlin: Springer.
World Health Organisation (WHO). (2000). The ICD-10, classification of mental and behavioural disorders: Diagnostic criteria for research. Geneva: Autor.
Yule, G. U. (1912). On the methods of measuring association between two attributes. Journal of the Royal Statistical Society,
75, 579–642.
Manuskripteingang
Nach Revision angenommen
13. Dezember 2012
30. April 2013
Mögliche Interessenskonflikte
Die Letztautorin, Prof. Dr. Silvia Schneider, ist Mitherausgeberin des Kinder-DIPS und erhält anteilig ein Autorenhonorar vom Verlag.
Prof. Dr. Silvia Schneider
Klinische Kinder- und Jugendpsychologie
Ruhr-Universität Bochum
Universitätsstraße 150
44780 Bochum
[email protected]

Kinder-DIPS - Hogrefe eContent

Transcription

Documents pareils

App: Diagnosen auf dem Krankenschein verstehen

Tobias Hülswitt

Informationen zum Schreiben von Artikeln innerhalb des „Zeitung

Can`t buy me love« in der alten Kupferschmiede

Interviewtechnik

Konzeptionelles / methodisches Arbeiten in der Heimerziehung

Das altgriechische Alphabet

Schritt 5: Anleitung für die Durchführung gender

ProAna und Web 2.0 - Pädagogische Hochschule Ludwigsburg

Horrorvisionen und laue Sommerabende Ein Interview mit Rudeboy