Handreichung EU-KONZERT - ISB
Transcription
Handreichung EU-KONZERT - ISB
Entwicklung und Umsetzung eines Evaluationskonzeptes für die KMK-Fremdsprachenzertifikatsprüfungen zur Sicherung der Vergleichbarkeit der Standards BLK-Verbundmodellversuch Förderkennzeichen: K 0971.00 Laufzeit: 1. November 2003 – 31. Oktober 2006 Handreichung zur • Aufgabenstellung • Bewertung und • Prüfungsdurchführung Staatsinstitut für Schulqualität und Bildungsforschung, München Behörde für Bildung und Sport, Referat Berufliche Schulen, Hamburg Wissenschaftliche Begleitung: Thüringer Kultusministerium, Erfurt Gefördert durch bmb+f BLK-Modellversuch EU-KonZert Herausgeber: ISB, Staatsinstitut für Schulqualität und Bildungsforschung, Bayern Behörde für Bildung und Sport, Hamburg Thüringer Kultusministerium, Erfurt Fachhochschule Rosenheim, Fachbereich Allgemeinwissenschaften, Professor Micheál Ó Dúill, D. Phil München 2005 (Teile I und II) / 2006 (Teil III) Informationen über den BLK-Modellversuch EU-KonZert können als pdf-Datei im Internet unter http://www.beruflicheschulen-modellversuche.de/showmv.php?i=3 heruntergeladen werden. BLK-Modellversuch EU-KonZert Sehr geehrte Damen und Herren, liebe Kolleginnen und Kollegen, seit 1998 wird in den Bundesländern die Prüfung und Zertifizierung berufsbezogener Fremdsprachenkenntnisse auf der Grundlage europäischer Standards angeboten. Die Grundsätze dieser Prüfung sind in der KMK-Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung festgelegt. Im BLK-Modellversuch „EU-KonZert“ erfolgte eine Evaluation der länderspezifisch unterschiedlich ausgeprägten Prüfungen. Insbesondere wurden dabei die Aspekte Aufgabenstellung (Eignung von Aufgabentypen), Bewertung (z. B. kriterienorientierte Bewertung) und Prüfungsdurchführung (hauptsächlich mündliche Prüfungen) auch im Hinblick auf die Erfüllung der Rahmenvereinbarung vergleichend untersucht. Für die Durchführung des BLK-Modellversuches wurden folgende Inhalte und Zeitrahmen festgelegt: Phase I Gemeinsame Standardfindung bei der Aufgabenstellung Nov. 2003 – Okt. 2004 Phase II Gemeinsame Standardfindung bei der Bewertung Nov. 2004 – Okt. 2005 Phase III Gemeinsame Standardfindung bei der Prüfungsdurchführung Nov. 2005 – Okt. 2006 In der praktischen Modellversuchsarbeit wurde dabei insbesondere Wert auf die Analyse konkreter Prüfungsbeispiele aus verschiedenen Bundesländern gelegt. Dabei wurden auch nicht direkt am Modellversuch beteiligte Länder einbezogen, um in möglichst vielen Fällen das vorhandene Expertenwissen aufzugreifen, zu systematisieren und nachhaltig verfügbar zu machen. Ziel der Untersuchung war es, aus den erhaltenen Daten Best-practice-Beispiele zu extrahieren sowie für die Prüfungsanbieter Konzepte in Form von Kriterienkatalogen und dokumentierten Prozessabläufen für eine weiterentwickelte Zertifizierungsarbeit zu erstellen. Natürlich ist dieser Prozess „a work in progress“, der auch nach Beendigung des BLKModellversuches nicht abgeschlossen sein kann. Eine länderübergreifende Weiterarbeit erscheint allen Beteiligten sinnvoll und notwendig. Der BLK-Modellversuch verstand sich als ein Beitrag zur Qualitätssicherung des KMKFremdsprachenzertifikats. Er wurde als Verbundmodellversuch der Länder Bayern, Hamburg und Thüringen durchgeführt. Diese drei Länder repräsentierten den bundesweiten Querschnitt hinsichtlich verschiedener Formen von Verwaltung und Schulorganisation (Flächenstaat, Stadtstaat, neues Bundesland) und deckten gleichzeitig eine erhebliche Zahl der durchgeführten Zertifikatsprüfungen im Bundesgebiet ab. Wir möchten uns noch einmal auf diesem Wege bei unseren Teams und den Teilnehmern aus allen Bundesländern bedanken, die aktiv und konstruktiv an den Workshops mitgewirkt haben. Dank gilt auch Frau Maike Engelhardt, der Fachhochschule Rosenheim, der Bund-LänderKommission, der KMK als auch dem Bundesministerium für Bildung und Forschung, ohne die dieses unseres Erachtens sehr präsentable Ergebnis nicht möglich gewesen wäre. * Wir hoffen, mit dieser Handreichung allen Aufgabenerstellern und Prüfern einen Leitfaden an die Hand zu geben, der als praktische Orientierungshilfe zur erfolgreichen Durchführung von KMK-Fremdsprachenzertifikatsprüfungen dienen kann und gleichzeitig einen Beitrag zur Standardsicherung darstellt. Mit freundlichen Grüßen die EU-KonZert-Lenkungsgruppenmitglieder Andrea Nolte (Thüringen), Josef Biro und Jan Mayer (Bayern), Micheál Ó Dúill (Fachhochschule Rosenheim) und Manfred Thönicke (Hamburg) * Anm.: Die im Text dieser Handreichung verwendeten Personenbezeichnungen gelten für beide Geschlechter. Seite 1 BLK-Modellversuch EU-KonZert: Inhaltsverzeichnis Inhaltsverzeichnis Teil I: Aufgabenstellung 1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 Micheál Ó Dúill, Wissenschaftliche Begleitung, Fachhochschule Rosenheim: „Stellenweise klar.“ Randbemerkungen zu einer zentralen Aufgabe Einführung Deskriptoren des Referenzrahmens und des KMKFremdsprachenzertifikats Fremdsprachliche Kompetenzmodelle Berufsbezogener Fremdsprachenunterricht und Leistungsmessung Bisherige Handreichungen vor und nach Novellierung der Rahmenvereinbarung Testkonstrukt Der BLK-Modellversuch EU-KonZert Ausblick Seite 7 7 8 9 10 11 12 14 15 Empfehlungen zur Aufgabenstellung Kompilation und Kommentierung von Aufgaben bzw. Aufgabenstellungen von Maike Engelhardt, Fachhochschule Rosenheim 17 2.1 Anforderungsbereiche 17 2.2 2.2.1 Rezeption Dokumentation der Workshops 18 19 Rezeption 1: Hörverstehen Best-practice-Beispiele Rezeption 1: Hörverstehen Stufe I (Waystage, A2) Beispiel 1: Gastgewerbe Beispiel 2: Gastgewerbe Beispiel 3: Bankkaufleute Stufe II (Threshold, B1) Beispiel 4: Einzelhandelskaufleute Beispiel 5: Automobilkaufleute Beispiel 6: Gastgewerbe Stufe III (Vantage, B2) Beispiel 7: Gastgewerbe Beispiel 8: Fachangestellte für Medien- und Informationsdienste Beispiel 9: Gastgewerbe 19 20 20 21 22 24 25 26 28 29 31 32 34 36 Rezeption 2: Leseverstehen Best-practice-Beispiele Rezeption 2: Leseverstehen Stufe I (Waystage, A2) Beispiel 10: Gastgewerbe Beispiel 11: Fachangestellte für Medien- und Informationsdienste Beispiel 12: Gastgewerbe Stufe II (Threshold, B1) Beispiel 13: IT-Fachleute Beispiel 14: Fachangestellte für Medien- und Informationsdienste Beispiel 15: Gastgewerbe 38 38 39 39 41 42 43 43 45 48 2 2.2.2 2.2.3 Seite 2 BLK-Modellversuch EU-KonZert: Inhaltsverzeichnis 2.2.4 2.3 2.3.1 2.3.2 2.3.3 2.4 2.4.1 2.4.2 2.4.3 Stufe III (Vantage, B2) Beispiel 16: Gastgewerbe Beispiel 17: Automobilkaufleute Beispiel 18: Reiseverkehrskaufleute Aufgabentypologie Rezeption 1 und 2 Seite 51 52 54 56 57 Produktion Dokumentation der Workshops Best-practice-Beispiele Produktion Stufe I (Waystage, A2) Beispiel 19: Bürokaufleute Beispiel 20: Fachangestellte für Medien- und Informationsdienste Beispiel 21: Gastgewerbe Stufe II (Threshold, B1) Beispiel 22: Bankkaufleute Beispiel 23: IT-Fachleute Beispiel 24: Gastgewerbe Stufe III (Vantage, B2) Beispiel 25: Bankkaufleute Beispiel 26: Speditionskaufleute Beispiel 27: Gastgewerbe Aufgabentypologie Produktion 58 58 59 59 60 62 63 64 64 65 65 66 66 66 69 70 Mediation Dokumentation der Workshops Best-practice-Beispiele Mediation Stufe I (Waystage, A2) Beispiel 28: Gastgewerbe Beispiel 29: IT-Fachleute Beispiel 30: Gastgewerbe Stufe II (Threshold, B1) Beispiel 31: IT-Fachleute Beispiel 32: Technische Zeichner Beispiel 33: Arzthelferinnen Stufe III (Vantage, B2) Beispiel 34: Verlagskaufleute Beispiel 35: Fachangestellte für Medien- und Informationsdienste Beispiel 36: Reiseverkehrskaufleute Aufgabentypologie Mediation 71 71 72 72 72 73 73 74 75 77 79 80 81 82 82 83 Seite 3 BLK-Modellversuch EU-KonZert: Inhaltsverzeichnis Teil II: Bewertung 1 1.1 1.2 1.3 1.4 1.5 1.6 2 2.1 2.1.1 2.1.2 2.1.3 2.1.4 2.1.5 2.1.6 2.1.7 2.2 2.3 Micheál Ó Dúill, Wissenschaftliche Begleitung, Fachhochschule Rosenheim „Mark my Words.“ Bewertung in der Diskussion Einführung Definitionen Bewertung Korrekturaufgabe vollständig gelöst? Einige Empfehlungen der Fachwelt Envoi Bewertung von Prüfungsaufgaben Gemeinsame Standardfindung in der Phase II des BLKModellversuches EU-KonZert Dokumentation und Zusammenfassung der Ergebnisse von Maike Engelhardt Arbeit in den Workshops Arbeitsansatz Durchführung Ergebnissicherung 1. Workshop in München (Dezember 2004) 2. Workshop in Hamburg (Januar 2005) 3. Workshop in Bad Berka Abschlussworkshop in München (Juni 2005) Zusammenfassung der Ergebnisse der Phase II des BLKModellversuches EU-KonZert Anhang a. Prüfungsaufgaben mit Schülerlösungen b. Bewertungsbogen der Workshopteilnehmer, Workshops 1-3 c. Bewertungsbögen der Workshopteilnehmer, Workshop 4 d. Deskriptoren für sprachproduktive Leistungen, zweispaltig, Stufe 1-3 e. Deskriptoren für schriftliche mediative Leistungen, einspaltig, Stufe 1-3 Seite 4 Seite 84 84 85 87 90 94 97 99 99 100 101 102 103 104 105 107 110 111 112 116 117 119 122 BLK-Modellversuch EU-KonZert: Inhaltsverzeichnis Teil III: Prüfungsdurchführung 1 1.1 1.2 1.3 1.4 1.5 1.6 2 2.1 2.1.1 2.1.2 2.1.2.1 2.1.2.2 2.1.2.3 2.1.2.4 2.1.2.5 2.1.3 2.1.3.1 2.1.3.2 2.1.3.3 2.1.3.4 2.1.4 2.2 Micheál Ó Dúill, Wissenschaftliche Begleitung, Fachhochschule Rosenheim "Now you’re talking!" Überlegungen zu mündlichen Sprachprüfungen "Oh, now come I? Yes, …" Einige weitere Definitionen Aufgabenstellung Prüfungsdurchführung Bewertung "Oh, and another thing I wanted to say was…" Götz Reuter, ISB München Eine prozessorientierte Betrachtung der Workshops des BLKModellversuchs EU-KonZert zum mündlichen Teil der KMK–Fremdsprachenzertifikatsprüfung Die ersten drei Workshops Ausgangslage: Die Durchführungspraxis der mündlichen Prüfung in den Ländern Analyse der Aufgabenstellung Aspekte der Aufgabenstellung in Bad Berka Aspekte der Aufgabenstellung in München Aspekte der Aufgabenstellung in Hamburg Aspekte der Aufgabenstellung im abschließenden Workshop in Bad Berka Überblick: Desiderata zur Standardsicherung mündlicher Prüfungspraxis Erprobung und Weiterentwicklung der Bewertungsinstrumente Aspekte der Bewertungsinstrumente in Bad Berka Aspekte der Bewertungsinstrumente in München Aspekte der Bewertungsinstrumente in Hamburg Aspekte der Bewertungsinstrumente im abschließenden Workshop in Bad Berka Entwicklung von Best-Practice Beispielen Anhang Anlage 1: Bewertungsinstrumente (Auswertungsbogen) Anlagen 2, 3 und 4: Einzelauswertung Bewertungsinstrumente Interaktion Anlage 5: Best-Practice Beispiele Anlage 6: Beispiele für Operatoren Anlage 7: Die Bewertungsinstrumente Hinweise zu den Deskriptoren Deskriptoren für Stufe I (A2) Deskriptoren für Stufe II (B1) Deskriptoren für Stufe III (B2) Seite 5 Seite 125 125 128 131 134 137 140 147 147 148 150 150 153 154 155 156 159 159 160 162 163 164 166 166 167 169 189 190 190 191 192 193 BLK-Modellversuch EU-KonZert: Inhaltsverzeichnis Teil IV: Rück- und Ausblick 1 2 2.1 2.2 2.3 2.4 2.4.1 2.4.2 2.4.3 3 4 5 6 Anhang Micheál Ó Dúill, Wissenschaftliche Begleitung, Fachhochschule Rosenheim Rück- und Ausblick Ausgangsbasis für den BLK-Modellversuchsantrag Anderweitige Forschungsergebnisse im Bereich der Testtheorie seit Antragstellung Allgemeine Abhandlungen zur Leistungsmessung und zum Testen im Bereich des Fremdsprachenerwerbs Diskussionen um den Gemeinsamen europäischen Referenzrahmen und Bildungsstandards der Kultusministerkonferenz Einzelveröffentlichungen zu Teilaspekten des Testens Reihen zum Sprachtesten, Fachzeitschriften und internationale Organisationen Bücherreihen Fachzeitschriften Internationale Organisationen Gesellschaftspolitische Entwicklung der Wahrnehmung und Wertung bestimmter testtheoretischer Ansätze und Reaktionen der Kultusministerkonferenz auf Ergebnisse internationaler Erhebungen Ziele des BLK-Modellversuches, wie diese im Antrag formuliert wurden Weiterentwicklung der Ziele und Ergebnisse, die während der Laufzeit des BLK-Modellversuchs erarbeitet wurden Zukünftige Entwicklungsmöglichkeiten für die KMKFremdsprachenzertifikatsprüfungen Seite 194 194 196 197 197 197 198 198 199 199 199 202 203 206 1 Die Rahmenvereinbarung zum KMK-Fremdsprachenzertifikat 210 2 Das Zertifikat Das Deckblatt (Seite 1) Angaben zur Person, erreichte Punktzahl (Seite 2) Die Stufenbeschreibungen in deutscher Sprache (Seite 3) Die Stufenbeschreibungen in englischer Sprache (Seite 4) 214 214 215 216 217 3 Angaben zum BLK-Modellversuch, Ansprechpartner, Kontaktmöglichkeiten 218 4 Die am BLK-Modellversuch beteiligten Personen und Länder 219 5 Literaturverzeichnis 220 Seite 6 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Stellenweise klar“ I.1 „Stellenweise klar.“ Randbemerkungen zu einer zentralen Aufgabe Micheál Ó Dúill, Wissenschaftliche Begleitung, Fachhochschule Rosenheim Die Kunst schließt sich in ihren einzelnen Werken ab; die Wissenschaft erscheint uns grenzenlos. Goethe, Materialien zur Geschichte der Farbenlehre (‚Hamburger Ausgabe’ XIV: 40) 1.1 Einführung Die drei Stufen des Fremdsprachenzertifikates, das an beruflichen Schulen in Deutschland erworben werden kann, orientieren sich, seit 1998 eine entsprechende Rahmenvereinbarung von der Kultusministerkonferenz beschlossen wurde, an Stufen des Gemeinsamen europäischen Referenzrahmens für Sprachen (Trim et al. 2001: Gemeinsamer europäischer Referenzrahmen für Sprachen: lernen, lehren, beurteilen (GeR)): 1. Grundsatz Berufliche Schulen können auf freiwilliger Basis – unabhängig von einer Benotung im Zeugnis – eine Prüfung anbieten, in der sich Schülerinnen und Schüler ihre Fremdsprachenkenntnisse zertifizieren lassen können. 2. Prüfungsniveau und Berufsbezug Die Prüfung wird jeweils in einer der drei Stufen I, II oder III durchgeführt. Sie orientieren sich an den Stufen „A2 (Waystage)“ (Stufe I), „B1 Threshold“ (Stufe II) und „B2 (Vantage)“ (Stufe III), die vom Europarat im „Gemeinsamen europäischen Referenzrahmen für Sprachen: Lernen, Lehren, Beurteilen“ aufgeführt werden. (Zitiert nach der gegenwärtig gültigen Fassung der Rahmenvereinbarung, Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland 2002b: 32; Abdruck der ersten, aus dem Jahr 1998 stammenden Fassung in Brandenburg 1999: 6) Hiermit wurde die bildungspolitische Bedeutung des Gemeinsamen europäischen Referenzrahmens vom deutschen berufsbildenden Schulwesen zu einer Zeit erkannt, in der er zwar bereits von den Mitgliedern des Europarates verabschiedet worden (1997), das Werk und seine deutsche Übersetzung jedoch noch nicht im Verlagswesen erschienen waren (Council of Europe 2001; Trim et al. 2001). Im ersten Teil dieser Handreichung wird erörtert, wie der BLKModellversuch EU-KonZert, der sich der Evaluierung der KMK-Fremdsprachenzertifikatsprüfungen widmet, aus dem gegenwärtigen Diskurs zum Wissenschaftsbereich Sprachtesten entstand und wie die Durchführung seiner ersten Phase innerhalb dieses wissenschaftlichen Diskurses einzuordnen ist. Der zweite Teil dieser Handreichung enthält Empfehlungen zur Aufgabenstellung, die auf der Grundlage der Ergebnisse dieser ersten Arbeitsphase des Modellversuchs entstanden. Im Jahr 2002 ist die Rahmenvereinbarung der Kultusministerkonferenz in überarbeiteter Fassung erschienen, und der Gemeinsame europäische Referenzrahmen liefert seit seinem Erscheinen in Buchform „durch die erstaunlich große Anerkennung, die er gefunden hat, die Grundlage für eine auch international transparente Zertifizierung von Fremdsprachenkenntnissen“ (Abel 2003: 18-19). Eine schriftliche Betriebsbefragung von 20 niederbayerischen Betrieben ergab 2000, dass 24% der Beauftragten einen Facharbeiter mit KMK-Fremdsprachenzertifikat Seite 7 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Stellenweise klar“ „bevorzugt“ einstellen würden (Wagner 2000: 53); noch interessanter ist das Ergebnis der persönlichen Gespräche, die ergaben, dass „dem Kandidaten mit Zertifikat der Vorzug gegeben werden“ würde, falls die Situation eintrete, dass sich zwei gleichermaßen qualifizierte Facharbeiter für einen Arbeitsplatz bewerben, der eine das Zertifikat hat, der andere aber nicht (ibid.: 54). 1.2 Deskriptoren des Referenzrahmens und des KMK-Fremdsprachenzertifikats Basiert der Referenzrahmen auf der Beschreibung von Kompetenzstufen und wurden in Anlehnung hieran bei der Rahmenvereinbarung der Kultusministerkonferenz ähnliche Deskriptoren für die Verwendung von Fremdsprachen im beruflichen Bereich entworfen, so gilt es bei einer Handreichung zur Erstellung von Prüfungsaufgaben, die Rolle der Unterscheidungen zwischen den diversen Kompetenzstufen in Erinnerung zu rufen. Zunächst soll betont werden, dass die Erarbeitung der Deskriptoren der Referenzniveaus als Kern des Referenzrahmens angesehen wird: Zweifelsohne machen das Herzstück des Referenzrahmens die empirisch abgesicherten Skalen bzw. Niveaustufenbeschreibungen des Referenzsystems aus […] Dies schafft Transparenz, Kohärenz und Vergleichbarkeit. (Bausch 2003: 29) Es ist […] das Verdienst des Referenzrahmens, […] Sprachkenntnisse relativ genau und konkret nach sprachlicher Handlungsfähigkeit einschätzen zu können. (Freudenstein 2003: 80) An den Niveaustufen kommt kein neu zu erstellender Test vorbei (Kleppin 2003: 109). Die Skalierung fremdsprachlicher Handlungen und ihre Abstufung in sechs Kompetenzniveaus […] eröffnet der Fremdsprachendidaktik […] die Möglichkeit, bei der Beurteilung von Lernfortschritt und Leistung von der Fixierung auf den „Fehler“ wegzukommen […] und auf das einzugehen, was Lernende schon erreicht haben und mit der Fremdsprache konkret tun können (Neuner 2003: 142). Ein […] Werk […], dessen Bedeutung […] für anzustrebende Zielsetzungen sowie für Formen und Inhalte der darauf bezogenen Leistungsmessung (achievement testing) und Fähigkeitsüberprüfung (proficiency testing) nicht hoch genug eingeschätzt werden kann (Vollmer 2003a: 198). Es gibt zwar kritische Stimmen zum Stellenwert der im Referenzrahmen entwickelten Deskriptoren: Dieser Versuch einer Eichung, eines auf ein genaues Maß Bringens, kann einem komplexen Phänomen wie dem der Sprachverwendung und des Sprachenlernens nicht gerecht werden (Schocker-v. Ditfurth (2003: 165). Es überwiegen jedoch die Stimmen, die den Wert des Unternehmens vor solchen Angriffen schützen wollen: Like any attempt to capture language performance in terms of language, the specifications, or ‘descriptors’ as they are called, cannot be absolutely precise (Morrow 2004: 8). Diese Entwicklung von Deskriptoren zum Erfassen der nach Stufen gegliederten Sprachkompetenzen ist als Beitrag zu den Bemühungen um eine Standardsicherung in der Vermittlung von Fremdsprachen anzusehen. Der Beitrag des Referenzrahmens bei dieser Diskussion um Standardsicherung wird allgemein anerkannt: Seite 8 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Stellenweise klar“ The meaning of ‘standards’ as ‘levels of proficiency’ or ‘levels certified by public examinations’ […] has received new impetus […] with the publication of the Council of Europe’s Common European Framework […]. The ability of a transparent, independent framework like the Common European Framework is crucial to the attempt to establish a common scale of reference and comparison (Alderson / Banerjee 2001: 219-220) 1.3 Fremdsprachliche Kompetenzmodelle Analog zur vom Europarat unterstützten Diskussion erhoben sich Stimmen in Deutschland, die das Fehlen gemeinsamer Standards bei schulischen Sprachtests bemängelt haben (Vergl. Alderson / Banerjee 2001: 219 zu Kieweg 1999; Zydatiß 2002: 89). Doch nicht nur im Bereich des Fremdsprachenunterrichts gewinnt die Frage der Standards an Brisanz: Aufgaben der näheren Zukunft sind vor allem die fachdidaktische Vertiefung in Kompetenzmodellen, die Festlegung von Mindeststandards, die Entwicklung von Aufgabenpools und Testverfahren sowie die Implementation an den Schulen (Klieme et al. 2003: 10). In einem Anhang der soeben zitierten, von dem deutschen Bundesministerium für Bildung und Forschung in Auftrag gegebenen Expertise zur Entwicklung nationaler Bildungsstandards wird der Gemeinsame europäische Referenzrahmen als Beispiel für eine weitere Entwicklung von Kompetenzmodellen präsentiert: Der Referenzrahmen […] systematisiert Dimensionen und Stufen sprachlicher Handlungsfähigkeit, konkretisiert sie durch verhaltensnahe Deskriptoren und ist so eine gute Ausgangsbasis für die Entwicklung von Aufgaben, Tests und anderen Prüfungsverfahren, mit denen die Sprachkompetenzen einzelner Personen eingeschätzt werden können (ibid.: 147). In diesen Zusammenhang passen die Bemühungen der Kultusministerkonferenz, Fremdsprachenzertifikatsprüfungen an beruflichen Schulen Deutschlands einzuführen. Diese Bemühungen leiten sich von der Anregung ab, den Referenzrahmen als Versuch anzusehen, „[...] Lernende und Lehrende, Autoren von Sprachkursen, Prüfungsanbieter und die Bildungsverwaltung dabei zu unterstützen, ihre Bemühungen in diesen Rahmen einzubetten und zu koordinieren“ (Trim et al. 2001: 18). (Nicht uninteressant in diesem Zusammenhang dürfte sein, dass sich die deutsche Übersetzung des Referenzrahmens dafür entscheidet, hier den Stellenwert des Referenzrahmens nochmals explizit hervorzuheben („in diesen Rahmen einzubetten“), heißt es doch in der englischen Originalfassung an dieser Stelle lediglich: „assist learners, teachers, course designers, examining bodies and educational administrators to situate and co-ordinate their efforts“ [Council of Europe 2001: 6].) Entscheidend für eine ausgewogene Beurteilung der Möglichkeiten, die sich dem Fremdsprachenunterricht durch Berücksichtigung des Referenzrahmens anbieten, ist die Erkenntnis, dass der Referenzrahmen ausdrücklich nie einengend präskriptiv konzipiert wurde, sondern dass seine Vertreter vielmehr stets eine wissenschaftlich fundierte Pluralität der Ansätze anregen: Die Erstellung eines umfassenden, transparenten und kohärenten Referenzrahmens für das Lernen und Lehren von Sprachen bedeutet nicht, dass allen Beteiligten ein einziges, einheitliches System aufgezwungen werden soll. Ganz im Gegenteil sollte der Referenzrahmen offen und flexibel sein, damit er in allen spezifischen Situationen eingesetzt werden kann – wenn nötig natürlich mit entsprechenden Anpassungen (Trim et al. 2001: 20) Seite 9 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Stellenweise klar“ (so that it can be applied, with such adaptations as prove necessary, to particular situations [Council of Europe 2001: 7]). The Manual […] does not prescribe any single approach to constructing language tests or examinations. […] The CEF […] accepts that different examinations [sic!] reflect various goals (“constructs”) (North et al. 2003: 1) 1.4 Berufsbezogener Fremdsprachenunterricht und Leistungsmessung In den 1990er Jahre wurde an verschiedenen Stellen in Deutschland angeregt, den Berufsbezug im Fremdsprachenunterricht stärker zu betonen. So argumentieren zum einen Forscher des Instituts der deutschen Wirtschaft in Köln auf Grund einer Firmenbefragung: Eine berufsbezogene Fremdsprachendidaktik, die zur Zeit noch in weiten Teilen fehlt, sollte auf das Ziel der beruflichen Handlungsfähigkeit abgerichtet sein (Schöpper-Grabe / Weiß 1998: 126). Zur gleichen Zeit plädieren zwei Modellversuchskoordinatorinnen zum Fremdsprachenpflichtunterricht in der Berufsschule dafür, dass in der Schulrealität eine „Praxisorientierung des Englischunterrichts […] zu gewährleisten“ sei (Weidinger / Träger 1998: 40). Sobald der Ruf nach einem berufsbezogenen und praxisorientierten Fremdsprachenunterricht erklingt, ist man der Frage eine Antwort schuldig, wie eine Leistungsmessung dieser Anforderungen vorzunehmen sei. Damit befindet man sich gleich mitten in der kontrovers geführten Diskussion, ob und wie in der fremdsprachlichen Leistungsmessung Sprachkenntnisse und Fachwissen zueinander in Beziehung zu setzen seien. Hierzu bezieht Douglas unter Verwendung des englischsprachigen Begriffes ‘language for specific purposes’ (LSP) klar Stellung: „In LSP testing, […] background knowledge is a necessary, integral part of the concept of specific purpose language ability” (Douglas 2000: 2). Im gleichen Jahr vertritt Alderson die Meinung, das Vorhandensein von Fachwissen dürfe höchstens für die Leistung in einer Sprachprüfung förderlich sein, solle aber nicht als Voraussetzung gelten („every attempt should be made to allow background knowledge to facilitate performance rather than its absence to inhibit“ [Alderson 2000: 121]. Im Jahr darauf scheint Alderson mit seiner Kollegin Banerjee in einem Aufsatz, der den entsprechenden internationalen Forschungsstand zusammenfasst („state-ofthe-art review“) mehr auf die Douglas’sche Meinung einzuschwenken: The interaction between language knowledge and specific content knowledge […] is perhaps the most crucial difference between general purpose testing and LSP testing, for in the former, any sort of background knowledge is considered to be a confounding variable that contributes construct-irrelevant variance to the test score. However, in the case of LSP testing, background knowledge constitutes an integral part of what is being tested, since it is hypothesised that test takers’ language knowledge has developed within the context of their academic or professional field (Alderson / Banerjee 2001: 222). Hat man diesen grundsätzlichen Unterschied zwischen Sprachtests, die allgemeine Sprachkenntnisse und denen, die fachbezogene Sprachkenntnisse prüfen wollen, akzeptiert, gilt es der Frage nachzugehen, ob diese Unterscheidung eine Auswirkung auf die jeweils geeigneten Prüfungsformen hat. In ihrer Übersicht zu Sprachtesttypen stellen Grotjahn und Klein-Braley fest, dass kommunikative Performanztests verglichen z. B. mit Wissenstests aufgrund ihrer größeren Wirklichkeitsnähe zumindest in bezug auf bestimmte Zielsetzungen eine Reihe von Vorteilen [haben]. Dies ist insbesondere der Fall, wenn Sprache für geSeite 10 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Stellenweise klar“ nau spezifizierte berufsbezogene Aufgaben […] eingesetzt werden soll (Grotjahn / Klein-Braley 2001: 296). Der beabsichtigte Berufsbezug der KMK-Fremdsprachenzertikatsprüfungen wird in der entsprechenden Rahmenvereinbarung festgeschrieben: Je Stufe soll die Prüfung differenziert nach den Erfordernissen der verschiedenen Berufsbereiche, wie zum Beispiel - kaufmännisch-verwaltende Berufe - gewerblich-technische Berufe - gastgewerbliche Berufe - sozialpflegerische, sozialpädagogische Berufe durchgeführt werden. Innerhalb der Berufsbereiche können weitere berufsbezogene Konkretisierungen vorgenommen werden (Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland 2002b: 32). 1.5 Bisherige Handreichungen vor und nach Novellierung der Rahmenvereinbarung Zur Rahmenvereinbarung entstanden in verschiedenen Bundesländern Handreichungen zu den Zertifikatsprüfungen, die als Hilfeleistung für Aufgabenersteller und Korrektoren Empfehlungscharakter besitzen sollten. Der Berufsbezug des KMK-Zertifikats findet entsprechend der Formulierungen der Rahmenvereinbarung seinen Niederschlag in einer der ersten dieser Handreichungen. Hier heißt es zu den schriftlichen Prüfungen: Die Aufgaben sollen möglichst typische Problemstellungen der beruflichen Praxis repräsentieren und kommunikativen Charakter haben. Das entscheidende Erfüllungskriterium einer Aufgabenlösung ergibt sich damit aus der Frage, ob die Kommunikationsaufgabe realisiert worden ist oder nicht (Brandenburg 1999: 22). Bei den mündlichen Prüfungen wird angeregt: Da diese Prüfung vorrangig berufliche bzw. berufsrelevante Qualifikationen in der Fremdsprache attestiert, gehen die Inhalte der mündlichen Prüfung ebenfalls über allgemeinsprachliche Bereiche hinaus. Sie können berufsweltbezogen sein, sind im Regelfall jedoch ausgerichtet auf das Berufsbild des Prüflings. Die Rollenspielen zugrunde liegenden Situationen und die vorgelegten Materialien sind realitätsnah und möglichst authentisch. Sie entsprechen dem Leistungsniveau der entsprechenden Stufe I, II oder III (idem.: 30). Was es bedeutet, die allgemein gehaltenen Deskriptoren des Referenzrahmens auf berufsspezifische Kontexte anzuwenden, wird in einer neueren Handreichung klar und detailliert erörtert: Die in der KMK-Vereinbarung vorgenommenen Formulierungen zu den einzelnen Stufen (und Kompetenzbereichen) müssen als Versuch angesehen werden, die sehr ausführlich beschriebenen Kriterien des Referenzrahmens in möglichst knapper und damit handhabbarer Weise auf berufsrelevante Fremdsprachenkompetenz anzuwenden (Hessisches Kultusministerium 2003: 8). Eine frühe Konsequenz aus der soeben skizzierten Problematik war, dass 2001 in einer Evaluation gegenüber der ersten Fassung der Rahmenvereinbarung eine veränderte Gewichtung der Kompetenzbereiche vorgeschlagen wurde. In der ursprünglichen Fassung von 1998 wurde diese Gewichtung für die schriftliche Prüfung wie folgt festgehalten: „Rezeption ca. 50%, Produktion ca. 20%, Mediation ca. 30%“ (zitiert nach Brandenburg 1999: 7). Die 2001 in der Evaluation neu empfohlene Gewichtung lautet „Rezeption ca. 40%, Produktion ca. 30%, Mediation ca. 30%“ (Brandenburg 2001: 13). Dieser Vorstoß wird damit begründet, dass „die modifizierte Gewichtung […] eine flexiblere Anpassung an Einzelberufe“ erlaube Seite 11 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Stellenweise klar“ (ibid.). In der neuen Fassung des Beschlusses der Rahmenvereinbarung wird die vorgeschlagene Neugewichtung übernommen: Im Rahmen der schriftlichen Prüfung sollen die Aufgabenteile für die drei Kompetenzbereiche wie folgt gewichtet werden: - Rezeption 40% - Produktion 30% - Mediation 30% Eine Abweichung von jeweils bis zu 10 Prozent-Punkten ist möglich (Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland 2002b: 3). In der hessischen Handreichung wird festgestellt, dass „nicht immer zufrieden stellende Abgrenzungen zwischen den drei Stufen erreicht werden können“ (Hessisches Kultusministerium 2003: 8). Dass die Anwendung von Deskriptoren im Prozess des Lehrens und Beurteilens von Fremdsprachen eine größere Herausforderung bedeutet, ist schon länger bekannt: Since the empirical status of the task-skills hierarchies described in rating scale descriptors remains unconfirmed, further research is clearly required to establish the extent to which it is possible to link scale descriptors directly to test performance (Brindley 1998: 126). Die empfundene Schwierigkeit bei der Zuordnungsschärfe der Deskriptoren der verschiedenen Stufen beruht im Bereich des berufsbezogenen Fremdsprachenunterrichts auf dem Zusammenspiel der Faktoren Authentizität und Fachbezug. Douglas, den wir oben als Verfechter eines fachbezogenen Fremdsprachenunterrichts erlebt haben, setzt eindeutig auf Authentizität als Garant eines Fachbezuges: „The test task […] must be authentic for it to represent a specific purpose field in any measurable way“ (Douglas 2000: 6). Doch es stellt sich die Frage, ob sich das Verhältnis zwischen den Bereichen Authentizität, Fachwissen und Sprachkompetenz so eindeutig beschreiben lässt. Zu dieser Frage wird in der hessischen Handreichung festgestellt: Die Schwierigkeit besteht darin, dass berufstypische Texte – vor allem, wenn es sich um authentische Texte handelt – häufig komplex sind und sich ggf. auch durch eine Häufung von Fachterminologie auszeichnen. […] Lösen lässt sich dieses Problem häufig nur durch die Aufgabe des Anspruchs an Authentizität und manchmal auch durch die Art der Aufgabenstellung (Hessisches Kultusministerium 2003: 8). Doch es gibt sogar Stimmen, welche behaupten, dass auf höheren Kompetenzniveaus die Bedeutung von Fachwissen wieder absinke: Only at certain levels of proficiency does subject knowledge help to compensate for lack of proficiency, and once proficiency advances again, subject knowledge becomes less important” (Fulcher 1999: 232, zitiert nach Grotjahn 2000: 15). 1.6 Testkonstrukt Eine zentrale Rolle bei der Erstellung von Testaufgaben spielt das Konzept des Testkonstrukts: „the construct is what our test is measuring, and this determines what our scores mean“ (Buck 2001: 95). Der Begriff des Konstruktes kann Aufgabenersteller dafür sensibilisieren, ob die gestellten Aufgaben Fähigkeiten von den Prüfungsteilnehmern verlangen, die irrelevant sind und zu einer Verzerrung der Testergebnisse führen können: When we think of construct-irrelevant abilities we need to be aware of whether or not they cause variance – which is […] the extent to which the test-takers are spread out from the average (ibid.: 100). Seite 12 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Stellenweise klar“ Leicht ist die Wahl einer Aufgabe keineswegs, denn: „we have no way of knowing for certain which competencies are required for any particular task“ (ibid.: 106). Beim Feststellen berufsbezogener Fremdsprachenkenntnisse wie bei den KMK-Zertifikatsprüfungen allerdings besteht die Möglichkeit, mit der Durchführung einer Bedarfsanalyse Konstrukt und Testgestaltung entsprechend zu bestimmen: In a test of specific purposes […] a needs analysis […] can be used as the basis of construct definition and test design (ibid.: 111). Es wird in der Literatur wiederholt betont, wie wichtig es sei, den Begriff des Testkonstrukts mit dem Testkriterium der Validität in Verbindung zu bringen (vgl. auch Weigle 2002: 51; Vollmer 2003b: 366): Construct validity is the most important property of a test […] it is the extent to which the test measures the right construct (ibid.: 195). In language testing – as in educational measurement generally – construct definition is recognized as having a central role in the validation of tests because at least a working conception of an underlying construct is needed for test results to be meaningfully interpreted (Read / Chapelle 2001: 7). Validität ist das Konzept, mit dem sich der Referenzrahmen besonders befasst. Ein Test oder ein Beurteilungsverfahren kann in dem Maß ‚valide’ genannt werden, in dem man nachweisen kann, dass das tatsächlich gemessene Konstrukt auch das ist, das in dem betreffenden Kontext gemessen werden soll, und dass die gewonnene Information eine genaue Abbildung der Kompetenz des oder der betreffenden Kandidaten ist (Trim et al. 2001: 172). Auch wenn für die Messung berufsspezifischer Fremdsprachenkenntnisse Bedarfsanalysen durchgeführt und die zentrale Bedeutung der Verbindung zwischen Testkonstrukt und Validität des Testes im Auge behalten werden, ist es dennoch so, dass auch die Art einzelner Testaufgaben Testteilnehmerleistungen unterschiedlicher Qualität hervorrufen können (vgl. auch Buck 2001: 101): There seems to be ample documentation that when learner language is elicited using different test methods, learner language can vary systematically in accuracy at all levels (phonological, morphological, syntactic, lexical) in tandem with changes in situational variables such as topic and interlocutor (Tarone 1998: 78). Zudem muss festgestellt werden, dass nach dem gegenwärtigen Stand der testtheoretischen Forschung der Begriff der Validität gar kein testinhärentes Charakteristikum ist, sondern vielmehr ein Ausdruck der Instrumentalisierung sowohl von Tests als auch von deren Ergebnissen: Language testers have come to accept that there is no one single answer to the question ‘What does our test measure?’ or ‘Does this test measure what it is supposed to measure’ […] Validity is not a characteristic of a test, but a feature of the inferences made on the basis of test scores and the uses to which a test is put (Alderson / Banerjee 2002: 79). Folgerichtig betont auch Vollmer die gesamtgesellschaftlichen Konsequenzen des Nachweises von Konstruktvalidität, denn das Konzept bezieht sich nicht nur auf die theoretische Plausibilität und Gültigkeit der Operationalisierung des zu messenden Konstrukts, sondern auch auf die Verwendung der Testergebnisse sowie auf Wertimplikationen und soziale Konsequenzen (impact) (Vollmer 2003b: 366). Seite 13 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Stellenweise klar“ 1.7 Der BLK-Modellversuch EU-KonZert Der im Juli 2003 beantragte, seit November 2003 vom Bundesministerium für Bildung und Forschung geförderte Modellversuch “Entwicklung und Umsetzung eines Evaluationskonzeptes für die KMK-Fremdsprachenzertifikatsprüfungen zur Sicherung der Vergleichbarkeit der Standards” (EU-KonZert) evaluiert die länderspezifisch unterschiedlich ausgeprägten Prüfungen. Insbesondere [werden] dabei die Aspekte - Aufgabenstellung (Eignung von Aufgabentypen) - Bewertung (z. B. kriterienorientierte Bewertung) - Prüfungsdurchführung (insb. mündliche Prüfungen) auch im Hinblick auf die Erfüllung der Rahmenvereinbarung untersucht […]. In der praktischen Modellversuchsarbeit wird dabei insbesondere Wert auf die Analyse konkreter Prüfungsbeispiele aus verschiedenen Bundesländern gelegt […] Der Modellversuch versteht sich als ein Beitrag zur Qualitätssicherung der KMKFremdsprachenzertifikate (Staatsinstitut für Schulpädagogik und Bildungsforschung 2003: 2). Der BLK-Modellversuch ist das erste nationale Projekt, welches sich systematisch mit der Frage der Standards im beruflichen Fremdsprachenunterricht auseinandersetzt und dabei insbesondere den Aspekt der Zertifizierung in den Vordergrund stellt (ibid.). Präzision und Typologie der Aufgabenstellung sollen untersucht werden, um die Eignung der verwendeten Aufgabentypen zum Testen der zu überprüfenden Kompetenzen auch im Hinblick auf die KMK-Rahmenvereinbarung zu analysieren; Empfehlungen für die konkrete Anwendung der amtlichen Korrekturvorgaben in der Korrekturpraxis sollen erstellt werden; und schließlich sollen aussagekräftige Orientierungshilfen gegeben werden, die es ermöglichen, die spezifisch berufsbezogenen Deskriptoren in der Prüfungssituation sachgemäß anwenden zu können (ibid., 7-8). Nach Beschreibung der Problemlage und des empfohlenen Lösungsansatzes wurden im Modellversuchsantrag geplante Arbeitsschritte und erwartete Ergebnisse entworfen (ibid., 13-14). Diese sahen vor, in der ersten Phase der Modellversuchslaufzeit (November 2003 – Oktober 2004) als Arbeitsschritt zu einer gemeinsamen Standardfindung bei der Erstellung von schriftlichen Prüfungsaufgaben zu kommen; Ergebnis dieser ersten Phase soll die nun hier vorliegende Veröffentlichung länderübergreifender Muster von schriftlichen Prüfungen sein. Für den weiteren Verlauf des Modellversuchs wurden als Arbeitsschritte und Ergebnisse vorgesehen: In der Phase II (November 2004 – Oktober 2005) die gemeinsame Standardfindung bei der Bewertung schriftlicher Prüfungsleistungen und die Erarbeitung einer Veröffentlichung zur Bewertung solcher schriftlichen Prüfungen sowie in der Phase III (November 2005 – Oktober 2006) die gemeinsame Standardfindung bei der Bewertung mündlicher Prüfungsleistungen und die Erarbeitung einer Veröffentlichung zur Beurteilung dieser Leistungen. Der Modellversuch wurde von drei Ländern koordiniert (Bayern, Hamburg und Thüringen). Sie repräsentieren einen Querschnitt hinsichtlich verschiedener Formen von Verwaltung und Schulorganisation (Flächenstaat, Stadtstaat, neues Bundesland) und decken gleichzeitig eine erhebliche Zahl der durchgeführten Zertifikatsprüfungen im Bundesgebiet ab. Ihnen wurden jeweils vier angrenzende Länder zugeordnet. Seite 14 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Stellenweise klar“ Gemäß dem oben zitierten Zeitplan widmete sich der Modellversuch im ersten Jahr seiner Laufzeit der Frage der Aufgabenstellung. Dazu haben die koordinierenden Länder gemeinsam mit den ihnen zugeordneten Ländern Workshops durchgeführt, um anhand der von den Ländern zur Verfügung gestellten Prüfungsaufgabensätze zunächst den Ist-Stand zu analysieren, Empfehlungen für die Prüfungsgestaltung abzuleiten und Best-practice-Beispiele zu identifizieren als Grundlage für den zweiten Teil der Handreichung. Der folgende, zweite Teil dieser Handreichung dokumentiert die Ergebnisse der ersten Phase des Modellversuchs und legt länderübergreifende Muster von schriftlichen Prüfungen vor, die für diejenigen eine Unterstützung sein sollten, die Aufgaben für die schriftlichen KMK-Zertifikatsprüfungen erstellen. 1.8 Ausblick Protokolle und Stellungnahmen lassen erkennen, dass auch nach Abschluss dieser Phase des Modellversuchs eine Reihe von Fragen noch der intensiveren Beschäftigung bedürfen. So kann zwar festgestellt werden, dass sowohl die Prüfungssätze, die in den jeweiligen Arbeitsmappen und Protokollen der Workshops dokumentiert wurden, als auch die Anzahl an neu erstellten ‚Bestpractice-Beispielen’, die nach Abschluss der Phase I der wissenschaftlichen Begleitung von Prüfungserstellern zugesandt wurden, durchaus einen Variantenreichtum der Aufgabentypen belegen. Dennoch scheint auch am Ende der ersten Phase dieses Modellversuchs eine intensivere Beschäftigung mit den Möglichkeiten unterschiedlicher Aufgabentypen ein bleibendes Desideratum der wissenschaftlichen Fundierung des Prüfungsverfahrens des KMK-Zertifikates zu bleiben. An dieser Stelle sei es deswegen vielleicht hilfreich, auf eine Reihe von teils älteren, aber noch relevanten, teils neueren Veröffentlichungen sowohl zu Übungs- als auch zu Prüfungsformen zu verweisen, die bezüglich einer Aufgabenvielfalt mit Gewinn zur Hand genommen werden können: Doyé 1986; Bundesarbeitsgemeinschaft Englisch an Gesamtschulen 1996; Willis 1996; Staatsinstitut für Schulpädagogik und Bildungsforschung 1998; Brandenburg 1999; Zydatiß 2002, insbesondere Abschnitt 2.2.3; Weir 2005, insbesondere 119-176 (Kapitel 8: „Response formats“). Der BLK-Modellversuch EU-KonZert wurde konzipiert als Forschungs- und Fortbildungsprojekt zugleich. Dieser Ansatz wurde gewählt, da der erfolgreiche Einsatz eines Bewertungsverfahrens, das auf Standards beruht, mit konzentriertem gemeinsamen Arbeiten und vertieftem Meinungsaustausch einhergehen muss: Ein […] wichtiges Verfahren zur Objektivierung ist die Schulung der Beurteiler und Lehrenden, die mit den festgelegten Kriterien arbeiten sollen (Glaboniat 1998: 20). It is generally acknowledged that the development of a standards-oriented approach takes time, as partners acquire a feel for the meaning of the standards through the process of exemplification and exchange of opinions (North et al. 2003: 21). The crucial part in every standard setting procedure is the training of the judges (Kaftandjieva 2004: B5). If new training is not provided, we should hardly find it surprising that old methodologies persist (Weir 2005: 38). Seite 15 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Stellenweise klar“ Die Konzeption des Modellversuchs, die für das Abhalten der Workshops sowie die Genese dieser Handreichung entscheidend war, entspricht dem iterativen Modell für die Erstellung von Sprachtests, die zunehmend an Bedeutung gewinnt: We advocate tests that are developed in an iterative manner: there are cycles of feedback-laden improvement over time as the test grows and evolves (Davidson / Lynch 2002: 7; vgl. zur iterativen Testerstellungsmethodik jetzt auch Luoma 2004: 128). Ihre Darstellung der Methodik des Erstellens und der Anwendung von Standards fasst die oben zitierte Beauftragte des Europarates in Anlehnung an das Buch Le petit prince von Saint-Exupéry mit der Bemerkung zusammen: „Nothing is perfect“ (Kaftandjeva 2004: B31). Zu Goethes Zeiten sprach man weniger von Perfektion denn von Vollkommenheit und so befindet der Dichter: „Vollkommenheit ist die Norm des Himmels, Vollkommenes wollen die Norm des Menschen“ (‚Hamburger Ausgabe’ XII: 531). Seite 16 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ I.2 Empfehlungen zur Aufgabenstellung Kompilation und Kommentierung von Aufgaben bzw. Aufgabenstellungen von Maike Engelhardt, Fachhochschule Rosenheim 2.1 Anforderungsbereiche Die Anforderungsbereiche der KMK-Fremdsprachenzertifikatsprüfungen an beruflichen Schulen sind Bestandteil des berufsbezogenen Fremdsprachenunterrichts. Sie sind ausgerichtet auf die Kommunikationsfähigkeit der Auszubildenden in der Fremdsprache. Sie orientieren sich am Gemeinsamen europäischen Referenzrahmen für Sprachen: lernen, lehren, beurteilen (2001, Trim, North, Coste) (GeR). Es handelt sich um produktive, rezeptive sowie interaktive Aktivitäten und Strategien (GeR, 4.4.). Die Kultusministerkonferenz hat im Jahr 1998 (geändert 2002) die Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung beschlossen (siehe Anhang). Diese Rahmenvereinbarung bildet die Grundlage für die Konzeption, Durchführung, Bewertung und Dokumentation der Zertifikatsprüfungen auf drei unterschiedlichen Stufen. Durch die Verbindung von vier grundlegenden Sprachfertigkeiten (Rezeption, Produktion, Mediation und Interaktion) wird eine Ganzheitlichkeit der zu überprüfenden Fähigkeiten der Prüflinge angestrebt. Diese vier Anforderungsbereiche sind fester Bestandteil jeder Zertifikatsprüfung, unabhängig von der Stufe. Wie bereits in den frühen Entwicklungsstufen des KMK-Fremdsprachenzertifikats erkannt wurde, sind nicht alle Prüfungen in den jeweiligen Stufen in ihrem Schwierigkeitsgrad und ihren Anforderungen vergleichbar. Aus diesem Grund sollen die Zusammenfassungen der Workshopergebnisse der ersten Phase des Modellversuchs EU-KonZert und die Bestpractice-Beispiele veranschaulichen, wie sich Prüfungen je nach Schwierigkeitsgrad voneinander unterscheiden. Im folgenden ersten Teil der Handreichung wird entsprechend der Themensetzung der ersten Phase des BLK-Modellversuchs EU-KonZert auf die Aufgabenstellung in den Bereichen Rezeption, Produktion und Mediation eingegangen. Die Workshopergebnisse wurden zusammengefasst und zu jedem Anforderungsbereich und jeder Stufe wurden Bestpractice-Beispiele hinzugefügt, die als Referenz für zukünftige Prüfungsersteller dienen sollen. Die Beispiele entsprechen dem Konsens der Teilnehmer des BLK-Modellversuchs EU-KonZert. Für die Erstellung der Prüfungsaufgaben gilt Folgendes: 1. Sowohl Texte als auch Aufgaben müssen sich an dem jeweils beruflich relevanten Situationsrahmen orientieren und handlungsorientiert sein. 2. Sie müssen für den jeweils zu überprüfenden Anforderungsbereich geeignet sein. 3. Der Schwierigkeitsgrad der Prüfungsaufgaben muss den Beschreibungen der Kompetenzbereiche entsprechen (Stufenbezug). 4. Die Sprache der Aufgabenstellung sowie die der erwarteten Schülerleistung soll dem situativen Rahmen angepasst sein. Unabhängig von der Stufe und den Anforderungsbereichen sind die Aufgabenstellungen im Fremdsprachenzertifikat verständlich und eindeutig zu formulieren. Sie müssen dem Prüfling die notwendigen Informationen geben, dürfen aber nicht dessen Antwort beeinflussen. Seite 17 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Es kann im Moment keine prinzipielle Aussage zur Sprache der Aufgabenstellung geben. Einer im Unterricht und Lehrbuch erwünschten Einsprachigkeit steht das Argument der Situationsauthentizität gegenüber, die eine Aufgabenstellung auch in deutscher Sprache verlangt. Zu jedem Anforderungsbereich der KMK-Zertifikatsprüfung folgt nun die Zusammenfassung der Ergebnisse der Workshops des BLK-Modellversuchs EU-KonZert, in dessen erster Phase die Aufgabenstellung in den Anforderungsbereichen der Prüfungen diskutiert wurde. 2.2 Rezeption Unter Rezeption wird die Fertigkeit verstanden, mündliche und schriftliche Texte in der Fremdsprache zu verstehen. Solche Texte können im Bereich Hörverstehen - Durchsagen - Anweisungen - Kommentare - Diskussionen - Gespräche - Telefongespräche - Mitteilungen auf dem Anrufbeantworter - usw. sein. Um das Leseverstehen zu überprüfen, eignen sich neben der Geschäftskorrespondenz auch - Anleitungen - Formulare - Anzeigen - Berichte - Broschüren - Internetseiten - usw. Um nachzuweisen, dass Inhalte wirklich aufgenommen und verarbeitet wurden, muss eine entsprechende Handlung erfolgen. Ist diese korrekt und angemessen, kann davon ausgegangen werden, dass die fremdsprachlichen Informationen verstanden wurden. Rezeptionsaufgaben in der Fremdsprachenzertifikatsprüfung sollen möglichst handlungsorientiert sein und einen klaren Berufsbezug darstellen. Es ist darauf zu achten, dass die Aufgaben authentisch sind und für den Prüfling innerhalb seines Berufsfeldes und innerhalb des Schwierigkeitsgrades der Prüfung angemessen sind. Die Aufgabenstellung des Anforderungsbereiches Rezeption soll dem Prüfling die zur Lösung hinreichenden Informationen klar verständlich und eindeutig geben. Seite 18 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ 2.2.1 Dokumentation der Workshops Der Anforderungsbereich Rezeption in der KMK-Fremdsprachenzertifikatsprüfung besteht aus den Teilen Hörverstehen und Leseverstehen. Diese zwei Sprachfertigkeiten wurden im Rahmen der Workshops des BLK-Modellversuchs EU-KonZert von den Teilnehmern getrennt betrachtet und diskutiert. Für die Erstellung der Aufgabenteile Hörverstehen und Leseverstehen gilt, dass beide unabhängig voneinander lösbar sein müssen – auch wenn die gesamte Prüfung u.U. einem thematischen roten Faden folgt – und dass die Lösung der Aufgabenteile die veranschlagte Zeit nicht überschreiten darf. Die Aufgaben dürfen, wie in allen Anforderungsbereichen, nicht allein durch Fachwissen lösbar sein, sondern müssen fremdsprachliche Kompetenzen abprüfen. Zur Überprüfung der Rezeptionskompetenz können unterschiedliche Aufgabentypen geeignet sein (siehe Aufgabentypologie unten). Rezeption 1: Hörverstehen Allgemeines: Grundlage der Hörverstehensaufgabe soll ein dem Schwierigkeitsgrad der Stufe angemessener Hörtext sein. Dieser Text sollte von Muttersprachlern gesprochen worden sein, oder, situations- und kontextabhängig von englischsprechenden NichtMuttersprachlern, und die Aufnahme sollte von einem Tonträger kommen. Eine Lehrkraft sollte den Text nur in äußersten Notfällen selbst vorlesen. Im Sinne der situativen Einbettung der Aufgaben kann die Aufgabenstellung sowohl auf Deutsch als auch auf Englisch erfolgen. Bei einem Hörverstehenstext ist das Verständnis der Inhalte von Interesse, nicht die grammatikalisch oder strukturell korrekte Wiedergabe dieser Inhalte. Wichtig ist hier, dass der Prüfling angemessen auf die Aufgabe reagiert und damit sein Verständnis der Aufgabenstellung und des gehörten Textes unter Beweis stellt. Auf den Workshops des BLK- Modellversuchs EU-KonZert wurde Übereinstimmung darüber erzielt, dass Hörtexte im Allgemeinen zweimal vorgespielt werden sollten, weil dadurch ein vertieftes Verständnis der Texte herbeigeführt werden kann. Es kommt durch ein wiederholtes Vorspielen des Hörtextes zu einem gesicherten Global- und erweiterten Detailverständnis. Eigenschaften der Aufgabe: Der Schwierigkeitsgrad der Hörverstehensaufgaben lässt sich durch die Verwendung von Texten mit erhöhter Sprechgeschwindigkeit, Informationsdichte oder dialektaler Einfärbung (möglich bei Stufe III) der Sprecher verändern und beeinflussen. Die Informationsdichte eines Textes und die vom Prüfling erbrachte Leistung bei der Bearbeitung der Aufgaben zum Text sichern bei einer Aufgabenstellung und -lösung auf Deutsch die Validität und Reliabilität der Prüfungsleistung des Prüflings. Notizen in deutscher Sprache oder Eintragungen in ein Informationsraster in deutscher Sprache nach dem Hören eines englischen Textes können daher ein aussagekräftiges Bild über die Sprachkompetenz eines Prüflings geben. Der Hörverstehenstext sollte eine situative Einbindung in einen authentischen, berufsbezogenen Kontext haben. Er sollte kein didaktisierter Monolog oder Dialog sein, sondern einen realen Sprechakt darstellen. Liegen mehrere Hörverstehensaufgaben vor, sollte es auch mehrere Sprecher geben. Unterschiedliche Varietäten bzw. Akzente des Englischen können auf höheren Stufen angemessen und sinnvoll sein. Beim Hörverstehen sollte bis auf die Stufe I auf Annotationen verzichtet werden. Die Prüflinge erhalten die Aufgabenblätter bereits vor dem Hören des Textes, und es sollte stufenangemessen Zeit für das Lesen der Aufgabe gegeben werden, bevor der Hörtext das erste Mal abgespielt wird. Seite 19 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ 2.2.2 Best-practice-Beispiele Rezeption 1: Hörverstehen Die Anforderungen an Stufe I lauten wie folgt: (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe I (Europäischer Referenzrahmen A2, Waystage): Rezeption Der Prüfling kann sehr geläufige und einfach strukturierte berufstypische Texte auf konkrete klar erkennbare Einzelinformationen hin auswerten. Es stehen ihm dazu Hilfsmittel (wie z. B. Wörterbücher und visuelle Darstellungen) zur Verfügung. Den Informationsgehalt klar und langsam gesprochener kurzer Mitteilungen aus dem beruflichen Alltag kann er nach wiederholtem Hören verstehen. Die folgenden Aufgaben wurden als Best-practice Beispiele ausgewählt: Die Sprache der Aufgabenstellung aller Beispiele ist Deutsch. In Beispiel 1 muss der Prüfling auf einem englischsprachigen Formular Informationen ankreuzen. Das Formular ist klar und übersichtlich strukturiert. In den Beispielen 2 und 3 ist der Prüfling in der Situation eines Seminarteilnehmers, bzw. Praktikanten in englischsprachigem Umfeld. Dort muss er gesprochene Texte auf relevante Informationen hin auswerten und in ein Formular eintragen. In Beispiel 2 kommt als letzter Schritt der Überprüfung des Verständnisses das Markieren einer Landkarte hinzu. Die Tapescripts der Hörverstehensaufgaben sind den jeweiligen Beispielen beigefügt. Seite 20 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 1 (Hörverstehen), Stufe I: Beispiel 1: Gastgewerbe Sie arbeiten am Empfang im Bonnie Prince Charlie Hotel in Edinburgh und nehmen telefonische Bestellungen für das Zimmerfrühstück an. Kreuzen Sie an, was der Gast zum Frühstück wünscht. Tragen Sie ferner Zimmernummer und Name des Gastes ein. Machen Sie sich erst mit dem Formular vertraut. Sie hören das Gespräch zweimal. Breakfast Order Room No.: _________ Name: Mr / Mrs ______________________________ o ORANGE JUICE o GRAPEFRUIT JUICE With a choice of one of the following items: o RICE KRISPIES o WEETABIX o ALL BRAN o CORNFLAKES o PORRIDGE o PRUNES o HALF GRAPEFRUIT o YOGHURT o MELON o FRESH FRUIT SALAD ____________________________________________ EGGS: o FRIED o SCRAMBLED o POACHED o BOILED…..….MINS served with: o BACON o SAUSAGE o TOMATO o BLACK PUDDING o MUSHROOMS o BAKED BEANS o HAM ____________________________________________ o TOAST o ROLLS o CROISSANTS The above served with Butter and Preserves. ____________________________________________ o TEA o COFFEE o HOT CHOCOLATE o MILK o DE-CAFFEINATED Tapescript: (R=Receptionist, C=Customer) R: Room service. Good morning. What can I do for you? C: Good morning. Mr Richards speaking. Room 215. I’d like to order my breakfast. R: Certainly, Mr Richards. What would you like? C: I’ll have grapefruit juice, to begin with, please. R: Grapefruit juice. And then would you like cereal, fruit or yoghurt? C: Cereal, please. What cereals do you have? R: We have Rice Krispies, All Bran, Weetabix, cornflakes and porridge. C: Porridge and some prunes with it, please. R: And would you like any eggs, sir? C: Yes. I’d like some scrambled eggs. R: Scrambled. What would you like your eggs served with, sir? C: Sausage and Black Pudding, please. And I’d like some grilled tomatoes, mushrooms and baked beans. R: All right, sir. And then would you like toast, rolls or croissants? C: Toast, please. R: Toast. Tea or coffee for you, sir? C: I’ll have tea, please. R: Thank you, Mr Richards. You’ll get your breakfast in about 15 minutes. C: Thank you. Seite 21 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 1 (Hörverstehen), Stufe I: Beispiel 2: Gastgewerbe Sie nehmen an einem Seminar „Gesprächsführung an der Rezeption in englischer Sprache“ teil. Als Teil eines Einstufungstests hören Sie nachfolgendes Gespräch. Beantworten Sie die Fragen auf Deutsch. Sie hören das Gespräch zweimal. Wie heißt das Ausweichhotel? (1) Wie kann man das Hotel ungefähr einstufen? Um welche Art von Zimmer handelt es sich (Ausstattung)? Welche Preisangaben werden gemacht? Welche übrige Ausstattung des Hotels wird genannt? (2) (2) (2) (4) Wo befindet sich das Ausweichhotel? Das Hotel auf der Skizze deutlich sichtbar ankreuzen! P.O. P.O. Golden Lion P.O. You are here. Seite 22 (2) BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Tapescript Receptionist Good evening, Sir… Customer Good evening, I’d like a room for the night if you’ve got one available. Receptionist I’m sorry, unfortunately we’re fully booked, but I could try and get you a room in a hotel nearby. Would you like me to make a phone call? Customer That’s very kind of you. What can you recommend? Receptionist Well, there’s the Red Bull for example. It’s a comfortable, family-run hotel, three - star and recommended by Diners Club. Customer That sounds good. Could you check for me if they’ve still got a vacancy? Receptionist Certainly. (Dialling) Other hotel The Red Bull, Tom Sayer speaking. How can I help you? Receptionist Hi Tom, this is Susan at the Golden Lion speaking. Have you got a single room left for tonight? I’ve got a gentleman here looking for a room for the night, and we are fully booked. Other hotel Yes, I’ve got a room with a shower still available. The price is £ 64 including buffet breakfast. Receptionist Great, hold the line for a moment, please, Tom. (To customer:) They’ve got a single room with a shower - at £ 64 including buffet breakfast. Customer That sounds good. Can I park there? Receptionist Yes, they’ve got an underground car park for a small charge. They’ve also got a sauna, satellite TV and a wireless LAN hot spot. Customer That sounds fine to me. Can you reserve the room for me, please? The name is Paul James and I’ll go straight there. Receptionist Certainly. (To Tom at the Red Bull) Sorry to keep you waiting, Tom. The gentleman’s name is Mr. James and he’ll be with you in a couple of minutes. Other hotel Okay, Susan. Thank you for thinking of us. Bye! Receptionist Bye! Customer That’s great. Now, how do I get there? Receptionist You turn right out of the hotel car park, and drive down the road until you come to the traffic lights. Then you turn left and follow that road as far as the roundabout. Take the second exit, and you’ll see a post office on the right. The Red Bull is next to it. Customer You’ve been very helpful. Many thanks indeed. Good-bye! Receptionist Good-bye, Sir, and I hope you enjoy your stay! Seite 23 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 1 (Hörverstehen), Stufe I: Beispiel 3: Bankkaufleute Situation: Während Ihrer Ausbildung zum Bankkaufmann/zur Bankkauffrau absolvieren Sie ein Praktikum in einer Londoner Bank. Im Rahmen dieses Praktikums nehmen Sie an einer Produktpräsentation über verschiedene Arten von Konten teil. Aufgabe: Sie füllen während der Produktpräsentation folgende Tabelle stichpunktartig in deutscher Sprache aus. Sie hören den Text zweimal. Kontoart Zugang Besonderer Service/ Besondere Bedingungen Advantage Gold - - Current Plus - - Card Plus - - Tapescript Ladies and gentlemen, There are our accounts at one glance. You want a current account with extra benefits then our “Advantage Gold” is the right one for you. Access to this account is either by using your cashcard or service card, over our telephone and online banking service or by using over 31,000 cash machines free of charge. As well as all the services you’d expect from a current account, you also enjoy some valuable extra benefits. Borrowing is cheaper – you pay less for a loan or for your overdraft. You could also cut the cost of your housing with special discounts on our mortgages and home insurance. Travelling is cheaper, too. You get free travel insurance with your account, and we don’t charge any commission on issuing traveller’s cheques and on exchanging foreign currency. “Current Plus” is a bank account for anyone aged 16 or over. As long as you have money in your account, or you are only overdrawn within an arranged limit, you do not pay any account fees. At the end of the month, we add all the interest your money has earned to your account. You are between the ages of 11 and 15 then your account is the “Card Plus”. Your money earns an attractive yearly interest rate and as long as your account is in credit you haven’t to pay any bank charges. Thank you for your attention. (Quelle: Broschüre NatWest Bank “Bank accounts”, S. 4-7) Seite 24 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 1: Hörverstehen Die Anforderungen an Stufe II lauten wie folgt: (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe II (Europäischer Referenzrahmen B1, Threshold): Rezeption Der Prüfling kann gängige berufstypische Texte unter Einsatz von Hilfsmitteln (wie z.B. Wörterbüchern und visuellen Darstellungen) zügig auf Detailinformationen hin auswerten. Er kann klar und in angemessenem, natürlichem Tempo gesprochene Mitteilungen nach wiederholtem Hören im Wesentlichen verstehen, wenn die Informationen nicht zu dicht aufeinanderfolgen. Die folgenden Aufgaben wurden als Best-practice-Beispiele ausgewählt: Die Sprache der Aufgabenstellung aller Beispiele ist Deutsch. In Beispiel 4 muss der Prüfling nicht nur die richtigen Kästchen in einem Formular ankreuzen, sondern dieses auch schriftlich ergänzen. Beispiel 5 verlangt das Aufnehmen einer Telefonnotiz. Dabei muss diese Information nicht nur für den Gebrauch des Auszubildenden, sondern auch für einen weiteren Mitarbeiter der Firma zur Verfügung stehen. Eine korrekte und strukturierte Aufnahme der Information ist demnach erforderlich. In Beispiel 6 soll ein Meldeschein an einer Hotelrezeption mit den Gastinformationen ausgefüllt werden. In allen drei Beispielen ist die Sprache der Aufgabenstellung sinnvoll, da sich die Prüflinge in einem deutschen Arbeitsumfeld sehen sollen, in welchem sie in Kontakt mit englischen Muttersprachlern kommen. Die Tapescripts der Hörverstehensaufgaben sind den jeweiligen Beispielen beigefügt. Seite 25 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 1 (Hörverstehen), Stufe II: Beispiel 4: Einzelhandelskaufleute Sebastian Schenk ist Mitarbeiter der Firma Sportwelt GmbH in München. Er nimmt einen Anruf von Herrn Penrose, einem englischen Kunden, entgegen. Hören Sie gut zu und machen Sie sich Notizen, indem Sie die unten stehenden Fragen auf Deutsch beantworten bzw. Zutreffendes ankreuzen. Dazu füllen Sie bitte die rechte Spalte aus. Sie hören das Gespräch zweimal. o o o o o 1. Welche Funktion hat der englische Anrufer in seiner Firma inne? Firmeninhaber Geschäftsführer Leiter der Einkaufsabteilung Vertriebsmanager Verkaufsvertreter 2. Warum kann Herr Huber nicht ans Telefon kommen? 3. Welche konkreten Mängel führt Herr Penrose für die gelieferte Ware an? - 4. Welches Druckmittel setzt Herr Penrose zunächst ein, damit seinen Forderungen nachgekommen wird? 5. Welchen vorrangigen Anspruch erhebt Herr Penrose aufgrund der mangelhaften Lieferung? 6. Womit droht Herr Penrose, falls seinem o Rücksendung der Ware Wunsch nicht entsprochen wird? o Stornierung aller bestehenden (mehrere Antworten möglich) Aufträge o Schadensersatz o Vergabe der künftigen Aufträge an die Konkurrenz o Bericht an das Wirtschaftsministerium o Bericht an die Industrie- und Handelskammer o keine Empfehlungen mehr an andere Geschäftspartner 7. Welche Aufgaben soll Herr Reinecke vor Ort übernehmen, damit das Problem gelöst wird? 8. Für welchen Fall bietet Herr Schenk eine Ersatzlieferung an? 9. Zu welchem Zeitpunkt könnte eine Ersatzlieferung stattfinden? 10. Was würde im Falle einer Ersatzlieferung mit der mangelhaften Ware passieren? 11. Ist der Kunde mit der vorgeschlagenen Lösung von Herrn Schenk vollkommen zufrieden gestellt? Begründung! Seite 26 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Tapescript SS = Sebastian Schenk; MP = Mr. Penrose SS: Sportwelt GmbH München. Guten Tag. Was kann ich für Sie tun? MP: Penrose speaking. I’m the managing director of Penrose Sports Limited in Manchester. Please put me through to the Head of Exports immediately! SS: Oh, hello, Mr. Penrose. I am afraid Herr Huber is not available at the moment. MP: Tell him he will be getting the goods back, carriage forward, unless he comes to the phone! SS: I am very sorry, but Mr. Huber is visiting our suppliers in Malaysia and he won’t be back until Thursday of next week. Would you be kind enough to tell me what goods you are referring to, Mr. Penrose? MP: I mean the soccer shirts, of course! They are the wrong size and poorly finished. Listen, I insist upon speaking to someone in authority. SS: I am terribly sorry to hear that you are unhappy with the soccer shirts and you can rest assured that we will do our best to put the matter right, so… MP: Quite frankly, the goods are not up to standard, Mr. Schenk! And if you don’t want to meet my demands, I’ll put the matter in the hands of our solicitors! SS: Now hold your horses, Mr. Penrose! Let’s be reasonable about this. MP: I am being reasonable. Unless you grant me a reduction of 25 %, we’ll have to return the goods, cancel all existing orders and report you to the Chamber of Industry and Commerce! SS: Please, calm down, Mr. Penrose. Let’s not get things out of perspective! Herr Reinecke, our sales representative, is in England at the moment. I’ll phone him and ask him to come and have a look at the shirts for himself. Then he can let us know whether your complaint is justified. MP: Are you questioning my honesty here? SS: No, not at all, Mr. Penrose, but there is a procedure that we have to keep to. If Mr. Reinecke says they are below standard we’ll take the goods back, free of charge of course, and send you replacements immediately. MP: Tell your Mr. Huber I’ll agree to keep the 100 soccer shirts at a lower price. SS: We promise that we’ll replace them if they are faulty. We’ll look into the matter right away and if the shirts are poorly finished our carrier will pick them up when he brings the replacements. And in this case we’ll agree to pay the freight and insurance. MP: All right, but don’t forget I would prefer a 25 % reduction in price instead of a replacement consignment. SS: OK. I’ll do my very best. But first of all our Mr. Reinecke will have to inspect the goods. I’m very sorry that you are dissatisfied, Mr. Penrose. MP: Well, thank you. Good-bye. SS: Good-bye, Mr. Penrose. Seite 27 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 1 (Hörverstehen), Stufe II: Beispiel 5: Automobilkaufleute Situation: Sie sind Auszubildende/r im Autohaus Sperling, Am Großen Wall 25, 99096 Erfurt. Ihr Chef erteilt Ihnen Aufträge, bei denen Sie Ihre Englischkenntnisse weiterentwickeln sollen. Aufgabe: Auf dem Anrufbeantworter befindet sich eine Nachricht in englischer Sprache. Fertigen Sie für Ihren Werkstattleiter Herrn Michel eine Telefonnotiz an. Nutzen Sie dazu das abgebildete Formular. Sie hören die Nachricht zweimal. Telefonnotiz __________________________________________________________________ Aufgenommen von: Datum: Zeit: __________________________________________________________________ Gesprächspartner Name: Firma: Telefon: __________________________________________________________________ Betreff: Inhalt: __________________________________________________________________ Weiterleitung an: __________________________________________________________________ Tapescript "Autohaus Sperling Erfurt. Wir sind zurzeit nicht erreichbar. Wenn Sie eine Nachricht hinterlassen wollen, sprechen Sie bitte nach dem Signalton." "Oh, it's the answering machine. Good evening, Susan O'Mahony speaking, O - apostrophe - M-a-h-o-n-y. I've had an accident in front of the City-Hotel. The car has broken down. The left wing, head light and the front bumper are damaged. The front axle isn't in the right position any more. Could you, please, send your breakdown service tomorrow morning? The car is a yellow Ford Ka, registration number is GB4 13A. It's now in the car park of the City-Hotel, in Bahnhofstraße. My mobile phone number is 0172/3465227. I'll repeat 0172/3465227. Thank you very much in advance." Seite 28 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 1 (Hörverstehen), Stufe II: Beispiel 6: Gastgewerbe Sie hören ein Gespräch, das beim Einchecken einer amerikanischen Familie an der Rezeption eines Hotels geführt wird. Versetzen Sie sich in die Lage der Empfangsperson und füllen Sie den Meldeschein entsprechend aus. Sie hören das Gespräch zweimal. Seite 29 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Tapescript Receptionist (R) Mrs. Weaver (W) W: Good morning. R: Good morning, Madam. How can I help you? W: My name is Weaver and I booked two double rooms for our stay here. R: One moment, please. – Ah, here it is: room no. 25 and 26 have been booked for you. Here are the keys and our registration form. W: Thank you. Well, could you help me with this form, please? R: Certainly, Mrs. Weaver. Now, today is June 1st and you will be staying till the 9th. What’s your Christian name, Mrs. Weaver? W: Jane. R: And you are from Denver, Colorado, right? W: Yes, our address is 45 Lakewood Drive in Denver. The zip code is 47803. R: You are accompanied by your husband and children, I suppose. W: That’s right. R: Can you tell me their names and dates of birth, please? W: Of course. Ben, that’s the older one, was born on June 3rd, 1988 and Steve was born on March 17th, 1992. Have you got that……..? I expect you’ll need our dates of birth too. My husband, Pat, was born on July 17th, 1966 …. And I came into this big beautiful world on – if you really must know – May 11th, 1969. R: Got it, thank you. Mrs. Weaver, would you please check the form before you sign it? Just in case I’ve got something wrong. W: Sure. Let me see. – No, everything is o.k. Thank you very much for your help. R: Not at all. I hope you’ll enjoy your stay at our hotel. Seite 30 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 1: Hörverstehen Die Anforderungen an Stufe III lauten wie folgt: (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnisen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe III (Europäischer Referenzrahmen B1, Vantage): Rezeption Der Prüfling kann komplexere berufstypische Texte gegebenenfalls unter Einsatz von Hilfsmitteln über ihren Informationsgehalt hinaus auswerten. Er kann in natürlichem Tempo gesprochenen Mitteilungen folgen und Hauptgedanken erkennen und festhalten, auch wenn leicht regionale Akzentfärbungen zu hören sind. Die Sprache der Aufgabenstellung aller Beispiele ist Deutsch weil sie den Prüfling in einer deutschsprachigen Berufsituation positionieren. In Beispiel 7 muss der Prüfling Informationen aus einem Interview zusammenfassen, und dies nicht nur in ihrer Reihenfolge im Text, sondern sie themenspezifisch bündeln. Eine ähnliche Strukturierung, nämlich die korrekte Bewertung von Informationen in einem Interview, wird in Beispiel 8 verlangt. In diesem Beispiel wird auch auf den Adressaten, den Vorgesetzen des Auszubildenden, hingewiesen. Im letzten Beispiel dieser Stufe hingegen soll der Prüfling nur Notizen zu bestimmten Themen aufnehmen, dies aber im Gegensatz zu den vorangegangenen Aufgaben, auf Englisch. Die Tapescripts der Hörverstehensaufgaben sind den jeweiligen Beispielen beigefügt. Seite 31 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 1 (Hörverstehen), Stufe III: Beispiel 7: Gastgewerbe Situation: Während eines Aufenthaltes in den USA hören Sie ein Interview mit einer Winzerin aus dem Sonoma Valley. Aufgabe: Da kalifornische Weine auch in Europa immer größeren Absatz finden, machen Sie sich Notizen. Füllen Sie unten stehendes Merkblatt auf Deutsch aus. Sie hören das Interview zweimal. Wein aus Sonoma County (Kalifornien) Charakteristisch für .............................................................................. v die Trauben: .............................................................................. .............................................................................. v das Weinanbau- .............................................................................. gebiet: .............................................................................. .............................................................................. Abkürzung für US – Anbaugebiete: .............................................................................. Rebsorten: Für: v Zinfandel .............................................................................. v Pinot Noir .............................................................................. v Chardonnay .............................................................................. Seite 32 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Tapescript R: Reporter W: Wine producer R: Welcome, ladies and gentlemen. You are tuned in to CIR – California’s Independent Radio Station. Today’s special feature is “Wine” and we are very proud to have one of our leading wine producers with us. Welcome, Ms. Quallo. W: Hello, it’s a pleasure to be here today. R: Ms. Quallo, your wine is internationally acclaimed. What do you think makes it so special for connoisseurs? W: Ah, well, there are several reasons for that. One, for example, is that our vineyards are situated within Sonoma County with the Pacific Ocean to the West and San Francisco and San Pablo Bays to the South. So we have a climate of warm days and cool nights that allows the grapes to mature slowly, develop excellent acidity, more intense colour and a very complex fruit character. R: That certainly is very important. But does that alone make Sonoma Wines so outstanding? W: There’s more to it than that. Sonoma’s diverse climate and topography create a multitude of micro-climates which enable us to produce high quality grape varieties with a distinctive character. So here you can find nearly a dozen officially designated American Viticultural Areas or AVAs, as we call them. R: I see. So we’ve got quite a variety of wines from Sonoma County. Could you tell us a bit more about your own produce? W: Sure. Our family owns seven vineyards, predominately located on the hillsides of Dry Creek Valley and Russian River Valley. In Dry Creek we grow Zinfandel and in Russian River we have Pinot Noir and Chardonnay. R: Sorry to interrupt, but for our listeners who are not familiar with these grape names, could you please explain? W: All right, Zinfandel makes an excellent red wine with a blackberry-like flavour. Pinot Noir is a superlative black grape we use for red wine, white wine and for sparkling wine as well. Chardonnay makes excellent white wine. R: Thank you. Another point - within the last decade your company has been established as a well-known brand. So is there still a challenge for you? W: Well, certainly there still is. We strive to keep our customers satisfied and to have a high level of recognition and acclaim for our wines. R: That really is a demanding task. I’m sure all our listeners will look out for Quallo wines now when they go shopping. Ms. Quallo, thank you very much indeed for being with us. W: It was my pleasure. Seite 33 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 1 (Hörverstehen), Stufe III: Beispiel 8: Fachangestellte für Medien- und Informationsdienste Situation: Die jährliche IFLA-Konferenz ist eines der bedeutendsten Ereignisse der Bibliotheks- und Informationsbranche. Im August 2005 wird die 71. Konferenz in Oslo stattfinden. Der Vorgesetzte Ihrer Ausbildungseinrichtung beauftragt Sie mit einigen Aufgaben der Vorbereitung. Ihnen liegt die Aufzeichnung eines Interviews mit einem der Organisatoren der IFLAKonferenz vor. Aufgabe: Sie sollen aus dem Interview wichtige Informationen entnehmen und sie in deutscher Sprache in Form der folgenden Tabelle aufbereiten. Sie hören das Interview zweimal. Art und Weise der Auswahl der Veranstaltungen Grundprinzip für Beitragsgebühr der Teilnehmer Anmeldung zur Teilnahme an der IFLA Angebot für Kurzbesucher Information der Teilnehmer über Veränderungen und Ergänzungen des Programms während der Konferenz Nationale Feierlichkeiten in Norwegen zur Zeit der IFLAKonferenz Seite 34 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Tapescript Reporter: Mr Owen, the 71st Conference and Council of the World Library and Information Congress will take place in Oslo, Norway, from 14th to 18th of August 2005. The IFLA is said to be the most diverse and wide-ranging library and information event. You are one of the organisers and we thank you for the opportunity to talk to you and to ask you some questions that may be of interest for the participants. There is such a lot of events. Perhaps you can tell us how the participants can avoid clashes between library trips, workshops and sessions. Mr Owen: It’s a good idea to sit down in a quiet place as soon as you have the programme and mark all those sessions, workshops and visits which particularly interest you. Don’t confine your choices to your own sector of library work. Because there is so much going on, you will probably be unable to avoid clashes altogether. Printed papers are available for many sessions. If it’s a choice between a library visit and a workshop and a session for which there is a printed paper you may decide on the visit or the workshop. Reporter: Can the participants attend any of the meetings listed in the programme? Mr Owen: You can attend any of the meetings, except those few which are marked “closed meeting”. Reporter: If the participants find that a session is not as interesting or relevant as expected, can they leave? Mr Owen: Yes, you will find that people come and go throughout meetings at IFLA conferences. It is not always easy to estimate just how relevant a session may be. The speakers do not always speak in the same order as listed in the programme. Sometimes, a specific speaker is not available at the last minute. And, of course, there is the problem of clashes. If you think that you may not stay for a whole session, it is a good idea to sit in a position from which you can leave without disturbing many people. Reporter: For some visitors or participants the fees may be very important. Is the IFLA affordable? Mr Owen: There is a new fee structure for attendance at the Conference with the emphasis on affordability for all – and with easy online registration at www.ifla.org. “Flying Visitor” registration, targeted at time or budget-limited library and information professionals, provides access to the full meetings and social programme for a 29 hour period from 1pm on Day 1 to 6pm on Day 2. One day only admission is also offered favourably. Reporter: If there are any changes to the programme or other important information – how can the participants be informed? Mr Owen: There is a free daily newsletter of the conference, the IFLA Express. It provides information about changes to the programme such as extra exhibitors, room changes, additional speakers, and cancellations. It also has reminders about the locations of social events and so on. English language editions are usually available each morning from Sunday until Friday. Copies will be placed at many different points in conference centre. French, German, and Spanish language editions will also be available throughout the centre. Reporter: The IFLA congress will be part of the centennial celebration in Norway 2005. Mr Owen: That’s right. Norway has old traditions, but is also a new and vigorous country. In 2005 it is 100 years since the dissolution of the Swedish-Norwegian Union, important to both countries. The conflict was resolved in a peaceful manner in 1905,and reflects the Norwegian policies for peace – an aspect of this can be experienced at the new Nobel Peace Centre. The Centennial will be celebrated with a number of events reflecting the past and expecting the future. I think the IFLA congress will be a respectable part of these celebrations. As you see – we will do our best to give you a memorable conference. Reporter: Mr Owen, I thank you very much for this interview and the interesting information. It was kind of you to answer my questions. (Quelle: IFLA-Express 2002) Seite 35 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 1 (Hörverstehen), Stufe III: Beispiel 9: Gastgewerbe Sie sind Besucher der Gastro-Ausstellung ‚Hotelympia’ in London. Ein Mitarbeiter der Messegesellschaft führt Sie zusammen mit einer Gruppe anderer Besucher über das Ausstellungsgelände. Während der Führung machen Sie sich Aufzeichnungen. Vervollständigen Sie die fehlenden Angaben in Englisch im nachfolgenden Raster. Sie hören den Text zweimal. reason for the innovation special technical features Minibar In-room TV Old cooking oil Seite 36 provider BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Tapescript Tour of the ‘Hotelympia’ trade fair in London My name is Rachel Lewis and I’m showing you around the exhibition. Lots of innovations can be seen here, and I’m going to take you for a walk around the exhibition site, just to show you the most interesting ones…. Right, here we are at the Bartech UK stand. As I expect you know there’s a bit of a hate-hate relationship between hotels and their bedroom minibars. Guests in fourstar business hotels expect them, but theft by guests who then blame staff, or theft by staff who then blame guests, is endemic. As you can see if I open this door here, Bartech UK’s new minibar has sensor pads underneath each item. The pads connect to the hotel PMS system, recording on the guest’s bill whenever an item is removed. Sure, this is not a new idea, but where Bartech has improved on it is with a delay feature in the transaction being recorded on the guest’s bill. That means that if a guest removes something but then changes his mind, the product can be returned to the minibar without a sale being recorded. The delay is adjustable and can be long enough for someone to change his mind, but not long enough to ‘tamper’ with the item. In addition to the refrigerated minibar, Bartech offers a flat basket with sensor pads for ambient drinks and confectionery. As you can see it sits on top of the minibar. From the Bartech stand, we’ll move on just around the corner here … to another innovation. In-room guest entertainment and information access is growing ever more important in the business - travel hotel market. The Holy Grail is of course ondemand, in-room viewing of any film the guest wants, or access to any music CD requested. Now don’t celebrate too soon, because we’re not quite there yet. But if you look over there, you’ll see that VDA is one step nearer with its latest Active-2 television system. Using either a multi-button zapper or a wireless keyboard, guests are able to use the in-room television for Internet surfing, e-mail reception and transmission, interactive gaming, bill information, hotel information and movie viewing. What will they think of next? Right, if you’ll just come over here I’m sure that those of you who have anything to do with kitchen organisation will feel their hearts beat a little more quickly! I’d like to show you a technical solution to a problem that is well - known to all chefs. Old cooking oil is a waste management problem which is going to become more and more sensitive. Pouring it down drains is no longer acceptable because of the pest problems it encourages and the blockage of the waste water pipe work. Here we have a solution for kitchens with a high volume of waste-oil, provided by Filta Group, which provides an on-site storage system and a collection service. Its new product, called Wastestar, is a caddy cart which takes waste oil to a storage tank. Then, at regular intervals, Filta Group collects it for recycling. What a brilliant idea! Now, if we turn right here ... (Fading out) Seite 37 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 2: Leseverstehen Allgemeines: Grundlage der Leseverstehensaufgabe soll ein dem Schwierigkeitsgrad der Stufe angemessener Lesetext sein. Die Authentizität der verwendeten Texte ist zu wahren. Abhängig von der situativen Einbettung der Aufgaben kann die Aufgabenstellung sowohl in deutscher, als auch in englischer Sprache erfolgen. Beim Beantworten der Leseverstehensfragen sollte die Produktionsleistung der Prüflinge so gering wie möglich sein. Wie bei allen Prüfungsteilen der KMK-Zertifikatsprüfung ist auch beim Leseverstehen darauf zu achten, dass die Länge der Texte und die Bearbeitungszeit der Aufgaben den Zeitrahmen der Prüfung nicht sprengen. Es sind die Unterschiede der Stufen im Gemeinsamen europäischen Referenzrahmen für Sprachen: lernen, lehren beurteilen sowie der Rahmenvereinbarung der KMK aus dem Jahr 1998 (i.d.F. 2002) zu berücksichtigen. Eigenschaften des Lesetextes: Das Leseverstehen kann entweder durch einen längeren Text (Stufe III), oder mehrere kurze Texte (Stufe I) geprüft werden. Wenn mehr als ein Text zur Aufgabe gestellt wird, sollten unterschiedliche Textsorten angeboten werden. Wie auch beim Hörverstehen ist beim Leseverstehen davon abzusehen, didaktisierte Texte zu verwenden, da diese keinen Berufsbezug darstellen, der an die Situation der Auszubildenden, der Ausbildungsbetriebe, der Wirtschaftsregion, o.ä. anknüpft. Die Texte können auch durch Abbildungen, Grafiken, Diagramme, Statistiken etc. ergänzt, bzw. unterstützt werden. Wichtig bei der Auswahl der Texte ist, dass es sich um berufstypische oder –relevante Schriftstücke handelt. Ferner sollte eine Leseverstehensaufgabe nicht allein aus beruflichem Fachwissen heraus lösbar sein. Annotationen erscheinen oberhalb der Stufe I nicht mehr angebracht, da die Prüflinge zweisprachige Wörterbücher benutzen dürfen. 2.2.3 Best-practice-Beispiele Rezeption 2: Leseverstehen Die Anforderungen an Stufe I lauten wie folgt: (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe I (Europäischer Referenzrahmen A2, Waystage): Rezeption Der Prüfling kann sehr geläufige und einfach strukturierte berufstypische Texte auf konkrete klar erkennbare Einzelinformationen hin auswerten. Es stehen ihm dazu Hilfsmittel (wie z. B. Wörterbücher und visuelle Darstellungen) zur Verfügung. Den Informationsgehalt klar und langsam gesprochener kurzer Mitteilungen aus dem beruflichen Alltag kann er nach wiederholtem Hören verstehen. Die folgenden Aufgaben wurden als Best-practice-Beispiele ausgewählt: Die Sprache der Aufgabenstellung der ersten beiden Beispiele dieser Stufe ist Deutsch. Die Prüflinge werden in den Aufgaben einmal in einem deutschen Ausbildungsbetrieb mit Informationen in englischer Sprache konfrontiert, und einmal sollen sie sich als Praktikanten in England sehen. In der dritten Aufgabe ist die Sprache der Aufgabenstellung Englisch, da die Prüflinge in dieser Aufgabe als Auszubildende eines englischen Betriebs agieren sollen. In Beispiel 10 und 12 sollen die Prüflinge die in den Texten gegebenen Informationen aufgabenadäquat auswählen, und in Beispiel 11 sollen Notizen in eine Tabelle eingetragen werden. Diese Aufgaben sowie die Informationsdichte der gegebenen Texte, entsprechen den oben genannten Anforderungen der Stufe I. Seite 38 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 2 (Leseverstehen), Stufe I: Beispiel 10: Gastgewerbe Sie arbeiten in einer großen Hotelkette, welche ihre Kunden auch bei Auslandsaufenthalten berät. Um auch preiswerte Varianten anbieten zu können, bittet Sie Ihr Vorgesetzter, sich mit den Angeboten der „Hawaii Island B&B Association“ vertraut zu machen. Lesen Sie dazu bitte die Angebote auf der nächsten Seite und beantworten Sie die folgenden Fragen dazu: Nummer des B&B A) In welchem B&B wird unter anderem auch Deutsch gesprochen? B) Welches B&B ist ausdrücklich auch für Rollstuhlfahrer geeignet? C) Welches B&B ist nicht zu empfehlen, wenn eine Haustierallergie vorliegt? D) Welches B&B ist für Leute zu empfehlen, die Schnorcheln wollen? E) Welches B&B bietet die Möglichkeit Wäsche zu waschen? F) Welches B&B ist für Einzelreisende am günstigsten? G) In welchem B&B kann man mit Kreditkarte bezahlen? H) Welches B&B bietet die Möglichkeit, E-Mails zu senden und empfangen? I) Welches B&B bietet eine Ermäßigung für Familien? Seite 39 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ B&B’s THE HAWAII ISLAND B&B ASSOCIATION (1) ALOHA JUNCTION B & B Susan & Robert Hughes Volcanoes National Park area: past mile marker 26, in the Village. Rooms with Private and Shared Baths; Garden Jacuzzi; Robes, Flashlights, Excellent Breakfast, and "definitive" hosts. A lovely spot loaded with privacy, peace and quiet. Standard Rooms with double occupancy $75/night; Private Bath $99; additional persons in room, $20. VISA & MC cards accepted. Box 91, Volcano, HI 96785 Ph 808-967-7289 Toll free 888-967-7286 Email: [email protected] www.bbvolcano.com (2) WILD ORCHID BED & BREAKFAST Bettye & George Wakabayashi Enjoy the charm of a cool, clean mountain atmosphere, in a quiet residential neighbourhood, with your own private bath, cable TV, microwave, refrigerator, and Island continental breakfast. Ideal location for visiting Hilo, Volcanoes National Park and the Hamakua Coast. Garden suite is wheelchair accessible. Rates from $55- (single); Kama'aina discounts. JCB Cards accepted. Box 114 Mountain View, Hawaii 96771 Ph 808-968-6969 Toll free 866-945-3622 Email: [email protected] www.wildorchidhb.com (3) BEAUTIFUL EDGE OF THE WORLD B&B Dr. Kurt Weigelt Enjoy a magnificent ocean view and unbelievable sunsets over Kealakekua Bay. Minutes from beaches, snorkeling and shopping. Pick fresh fruits from the many trees located on this secluded estate. Home-like atmosphere includes private bath, internet access, laundry facilities and delicious breakfasts. German, Spanish, Japanese, and Korean spoken with varying degrees of imperfection. $60- $90 (double). Box 888, Captain Cook HI 96704, Ph 808-328-7424. [email protected] www.stayhawaii.com/edge (4) MY ISLAND BED & BREAKFAST INN Gordon, Joann, & Kii Morse An 1886 historic missionary home surrounded by a 7 acre botanical estate at Kilauea Volcano. Main house rooms with shared bathrooms, Garden units with private bathrooms. Couples, singles and families welcome. "Stuff yourself” traditional breakfast served. Family owned and operated including resident cat. Singles $45- $125, doubles $60- $125 No credit cards accepted. Box 100, Volcano, HI 96785 Ph 808-967-7216 Fax 808-967-7719 Email:[email protected] www.myislandinnhawaii.com (5) LEILANI BED & BREAKFAST Don & Carole Swangel Located in old Ohia forest off Hwy. 11 at the 78 ml. marker, Airports-50 mi. from Kona; 78 mi. from Hilo. Our lava rock home is quiet, with 4 comfortable rooms. Explore our lava tube, relax by fireplace & waterfall, TV/VCR. Golf, tennis, green & black sand beaches nearby. Traditional breakfast. Singles $50, Double $55. Our new Ohana Room has two double beds and a bunk bed, T.V./ VCR, sleeps up to 6 people - great for families, from $60. Long Term and Family discounts Box 6037, Ocean View, Hawaii 96737 Ph/Fax 808939-7452 Email: [email protected] www.stayhawaii.com/leilani/leilani.html Seite 40 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 2 (Leseverstehen), Stufe I: Beispiel 11: Fachangestellte für Medien- und Informationsdienste Situation: Zusammen mit einigen Auszubildenden nehmen Sie an einem Praktikum in Wolverhampton/ England teil. Sie haben dort die Möglichkeit, verschiedene Bibliotheken kennen zu lernen und bei der Bewältigung unterschiedlicher Aufgaben Ihre Englischkenntnisse anzuwenden. Sie werden in der Zentralen Kinderbibliothek Wolverhampton eingesetzt und sollen sich vorab im Internet über diese Einrichtung informieren. Folgender Text steht Ihnen zur Verfügung. Aufgabe: Notieren Sie sich wichtige Hinweise stichpunktartig in deutscher Sprache. Nutzen Sie dazu die vorgegebene Tabelle. Children and Young Peoples’ Library Service Wolverhampton Libraries provide a service to children, young people and their carers through a network of 21 branch libraries and the Mobile Library Service. Sharing books from an early age feeds the imagination, encourages the enjoyment of reading and forms the foundation of literacy. Recommended literature for children and young people are: - Picture books - Juvenile books - Poetry - Specially selected fiction for young people. Children and young people can be registered with the library free of charge at any age. A parent or carer must fill in a registration form and provide two types of identity proving their name, address and signature. Activities for Children and Young People Story times: A themed story time is held at Central Children’s Library every Saturday afternoon from 2.15pm – 3pm. All are welcome free of charge and children 3 years and over can be left with staff during the reading of stories. Cyberkids Club: Children up to 12 years of age can join the Cyberkids Club and use the Children’s Learning Centre which includes access to the Internet, word-processing and a range of multi-media and educational CD-Roms. You will usually need to book in advance. The computers are free to use although there is a small charge for printing. Ask at the Library for a “Cyberkids” membership pack with all the details on how to join. (Quelle: Wolverhampton City Council – Library Service for Children and Young People) Einrichtungen der Kinderbibliothek Anmeldegebühren Antragsteller Erforderliche Dokumente für die Anmeldung Medienarten Aktivitäten für... ...Kinder …und Jugendliche Alter: Kosten: Angebote: Seite 41 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 2 (Leseverstehen), Stufe I: Beispiel 12: Gastgewerbe You have just started working in the Golden Lion in Bath. This restaurant is famous for offering a variety of potato sides. Therefore your chef hands you a list of several potato sides. He wants to make sure that you know the five favourites of this week. He asks you to match the suitable descriptions to each side dish. Fried potatoes No. ___________________ (2 P.) Potato pancakes No. ___________________ (2 P.) Mashed potatoes No. ___________________ (2 P.) Potatoes Macaire No. ___________________ (2 P.) Gratinated potatoes No. ___________________ (2 P.) 1. Peel raw or cooked potatoes and cut them into slices. Fry them for 10 minutes or until brown. Occasionally turn over with a spatula. Season with salt, pepper and paprika. 2. Cook potatoes for about 20 minutes. Serve with cream. 3. Preheat oven. Wash and dry potatoes. Wrap in foil. Place in a pan and bake them for 45 minutes in the oven until done. 4. Peel potatoes and cut them into pieces. Cook them for about 15 minutes until done. Sprinkle with chives or parsley. 5. Cook potatoes for about 15 to 20 minutes. Peel them and mash them. Add butter, salt, pepper and nutmeg. Slowly add hot milk until the mixture is smooth. 6. Cook potatoes for about 15 to 20 minutes. Peel and mash. Add egg yolks, starch, salt and pepper. Shape them, roll them in flour and coat them with bread crumbs. Deep-fry until they are done. 7. Cook potatoes for about 15 to 20 minutes. Peel and mash. Add parsley, salt, pepper, and egg yolk. Shape them into small cakes. Fry them in a pan until brown. 8. Cook potatoes for about 15 to 20 minutes. Peel them and mash them. Add milk and broth. Mix until smooth. Season according to taste. A good starter for cold days. 9. In a deep-fat fryer heat oil. Peel potatoes and cut them into thin slices. Cut slices into strips. Wash strips. Fry strips in hot oil for about 5 minutes or until done. 10. Preheat oven. Peel potatoes and cut them into slices. Melt butter in a pan. Add potatoes and salt. Sprinkle with cheese. Cover with foil. Bake for 20 minutes or until done. 11. Cook potatoes for about 15 to 20 minutes. Cut potatoes into slices. Add broth, chopped onions, vinegar, oil. Season with salt and pepper. 12. Peel and wash potatoes. Grate them. Place them in a cloth and squeeze out any liquid. Add eggs and seasonings. Drop into hot oil and fry until they are brown on both sides. Seite 42 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 2: Leseverstehen Die Anforderungen an Stufe II lauten wie folgt: (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe II (Europäischer Referenzrahmen B1, Threshold): Rezeption Der Prüfling kann gängige berufstypische Texte unter Einsatz von Hilfsmitteln (wie z.B. Wörterbüchern und visuellen Darstellungen) zügig auf Detailinformationen hin auswerten. Er kann klar und in angemessenem, natürlichem Tempo gesprochene Mitteilungen nach wiederholtem Hören im Wesentlichen verstehen, wenn die Informationen nicht zu dicht aufeinanderfolgen. Die folgenden Beispiele wurden als Best-practice-Beispiele ausgewählt: Die Sprache der Aufgabenstellung ist bei den folgenden drei Beispielen Deutsch. Die Länge der Texte, sowie ihre Informationsdichte, sind für die Anforderungen dieser Stufe angemessen. In allen Beispielen wird das komplexe Verständnis des Textes dadurch überprüft, dass die Prüflinge Detailinformationen heraussuchen sollen und diese dann strukturiert wiedergeben. Bei dieser Strukturierung wird auch eine Bewertung der Information vom Prüfling verlangt. Als Anmerkung zu Aufgaben aus dem Berufsbereich IT: Aufgaben aus dem IT-Bereich müssen besonders darauf überprüft werden, dass sie nicht allein aus dem Fachwissen der Prüflinge heraus lösbar sind, sondern dass die fremdsprachliche Handlungskompetenz in der Fachsprache im Vordergrund steht. Rezeption 2 (Leseverstehen), Stufe II: Beispiel 13: IT-Fachleute Sie sind Mitarbeiter eines Computerladens und finden in einer Fachzeitschrift eine vergleichende Übersicht über Handheld-Computer. Ihr Arbeitgeber bittet Sie, die Produktdaten für ihn auszuwerten und die Ergebnisse auf Deutsch in die unten stehende Tabelle einzutragen. Compaq Computer ............................ ............................ ........................... Hewlett- Packard Co. ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ........................... ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ ............................ Palm Inc. Stärken Schwächen Handspring Inc. ............................ ............................ .........................… ............................ Seite 43 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ THE CROWDED MARKET FOR SMALL DEVICES In just a year and a half, Handspring has sold more than 1 million handheld devices and grabbed more than a quarter of the exploding market. But it faces plenty of new challenges. Here’s how the competition stacks up: PALM INC. HANDSPRING INC. MARKET SHARE: 59% PRODUCTS & PRICES: m100, Palm IIIC, Palm V line; $ 150 - $ 450 MARKET SHARE: 28% PRODUCTS & PRICES: Visor, Visor Edge, Visor Deluxe, Visor Platinum and Visor Prism models; $ 150 - $ 450 Market leader, with heavy brand recognition. It has signed up more than 150,000 developers to create software and hardware add-ons that will turn Palms into more than electronic organizers. The operating system, however, is too simple to handle future applications such as video and voice recognition. It’s difficult to connect to Microsoft Office products. In plug-and-play slot turns the Visor into a cell phone, an MP3 player, and more. Visors can exchange data with PCs faster than some Palms. It does not include flash memory; models cannot be upgraded to allow for new features such as video and voice recognition when the Palm operating software it uses changes. COMPAC COMPUTER HEWLETT – PACKARD CO. MARKET SHARE: 3% PRODUCTS & PRICES: iPaq and Aero lines; $ 500 - $ 600 MARKET SHARE: 3 % PRODUCTS & PRICES: Jornada Pocket PC and Jornada Handheld PCs; $ 500 - $ 600 Uses the Microsoft Pocket PC operating system. Pocket versions of Microsoft Windows, Office, and MP3 player are built in. Component shortages have limited supply. The complex Microsoft operating system makes it harder to quickly develop compelling new software applications. Massive processor and memory. Easily links to Microsoft Office and e-mail software. Weighs a relatively heavy nine ounces and has no built-in wireless capability. Because it runs on the Microsoft system, it has fewer developers than Palm. Seite 44 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 2 (Leseverstehen), Stufe II: Beispiel 14: Fachangestellte für Medien- und Informationsdienste Situation: Sie unterstützen Ihre amerikanischen Kollegen in der Katalogisierungsabteilung bei der Einarbeitung von Medien. Aufgabe: Sehen Sie die folgende Liste von Annotationen durch und entscheiden, zu welchen Medienarten die jeweilige Bestandseinheit gehört. Kreuzen Sie dazu in der nachfolgenden Übersicht die möglichen Kategorien an. AccesTitle, Author, Annotation sion No.: 2005-500 A Parliamentary Affair Edwina Currie Elaine Stalker, the new MP for South Warmingshire, enters Parliament with high ideals but soon experiences first-hand the love, sex, violence and intrigue that are all part of this high-powered world. Also on tape as an audio book. 2005-501 Alma Cogan Gordon Burn Make no mistake, this is not a biography of Alma Cogan, but an imaginative reconstruction of the singer’s rise to fame in the ‘50s and decline into obscurity or “flame out”. Nina’s tale, written in the first person, tears away the mask of glamour from the world of show business and in doing so, reveals its more menacing and unpalatable side. 2005-502 American Grab Bag Dean Curry, compiler Prose and poetry reflecting the thoughts of various authors and poets on the “American experience,” on being an American, and on the human condition in its manifestations in the U.S. 2005-503 American Patchwork Betty Keene Taska A collection of American short stories in a textbook, mostly contemporary, that reflect ways of life in various geographical regions in the United States. Each story is introduced by a pre-reading focus on the theme and followed by culture notes and exercises for comprehension, vocabulary development, and structure. 2005-504 American Studies Wall Maps This is a set of large (106 by76 cm) colored wall maps. There is an uncluttered base map, one illustrating the historic growth of the U.S., and one showing regions. Their sturdy paper quality and large size make these maps a handy and useful tool for conveying basic geographical, historical, and cultural information. 2005-505 An Outline of American History This book traces major developments and events of the history of the United States from the colonial period to modern America. Each chapter is designed to be a useful introduction to the respective period of the nation’s growth. 2005-506 Design for Drama: Short Plays from American Literature Helaine Michaels-Klein, editor The plays in this collection are adaptations in drama form of well-known American short stories and of a poem by Edwin Arlington Robinson titled “Richard Cory.” Among the stories represented are “The Marriages” by Henry James and “The Black Cat” by Edgar Allan Poe. Seite 45 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ AccesTitle, Author, Annotation sion No.: 2005-507 Highlights of American Literature Carl Bode, editor This historical anthology includes the writings of major literary figures from the 18th century to 1960. It evolves from the national beginnings with selections from Benjamin Franklin and Nathanial Hawthorne through naturalism, romanticism and realism in poetry and prose throughout the 19th century. It ends with selections from classic 20th-century authors such as Hemingway and Faulkner. 2005-508 Letter Writing in English Anna Maria Malkoc A simple collection of 34 sample letters illustrating formats, expressions, and vocabulary commonly used for writing social letters (apologies, condolences, congratulations, invitations) and business letters (acknowledgments, applications, complaints, invitations, orders). Most models include both formal and informal styles. Appended are a page of postcard greetings and a glossary. 2005-509 Mountain of Bones Nevada Barr In the mysterious surroundings of the ancient native ruins in Mesa Verde National Park, US park ranger Anna Pigeon finds herself confronted by disturbing mysteries. Who is trying to sabotage the park’s archaeological treasure trove? Can the ghostly sightings of tribal spirits really be believed? And why are so many people being taken ill? When the dead body of Anna’s colleague, Stacy Myers, is discovered events take a menacing turn for the worse ... 2005-510 Portraits in Words Thomas Kral, editor These biographical essays include a variety of information provided as reading as well as listening items. So the accompanying audiocassette contains segments from radio, commercial records, and live discussions of Henry Ford, the Wright Brothers, Ernest Hemingway, Eleanor Roosevelt, Louis Armstrong and Walt Disney. The text is illustrated with photos and other graphics. 2005-511 Room 13 Robert Swindells Just before the school trip to Whitby, Fliss has a nightmare about a dark house with a terrible secret in Room 13. Fliss is horrified to discover that the Crow Hotel is very similar to the house in her nightmare, with just one exception – there is no Room 13! At the stroke of midnight the laundry cupboard turns into Room 13 and something strange is happening. This is a very cleverly written book which uses elements of the Dracula story but in a way that is suitable for young children. 2005-512 Spacious Days Michael Twist “Spacious Days” is the autobiography of the son of country estate manager from the 1920´s. The author takes us through his boyhood and teens in a loving and nostalgic account of the delights and dangers of working with animals, crops and farm machinery. A book of humorous recollections in large print. Seite 46 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ AccesTitle, Author, Annotation sion No.: 2005-513 The Shell Seekers Rosamunde Pilcher This is a skilfully woven story which introduces us to three generations of a family, stretching from wartime Britain to present day. Penelope Keeling entered a hasty wartime marriage, and brought up three children: Nancy and Noel, who are grasping and ungrateful, and Olivia, a successful business woman. At the age of sixty-four, having suffered a heart attack, Penelope realises that she must organise her life and decide what to do with her father’s valuable paintings, including The Shell Seekers. This hardback novel is also available on DVD. 2005-514 Whale’s song Diane Sheldon & Gary Blythe Lilly is enthralled by her Grandmother’s magical stories of how once the ocean was filled with whales and if you were really lucky you might hear their song. Lilly longs to see them for herself and one night her dream comes true. She finally gets to hear their song. Visually stunning illustrations catch the mood of the story and also show the importance of beauty and imagination. Combined with poetic and rhythmic text, this is a thought-provoking picture book. 2005-515 We’ll Meet Again Vera Lynn with Robin Cross On this spoken word tape, Vera Lynn recalls how the Second World War affected everyday life in Britain. ”We’ll Meet Again” gives a fascinating picture of life in East Ham. So if you remember London during the war, then this is a tape you shouldn’t miss. (Quelle: Verschiedene Broschüren öffentlicher Bibliotheken) Accession Number 2005-500 Adult Fiction Adult Non-fiction Children’s Books 2005-501 2005-502 2005-503 2005-504 2005-505 2005-506 2005-507 2005-508 2005-509 2005-510 2005-511 2005-512 2005-513 2005-514 2005-515 Seite 47 A/V-media Large Print Others (What?) BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 2 (Leseverstehen), Stufe II: Beispiel 15: Gastgewerbe Situation: Die Hotelkette, für die Sie arbeiten, veranstaltet internationale Austauschprogramme für ihre Angestellten. Im Rahmen eines solchen Austausches arbeiten Sie derzeit in der Verkaufsabteilung des „Sunshine-Hotel“ im Bundesstaat Washington in den USA. Das Hotel plant, seinen Gästen einen organisierten 2-tägigen Ausflug zum BAVARIAN VILLAGE von Leavenworth anzubieten, einem Ort mit typisch bayrischen Restaurants, Unterkünften, Läden mit bayrischer Handwerkskunst und traditionellen bayrischen Musikveranstaltungen. Aufgabe: Sie helfen dabei, aus folgenden Werbeseiten eine Auswahl zu treffen, welche Restaurants in das Ausflugsprogramm aufgenommen werden sollen. Lesen Sie die Werbung der Restaurants auf den folgenden Seiten genau durch und wählen Sie jeweils ein Restaurant aus, das die unten aufgeführten Anforderungen am besten erfüllt. 1. Sie suchen ein Restaurant, das ihren Gästen Frühstück offeriert und außerdem an allen Wochentagen geöffnet ist. 2. Ein Restaurant sollte Ihren Gästen exklusives Abendessen in freier Natur anbieten können. 3. Sie wollen ein Restaurant in das Ausflugsprogramm aufnehmen, das typisch bayerische Gerichte und traditionelle Live-Musik bietet. 4. In das Ausflugsprogramm wollen Sie auch ein Restaurant einbinden, das familienfreundlich ist, Kindergerichte auf der Karte hat und sowohl Mittag- als auch Abendessen serviert. Seite 48 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ SOUP CELLAR – 725 Front St., Leavenworth, WA Home of the famous White Chilli, five soups daily, garden fresh salad bar, sandwiches, German sausages, beer and wine. We also serve a delicious all you can eat prime rib dinner on Saturday night. We have a menu, sure to please the whole family - just look for the little pig at the doorway. Open daily at 11.00 a.m. Renaissance Café – 217 8th Street, Leavenworth, WA For a cozy candlelight gourmet dinner or a unique breakfast you will find us downstairs in the “Kinny” building. We serve breakfast all day, lunch and gourmet dinners. We have lots of vegetarian choices, great wraps, homemade soups and desserts, a full espresso bar and spirits. Stop in and eat, or place an order to go at the Renaissance Café. Catering and private parties. Open daily 7.00 a.m. to 9.00 p.m. Café Mozart – 829 Front St., Leavenworth, WA Located in the heart of downtown with views overlooking the City Park. Classic upscale European dining with gourmet German, Austrian, French and Northwest food. Homemade lunches, dinners, desserts and European wines and beers. Four charming dining rooms, candles, cozy fireplace, live harp-music make this utterly romantic! German chef – German spoken. Summer Hours Daily lunch 11.00 a. m. to 4.00 p.m. , daily dinner 4.30 p.m. to 9.00 p.m. Winter hours: Friday through Sunday: Lunch 11.00 a.m. to 4.00 p.m., dinner 4.30 p.m. to 8.30 p.m. J.J.Hills - 505 Hwy. 2, Leavenworth, WA At the Icicle Inn Resort, family dining is at its finest. Relax in our historic train-themed restaurant in the beautiful Icicle Inn. Enjoy Back Ribs in our special recipe Bourbon BBQ sauce, uniquely prepared, hand-cut steaks, spicy Sausage and Pepper Penne, delicately seasoned Shrimp Cappelini, or a delicious entrée salad. Enjoy the model train while you dine. Popular children’s favourites, homemade specialty desserts, beer, wine, cocktails. Private parties available. Hours: 4.30 to 9.30 p.m. daily. Seite 49 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ MOUNTAIN SPRINGS LODGE 19115 Chiwawa Loop Road, Leavenworth, WA Follow an exhilarating outdoor experience with sumptuous dining at Mountain Springs Lodge, located on the 1895 Burgess Homestead in Plain Valley, just 1 mile Northwest of Leavenworth. Combine fine dining with our horse-drawn wagon or sleigh rides, horseback adventures, or snowmobile tours through miles of pristine wilderness. Reservations required. Open year round. Visit www.mtsprings.com Sandy’s Waffle House – 894 Hwy. 2, Leavenworth, WA Sandy’s sits on Hwy. 2 which overlooks the park and downtown Leavenworth. We are a family restaurant, with friendly smiles, special children’s menu and great service. Join us for homemade waffles, fresh salads, soups fixed daily and much more. Come in and have some great food. You’re the heart of our business! Open daily at 7.30 a.m. to 8.30 p.m. King Ludwig’s – 921 Front St., Leavenworth, WA You will think that you’re in Munich at King Ludwig’s Restaurant with the authentic Bavarian food and atmosphere. We are famous for our Pork Hocks, as we serve more of this Bavarian specialty than any other restaurant this side of Chicago. Dine, sing-along or dance to live music. Leavenworth’s Bavarian fun spot. Open Monday through Thursday 11.00 a.m. to 8.30 p.m., Friday and Saturday 11.00 a.m. to 10.30 p.m. The Buckboard Café Hwy. 97, ½ mile from Leavenworth Junction of Hwy. 2. Featuring breakfast and lunch made from fresh, high quality products. Friendly service in a down-home atmosphere. Large parking area. Hours Tuesdays through Sundays 6.00 a.m. to 3.00 p.m. Restaurant Bavaria – 219 9th St., Leavenworth, WA Featuring fine European dining including seafood, game and specialties served in an elegant yet casual atmosphere. Our dining room is all non-smoking and the antique-decorated lounge has a great selection of spirits, wines, domestic and imported beers. Open year-around. Seite 50 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 2: Leseverstehen Die Anforderungen an Stufe III lauten wie folgt: (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe III (Europäischer Referenzrahmen B2, Vantage): Rezeption Der Prüfling kann komplexere berufstypische Texte gegebenenfalls unter Einsatz von Hilfsmitteln über ihren Informationsgehalt hinaus auswerten. Er kann in natürlichem Tempo gesprochenen Mitteilungen folgen und Hauptgedanken erkennen und festhalten, auch wenn leicht regionale Akzentfärbungen zu hören sind. Die folgenden Aufgaben wurden als Best-practice-Beispiele ausgewählt: Die Sprache der Aufgabenstellung ist bei allen drei Beispielen Deutsch. Die Prüflinge sollen sich entweder im heimischen Betrieb, oder beim Praktikum im englischsprachigen Ausland sehen. Die fremdsprachlichen Texte sollen hier Grundlage für die Produktion deutschsprachiger Informationstexte sein. Bei allen zu bearbeitenden Texten handelt es sich um relativ lange Texte mit einer recht hohen Informationsdichte. Aus diesen komplexen Texten sollen die Prüflinge relevante Informationen extrahieren. In Beispiel 16 soll ein Merkblatt ausgefüllt werden, in Beispiel 17 ein Informationsblatt, und schließlich soll in Beispiel 18 eine mindmap erstellt werden. Bei allen Beispielen ist der Adressatenbezug in der Aufgabenstellung klar definiert. Die Kombination von Informationsdichte, Adressatenbezug und Textsortendefinition positioniert diese Aufgaben in der Stufe III des KMKFremdsprachenzertifikats. Seite 51 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 2 (Leseverstehen), Stufe III: Beispiel 16: Gastgewerbe Der englischen Fachzeitschrift „Hotel and Catering“ entnahm Ihr Chef den nachfolgenden Artikel zu Weinen aus dem Bordeaux. Da er beabsichtigt, das Sortiment seines Hauses mit Weinen aus diesem Anbaugebiet zu erweitern, beauftragt er Sie, die wichtigsten Informationen des Artikels auf einem Merkblatt auf Deutsch festzuhalten. Wissenswertes zu Weinen aus dem o Hauptanbaugebiete: .................................................................... .................................................................... o Klassifizierung der Weine : (in aufsteigender Qualität) .................................................................... .................................................................... o Anzahl der Top-Lagen nach dieser Klassifizierung: .................................................................... o Claret wird hergestellt aus: .................................................................... .................................................................... o Kräftige, lange lagerfähige Weine erhält man aus den Anbaugebieten: o Charakteristisch für den Wein „Entre-deux-Mers“ ist : .................................................................... ………………………………………………… ………………………………………………… o Besonderheiten bei der Herstellung eines „Sauternes“: ................................................................... .................................................................... o Typisch für den „Sauternes“ ist: .................................................................... Seite 52 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ For most connoisseurs Bordeaux is the ultimate wine. In many ways that’s because of tradition – in the 18th century clairet, now known as claret, was the gentleman’s only drink. Many other countries have tried to imitate Bordeaux’s wines by planting the same grape varieties, especially California and Australia. To this day, however, Bordeaux still leads the wine market, and arguably makes the finest wines in the world. The main regions of Bordeaux are divided by two rivers, the Gironde and the Dordogne, whose confluence, the Garonne, runs into the Atlantic. On the left of the Gironde and Garonne are the Médoc and Graves, and on the right bank of the Dordogne are Saint Emilion and Pomerol. In Bordeaux the wines are known by the name of the chateau. These vary in size from huge castle-like buildings to tiny shack-like houses. The basic Appellation is AC Bordeaux, and the next one up AC Bordeaux Supérieur. The top wines of Bordeaux are called Crus Classés (in English Classed Growths) and are graded from First Growth through to Fifth Growth, following a classification in 1855. The First Growths are rated to be amongst the world’s greatest wines, and this is reflected in their price. There are only five First Growths – Chateaux Latour, Lafite-Rothschild, Margaux and Mouton-Rothschild in the Médoc and, in Graves, Chateau Haut-Brion. There are also two in St. Emilion – Chateaux Ausone and Cheval-Blanc – and one in Pomerol – Chateau Petrus. Whilst delicious, these wines are very expensive and are often bought more because of the name on the label than for their taste. Claret, always red in colour, is a dry, fairly tannic wine. Many of the Classed Growths are aged in oak barrels called barriques. The oak, together with the grape skins which are left in contact with the wine, produce the tannin, a bitter substance that makes the wines hard and unpleasant to taste when young, but enables them to last for a long time. Three main grape varieties are used in claret: Cabernet Sauvignon, Cabernet Franc and Merlot. They are blended together in different proportions, determined by the winemaker and by how much of each grape variety the chateau has planted in its vineyards. In the Médoc the Cabernet is predominant, whilst Merlot is the main variety used across the river in Saint Emilion and Pomerol. This leads to different styles of wine. Médoc and Graves clarets tend to be more austere, powerful and longer lived than the more delicate, softer wines of Saint Emilion and Pomerol. Many people don’t realise how much white wine is produced in the Bordeaux region. This is where Entre-deux-Mers (the region between the rivers Dordogne and Gironde) comes from, a crisp, dry white wine made mainly from a grape called Sauvignon. The other white wine for which Bordeaux is famous is Sauternes. This is a rich, luscious, sweet wine, high in alcohol and often referred to as a dessert wine. Sauternes is a very difficult wine to make. The producer leaves the Sauvignon and Semillion grapes on the vines long after the grapes from the rest of the region have been picked. The grapes shrivel up, get a browny-yellow colour and are affected by a noble rot called botrytis cinerea. If successfully attacked by this rot, the shrivelled grapes are eventually harvested in October/November, the pickers often selecting individual grapes from the bunches. By this stage the grapes are very high in sugar levels and the resulting wine deep gold in colour, is rich and sweet. Making Sauternes is a risky business, because at any time whilst the grapes are left rotting they could be destroyed by bad weather. Because of this complicated process genuine Sauternes is expensive. Seite 53 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 2 (Leseverstehen), Stufe III: Beispiel 17: Automobilkaufleute Situation: Sie sind Automobilkaufmann/-frau in einem Neu- und Gebrauchtwagenhandel in Weimar. Ihr Chef, Herr Schneider, hat Sie zu einem Praktikum nach London geschickt. Aufgabe: Bearbeiten Sie im Auftrag von Herrn Schneider folgenden Artikel, indem Sie Angaben zu den sich anschließenden Sachverhalten in deutscher Sprache machen. GM's current affairs Fuel cell Zafira Ultra-clean electrically driven MPV production-ready by '04 At around £400,000 GM's fuel cell Zafira, HydroGen1, may well be the most expensive MPV on the planet - but it is also certainly the cleanest. The zero-emission electrically driven Zafira turned its wheels for the first time in public earlier this month, as GM confirmed its determination to have a hydrogen fuel cell vehicle production-ready by 2004. The Zafira uses a GM-developed fuel cell stack comprising 200 separate cells wired in series. Its dimensions are just 590mm x 270mm x 500mm. Beneath the middle row of seats is a vacuum-insulated tank that cryogenically stores 5kg of hydrogen fuel at minus 253deg C. That's enough to provide a range of 250 miles. Refuelling will be carried out manually or by robot refuelling stations such as the experimental facility operating in Munich. Development of the GM fuel cell system has come on in leaps and bounds. Since 1997 the power density of stacks has increased from 0.16kW per kg to 0.47kW per kg - nearly three times the energy yield. The current system generates between 125 volts DC and 200 volts DC depending on load, the current then being converted to 250-380 volts AC to drive the three-phase synchronous traction motor. In common with all vehicles powered by an electric motor, the massive torque available from standstill upwards means there's no need to change gear. Instead, the motor drives the front wheels through a simple reduction gearbox, developing continuous torque of 185lb ft, with 225bhp available during acceleration. Continuous power output is 75bhp, peaking at 82bhp. The fuel cell technology is all but there, says Dr Erhard Schubert, co-director of GM's Global Alternative Propulsion Centre (GAPC). "The car is virtually ready," he says, "but we still have some challenges. We need to improve the durability of the system but that's just a question of engineering resources." The biggest problem facing all fuel cell developers is the question of how to provide a ready supply of hydrogen gas to drive fuel cell vehicles. No infrastructure exists for dispensing hydrogen - an absence that society as a whole needs to address, argues GM. GAPC's Matthew Fronk thinks the opportunity for new businesses making the gaseous fuel enormous. "We are hoping for a hydrogen supply infrastructure by 2020," he says. As an interim measure, fuel cell cars will be developed with on-board reformers to extract hydrogen from petrol, at the expense of generating some carbon dioxide. But the need for fuel cell vehicles is now urgent, says Schubert, pointing out that the number of cars and trucks worldwide will increase from 800 million to 1.6 billion by 2030, producing unacceptable levels of carbon dioxide. (Quelle: AUTOCAR Special Issue, 28 June 2000, p. 93) Seite 54 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Allgemeine Merkmale: _________________________________________________ _________________________________________________ _________________________________________________ _________________________________________________ Technische Merkmale des aktuellen Modells: _________________________________________________ _________________________________________________ _________________________________________________ _________________________________________________ _________________________________________________ _________________________________________________ _________________________________________________ _________________________________________________ _________________________________________________ _________________________________________________ _________________________________________________ Probleme: _________________________________________________ _________________________________________________ _________________________________________________ _________________________________________________ Seite 55 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Rezeption 2 (Leseverstehen), Stufe III: Beispiel 18: Reiseverkehrskaufleute Erarbeiten Sie eine Mindmap über das Arbeitsprogramm der WTO (World Tourism Organisation) in deutscher Sprache. Sie soll als Aushang für Ihre nicht Englisch sprechenden Kollegen genutzt werden. Der folgende Auszug aus einer Broschüre der WTO soll Ihnen dabei helfen. WTO´s programme of work and cooperation with the members include: Cooperation for Development The transfer of tourism know-how to developing countries is one of the World Tourism Organization’s fundamental tasks. As an executing agency of the United Nations Development Programme, WTO contributes decades of experience in tourism to nations throughout the world. Quality in Tourism Development Integrating the various components of a quality tourism experience, WTO´s programme of Quality in Tourism Development deals with measures to improve the design and supply of tourism products and services. Sustainable Tourism Development Ensuring the sustainable development and management of tourism so that its benefits can be enjoyed for generations to come is the philosophy behind the activities carried out by the Sustainable Tourism Development Section. Statistics Proving the economic impact of tourism with hard facts and figures and promoting the Tourism Satellite Account is the goal of WTO´s Section on Statistics and Economic Measurement of Tourism. Market Intelligence Identifying market trends as they are happening; short-term and long-term forecasting; analyzing the world’s generating markets; conducting research into niche markets; and providing evaluation tools for promotional campaigns are just some of the activities carried out by the Market Intelligence and Promotion Section. Human Resource Development Encouraging educational institutions to better prepare professionals for leadership roles in the tourism sector of WTO member countries is the goal of the Human Resource Development (HRD) Department. Communications and Documentation Increasing awareness of the importance of the tourism industry and keeping the media and general public informed about new projects, studies, seminar results and upcoming WTO activities are the primary goals of WTO´s Press and Communications Section. ... Tourism and Technology WTO´s work in the area of new Information Technologies aims to provide leadership in the field of IT and tourism, as well as helping to bridge the digital divide between the have and Have-nots among WTO´s membership. Business Council WTO is unique among international intergovernmental organizations in that it is open to membership by the operating sector and promotes various methods of cooperation amongst its members. Arlines, hotel chains, tour operators, trade associations, consultants, promotion boards and educational institutions make up approximately 350 members of the WTO Business Council (WTOBC). Regional Activities Direct actions that strengthen and support the efforts of national tourism administrations are carried out by the WTO´s regional representation for Africa, America, Asia and the Pacific, the Middle East and Europe. Seite 56 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ 2.2.4 Aufgabentypologie Rezeption 1 und 2 Wie bereits durch die Best-practice-Beispiele veranschaulicht, gibt es für den Anforderungsbereich Rezeption eine Fülle von möglichen Aufgabentypen. Neben den angegebenen Best-practice-Beispielen soll die folgende Aufgabentypologie weitere Möglichkeiten zeigen. Diese Liste kann selbstverständlich nicht als vollständig angesehen werden: - Vergleich von Angeboten in Texten - Organisation von Textfragmenten zum Hörtext - Organisation von Textfragmenten zum Lesetext - Informationsextraktion (note taking, underlining) - Formulare ausfüllen - Zuordnen: z. B. Bilder zu Hörtexten - Definitionen von Terminologien - Konvertierung von Texten in Tabellen und Grafiken (Organigramme, Mind Maps etc.) - Versprachlichung einer Grafik (Organigramm, Diagramm, Mind Map etc.) - Beschreibung oder Beschriftung einer Abbildung Die folgenden Aufgabentypen sind insbesondere deshalb weniger geeignet, weil sie nur selten authentischen Bezug herstellen können: - multiple choice, - labelling, - true-or-false, - Cloze (= Ergänzen von fehlenden Wörtern oder Buchstaben) und - Verständnisfragen. Anm.: Mitunter gibt es auch Hörverstehensaufgaben, die als Tonmaterial eine Videoaufzeichnung verwenden. Dabei handelt es sich nicht um reines Hörverstehen, sondern um audio-visuelles Verstehen. Diese Möglichkeit der Überprüfung der rezeptiven Fertigkeiten ist von den Teilnehmern der Workshops des BLK-Modellversuchs nicht diskutiert worden. An dieser Stelle soll sie aber erwähnt werden. Seite 57 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ 2.3 Produktion Produktion beinhaltet unter anderem die folgenden Fertigkeiten: - Formulare und Fragebögen ausfüllen Nachrichten, Memos, etc. verfassen Notizen, Stichworte, etc. aufschreiben Geschäftsbriefe erstellen Bewerbungen verfassen1 Berichte verfassen Artikel für Zeitungen, etc. schreiben2 kreatives Schreiben2 Wie im Bereich Rezeption sollten auch im Kompetenzbereich Produktion handlungsorientierte Prüfungsaufgaben gestellt werden. Dabei ist darauf zu achten, dass der Berufsbezug gewährleistet ist, die Aufgabe eine authentische situative Einbettung hat, klar verständlich und der Stufe angemessen ist. Überschneidungen mit den Bereichen Mediation und Rezeption sind häufig zu beobachten. Die Aufgabenstellung im Bereich Produktion wird immer dergestalt sein, dass vom Prüfling eine Anweisung befolgt wird. Durch das Ausführen dieser Anweisung beweist der Prüfling zunächst rezeptive Kompetenz, durch das Produzieren eines Textes in der Zielsprache schließlich produktive Sprachhandlungskompetenz, die in diesem Teil der KMKZertifikatsprüfung unter Beweis gestellt werden soll. Um die Authentizität der Aufgaben zu wahren, ist die Verwendung von didaktisierten Materialien zu vermeiden. Die Aufgabenstellungen sollten so wenig Lenkungsanteile wie möglich enthalten. Die Aufgabenstellung muss klar und deutlich und sowohl für die Stufe als auch für den Prüfling in seinem Berufsfeld angemessen sein. Die Angemessenheit der Aufgabe für die Prüflinge ergibt sich bei den Aufgabenteilen der Produktion unter anderem aus der Höhe der kreativen Eigenleistung, d.h. ob der Prüfling nur kleinschrittige Arbeitsanweisungen befolgt oder überwiegend selbstständig einen Text zu verfassen hat. Darüber hinaus ist die Vertrautheit des Prüflings mit der Art des zu erstellenden Textes zu berücksichtigen, d.h. ob es sich beispielsweise um einen standardisierten Geschäftsbrief (z. B. Anfrage) oder um ein weniger geläufiges Schriftstück, wie z. B. einen Bericht oder ein Rundschreiben handelt. Die Aufgabenstellung des Kompetenzbereiches Produktion sollte dem Prüfling ausreichende Informationen über die erwartete Prüfungsleistung geben. 2.3.1 Dokumentation der Workshops Die Aufgaben dürfen, wie in allen Anforderungsbereichen, nicht primär durch Fachwissen lösbar sein, sondern müssen fremdsprachliche Kompetenzen abprüfen. Unterschiedliche Aufgabentypen können zur Überprüfung der Produktionskompetenz geeignet sein (siehe Aufgabentypologie unten). Die Aufgaben müssen sowohl qualitativ als auch quantitativ der Stufe angemessen sein. Sie müssen berufstypische Inhalte haben, die situativ eingebunden sind. Dabei sollte die Sprache der Aufgabenstellung der Situation entsprechen. Wenn der berufliche Kontext im deutschsprachigen Raum liegt, so ist eine Aufgabenstellung in deutscher Sprache vertretbar. Wenn der berufliche Kontext der Aufgabe es verlangt, dann ist die Aufgabenstellung in englischer Sprache vorzunehmen. Dabei ist aber besonders zu beachten, dass nicht zu viele Hinweise zur 1 Als Ergebnis der Abschlussdiskussion des letzten Workshops der ersten Modellversuchsphase konnte nicht festgehalten werden, ob Bewerbungen generell auszuschließen sind. Zwar handelt es sich bei Bewerbungen im Allgemeinen um ein stark individualisiertes Schriftstück, doch kann man sich die Bewerbung eines Auszubildenden auf ein Praktikum im englischsprachigen Ausland in Bezugnahme auf eine solche Ausschreibung durchaus als produktive Aktivität vorstellen. 2 Diese zwei Fertigkeiten entsprechen zwar nicht dem Profil der KMK-Zertifikatsprüfung, bedürfen aber doch einer Randerwähnung. Seite 58 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ sprachlich korrekten Lösung der Aufgabe bereits in der englischsprachigen Aufgabenstellung gegeben werden. Sollte mehr als eine Produktionsaufgabe gestellt werden (z. B. das Verfassen zweier kurzer Schriftstücke) müssen beide Aufgaben unabhängig voneinander lösbar sein und jeweils eine produktive Eigenleistung des Prüflings erfordern. Die Leistung sollte, abhängig von der Stufe der Prüfung, einen kreativen Anteil haben, der auch dementsprechend bewertet werden muss (s.o.). Die Aufgabenstellung ist eindeutig und klar zu formulieren, sollte die erwartete Textsorte spezifizieren sowie die enthaltenen Lenkungsanteile an der Stufe ausrichten. Auf Stufe 3 kann ein höherer Kreativanteil vom Prüfling erwartet werden als auf Stufe 1. Es sollten in der Prüfung keine Dialoge erstellt oder vervollständigt werden, da dies nicht einem realtypischen Produktionstext entspricht. Von Vokabelhilfen ist möglichst abzusehen, da den Prüflingen ein Wörterbuch zur Verfügung steht. 2.3.2 Best-practice-Beispiele Produktion Die Anforderungen an Stufe I lauten wie folgt: (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnisen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe I (Europäischer Referenzrahmen A2, Waystage): Produktion Der Prüfling kann Eintragungen in Formulare des beruflichen Alltags vornehmen und kurze Sätze bilden. Längere Darstellungen gelingen, wenn als Hilfsmittel Wörterbücher und/oder ein Repertoire an Textbausteinen zur Verfügung stehen und die Textproduktion stark gelenkt ist. Der Prüfling verfügt über die nötigen sprachlichen Mittel, um die im Berufsleben geläufigsten Sachinformationen (wenn auch nicht immer sprachlich korrekt) zu übermitteln. Die folgende Aufgaben wurden als Best-practice-Beispiele ausgewählt: Die Beispiele zur Stufe I Produktion verlangen von den Prüflingen die Erstellung kurzer Texte. In Beispiel 19 und 21 liegt die situative Einbettung in deutschen Betrieben, wo Kurzinformationen für englischsprachige Kunden gebraucht werden. In Beispiel 20 soll ein Praktikant während seines Praktikums im englischsprachigen Ausland damit beginnen, seinen Bericht auf Englisch zu verfassen. Die drei Aufgabentypen, ein Antwortbrief, ein Bericht und ein Flyer sind durch die hohen Lenkungsanteile in der Aufgabe entsprechend den Vorgaben der KMKRahmenvereinbarung. Seite 59 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Produktion, Stufe I: Beispiel 19: Bürokaufleute Sie arbeiten im Büro der Gäuboden GmbH in Straubing, einem mittelständischen Unternehmen, das sich auf den Vertrieb heimischer Agrarprodukte (z. B. Essiggurken, Beerenweine) spezialisiert hat. Alle Erzeugnisse der Gäuboden GmbH sind hausgemacht und von höchster Qualität. Nach einer erfolgreichen Präsentation Ihres Unternehmens auf der Ausstellung „Internationale Grüne Woche“ in Berlin erhalten Sie heute folgende E-Mail: From: To: Subject: Date: [email protected] [email protected] Your berry wines 18 May 2004 Gentlemen Our representative, Mr Shapland, visited your stand at the trade fair “Internationale Gruene Woche” in Berlin this year in January. As one of the leading US wholesalers for international specialities we are interested in your berry wines. Would you be so kind and send us your current price list and catalog? Please give us details on your terms of delivery and payment. Thank you. Yours truly Susan Taylor Deli Import Inc. 29 Upper Road Stanford, Connecticut 06904 Verfassen Sie eine Antwort in englischer Sprache. Verwenden Sie dazu den Briefvordruck auf der nächsten Seite. Ihr Schreiben soll folgende Punkte enthalten: • Bezug auf obige E-Mail • Informationen über Ihre Firma • Hinweis auf Katalog und Preisliste in der Anlage Ihrer Antwort • Zahlungsbedingungen • bei Erstbestellungen Zahlung im Voraus, sonst innerhalb von 14 Tagen • 10 % Mengenrabatt ab 100 Flaschen • Lieferbedingungen gemäß Katalog, S. 45 • sofortige Lieferung möglich • positive Abschlussbemerkung Seite 60 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Gäuboden GmbH – hausgemachte Spezialitäten aus Bayern Stadtgraben 101, 94315 Straubing Telefon 09421 988 123 Fax 09421 988 125 E-Mail [email protected] Gäuboden GmbH, Stadtgraben 101, 94315 Straubing Ms Susan Taylor Deli Import Inc. 29 Upper Road Stanford, Connecticut 06904 United States Straubing, ___________________ ________________________________________________ ____________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ __________________________________________________________________ _____________________ Seite 61 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Produktion, Stufe I: Beispiel 20: Fachangestellte für Medien- und Informationsdienste Während Ihres Auslandspraktikums sollen Sie einen Bericht in englischer Sprache anfertigen, in dem Sie Ihre Aufgaben in den einzelnen Einrichtungen kurz darstellen. Verwenden Sie dazu folgendes Muster, und beachten Sie, dass Sie pro Tag mindestens eine Aufgabe formulieren/über eine Einrichtung berichten. Montag Zentralbibliothek Dienstag Kinderbibliothek Mittwoch Freihandbereich (Erwachsenenbibliothek) Donnerstag Musikbibliothek Freitag Multimedia Abteilung Seite 62 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Produktion, Stufe I: Beispiel 21: Gastgewerbe Ihr Haus möchte für Touristen auch einen Flyer in Englisch auflegen. Ihr Chef beauftragt Sie, den Text dafür zu erstellen. Als Inhaltsgerüst soll Ihnen der folgende Notizzettel dienen: • Höfliche Anrede und sagen, dass wir uns freuen, die Gäste in unserem Ort begrüßen zu dürfen • Ein Table d’Hôte Menü mit je 3 geeigneten Speisen der Region anbieten mit Beilagen • Entsprechende Getränke dazu erwähnen • Preisangabe in Euro • Um Tischreservierung bitten Verwenden Sie für Ihr Schreiben den folgenden Vordruck (hier aus Platzgründen verkleinert): SOUP TABLE D’HÔTE MENU MAIN COURSE DESSERT BEVERAGES Seite 63 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Produktion Die Anforderungen an Stufe II lauten wie folgt : (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnisen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe II (Europäischer Referenzrahmen B1, Threshold): Produktion Der Prüfling kann berufstypische Standardschriftstücke und mündliche Mitteilungen unter Berücksichtigung von Vorgaben und Verwendung von Hilfsmitteln weitgehend korrekt in der Fremdsprache verfassen bzw. formulieren. Berufsbezogene Sachinformationen werden bei eingeschränktem Wortschatz verständlich in der Fremdsprache wiedergegeben. Die folgenden Aufgaben wurden als Best-practice-Beispiele ausgewählt: Bei den Beispielen 22 und 23 ist die Sprache der Aufgabenstellung Deutsch. Dies passt zu der situativen Einbettung in deutsche Unternehmen, in welchen die Prüflinge in Kontakt mit englischsprachigen Kunden kommen. In Beispiel 24 ist als Betrieb ein Hotel in Schottland genannt, daher ist hier die Aufgabensprache Englisch sinnvoll. Die zu produzierenden Textsorten und –formate werden in der Aufgabenstellung klar definiert. Die Aufgaben beinhalten weniger Lenkungselemente als in Stufe I, und vor allem Beispiel 24 fordert den Prüfling zu kreativer Eigenleistung heraus. Produktion, Stufe II: Beispiel 22: Bankkaufleute Da die Spareinlagen in den letzten Jahren abgenommen haben, bereitet Ihre Praktikumsbank eine Werbekampagne vor, um die Bankkunden zum Sparen anzuregen. Ein Teil dieser Kampagne ist ein Werbeprospekt unter dem Titel „Machen Sie mehr aus Ihrem Geld“. Verfassen Sie den Text in englischer Sprache. Orientieren Sie sich dabei an folgenden Stichpunkten: • Grundregeln • Geld arbeiten lassen • regelmäßig sparen • Verhältnis Geld und Zeit • Geld und Selbstkontrolle • Angebot zur Zusammenarbeit mit den Kunden • Verweis auf Öffnungszeiten der Filiale und Website Seite 64 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Produktion, Stufe II: Beispiel 23: IT-Fachleute Situation: Sie haben bei der Firma NETTECH (UK) einige Komponenten für PCs bestellt. Es handelte sich dabei um drei Flachbildschirme, zwei zusätzliche CD-ROM-Laufwerke und ein ISDN-Modem. Statt dessen wurden Ihnen zwei normale Monitore und ein CD-ROM-Laufwerk geliefert. Das ISDN-Modem war nicht in der Lieferung enthalten. Aufgabe: Verfassen Sie eine Beschwerde, die Sie per E-Mail an die Firma NETTECH (UK) senden. Sie muss Folgendes beinhalten: • Beschreibung der Situation nach Erhalt der Lieferung • Bitte um sofortige Nachsendung der fehlenden Komponenten bzw. den Austausch der falsch gelieferten Gegenstände • Erwägung des Abbruchs sämtlicher Geschäftskontakte im Falle der Nichterfüllung, obwohl Sie seit Jahren Stammkunde sind • Frage nach der Möglichkeit einer finanziellen Kompensation für die fehlerhafte Lieferung Produktion, Stufe II: Beispiel 24: Gastgewerbe You work in a hotel in Scotland. Your hotel manager asks you to bring in ideas for the annual Halloween Event. Write down your suggestions for the items below: suitable decoration for the restaurant and the tables • four–course–menu (name the fantasy dishes) • five beverages (including two cocktails) • special attractions (describe three) (You need not write complete sentences.) Your suggestions: Seite 65 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Produktion Die Anforderungen an Stufe III lauten wie folgt: (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnisen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe III (Europäischer Referenzrahmen B2, Vantage): Produktion Der Prüfling kann berufstypische Schriftstücke und mündliche Mitteilungen auch ohne Zuhilfenahme von Textbausteinen insgesamt stil- und formgerecht strukturieren und sprachlich korrekt verfassen bzw. formulieren. Die folgenden Aufgaben wurden als Best-practice-Beispiele ausgewählt: In Beispiel 25 ist Deutsch die Sprache der Aufgabenstellung. Die Prüflinge sollen in ihrer Bank auf Englisch sprechende Kunden vorbereitet sein. Diese Aufgabe erfordert ein hohes Maß an Kreativität und fachsprachlicher Kompetenz von den Prüflingen. Eine ähnliche Aufgabe findet sich in Beispiel 26, in welchem das Profil einer Firma anhand von Präsentationsvorlagen erstellt werden soll. Auch hier wird von den Prüflingen ein hohes Maß an Kreativität verlangt. In Beispiel 27 sollen die Prüflinge mit nur sehr wenigen Vorgaben ein ganzes Wochenende unter einem Thema planen. Die Aufgabenstellung ist hier, wie auch in Beispiel 26, auf Englisch. Im Gegensatz zu den Beispielen aus den Stufen I und II bekommen die Prüflinge in dieser Stufe nur geringe Textbausteine und Lenkungselemente vorgegeben. Produktion, Stufe III: Beispiel 25: Bankkaufleute Ihre Bank möchte ihren englischsprachigen Kunden bei finanziellen Schwierigkeiten Hilfe anbieten. Sie erhalten den Auftrag, in englischer Sprache ein Informationsblatt unter dem Motto „Job verloren? – Wir helfen.“ an ihre Kunden zu verfassen. Nutzen Sie dazu folgende Vorgaben, und schreiben Sie vollständige englische Sätze: • Einleitende Sätze zum Problem Arbeitslosigkeit (kann jedem passieren) • Hilfe von Seiten der Bank anbieten (mindestens 4 Beispiele) • Terminangebot zur Klärung der Probleme Produktion, Stufe III: Beispiel 26: Speditionskaufleute Task: Your boss has promised to send a company profile to Mr Robards of IGV Corporation. Now he has asked you to prepare this company profile on the basis of the following transparencies. He expects you to write this profile in such a way that Mr Robards can learn everything about the company’s background and activities from this profile. Seite 66 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Sandtorkai 3, 20354 Hamburg, Tel +49- 40- 3562340, Fax +49- 40- 3562340 founded by Gottfried Hansen Golden Jubilee in October 2003 m a i n c u s t o m e r s: D a i m l e r- C h r y s l e r, S i e m e n s, B e i e r s d o r f Intersped Ltd. London Halle & Boserup Copenhagen Vernon Camion Paris Transport Gonsalez Madrid Where you can find us Pridlacze Trans Warsaw Berlucci Int. Rome 1 What we offer 36 hours guaranteed ----10% compensation in case of delays London Copenhagen Paris Warsaw Madrid Rome 2 Seite 67 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ How we handle varieties in commodities Either LCL or FCL 3 Facts & Figures Freight volumes handled by Intersped 1200 1000 T o n s 800 600 World-Wide 400 Europe 200 0 1993 1995 1997 1999 2001 2003 Year 4 Seite 68 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Produktion, Stufe III: Beispiel 27: Gastgewerbe You work for an international hotel chain. At the moment you work for a hotel in Philadelphia. The staff manager asks you to come up with ideas for romantic Valentine weekends. Write down your suggestions for the items below: Suitable decoration for the restaurant and the tables • Four–course–menu including beverages • Specials for accommodation (name two) • Special highlights (describe three) Seite 69 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ 2.3.3 Aufgabentypologie Produktion Wie bereits durch die Best-practice-Beispiele veranschaulicht, gibt es auch für den Anforderungsbereich Produktion eine Fülle von möglichen Aufgabentypen. Neben den angegebenen Best-practice-Beispielen soll die folgende Aufgabentypologie exemplarisch weitere Möglichkeiten zur Aufgabenstellung aufzeigen: - Fax, E-Mail - Geschäftsbriefe3 - Arbeitsplatzbeschreibungen - Tätigkeitsbeschreibungen - Arbeitsanweisungen - Report - Artikel - Werbetexte - Verschriftlichung von Graphen, Diagrammen und Statistiken - Formulare ausfüllen - Texte vervollständigen - Kreatives Schreiben aufgrund von visuellen Stimuli 3 Von den Workshopteilnehmern wird empfohlen, auf der Stufe II wenig standardisierte Geschäftsbriefe und auf der Stufe 3 Geschäftsbriefe nur als Teilaufgabe und mit Kreativanteil zu verwenden. Seite 70 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ 2.4 Mediation Zur Mediation gehören die paraphrasierende Textwiedergabe, die zusammenfassende Wiedergabe eines Textes sowie die Her- oder Hinübertragung eines fremdsprachlichen Textes. Mediatives Sprachhandeln ist dann von Bedeutung, wenn eine Person sich in der Position eines Sprachmittlers zu einer anderen Person befindet, die aus irgendeinem Grund eine von zwei Sprachen nicht versteht oder beherrscht. Der Sprachmittler muss dann die relevanten Inhalte des ihm vorliegenden Sprachauszugs für die zweite Person zugänglich machen. Zur erfolgreichen Erfüllung mediativer Aufgaben muss der Sprachmittler sowohl rezeptive als auch produktive Fertigkeiten unter Beweis stellen, was die Aufgaben der Mediation in der KMKZertifikatsprüfung mitunter nur unzureichend von den Anforderungsbereichen Rezeption und Produktion abgrenzen lässt. Überschneidungen sind unvermeidbar. Trotzdem, oder vielleicht gerade deswegen, ist es wichtig, sowohl den sprachproduktiven als auch den sprachrezeptiven Anteil der Mediationsaufgabe im Auge zu behalten, da es wichtig ist, dass sich diese beiden Teile in der Mediationsaufgabe ungefähr die Waage halten. Ein zu hoher sprachproduktiver Anteil macht die Mediationsaufgabe zu einer Produktionsaufgabe, und ein zu geringer sprachproduktiver Anteil macht sie zu einer Rezeptionsaufgabe. Die Aufgabenstellung ist daher gerade bei Mediationsaufgaben von enormer Wichtigkeit und bedarf einer besonderen Klarheit und Aussagekraft. 2.4.1 Dokumentation der Workshops Der Anforderungsbereich Mediation wurde besonders kontrovers diskutiert. Neben der Trennung zwischen den Bereichen Produktion und Rezeption erschienen auch die Aufgabentypen von besonderer Relevanz für die Erlangung einer Vergleichbarkeit der Anforderungen an die Prüflinge. Bei der Diskussion über die Mediationsaufgaben gab es auch immer wieder Rückbezüge zu den Anforderungsbereichen Produktion und Rezeption, und bereits diskutierte Fragen mussten neu aufgerollt werden, damit auch die Aufgabenstellung der Produktionsaufgaben sich von Mediationsaufgaben unterscheidet. Allgemeines: Die Länge des Textes/der Texte sollte von der Stufe und der Komplexität abhängig gemacht werden. Informationsdichte und Textlänge sind dabei in Relation zu betrachten. Der Schwerpunkt der Mediationsaufgaben soll bei der Ver- und Übermittlung von Informationen liegen. Die situative Einbettung in das Berufsfeld des Prüflings sowie der Verwendungszweck des zu erstellenden Textes müssen bei der Mediationsaufgabe gegeben sein. Der Sender und der Empfänger des Textes müssen für den Prüfling nachvollziehbar sein. Diese Informationen müssen unbedingt in der Aufgabenstellung zu finden sein. Solche detaillierten Arbeitsanweisungen und Einbettungen der Aufgabe unterscheiden die Mediationsaufgaben in der KMK-Fremdsprachenzertifikatsprüfung an beruflichen Schulen grundsätzlich von Mediationsaufgaben, wie sie in allgemeinbildenden Schulen üblich sind. Dort wird Im Bereich Mediation selten eine situative Einbettung gegeben, und die Mediationsaufgabe wird schnell zu einer klassischen Übersetzungsübung. Die Sprache der Aufgabenstellung sollte auch bei der Mediation der Situation entsprechen. Dabei kann durchaus Deutsch als Aufgabensprache genutzt werden. Eigenschaften der Aufgabe: Grundsätzlich sollte nicht schwerpunktmäßig übersetzt oder gedolmetscht werden (Dolmetschen kann Teil der Interaktionsaufgabe sein). Auf Stufe I wird die Wiedergabe eines Textes in eigenen Worten als angemessene Aufgabe erachtet. Auf Stufe II sollte diese Wiedergabe inhaltlich genau bzw. übereinstimmend sein und auf Stufe III dann auch die stilistischen Merkmale des Ausgangstextes beinhalten. Die Sprachmittlung vom Englischen ins Deutsche kann bei Mediationsaufgaben aller Stufen erfolgen. Auf den Stufen II und III sind Sprachmittlungen vom Deutschen ins Englische zur Überprüfung der sprachlich-mediativen Kompetenz sinnvoll. Seite 71 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ 2.4.2 Best-practice-Beispiele Mediation Die Anforderungen an Stufe I lauten wie folgt: (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnisen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe I (Europäischer Referenzrahmen A2, Waystage): Mediation Der Prüfling kann einen einfachen fremdsprachlich dargestellten Sachverhalt unter Verwendung von Hilfsmitteln auf Deutsch wiedergeben oder einen einfachen in Deutsch dargestellten Sachverhalt mit eigenen Worten in der Fremdsprache umschreiben. Entsprechend der Definition des Anforderungsbereiches Mediation und den Kompetenzbeschreibungen der KMK Rahmenvereinbarung verlangen die Beispiele der Stufe I von den Prüflingen, klar in der Aufgabenstellung formuliert, eine Übertragung der gegebenen Informationen für einen spezifizierten Adressaten, der des Englischen nicht, oder nur unzureichend, mächtig ist. Bei diesen Beispielen, zwei Rezepten und einer Übertragung von Fehlermeldungen, ist es für den Adressaten wichtig, alle Informationen vom Prüfling zu bekommen, wobei eine wortwörtliche Übersetzung nicht verlangt wird und auch nicht notwendig ist. Bei allen Beispielen ist die Sprachrichtung Englisch Deutsch. Mediation, Stufe I: Beispiel 28: Gastgewerbe Sie arbeiten in der Küche eines Schweizer Restaurants, in dem wegen der vielen internationalen Kollegen Englisch die normale Umgangssprache ist und deshalb alle Rezepte in Englisch verfasst sind. Ein neuer Kollege aus Deutschland bittet Sie, folgendes Rezept ins Deutsche zu übertragen. CAULIFLOWER SOUP 1 small cauliflower 11/8 l water 30 g butter 2 egg yolks 30 g flour 3 tablespoons white wine salt und pepper Instead of a whole small cauliflower, the stump of a large one will do, or leftover cauliflower. From the cauliflower and water make a good foundation stock. Rub through a sieve, season well and return it to the saucepan. Make a paste from the flour, butter and a little stock and thicken the soup. Beat the egg yolks together with the wine and pour it in just before serving. Serve with croutons, very crisply fried. Seite 72 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Mediation, Stufe I: Beispiel 29: IT-Fachleute Fehlermeldungen erscheinen bei allen Arten von Hard- und Softwareproblemen auf dem Bildschirm. Leider sind viele Fehlermeldungen für Nichtfachleute unverständlich. Helfen Sie Ihren Kollegen, die Englisch nicht beherrschen, indem Sie die englischsprachigen Fehlermeldungen ins Deutsche übertragen. Error messages 1. Cannot find System Files. 2. Target disk unusable. 3. A serious disk error occurred. 4. Insufficient memory to perform this operation. 5. A file with this name already exists. Unable to create directory. 6. Your user name or password is incorrect. Press enter and type this information again. 7. Foo.txt could not be opened because there are too many open files. 8. Foo_files could not be removed because it is the current directory. 9. Invalid drive specification. Specified drive does not exist or is non-removable. 10. Error reading directory. 11. A corrupt program configuration was detected. 12. A device attached to the system is not functioning. Mediation, Stufe I: Beispiel 30: Gastgewerbe Ihr Küchenchef sammelt Rezepte ausländischer Spezialitäten. Er bittet Sie, untenstehenden Text für ihn zu übersetzen. Übertragen Sie den Text sinngemäß ins Deutsche. RECIPE: Ingredients (8 portions): 1 pound of lamb liver 2 sheep hearts 1/2 onion 3 ounces of oatmeal 4 ounces of finely chopped suet Salt and black pepper Clean the liver and the hearts. Boil with the onions for 30-40 minutes or until tender. Mince the meat and the onions. Put the oatmeal into a pan and stir over low heat until brown. Mix the liver, hearts, onions, suet and oatmeal together. Add a bit of water. Season with salt and pepper. Steam for 2-3 hours in a greased pan covered with foil. Seite 73 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Mediation Die Anforderungen an Stufe II lauten wie folgt: (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnisen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe II (Europäischer Referenzrahmen B1, Threshold): Mediation Der Prüfling kann einen fremdsprachlich dargestellten Sachverhalt unter Verwendung von Hilfsmitteln auf Deutsch wiedergeben oder einen in Deutsch dargestellten Sachverhalt in die Fremdsprache übertragen. Es kommt dabei nicht auf sprachliche und stilistische, sondern auch inhaltliche Übereinstimmung an. Die folgenden Aufgaben wurden als Best-practice-Beispiele ausgewählt: Im Gegensatz zu den Beispielen der Stufe I wird in der Stufe II von den Prüflingen verlangt, dass sie nicht nur die gegebenen Informationen ins Deutsche (Beispiele 31 und 32), bzw. ins Englische (Beispiel 33) übertragen, sondern sie, den Aufgabenstellungen entsprechend, auch nach Relevanz gewichten. In Beispiel 31 wird als Zieltext eine Kurzinformation für Kunden verlangt, wohingegen in Beispiel 32 eine sinngemäße Übertragung einer technischen Beschreibung vom Englischen ins Deutsche verlangt wird. Hierbei ist zu beachten, dass die Aufgabe nicht aus dem Fachwissen der Prüflinge heraus zu beantworten sein darf. In Beispiel 33 ist die Relevanz der von den Prüflingen ausgewählten Informationen von besonderer Bedeutung, da es sich um die Übertragung eines Beipackzettels für Medikamente handelt. Hierbei ist die Sprachrichtung Deutsch Englisch, was laut der Situationsbeschreibung in der Aufgabenstellung authentisch wirkt. Seite 74 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Mediation, Stufe II: Beispiel 31: IT-Fachleute4 Es kommt immer wieder zu Kundenanfragen, was die Bezeichnung „TCO ´99“ auf dem Monitor zu bedeuten hat und ob sie notwendig ist. Ihr Chef beauftragt Sie, eine Kurzinformation für die Kunden zu erstellen. Als Vorlage dient Ihnen das Informationsblatt, das einem gelieferten Monitor beilag. Verwenden Sie für Ihr Informationsblatt das nachstehende Formular. Produkte mit dem TCO ´99 sind für den professionellen Einsatz geeignet. Warum dieses Zeichen? ........................................................................................................................................ ........................................................................................................................................ ........................................................................................................................................ ........................................................................................................................................ Welche Voraussetzungen müssen für die Vergabe dieses Zeichens erfüllt sein? ........................................................................................................................................ ........................................................................................................................................ ........................................................................................................................................ ........................................................................................................................................ 4 Es sei darauf hingewiesen, dass die Beispiele in dieser Handreichung von der Seite der Produkte veralten können. Sie dienen als Best-practice-Beispiele, und haben daher Beispielcharakter für ähnliche Aufgabentypen. Seite 75 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Congratulations! You have just purchased a TCO'99 approved and labelled product! Your choice has provided you with a product developed for professional use. Your purchase has also contributed to reducing the burden on the environment and also to the further development of environmentally adapted electronics products. Why do we have environmentally labelled computers? In many countries, environmental labelling has become an established method for encouraging the adaptation of goods and services to the environment. The main problem, as far as computers and other electronics equipment are concerned, is that environmentally harmful substances are used both in the products and during their manufacture. Since it is not so far possible to satisfactorily recycle the majority of electronics equipment, most of these potentially damaging substances sooner or later enter nature. What does labelling involve? This product meets the requirements for the TCO'99 scheme which provides for international and environmental labelling of personal computers. Approval requirements cover a wide range of issues: environment, ergonomics, usability, emission of electric and magnetic fields, energy consumption and electrical and fire safety. The environmental demands impose restrictions on the presence and use of heavy metals, brominated and chlorinated flame retardants, CFCs (freons) and chlorinated solvents, among other things. The product must be prepared for recycling and the manufacturer is obliged to have an environmental policy which must be adhered to in each country where the company implements its operational policy. The energy requirements include a demand that the computer and/or display, after a certain period of inactivity, shall reduce its power consumption to a lower level in one or more stages. The length of time to reactivate the computer shall be reasonable for the user. Labelled products must meet strict environmental demands, for example, in respect of the reduction of electric and magnetic fields, physical and visual ergonomics and good usability. Seite 76 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Mediation, Stufe II: Beispiel 32: Technische Zeichner Als Auszubildender mit sehr guten Englischkenntnissen, werden Sie von Ihrem Chef gebeten, folgenden Auszug aus einem Produktkatalog der Firma BCE zu übersetzen. Übertragen sie untenstehenden Text sinngemäß ins Deutsche. (Benutzen Sie den Vordruck!) Typical Application of Gas Springs eccentric pivot point The pair of gas springs act as safety elements to prevent the accidental falling of the guard. They also hold the guard in its open position to allow machine access. They also help the operator by considerably reducing the hand effort necessary to manually open the guard. By virtue of their mounting geometry with an eccentric pivot point the gas springs provide assistance in manually opening or closing the heavy bin lid. Lifting the flap is made a lot easier but it still remains positively closed when required due to the eccentric positioning of the gas spring mounting points. Selection Formulae BCE industrial gas springs can be selected knowing the following facts: 1. 2. 3. 4. 5. force of the flap (FG) in N hand force (FH) in N radius of centre of gravity RM in mm angle of opening in ° sketch of the application layout To save your time we recommend that the calculation/selection of the most suitable gas springs is done by BCE. The basic formulae given left enables an approximate calculation of the required gas spring force for one mounting position only. Seite 77 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ eccentric pivot point _______________________________ _______________________________ _______________________________ _______________________________ _______________________________ _______________________________ _______________________________ _______________________________ _______________________________ _______________________________ _______________________________ _______________________________ _________________________________ _________________________________ _________________________________ _________________________________ _________________________________ _________________________________ _________________________________ _________________________________ _________________________________ _________________________________ _________________________________ _________________________________ ______________________________________ ______________________________________ ______________________________________ 1.________________________________________ 2.________________________________________ 3.________________________________________ 4.________________________________________ 5.________________________________________ ______________________________________ ______________________________________ ______________________________________ ______________________________________ ______________________________________ ______________________________________ Seite 78 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Mediation, Stufe II: Beispiel 33: Arzthelferinnen Aufgabe: Sie müssen Ihrem englischen Austauschpartner vom Auslandspraktikum Hilfestellung leisten bei der Übermittlung der wichtigsten Informationen für Erwachsene (Art des Medikaments, Indikation, Kontraindikation, Wechselwirkung mit anderen Medikamenten, Dosierung, Nebenwirkungen, Verhalten bei Nebenwirkungen, Verwendbarkeit) des Medikaments, das er in Deutschland erhalten hat. metaviralunt Mischung Darreichungsform und Inhalt: metaviralunt Mischung ist in Packungen zu 50 ml und 100 ml erhältlich. Stoff- oder Indikationsgruppe: Homöopatisches Arzneimittel bei grippalen Infekten. Meta biologische Heilmittel PACHIER HG Philipp-Preis-Berg 3 • 51832 Sprünge • Tel./Fax: 06041/9440-0/49 Anwendungsgebiete: metaviralunt ist vor allem ordnet, nehmen Erwachsene zur Vorbeugung angezeigt täglich l-3mal 20-30 Tropfen, im akuten Stadium stündlich 10-20 Tropfen. Kindern gibt man l- zur Vorbeugung und Behandlung grippaler 3mal täglich so viele Tropfen, wie sie Jahre Infekte zählen, stets mit Wasser verdünnt. metavira- bei fieberhaften Erkältungskrankheiten lunt wirkt am besten, wenn Sie es sofort bei - bei akutem und subakutem Erkältungsschnupden ersten Erkältungszeichen, wie z.B. Niesfen reiz, in einer Dosis von ca. 20 Tropfen einneh- bei Nebenhöhlenaffektionen men. Gegenanzeigen: Wann dürfen Sie metaviralunt Wie und wann sollten Sie metaviralunt einnicht anwenden? nehmen? metaviralunt gibt man am besten tropfenweise auf die Zunge (perlingual) oder metaviralunt ist bei Alkoholkranken nicht anzunimmt es in etwas Flüssigkeit ein. wenden. Was müssen Sie in der Schwangerschaft und Stillzeit beachten? In der SchwanWie lange sollten Sie metaviralunt einnehgerschaft und Stillzeit sollte wegen des Alkomen? Die Anwendungsdauer richtet sich nach holgehaltes metaviralunt nur nach Rücksprache dem vorliegenden Krankheitsbild. mit dem Arzt eingenommen werden. Was ist bei Hinweis: Auch homöopathische Arzneimittel Kindern zu berücksichtigen? Zur Anwendung sollten ohne ärztlichen Rat nicht über längere dieses Arzneimittels bei Kindern liegen keine Zeit eingenommen werden. ausreichenden Erfahrungen vor. Es soll desAnwendungsfehler und Hinweise für den Fall halb - auch wegen des Alkoholgehaltes - bei der Überdosierung: Was müssen Sie beachten, Kindern unter 12 Jahren nur nach Rücksprache wenn Sie zuwenig metaviralunt eingenommen mit dem Arztungewendet werden. oder eine Anwendung vergessen haben? Wenn Vorsichtsmaßnahmen für die Anwendung und Sie zuwenig metaviralunt eingenommen haWarnhinweise: metaviralunt enthält 37 Vol.-% ben oder eine Einnahme völlig vergessen haAlkohol. ben, so fahren Sie fort die Dosierungsanleitung Wechselwirkungen: Keine bekannt. einzuhalten, als hätte die Unterbrechung nicht stattgefunden. Allgemeiner Hinweis: Die Wirkung eines homöopathische?) Arzneimittels Nebenwirkungen: Keine bekannt. kann durch allgemein schädigende Faktoren in Hinweis: Bei Einnahme von homöopathischen der Lebensweise und durch Reiz- und GeArzneimitteln können sich die vorhandenen nussmittel ungünstig beeinflusst werden. Falls Beschwerden vorübergehend verschlimmern Sie sonstige Arzneimittel einnehmen, fragen (Erstverschlimmerung). In diesem Fall sollten Sie Ihren Arzt. Sie das Arzneimittel absetzen und Ihren Arzt befragen. Dosierungsanleitung, Art und Dauer der Anwendung: Die folgenden Angaben gelten, soWenn Sie Nebenwirkungen beobachten, teilen weit Ihnen Ihr Arzt metaviralunt nicht anders Sie diese bitte Ihrem Arzt oder Apotheker mit. verordnet hat. Bitte halten Sie sich an die AnHinweise und Angaben zur Haltbarkeit des Arzwendungsvorschriften, da metaviralunt sonst neimittels: Das Verfalldatum dieser Packung ist nicht richtig wirken kann. auf der Faltschachtel und Flasche aufgedruckt. Wie oft und in welcher Menge sollen Sie metaVerwenden Sie diese Packung nicht mehr nach viralunt einnehmen? Soweit nicht anders verdiesem Datum: Februar 2005 Seite 79 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Mediation Die Anforderungen an Stufe III lauten wie folgt: (Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnisen in der beruflichen Bildung, Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002.) Anlage 1, Stufe III (Europäischer Referenzrahmen B2, Vantage): Meditation Der Prüfling kann einen komplexeren fremdsprachlich dargestellten Sachverhalt unter Verwendung von Hilfsmitteln auf Deutsch wiedergeben oder einen komplexeren in Deutsch dargestellten Sachverhalt stilistisch angemessen in die Fremdsprache übertragen. Die folgenden Aufgaben wurden als Best-practice-Beispiele ausgewählt: Die Sprache der Aufgabenstellung ist bei allen drei Beispielen der Stufe III Deutsch, da die situative Einbettung der Aufgaben immer deutsche Betriebe darstellt. In allen Beispielen ist die Sprachrichtung D E. In Beispiel 34 werden die Prüflinge explizit dazu aufgefordert, kreativ mit der Sprache umzugehen. Auch bei Aufgaben der Mediation kann ein Kreativanteil verlangt werden, da es sich bei den Übertragungen der Texte nicht um wortwörtliche Übersetzungen handeln soll. In Beispiel 35 kann ebenfalls von kreativem Umgang mit der Sprache gesprochen werden, da Stichpunkte zu Sätzen umformuliert werden sollen. In Beispiel 36 wird die Übertragung eines Informationsblattes zum Firmenprofil verlangt. Der Kreativanteil ist bei diesem Beispiel im Vergleich zu den anderen begrenzt, aber durch die Menge der gegebenen Informationen und der relativ hohen Dichte dieser Informationen eignet sich das Bespiel für die Stufe III der KMKFremdsprachenzertifikatprüfung. Seite 80 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Mediation, Stufe III: Beispiel 34: Verlagskaufleute Sie sind Mitarbeiter/-in der Marketingabteilung eines Fachverlages für die Gebiete Recht und Wirtschaft. Die unten beworbene Buchreihe gehört zu Ihren "Klassikern". Es ist geplant, diese Reihe auch in englischer Sprache aufzulegen und auf einer Fachmesse das Marktinteresse zu testen. Dazu soll eine Werbebroschüre in Englisch erstellt werden. Ihre Aufgabe ist es, einen englischen Werbetext in Anlehnung an die deutsche Ausgabe der Werbebroschüre zu erstellen. Kreativer Umgang mit der Sprache ist wünschenswert. Unsere Klassiker: Besprechungen Bilanzen lesen Euro In diesem TaschenGuide erfahren Sie, wie Sie Besprechungen gut vorbereiten, und optimal nachbereiten, durchführen, warum Kommunikation missglückt und was Sie dagegen tun können. Der TaschenGuide “Bilanzen lesen” sagt Ihnen, wozu eine Bilanz erstellt wird, was sie aussagt, wie sie bewertet und interpretiert wird und wir eine Gewinn- und Verlustrechnung aufgebaut ist. Der TaschenGuide “Euro” sagt Ihnen, wie der Zeitplan für den Euro aussieht, welche Unternehmensbereiche betroffen sind, wie Sie Ihre Strategie festlegen können und wie Sie vorgehen müssen. Seite 81 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ Mediation, Stufe III: Beispiel 35: Fachangestellte für Medien- und Informationsdienste Sie haben den Auftrag, einen Redebeitrag Ihres Vorgesetzten zur IFLA-Konferenz vorzubereiten, indem Sie folgende Stichpunkte in vollständige englische Sätze übertragen: • • • • • • • • • • IFLA = Ort, um über Verlust literarischer Schätze durch Brand in Herzogin AnnaAmalia-Bibliothek in Weimar im September 2004 zu sprechen Bibliothek war Heim der wertvollsten Bücher Deutschlands Enthielt größte „Faust“-Sammlung der Welt 1 Million Bücher: Originalausgaben von Shakespeares Werken, Erstausgaben von Schillers Dramen, viele historische Kopien der Bibel, hunderte handgeschriebener Dokumente, die musikalischen Werke des 18. Jahrhunderts Bibel von 1534 aus Luthers Besitz, Reisenotizen von Alexander von Humboldt, tausende anderer Bücher, Gemälde und Skulpturen von Hand zu Hand aus Feuer gerettet Ca. 40 000 unersetzliche Bücher vernichtet = ein Teil des Welterbes für immer verloren Mehrzahl der Bücher einzigartig, daher nicht versichert Größter Schaden nicht durch Flammen, sondern Rauch und Wasser Inzwischen mit Restauration Bibliothek (Rokoko-Palast 16. Jahrhundert) und Bücher begonnen Hilfe und Unterstützung nicht nur aus eigenem Land, von Bibliotheken, Institutionen und Menschen aus aller Welt Mediation, Stufe III: Beispiel 36: Reiseverkehrskaufleute Als Anlage zu einem Schreiben soll ein Informationsblatt mit dem Firmenprofil geschickt werden. Ein solches liegt bisher aber nur in deutscher Sprache vor. Übertragen Sie deshalb den Inhalt des folgenden Textes ins Englische. (Deutsch ist keine der offiziellen Verkehrssprachen der WTO). Weltweit-Reisekette: Firmenprofil Weltweit-Reisekette ist eine der größten Reisebüroketten in Deutschland mit mehr als 150 Standorten in allen Bundesländern. Gegründet 1975 als kleines Reisebüro in Frankfurt, hat sie sich zu einem ertragsreichen Unternehmen mit einem breiten Verkaufsnetz entwickelt, das nun auf 30 Jahre Geschäftserfahrung zurückblicken kann. Die Firma hat sich auf den Tourismus spezialisiert und verkauft Reisen für jeden Kundentyp und alle Anlässe: Erholung, Gesundheit und Wohlbefinden, Abenteuer, Bildung, Kultur und Erkundung von Sehenswürdigkeiten. Sie beschäftigt sich auch mit dem Arrangieren von Geschäftsreisen und unterstützt Firmen bei der Organisation von Zusammenkünften und Konferenzen. Die Reisebüros genießen ein hohes Ansehen unter den Kunden, da sie die Reisen genau auf die Bedürfnisse der Kunden zuschneiden und sie über alle Details sorgfältig beraten. Die Kunden tendieren dazu, nicht nur einmal, sondern regelmäßig mit Weltweit-Reisekette zu reisen. Kundenreklamationen sind extrem selten. Die Kunden werden auch durch eine online travel site bedient (www.weltweitreisekette.de). Die Firma bietet vielfältige Aus- und Weiterbildungskurse für Reiseverkehrskaufleute und Führungspersonal an. Der Geschäftsführer ist Karsten Trübner, der die Firma seit 12 Jahren leitet. Seite 82 BLK-Modellversuch EU-KonZert: „Aufgabenstellung“ 2.4.3 Aufgabentypologie Mediation Da Mediationsaufgaben in sich komplexe Aufgaben sind, die sowohl Anteile aus Produktion als auch Rezeption haben, ist es nicht möglich, eine Typologie in der Form derer für den Teil der Rezeption und Produktion vorzunehmen. Eine Kombination der Aufgabentypen von Produktion und Rezeption ist in fast allen Fällen denkbar und es muss hierbei dem Prüfungsersteller überlassen bleiben, wie diese Kombination aussehen kann und was am sinnvollsten für die Prüfung im jeweiligen Berufsfeld und auf der jeweiligen Stufe erscheint. Beispiele für Texte können sein: - Arbeitsanweisungen/ Instruktionen - Sicherheitsbestimmungen - Handbucherläuterungen - technische Beschreibungen - Werbetexte - Broschüren/ Flyer - Sachtexte - juristische Texte - Beipackzettel für Medikamente Seite 83 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ II. 1 „Mark my words.“ Bewertung in der Diskussion Micheál Ó Dúill N. Andry, L’orthopédie ou l’art de prévenir et de corriger dans les enfants les difformités du corps. 1749 (Quelle: Shohamy 2001: 56) Wie ein Gärtner, der den Zustand seines Gartens bewerten möchte, nicht Recht hat, wenn er glaubt, dies nur anhand der reifen und Früchte tragenden Bäume bewerten zu können, obwohl er auch die noch erst reifenden Bäume berücksichtigen müsste, so muss auch der Psychologe bei der Einschätzung eines Entwicklungsstands nicht nur die reifen, sondern unbedingt auch die noch reifenden Funktionen berücksichtigen, nicht nur das aktuelle Niveau, sondern auch die Zone der nächsten Entwicklung. Wie soll das geschehen? Vygotski, Denken und Sprechen: 2002 (11934): 362 Seite 84 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ 1.1 Einführung Als ich vor kurzem Andrys Gemälde im Monograph von Shohamy entdeckte, dachte ich sofort: ‚Siehe da: Das Seil ist der Test, der Baum der arme Schüler!’ Ich habe mich in der Zwischenzeit daran gewöhnt, dass meine Kinder solchen Vorlagen oft Anderes oder mehr entnehmen als ich. Genauso wie ich sah mein fünfzehnjähriger Sohn, ohne dass ich selbst etwas sagte, im Seil einen Test. Doch er ergänzte meine Beobachtung um zwei Kategorien: Erstens sei der Pfosten der Lehrer; zweitens aber sage das Bild aus, dass der Schüler über seinen Lehrer hinauswachse. Meine achtzehnjährige Tochter gewann diesem Gemälde wiederum eine andere Erkenntnis ab: Der Baum sei ganz gesund gewachsen, so wie ein Baum natürlich wachse; dann sei aber ein Mensch mit einem Seil gekommen, der gemeint habe, nur ein gerader Baum sei ein richtiger Baum. So viel zu der unterschiedlichen Apperzeption eines wissenschaftlichen Begleiters, der selbst hauptamtlich unterrichtet und prüft, und der seiner Kinder, die noch als Vollzeitschüler unterrichtet und geprüft werden. Sowohl das Bildmotiv als auch das sprachliche Motto, die ich diesen Ausführungen als Gedankenanstöße vorangestellt habe, bedienen sich einer Metaphorik aus der Welt der Pflanzen. So stellt der russische Psychologe Lev Vygotskij (1896-1934), dessen Einfluss in der Fremdsprachenerwerbsforschung stets zunimmt (Vgl. Johnson 2001: 182; Day 2002: 14), eine Frage, die nicht nur für das Lehren und Lernen von Fremdsprachen, sondern auch für das Testen von Fremdsprachenkenntnissen von höchster Relevanz ist: Wie soll eine Einschätzung eines Entwicklungsstandes alle relevanten Funktionen berücksichtigen? Ja, wie nur? 1.2 Definitionen discussing testing-related issues [...] define clearly the terms used Figueras (2005: 48) Antragsgemäß wurde in der zweiten Phase des BLK-Modellversuchs EUKonZert von November 2004 bis Oktober 2005 an der ‚[g]emeinsamen Standardfindung bei [der] Bewertung schriftlicher Prüfungsleistungen’ (Staatsinstitut 2003: 13) gearbeitet. Im deutschen Teil des mehrsprachigen Sprachtestglossars des Association of Language Testers in Europe (ALTE) steht unter ‚Bewertung’ a. Prozess der Zuweisung eines Punktwerts zu einer erbrachten Testleistung durch subjektive Beurteilung. b. Der bei der Bewertung vergebene Punktwert (ALTE members 1998: 97). Beim Nachschlagen des entsprechenden Querverweises im englischsprachigen Teil gelangt man zu folgender Definition: Rating a. The process of assigning a score to performance in a test through the exercise of judgement. b. The scores awarded as the result of the rating process (ibid.: 159). Seite 85 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ Im englischen Vorschlag steht also bei a. die Feststellung eines ‚exercise of judgement’, bei der deutschen Erklärung jedoch die Beobachtung einer ‚subjektive[n] Beurteilung’ (Hervorhebung Ó D). Im nächsten kurz darauf in der Reihe „Studies in Language Testing“ erschienenen Band, einem einsprachigen Wörterbuch des Sprachtestens, das am Language Testing Research Centre der University of Melbourne entstanden ist, fehlt zwar der Begriff ‚rating’, dafür wird jedoch den Möglichkeiten eines einsprachigen Glossars entsprechend um so detaillierter auf den Begriff ‚rater’ eingegangen: rater Also judge, marker, scorer The judge or observer who operates a rating scale in the measurement of oral and written proficiency. The reliability of raters depends in part on the quality of their training, the purpose of which is to ensure a high degree of comparability, both inter- and intra-rater. Since raters are human and are therefore subject to individual biases, close attention is paid not only to reliablility, but also to analyses of rater bias. (Davies et al. 1999: 161) Diese Definition von Davies et al. spiegelt damit im Gegensatz zur englischsprachigen ALTE-Definition die Betonung des subjektiven Aspektes von Bewertung der deutschsprachigen ALTE-Definition wider, indem erklärt wird, dass ‚raters’ nur ‚human’ seien und deshalb auch zu ‚individual biases’ neigen. Im ALTE-Werk bezieht sich die englische Definition des Begriffes ‚bias’ nicht direkt auf die Aufgabe eines ‚raters’. Eine solche Verbindung könnte höchstens vom Leser als eine einzige von verschiedenen Bedeutungen in die Definition hineininterpretiert werden: Bias A test or item can be biased if one particular section of the candidate population is advantaged or disadvantaged by some feature of the test or item which is not relevant to what is being measured. Sources of bias may be connected with gender, age, culture, etc. (ALTE members 1998: 136). Dass bei dem Begriff ‚bias’ im ALTE-Glossar eher nicht an den Davies’schen ‚rater bias’ gedacht wird, wird jedoch deutlicher, wenn man die deutsche Erklärung und vor allem das deutsche Stichwort dazu nachschlägt: Stichprobenverzerrung Man kann bei einem Test oder einer Aufgabe von Stichprobenverzerrung (Bias) sprechen, wenn ein bestimmter Anteil der Prüflingspopulation begünstigt oder benachteiligt ist durch bestimmte Merkmale des Tests oder der Aufgabe, die nicht Gegenstand dessen sind, was gemessen werden soll. (ibid.: 127) Um noch ein wenig bei dem Versuch zu verweilen, einige englischen und die deutschen Definitionen des ALTE-Werkes mit dieser einen Begriffsbestimmung des Dictionary of language testing zu vergleichen, sei hier abschließend darauf verwiesen, dass beim ALTE-Buch unter ‚rater’ der Hinweis steht ‚Refer to definition for assessor’ (ibid.: 159); der entsprechende Querverweis zu ‚rater’ im deutschen Teil lautet dann: ‚Einschätzung Vergleiche Definition von Bewerter’ (ibid.: 101). Der englische Teil bezieht sich damit auf eine Person, die eine Tätigkeit ausübt, der deutsche Teil jedoch auf die Tätigkeit selbst. Wenn der englische ALTE-Teil nun eine Verbindung zwischen ‚rater’ und ‚assessor’ herstellt, dann ist es unausweichlich, den Gebrauch dieser zwei Termini genau unter die Lupe zu nehmen. Seite 86 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ assessor Someone who assigns a score to a candidate’s performance in a test, using subjective judgement to do so. Assessors are normally qualified in the relevant field, and are required to undergo a process of training and standardization. In oral testing the roles of assessor and interlocutor are sometimes distinguished. Also referred to as an examiner or rater. Compare: interlocutor, marker (ibid. 135) Etwas beruhigt kann man beim entsprechenden deutschen Querverweis hierzu feststellen, dass, wenn man im englischen Teil über ‚rating’ zum ‚assessor’ gelangt, die Wege im Deutschen etwas überschaubarer zu sein scheinen, da Bewertung zu folgendem Begriff führt: Bewerter Eine Person, die der Leistung eines Prüflings in einem Test einen bestimmten Punktwert zuweist, wobei eine subjektive Bewertung erforderlich ist. Bewerter sind normalerweise im entsprechenden Tätigkeitsbereich qualifiziert und müssen sich einem Trainingsprozess unterziehen sowie bestimmten Standardisierungen unterwerfen. Bei mündlichen Prüfungen haben Bewerter und Fragesteller, auch bezeichnet als Prüfer, etwas unterschiedliche Funktionen (ibid.: 97) Man stelle fest, dass an dieser Stelle in der englischen ALTE-Version nicht mehr von ‚exercise of judgement’ die Rede ist, sondern – durchaus im Einklang mit der deutschen Version – von ‚subjective judgement’ gesprochen wird. Bei Davies et al. kommt allerdings ‚assessor’ gar nicht vor. Dafür - was die Sache für einen kurzen übersichtlichen Abriss nicht gerade erleichtert - gibt es einen Eintrag zu ‚assess’: ‚assess See rate’. Unmittelbar danach fängt der Eintrag zum Stichwort ‚assessment’ wie folgt an (fettgedruckte Einträge verweisen auf Querverweise): Assessment A term often used interchangeably with testing; but also used more broadly to encompass the gathering of language data, including test data, for the purpose of evaluation and making use of such instruments as interview, case study, questionnaire, observation techniques (Davies et al. 1999: 11) Auf eine Besprechung der hier erwähnten, nicht aber diskutierten Querverweise soll an dieser Stelle nicht deswegen verzichtet werden, weil es gilt, die Leistungen der ALTE members und der Mitarbeiter des Language Testing Research Centre der University of Melbourne zu schmälern. Ganz im Gegenteil - die hier zitierten Definitionen sind gedacht als Anregung dafür, sich damit zu beschäftigen und zu erfahren, welch schwieriges Unterfangen es ist, leitende Begriffe eines Arbeitsgegenstandes nach dem Motto ‚Define clearly the terms used’ definieren zu wollen. Dennoch ist es für alle Bewerter wichtig, sich darüber im Klaren zu sein, dass nicht alle Begriffsbestimmungen, denen man begegnet, überall Gültigkeit haben. Dadurch ist die Beschäftigung mit unterschiedlichen Begriffsbestimmungen eine erste Voraussetzung dafür, die Beschäftigung mit der Bewertungspraxis bei den KMK-Zertifikatsprüfungen, über die hier im zweiten Teil dieser Handreichung berichtet wird, als Leser kritisch zu rezipieren. 1.3 Bewertung Auch wenn die Beschäftigung mit Definitionen uns vor Augen geführt hat, dass im Englischen zwischen den Begriffen ‚rater’ und ‚assessor’ nicht immer klar unterschieden wird, so dürfte die Leitfunktion des deutschen Begriffs der zweiten Phase des KMK-Modellversuchsantrags ‚Bewertung’ noch nachvollziehbar sein. Seite 87 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ Nun also, bewerten: Was ist das eigentlich? Sieht man sich die obigen Zitate noch einmal an, so fällt auf, dass in den ALTE-Zitaten zu ‚rating’ sowohl in der deutschen als auch in der englischen Fassung wiederholt von einem ‚Punktwert’ (‚score’) die Rede ist. Wie man im Anhang dieser Handreichung nachprüfen kann, ist es auch tatsächlich der Fall, dass bei dem KMK-Fremdsprachenzertifikat, das nach Bestehen der entsprechenden Prüfung vergeben wird, eine detaillierte Auflistung der erreichten Punkte pro Prüfungsteil dem Anteil der erreichbaren Punkte für diese Teile gegenübergestellt wird. Das andere oben zitierte Sprachtestglossar (Davies et al.) spricht allerdings beim Eintrag zu ‚rater’ nicht von einem ‚score’, sondern von einem ‚rating scale’. Dort wird man (Davies et al. 1999: 161) auf den entsprechenden Eintrag ‚proficiency scale’ weiter verwiesen, bei dem es heißt: proficiency scale Also rating scale A scale for the description of language proficiency consisting of a series of constructed levels against which a language learner’s performance is judged. Like a test, a proficiency (rating) scale provides an operational definition of a linguistic construct such as proficiency. Typically such scales range from zero mastery through to an end-point representing the well-educated native speaker. The levels or bands are commonly characterised in terms of what subjects can do with the language (tasks and functions which can be performed) and their mastery of linguistic features (such as vocabulary, syntax, fluency and cohesion). Proficiency scales typically consist of sub-scales for the skills of speaking, reading, writing and listening. […] Scales are descriptions of groups of typically occurring behaviours; they are not in themselves test instruments and need to be used in conjunction with tests appropriate to the test population and test purpose. Raters or judges are normally trained in the use of proficiency scales so as to ensure the measure’s reliability. (Davies et al. 153, 154). Liegt hier ein Widerspruch vor? Nur ein scheinbarer. Die gegenwärtige Bewertungspraxis des KMK-Fremdsprachenzertifikats verzichtet auf Noten; auf Punktzahlen verzichtet man nicht. Um zu erkennen, warum auf Noten verzichtet wird und um zu verstehen, warum trotzdem Punktzahlen angegeben werden und was diese Punktzahlen bedeuten sollen, muss man sich noch eingehender mit dem im ersten Handreichungsteil (Aufgabenstellung) unter dem Abschnitt 1.7 Der BLK-Modellversuch EU-KonZert erwähnten Begriff der kriterienorientierten Bewertung beschäftigen. Die ALTE-Mitglieder schreiben zu diesem Begriff einer kriteriumsbezogenen Orientierung: kriteriumsorientierter Test Test, in dem die Leistung eines Prüflings im Verhältnis zu einem zuvor definierten Kriterium interpretiert wird. Es wird vor allem geprüft, ob ein bestimmtes Ziel erreicht wurde und nicht, welchen Rangplatz ein Prüfling innerhalb einer Gruppe einnimmt (ALTE members 1998: 110). Davies et al. halten zu diesem Thema fest: Criterion-referenced test(ing) Also CRT, criterion-referenced measurement, domain-referenced test A test that examines the level of knowledge of, or performance on, a specific domain of target behaviours (ie the criterion) which the candidate is required to have mastered. […] Test scores report a candidate’s ability in relation to the crite- Seite 88 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ rion, ie what the candidate can and cannot do, rather than comparing his/her performance with that of other candidates in the relevant population, such as happens in norm-referenced tests. Test results are often reported using descriptive scales rather than a numerical score. In contrast to norm-referenced tests the criterion, or cut-score, is set in advance. Strictly speaking, criterion-referenced tests are only concerned with whether candidates have reached a given point rather than how far above or below the criterion they may be. (Davies et al. 1999: 38) Sieht man sich noch einmal den Anhang dieser Handreichung an, so kann man konstatieren, dass ein KMK-Fremdsprachenzertifikat nicht nur, wie bereits erwähnt, erreichte Punktzahlen für verschiedene Prüfungsteile angibt, sondern auch die Kompetenzbereiche der Stufen aufführt, wie diese in der entsprechenden Rahmenvereinbarung beschlossen wurden. Es ist wichtig, dass ein Bewerter versteht, dass die abgedruckten Kompetenzbereiche der Rahmenvereinbarung dem ‚criterion’ (Kriterium) oder ‚cut-score’ (kritischer Wert) im Davies’schen Sinn entsprechen. Die Nennung der erreichten Punktzahlen für die verschiedenen Teile der Prüfung zielt hingegen auf eine Binnendifferenzierung, die aussagt, ‚how far above [….] the criterion [the candidates] may be’. Noch einmal zur Verdeutlichung: Die Stufenbeschreibungen des Zertifikats nehmen keine solche Binnendifferenzierung vor, sondern bescheinigen lediglich das Erreichen des jeweiligen kritischen Wertes; das Vornehmen einer Binnendifferenzierung erfolgt jedoch in der Punktvergabe, ein Vornehmen allerdings, das für Davies et al. bei kriterienorientiertem Testen streng genommen nicht dazu gehört. Um die zentrale Bedeutung dieser Art des kriterienorientierten Testens für die KMK-Zertifikatsprüfung zu verstehen, muss man dessen Behandlung im Gemeinsamen europäischen Referenzrahmen für Sprachen (GeR) betrachten, aus dem die KMK-Prüfung hervorgegangen ist: Normorientierte Bewertung (oder Bezugsgruppenorientierung) bringt die Lernenden in eine Rangfolge, die Bewertung ihrer Leistungen erfolgt relativ zu den anderen Lernenden der Gruppe. Kriteriumsorientierte Bewertung ist eine Reaktion gegen die normorientierte Bewertung. Hier wird der Lernende lediglich in Bezug auf seine Fähigkeit in dem jeweiligen Gebiet bewertet, unabhängig von der Fähigkeit der anderen Lernenden. (Trim et al. 2001: 179) Warum es zu dieser Art der Reaktion gekommen ist, bringt vielleicht Hughes am besten auf den Punkt: A test which (….) is said to be norm-referenced (….) relates one candidate’s performance to that of other candidates. We are not told directly what the student is capable of doing in the language (Hughes 2003: 20, Hervorhebung Ó D. Zum Unterschied zwischen norm- und kriterumsorientierten Bewertung, vergleiche auch Brown / Hudson 2002: 2, 5). Noch 2000 wird festgehalten, dass ‚es keine schulische Tradition des kriterienorientierten Testens und Bewertens gibt. Wir sind als Lehrkräfte an normorientiertes Arbeiten gewohnt’ (Aigner et al. 2000: 16). Diese Handreichungsteile sind jedoch als weitere Unterstützung zur Umsetzung der kriteriumsorientierten Bewertung gedacht. Seite 89 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ 1.4 Korrekturaufgabe vollständig gelöst? Definition der Leistung Die Aufgabe ist vollständig gelöst Punkte 27-30 Im Anhang des Teiles II.2 dieser Handreichung werden mit den Deskriptoren für die Bewertung schriftlicher sprachproduktiver Leistungen für die vollständige Lösung einer Aufgabe auf allen drei Stufen 27-30 Punkte vergeben. Wann verdient aber eine Korrekturleistung so viele Punkte? Dieser Abschnitt widmet sich nun einigen der Bereiche, die von der Welt der Wissenschaft bei der Erfüllung einer Korrekturaufgabe als erschwerend angesehen werden. Ein Standardwerk der Fehleranalyse wählt als Oberbegriff den der Devianz (dieser Begriff fehlt in ALTE members, Davies et al. und dem GeR), um folgende Unterteilung von Fehlerarten vorzunehmen: The clearest and most practical classification of deviance is a four-way one: (i) Slips, or alternatively lapses of the tongue or pen (…) (ii) Mistakes can only be corrected by their agent if their deviance is pointed out to him or her (…) (iii) Errors cannot be self-corrected until further relevant (to that error) input (implicit or explicit) has been provided and converted into intake by the learner. (iv) Solecisms are breaches of the rules of correctness as laid down by purists. (James 1998: 83). Obwohl sich der Titel des James’schen Werkes sowohl auf Spracherwerb wie auch auf Sprachgebrauch bezieht (Errors in Language Learning and Use), dürfte sich die Verwendbarkeit der oben zitierten Kategorien, wie beim Punkt (iii) besonders ersichtlich, vor allem auf das Lehren und Lernen von Fremdsprachen beziehen, weniger aber auf ihre Verwendbarkeit beim Testen und Bewerten von Sprachkenntnissen. Von ähnlich begrenzter Hilfe ist eine reine Feststellung zu Bewertungsarten wie die folgende: ‚Eine der zentralen Fragen ist die, ob die Bewertung (als Faktorenbündel von Bewerter/rater, Bewertungskategorien und Bewertungsmethode) eher ganzheitlich (holistic) oder stärker analytisch (analytic) durchzuführen ist’ (Zydatiß 2002: 144). Hier bedarf es einer umfangreicheren Auseinandersetzung mit den verschiedenen Aspekten holistischer und analytischer Betrachtungsweisen. Zydatiß nimmt selbst an gleicher Stelle den Versuch einer solchen Auseinandersetzung vor, in dem er beispielsweise folgende These vertritt: Die global-holistische Bewertung […] vernachlässigt vor allem die Tatsache, dass eine sprachlich-kommunikative Leistung keine einheitliche Größe ist, sondern ein vielschichtiges, differenziertes Phänomen. Ein Sprecher […] kann sich durch begriffliche Sicherheit im Wortschatz auszeichnen, aber beträchtliche (störende) Defizite […] im Strukturengebrauch haben. Diese Aspekte sprechen für eine stärkere analytische Bewertung (analytic marking / scoring); d.h. spezifische sprachliche, inhaltliche und kommunikative Leistungen sollten getrennt und in abgestufter Form beurteilt werden (ebd.: 150). Dieses Plädoyer für eine analytische Bewertung, hier bezogen auf mündliche Interaktion, kann genauso gut als Empfehlung für die Korrektur schriftlicher Leistungen verstanden werden. Da die Begriffe ‚holistisch’ und ‚analytisch’ während der Workshops des Modellversuchs wiederholt intensiv diskutiert wurden, soll an dieser Stelle nun doch noch auf entsprechende Definitionen der zwei Wörterbücher der Cambridger Reihe Studies in Language Testing eingegangen werden. ALTE members verweisen Seite 90 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ beim Begriff ‚holistic assessment’ (ALTE members 1998: 164) bzw. ‘ganzheitliche Βeurteilung’ (103) auf die Definition für ‚global assessment’ (146) bzw. ‘globale Bewertung’: Bewertungsmethode für Sprech- und Schreibtests. Der Bewerter vergibt eine generelle Note oder Punktzahl entsprechend seinem Gesamteindruck über die Sprachverwendung und nicht eine Anzahl unabhängiger Bewertungen von Teilaspekten des Sprachgebrauchs (104). Ein Querverweis leitet zur Definition von ‚analytic scoring’ (135) bzw. ‚analytische Bewertung’: Eine Bewertungsmethode, die bei Sprachtests verwendet werden kann, in denen es um produktive Sprachverwendung geht, beispielsweise beim Sprechen und Schreiben. Der Beurteiler nimmt eine Einschätzung mit Hilfe einer Liste spezifischer Punkte vor. So kann beispielsweise bei einem Schreibtest die analytische Skala einen Schwerpunkt setzen bei Grammatik, Wortschatz oder der Benutzung von Satzverbindungen (94). Eine Übereinstimmung im Gebrauch der Begriffe ‚holistisch’ und ‚analytisch’ ist damit zwischen ALTE members und Zydatiß festzustellen. Davies et al. setzen sich jedoch differenzierter mit diesen Kategorien auseinander. Zu ‚analytic scoring’ heißt es: A method of subjective scoring often used in the assessment of speaking and writing skills, where a separate score is awarded for each of a number of features of a task, as opposed to one global score (Davies et al. 1999: 7). Anders als ALTE members und Zydatiß halten Davies et al. in ihrer Definition des ‚analytic scoring’ auch einen Kritikpunkt gegenüber dem ‚holistic scoring’ fest: A criticism commonly made of analytic scoring is that the focus on specified aspects of the performance may divert raters’ attention from its overall effect (ebd.). ‘Holistic scoring’ wird definiert als A type of marking procedure which is common in communicative language testing whereby raters judge a stretch of discourse (spoken or written) impressionistically according to its overall properties rather than providing separate scores for particular features of the language produced (eg accuracy, lexical range) (ebd. 75). Im Gegensatz zu Zydatiß und ALTE members führen Davies et al. den Begriff ‚holistic assessment’ ein, dem sie zwei Bedeutungen zuschreiben: entweder wird der Begriff als Synonym für ‚holistic scoring’ verwendet (ebd.); oder aber es handelt sich um einen Begriff, der beim Arbeiten mit Deskriptoren, wie dies im Modellversuch praktiziert wurde, eine Möglichkeit zu bieten scheint, einen etwaigen Konflikt zwischen rein analytischen oder holistischen Bewertungsparadigmata zu überwinden: A general approach to assessment which involves the awarding of one or more scores to a piece of writing or an oral performance on the basis of an overall impression, as distinct from making a count of specified features of the discourse. The scoring procedure may involve the use of detailed descriptive statements (band descriptors) for each level of performance and for each of a number of categories or features (such as grammatical control or coherence) or simple statements such as adequate/not adequate. The term holistic assessment thus includes analytic as well as holistic scoring methods (ebd. 74). Teil II.2 dieser Handreichung beschreibt, wie der Einsatz von Deskription zur Bewertung von schriftlichen Aufgaben in den Bereichen Mediation und Produktion erprobt wurden. Dabei wurde es im letzteren Bereich, Produktion, für angemessen Seite 91 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ gehalten, zweispaltige Deskriptoren zu entwickeln, die eine effektive Kombination holistischer und analytischer Bewertungsvorgehensweisen gewährleisten. Im Bereich der Mediation hingegen reichen nach einhelliger Meinung einspaltige Deskriporen aus, um diese Funktion zu erfüllen. (Zu einer kombinierten holistischen und analytischen Bewertungsweise siehe auch den nächsten Abschnitt, II.1.5.) Was zählt bei der Bewertung einer schriftlichen Schülerleistung? Wildavsky macht hierzu auf Schreibkompetenz in der eigenen Muttersprache bezogen folgende aussagekräftige Feststellung, die ohne weiteres auch für die Beurteilungskriterien von Schreibleistungen in einer Fremdsprache relevant ist: „College professors demand correct grammar from incoming students [...]. But high school teachers rank that skill last. They care how students organize their writing” (Wildavsky 2000: 12, zitiert nach Hinkel 2002: 57). Beim hier erkannten Problem geht es darum, zu wissen, welche Erwartungshorizonte welcher Testanwender in der Bewertung in welchem Ausmaß berücksichtigt werden sollen. Unabhängig von den Erwartungen der verschiedenen Abnehmer von Testergebnissen spielt in der Bewertung einer Korrekturleistung die Rolle der ‚rater errors’ eine nicht unerhebliche Rolle. North führt eine Reihe solcher möglichen Korrektorfehler auf: The classic rater errors are halo effect: transferring judgements from a global impression to categories, or between categories, central tendency: not using the top and bottom of the scale or tending to hone in on a neutral category on a questionnaire, and variation severity/leniency (North 2000: 173). Häufiger als über Korrektorfehler spricht man in der Literatur von dem schwierigen Umgang beim Bewerten von Fehlern der Prüflinge. North selbst schreibt an anderer Stelle: Simplistic equation of “typical errors“ with bands on a scale of proficiency on the basis of teacher instinct or committee consensus is dangerous. It distorts the measure and it has a negative wash back effect in encouraging teachers to count mistakes rather than monitor the quality of performance (ibid.: 82). Mit ähnlichem Tenor warnt Gogolin davor, nur das zu sehen, was nicht stimmt: „Die Aufmerksamkeit von Lehrkräften bei der Prüfung von Schülerleistung richtet sich auf das Nichtvorhandene, Nichtgekonnte oder falsch Gemachte“ (Gogolin 2003: 90). Erschwerend bei einer auf vermeintlichen Fehlern basierenden Bewertung kommt hinzu, dass trotz detaillierter Bestimmungsversuche wie der oben zitierte James’sche die Möglichkeit der Klassifizierung alles andere als eindeutig ist: „Im Rahmen von Arbeiten zur fuzzy grammar wurde deutlich, dass praktisch jede grammatische Erscheinung eine Grauzone aufweist, in der die Sprachintuitionen unklar und verschwommen werden“ (Legenhausen 2001: 48). Überhaupt: Bewertung von Grammatik in einer Prüfung. Warum geschieht das? Und falls dies geschieht, kann man eine entsprechende Bewertung differenziert genug vornehmen? Die erste Frage beantwortet Appel mit der kritischen These „Grammatik muss gelehrt werden, weil sie geprüft wird“ (Appel 2000: 227). Eine Antwort von Quetz auf die zweite Frage könnte ihrerseits als Infragestellung der Wertstellung eines Testverfahrens, das den kommunikativen Ansatz in den Vordergrund stellen will, angesehen werden: „die generativen und kreativen Möglichkeiten grammatischer Teilsysteme können bei einer ausschließlich kommunikativen Anordnung kaum wirksam werden“ (Quetz 2003: 125). Seite 92 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ Um nun zum oben angesprochenen Kontrast zwischen ganzheitlichen und analytischen Bewertungsverfahren zurückzukehren, so ist es keineswegs der Fall, dass holistische Ansätze uneingeschränkte allgemeine Beliebtheit genießen. Harsch findet, dass „a holistic judgement without further guidance turned out to be highly unreliable“ (Harsch: 2004: 42). Carr behauptet laut Iwashita und Grove, dass gerade bei schriftlichen Leistungen in einer Fremdsprache eine holistische Bewertung problematisch sei: Carr (2000) […] argues that holistic ratings are problematic in the assessment of non-native speaker writing because variations among non-native speakers’ written performances are even greater than those among native speakers, due to the linguistic constraints faced by non-native speakers (Iwashita/Grove 2003: 16). Wenn Carr von Testleistungen von Nichtmuttersprachlern spricht, wie sieht es aus mit deren Korrekturleistungen? Sind diese mit denen von Muttersprachlern zu vergleichen? Und, um eine analoge Frage zu stellen, können muttersprachliche Sprachleistungen zu einem Bewertungsmodell für die Produktion von Nichtmuttersprachlern erhoben werden? Beim Thema Unterschiede in der Korrekturpraxis von Muttersprachlern und Nichtmuttersprachlern stellt Barron die provokative These auf, dass eine hohe Sprachkompetenz eines Fremdsprachenlerners von Muttersprachlern nicht zwangsläufig hoch geschätzt wird: it may be that a pragmatically competent learner is viewed negatively by native speakers of the target language, as native speakers may prefer learners to act as foreigners in certain contexts and not lay claim to membership of their society (Barron 2003: 76). Dagegen berichtet Takala über den interessanten Befund von Sundh, der in seiner Untersuchung herausfand, dass „[...] relatively higher grades were given by the Native Speakers, relatively lower grades were given by the School Teachers [...]“ (Sundh 2003: 232, zitiert nach Takala 2005). Was die Eignung von Muttersprachenmodellen bei der Bewertung von Leistungen von Nichtmuttersprachlern betrifft, stellt North nüchtern fest: The concept of “native speakerness“ itself as a target is flawed because it is not a tangible, homogenous concept. It gets mixed up with domain variation – people are much better at some things than at others – and with language politics, prestige varieties etc. etc. (North 2000: 55) Bei dieser BLK-Modellversuchsphase ging es um die Bewertung von schriftlichen Prüfungsleistungen. Konkret zur Bewertung von schriftlichen Prüfungsarbeiten gibt es noch einige kritische Bemerkungen, die an dieser Stelle erwähnt werden sollen. Hughes weist zum Beispiel auf die Gefahr hin, bei einer Bewertung von schriftlichen Leistungen der korrekten Rechtschreibung und Interpunktion zu viel Bedeutung beizumessen: „overemphasis on such mechanical features as spelling and punctuation can invalidate the scoring of written work (and so the test of writing)“ (Hughes 2003: 33). Ähnlich äußert sich Glaboniat: „Allen Erkenntnissen und Empfehlungen der Schreibdidaktik zum Trotz bildet das Kriterium der formalen Korrektheit in der Praxis nach wie vor das zentrale Element in der Beurteilung von schriftlichen Texten“ (Glaboniat 1998: 22). Seite 93 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ Alternativ zur Betonung einer formalen Korrektheit kann man nach anderen Kriterien suchen, die bewertet werden können, doch besteht Einigkeit darüber, dass dies objektiv verlaufen kann? Man nehme das Beispiel Wortschatz: „Unfortunately lexical diversity is notoriously difficult to quantify reliably“ (Malvern / Richards 2002: 87). Doch es ist nicht nur problematisch, lexikalische Vielfalt zu beurteilen. Auch die Tatsache, dass schreiben können mehr als nur eine wie auch immer definierte und evaluierte Beherrschung von Lexis und zusätzlich noch Grammatik bedeute, müsse berücksichtigt werden: „writing ability extends beyond vocabulary and grammar to include aspects of text discourse“ (Alderson / Banerjee 2002: 95). Die Schwierigkeiten, die bei der Bewertung einer schriftlichen Leistung bestehen, fasst Glaboniat schließlich wie folgt zusammen: „Es gilt als unbestritten, dass die Bewertung von Texten immer ein gewisses Maß an Subjektivität in sich trägt und sich Textqualitäten niemals objektiv messen und benoten lassen“ (Glaboniat 1998: 20). Solche Beiträge sind sicherlich der Grund dafür, warum es zur Praxis eines Staatsministeriums heißen kann: „Es ist eine gute und langjährige Tradition, dass das Staatsministerium keine starren Vorschriften für [...] schriftliche Leistungserhebungen und deren Bewertung vorgibt“ (Staatsinstitut 2002: 3). 1.5 Einige Empfehlungen der Fachwelt An dieser Stelle soll klargestellt werden, dass die wissenschaftliche Diskussion der Bewertungspraxis nicht ausschließlich aus Skepsis und Vorbehalten besteht. Bereits in den im letzten Abschnitt angeführten Zitaten wird neben einem Aufruf zur Vorsicht oft auch bereits die Tendenz einer Empfehlung erkenntlich. Im vorletzten Abschnitt dieser Einleitung sollen einige der konkreten Vorschläge einschlägiger Veröffentlichungen Erwähnung finden. Häufig werden verschiedene Kategorien beim Prozess der Bewertung zusammen eingesetzt: „For the purpose of observing language proficiency, fluency, accuracy, and complexity were used as a preliminary, with a subsequent focus on complexity” (Kiernan 2002: 68). Ein solches Bestreben, durch vielseitige Betrachtung einer Leistung zu einer ausgeglichen Bewertung zu gelangen, wird oft von dem Versuch begleitet, durch eine differenziertere Betrachtung der verschiedenen Teilaspekte Handlungsvorschläge zu erstellen. Diese Tendenz wird gerechtfertigt mit einer kritischen Distanz zur Fehlerlinguistik zugunsten einer ausführlicheren Betrachtungsweise von Leistungsmerkmalen: Gerade im Bereich der Evaluation bedeutet die neue Fehlerlinguistik [….] eine viel zu enge Perspektive; hier ist auf die Entwicklungen des letzten Jahrzehnts und den Trend zur Interlanguage-Forschung hinzuweisen, der es nahe legt, nicht nur die fehlerhaften Stellen, sondern die Gesamtheit der lernersprachlichen Äußerungen als Beurteilungsgrundlage heranzuziehen (Lavric 1998: 972) Just bei einer solchen Sensibilisierung für die Bedeutung verschiedener Bewertungskategorien gelangt die kontrastive Vorgehensweise einer gekoppelten holistischen und analytischen Betrachtung zu Ehren. Es liegt nahe, dass ein holistischer Ansatz besonders geeignet ist, um die von Lavric geforderte Gesamtheit einer fremdsprachlichen Leistung zu beurteilen, während eine analytische Bewertung hingegen die Befunde dieser ersten Einschätzung ergänzt. (Vgl. Die Definition Seite 94 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ von ‚holistic assessment’ im vorhergehenden Abschnitt II.1.4 oben.) So verwundert es nicht, dass die Vorzüge einer kombinierten Vorgehensweise erkannt werden. Dies wird auch im folgenden Zitat aus dem Werk, welches das theoretische Gerüst der Canadian Language Benchmarks, erläutert: Sometimes performance [….] is evaluated and scored holistically, based on an overall impression. In other situations detailed scoring is used, which assigns separate scores to isolated traits; such detailed scoring procedures are called analytic. Canadian Language Benchmarks 2000 rating scales combine both types of scoring. - First, the overall effectiveness of communication is scored, using the effectiveness criterion (holistic). […] - Next, quality of communication is scored, using specific criteria that focus on relevant aspects of speaking or writing performance in a given task (analytic) (Pawlikowska-Smith 2002: 39). Die „Canadian Language Benchmarks” wurden als „descriptive scale of communicative proficiency in English as a Second Language” entworfen (Pawlikowska-Smith 2000: VIII). Auch der Gemeinsame europäische Referenzrahmen für Sprachen sowie die KMK-Fremdsprachenzertifikatsprüfungen arbeiten mit Deskriptoren, um kommunikative Aktivitäten zu beurteilen (S. diese Handreichung, Teil 1.2; Trim et al.: 175). Bereits 1999 machen sich Upshur und Turner ausführliche Gedanken zur Wahl geeigneter Beurteilungsskalen. Nach Auswertung der einschlägigen Fachliteratur unterscheiden sie drei verschiedene Arten von Bewertungsskalen: ‚absolute proficiency rating’ […] assumes […] that there is no task effect, or that the rating scale can itself compensate for task effects […] ‘task proficiency rating’ […] holds that a single rating scale will apply to all tasks of a kind (e.g., speaking tasks). Within this view, examinee abilities are estimated from ratings of their performance on a task, adjusted by the calibrated difficulty of that task. The third notion is that of rating according to a task/scale unit. Task effects are acknowledged; it is further assumed that the qualities of discourse that reflect progressive-ability levels will differ across tasks and populations. For example, the qualities of discourse that mark competence in telemarketing will differ from those that mark competence in psychotherapy (Upshur / Turner 1999: 89). Warum nun an dieser Stelle so ausführlich Ergebnisse zitieren, die keinen Bezug auf den Gemeinsamen europäischen Referenzrahmen nehmen, geschweige denn auf die KMK-Fremdsprachenprüfung; Forschungsergebnisse, die darüber hinaus wenig Echo im darauf folgenden wissenschaftlichen Diskurs gefunden zu haben scheinen (S. jedoch Alderson / Banerjee 2002: 95)? Der oben zitierte Aufsatz dürfte für die KMK-Fremdsprachenprüfung meiner Meinung nach aus verschiedenen Gründen interessant sein. Upshur und Turner lehnen ‚absolute proficiency rating’ auf Grund ihrer empirischen Ergebnisse ab: „one cannot ignore systematic task effects upon performance test scores. Confidence in absolute proficiency ratings does not appear warranted“ (Upshur / Turner 1999:105). Sie betonen in ihrer Arbeit dagegen den Bezug zwischen Aufgabenstellung und Bewertung. Dabei fragen sie nach den ‚qualities of discourse’, die bei verschiedenen Berufen gefragt sind. Ob unterschiedliche Kriterien auf der gleichen Stufe bei verschiedenen Berufen angewandt werden sollen, wurde im Modellversuch kontrovers diskutiert. Es kam hierbei jedoch zu keinem Konsens, der es erSeite 95 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ lauben würde, unterschiedliche Deskriptoren für verschiedene Berufe als Bewertungsgrundlage anzuwenden. Upshur und Turner dokumentieren ferner die zunehmende Bedeutung der Kalibrierung von Aufgaben in der gegenwärtigen Sprachtestpraxis. Der Begriff der Kalibrierung wird in die einschlägigen Glossare beziehungsweise Wörterbücher bereits Ende der 1990er aufgenommen: Eichung Der Prozeß der Skalenbestimmung eines Tests (ALTE Members 1998: 100) calibration The process of determining the scale of a test or tests (ebd. 137) calibration The calibration of a test involves the determination of the value of test items against a particular measurement scale, in other words it reflects item difficulty. (Davies et al. 1999: 18) Dem Vorhandensein dieser Definitionen in zwei Bänden der international einflussreichen Reihe Studies in Language Testing zum Trotz scheint es nicht, als ob der Wichtigkeit der Kalibrierung von Items bis heute unbedingt viel Aufmerksamkeit geschenkt wurde: Gehe ich zumindest von einem Griff in meinen Handapparat von kürzlich angeschaffter Fachliteratur aus und kontrolliere ich bei denjenigen neueren Veröffentlichen, bei denen ein Sachwortverzeichnis vorliegt, so stelle ich fest, dass der Begriff ‚Kalibrierung’ in einer Reihe von Veröffentlichungen im Stichwortverzeichnis gar nicht vorkommt (Alderson 2005, 284 Seiten; Ellis / Barkhuizen 2005, 404 Seiten; Hinkel 2005, 1144 Seiten; Weir 2005, 301 Seiten; Zydatiß 2005, 402 Seiten). Die erste Phase des Modellversuchs beschäftigte sich mit der gemeinsamen Zuordnung von Aufgabentypen zu den drei Stufen der KMKFremdsprachenprüfungen. Upshur und Turner lehnen in ihrer Arbeit die Anwendung einer einzigen Skala zur Bewertung unterschiedlicher Aufgaben ab: [T]he differences between the salient qualities of discourse that emerged in the construction of the scales […] appear to be related to the predictability of speaker intentions in the tasks (Upshur / Turner 1999: 105). Sie plädieren stattdessen dafür, dass ‘rating scales’ ‘not just populationspecific’, sondern auch ‘task-specific’ sein sollten (ebd.). Sie sprechen sich in anderen Worten dafür aus, dass Skalen nicht nur pro Berufsgruppe, sondern auch pro individuelle Aufgabe erstellt werden. Obwohl sie also zu Recht auf den Einfluss der Einzelaufgabe auf die zu erzielende Leistung und auf die Bedeutung der Kalibrierung von Aufgaben hinweisen, werden ihre Vorschläge zu einer solch umfangreichen Erstellung von Skalen wohl kaum Anhänger finden können. Zudem gibt es etwa zu bedenken, dass sie als Ergebnis ihrer empirischen Untersuchung verschiedener mündlicher Testaufgaben die Tonbandaufnahme eines selbst entworfenen Briefes durch den Prüfling als vorzuziehende Aufgabe einer mündlichen Prüfung empfehlen. Pawlikowska-Smith, aber nicht nur sie, spricht von Effektivität. In der Tat soll an dieser Stelle betont werden, dass Fachbeiträge wiederholt auf die Wirkung eines Kommunikationsbeitrages hinweisen. Bei Legenhausen heißt das dann beispielsweise: „Die Fehlerkorrektur in schriftlichen Arbeiten erweist sich in all den Fällen als problematisch, in denen die Mitteilungsabsicht des Schülers nicht eindeutig rekonstruiert werden kann“ (Legenhausen 2001: 48). Seite 96 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ Buck seinerseits nimmt eindeutig Stellung: „testers should be less concerned with how much a person knows about the language, and more about whether they can use it to communicate effectively“ (Buck 2001: 83). Geht es um eine treffende Einschätzung der Effektivität der Leistung eines Prüflings, darf aber vor allem nicht vergessen werden, wie sich Muttersprachler in der entsprechenden Situationen tatsächlich verhalten. In anderen Worten „sollten der Stellenwert und die Gewichtung von sprachlicher Korrektheit auch in Prüfungen nicht höher angesetzt werden als in realen Situationen und in einem ausgewogenen Verhältnis zu anderen Kriterien stehen“ (Glaboniat 1998: 22-23). Ein solches Betrachten tatsächlichen Gebrauchs spannt notwendigerweise den Bogen zur erwarteten situativen Einbindung der Leistung des Prüflings, denn sobald eine solche Herausforderung an den Prüfling gestellt wird, muss es selbstverständlich sein, dass nicht nur bei der Aufgabenerstellung, sondern auch bei der Bewertung der Prüfungsleistung ein realitätsnaher, fachrelevanter Erwartungshorizont ausschlaggebend ist: Just as we analyse the target language use situation in order to develop the test content and methods, we should exploit that source when we develop the assessment criteria. This might help us to avoid expecting a perfection of the test taker that is not manifested in authentic performances in the target use situation (Alderson / Banerjee 2001: 224). Mit dieser Übersicht einiger einschlägigen Veröffentlichungen zur Bewertung sprachlicher Leistungen habe ich den Versuch unternommen, die Ergebnisse der zweiten Phase des Modellversuchs, die hier im Teil II.2 dokumentiert werden, in den weiteren Zusammenhang der gegenwärtigen Entwicklungen im Bereich des Sprachtestens zu stellen. 1.6 Envoi Quis custodiet ipsos custodes Juvenal, Satura VI, 347-348 Jeden Sommer nach Abschluss der Unterrichts-, Prüfungs- und Korrekturzeit packe ich mit meiner Familie unsere sieben Sachen zusammen und wir verschwinden in den Urlaub. Wir erobern die Buchhandlungen am Urlaubsort und lesen bis tief in die Nacht vorm offenen Kaminfeuer all das, was der Buchhandel uns geschenkt hat. Alle Tätigkeiten des sonstigen Alltags werden ausgeblendet, keine einzige köstliche Urlaubssekunde wird der Problematik der gerechten Bewertung gewidmet. Keine einzige? Als ich in diesem Sommer wie versessen in Digital Fortress von Dan Brown las – ich hatte es schon fast fertig gelesen, alle anderen in der Familie schliefen schon, der Nebel drang bereits unter die Haustür hindurch – da stieß ich auf dieses Zitat von Juvenal: ‘[….] “Quis custodiet ipsos custodes.“ It translates roughly to –’ ‘Who will guard the guards!’ Susan interrupted. (Brown 1998: 465). „Wer wird die Wächter bewachen?“ Plötzlich war ich wieder voll im BLKModellversuch EU-KonZert. (Doch nicht nur mich treibt dieses Juvenalzitat um: Seit ich den ersten Entwurf dieses Handreichungsteiles verfasste, stellte Charles Alderson auf das Sprachtesten bezogen die gleiche Frage [Alderson 2006: 59]). Die Wächterfunktion: Seite 97 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Mark my words“ “High-stakes tests [….] The primary use of such tests is “to ration future opportunity, as the basis of determining admission to the next layer of education or to employment opportunities“ (Chapman / Snyder 2000: 458) (Andrews 2004: 37) Man könnte an dieser Stelle die Meinung vertreten, dass es sich bei der KMK-Fremdsprachenzertifikatsprüfung um keinen ‚high-stakes test’ handelt, da bei einer freiwilligen Prüfung nicht viel auf dem Spiel steht. Dem entgegen halten müsste man als Vertreter dieser Prüfung die im Handreichungsteil I. 1 zitierte Feststellung der Forscher des Instituts der deutsche Wirtschaft Köln, dass „[b]ei der Einstellung von Mitarbeitern [...] die Mehrzahl [...] der Unternehmen auf Sprachzertifikate“ achte (Schöpper-Grabe / Weiß 1998: 155). Dennoch ist es so, dass der BLK-Modellversuch EU-KonZert darauf aufbaut, ein Evaluationskonzept zur Sicherung der Vergleichbarkeit der Standards der KMK-Fremdsprachenzertifikatsprüfungen zu entwickeln. Dies erfolgt, indem länderübergreifend das im Zertifikatssystem tätige Personal unterstützt wird (vgl. Staatsinstitut 2003: 8). Eines der Kernanliegen des Modellversuchs ist es, dass das während des Projektes aufgegriffene Expertenwissen nachhaltig verfügbar gemacht wird (ibid., 2). Aus diesen Gründen kann man zuversichtlich behaupten, dass auch bei der Gestaltung und Bewertung der entsprechenden Prüfungen die an den KMKFremdsprachenzertifikatsprüfungen Beteiligten ihre Wächterfunktion erfüllen, ohne dass die Wächter eines Wächters bedürften. Gerade deswegen sei es erlaubt, an dieser Stelle abschließend darauf hinzuweisen, dass die KMK-Prüfung keine Angelegenheit ist, die im gesellschaftsfreien Raum stattfindet. Fulcher drückt das so aus: „the ultimate challenge is how we utilise the range of tools at our disposal to address questions that are essentially human and social in essence“ (Fulcher 2003: xii). Man kann es auch anders ausdrücken, in einer Weise, die dem den BLKModellversuch EU-KonZert kennzeichnenden Professionalismus und Engagement, nicht abspricht, die aber daran erinnert, dass das Prüfen immer in einem größeren Kontext gesehen und nun doch selbst bewacht werden muss: „There is that in learning and thinking, in the teaching-learning relationship, in the process of education and being educated, which is immeasurable“ (Carini 2001: 174). Seite 98 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ II.2 Bewertung von Prüfungsaufgaben Gemeinsame Standardfindung in der Phase II des BLK-Modellversuches EU-KonZert Dokumentation und Zusammenfassung der Ergebnisse von Maike Engelhardt Der BLK-Modellversuch hat sich in seiner zweiten Phase (November 2004 - Oktober 2005) mit der gemeinsamen Standardfindung bei der Bewertung schriftlicher Prüfungsleistungen beschäftigt. Wie in der ersten Modellversuchsphase trafen sich auch in der zweiten Phase Vertreter aller teilnehmenden Länder zu Workshops. In diesen Workshops fand ein Austausch über die bisher gängigen Bewertungsverfahren statt mit dem Ziel, die Bewertung zu vereinheitlichen. Diskussions- und damit Arbeitsgrundlage sollte die Erprobung und Evaluation unterschiedlicher Bewertungsverfahren sein. Der Erfahrungsaustausch war so angelegt, dass die Workshopteilnehmer als Multiplikatoren den Gedanken einer Vereinheitlichung der Bewertung der Zertifikatsprüfungen an beruflichen Schulen in Deutschland verbreiten. Da sich die drei Stufen der Fremdsprachenzertifikatsprüfung an beruflichen Schulen an den Stufen A2, B1 und B2 des Gemeinsamen europäischen Referenzrahmens für Sprachen: lernen, lehren und beurteilen (2001, Trim, North, Coste) (GER) orientieren, ist eine einheitliche Bewertung von Leistungen in diesen Prüfungen von großer Wichtigkeit, wenn das Fremdsprachenzertifikat eine reliable und valide Aussage über die fremdsprachlichen Kompetenzen des Prüflings treffen soll. Durch die strukturellen Unterschiedlichkeiten der an den Zertifikatsprüfungen beteiligten Länder ergibt sich neben der teilweise regional uneinheitlichen Prüfungserstellung (zentral, dezentral, schulintern etc.) auch ein teilweise regional variierender Zugang zur Bewertung der Prüfungsleistungen. An diesem Punkt haben die Modellversuchsträger Bayern, Hamburg und Thüringen angesetzt und Vorgehensweisen und Arbeitsabläufe für die Workshops der zweiten Phase des Modellversuchs entwickelt, die einen größtmöglichen Konsens aller Workshopteilnehmer in Bezug auf die Bewertung von Prüfungsleistungen fördern sollten. Im Folgenden wird über die Gestaltung der Workshops im Allgemeinen sowie über die Vorgehensweisen und Ergebnisse der einzelnen Workshops in München, Hamburg, Bad Berka und dem Abschlussworkshop in München im Besonderen berichtet. Eine Diskussion der Ergebnisse der Workshops, und damit der zweiten Modellversuchsphase, folgt diesem Bericht. Grundlage des Berichts und der Zusammenfassung der Ergebnisse sind die Protokolle der Workshops der zweiten Modellversuchsphase. 2.1 Arbeit in den Workshops Im Vorfeld der Workshops wurden Zertifikatsprüfungen inklusive der Schülerleistungen an die Landesgruppenvertreter geschickt. Dabei sollten möglichst viele Prüfungen aus möglichst vielen Bundesländern erfasst werden. Die Prüfungen sollten viele Berufsfelder und alle Stufen abdecken, und die Lösungen sollten im Idealfall Grenzfälle sein, damit eine Diskussion über die Bewertung zu Stande kommen konnte. Die Aufgaben wurden zunächst ohne Bewertungshinweise evaluiert und auf ihre Tauglichkeit für die Diskussion in den Workshops hin untersucht. Für die Zusammenstellung der in den Workshops eingesetzten Prüfungsarbeiten als Arbeitsgrundlage waren folgende Auswahlkriterien entscheidend: • • • Lesbarkeit Kopierfähigkeit Potenzieller Bewertungsspielraum Des Weiteren wurde Wert darauf gelegt, dass die Aufgabenstellungen der ausgewählten Aufgaben bereits den Ergebnissen der Workshops der ersten Modellversuchsphase entSeite 99 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ sprachen, damit eine Diskussion über eine eventuell zu bemängelnde Aufgabenstellung vermieden werden konnte. Verzichtet wurde auf Aufgaben aus dem Anforderungsbereich Rezeption (Hör- und Leseverstehen), da die Bewertung hier aufgabenimmanent ist, weil keine sprachlich-produktiven Leistungen bewertet werden müssen. Um eine Vergleichbarkeit der Bewertungen von Prüfungen in ganz Deutschland zu gewährleisten, wurden drei Ankeraufgaben mit ihren Lösungen in allen Workshops benutzt. Diese wurden dann jeweils um drei weitere Aufgaben aus der Praxis der jeweiligen Landesgruppe ergänzt. Die Ergebnisse der Bewertungen der Ankeraufgaben gaben besonders gesicherten Aufschluss über die im Workshop benutzten Bewertungsverfahren und deren Reliabilität. Es handelte sich hierbei um eine Arbeit aus dem Bereich Produktion (Stufe 1) und um zwei Arbeiten aus dem Bereich Mediation (Stufen 1 und 3) (siehe Anhang a). Diese Arbeiten wurden ausgewählt, da sich auf dem Münchener Workshop die größten Diskrepanzen bei der Bewertung der Arbeiten durch die Workshopteilnehmer ergab und ein erheblicher Diskussionsbedarf entstand, was die Modellversuchsträger als fruchtbar für die folgenden Workshops erachteten. Die Ergebnisse der ersten drei Workshops bildeten die Arbeitsgrundlage des vierten, abschließenden Workshops in München. 2.1.1 Arbeitsansatz Nachdem die aus den Ländern eingesandten Prüfungsaufgaben gesichtet und evaluiert worden waren, wurde eine Auswahl für die Arbeiten während der Workshops getroffen. In der ersten Phase des Modellversuchs hatten die Modellversuchsträger umfangreiche Sammlungen von Zertifikatsprüfungen angelegt, denen auch Bewertungsschemata beilagen. Ziel der ersten Phase war es, eine gemeinsame Standardfindung für die Aufgabenstellungen der Prüfungen durchzuführen1. Die unter dieser Voraussetzung gesammelten Prüfungsunterlagen spiegeln daher die vor der ersten Modellversuchsphase gängige Praxis der Gestaltung und Durchführung des Fremdsprachenzertifikats an beruflichen Schulen wider. Nach Durchsicht der damals eingegangen Prüfungsunterlagen konnte diese Liste der verwendeten Bewertungsschemata erstellt werden: Für die Produktion: • Leistungsbeschreibungen/Hinweis auf Handreichung • Deskriptoren • Punktevergabe • Lösungshinweise • ausführlicher Lösungsvorschlag • Aufschlüsselung der Fehlerdiagnose • Stichpunkte, mit Punktevergabe • Bewertung nach Sprache, Inhalt, Ausdruck • Verweis auf Leistungsbeschreibungen in Handreichung Für die Mediation: • Lösungshinweise • Punktabzüge • Punktevergabe • Ausführlicher Lösungsvorschlag mit Punktevergabe • Lösungsvorschlag in Stichpunkten • Kein Lösungsvorschlag, Verweis auf Leistungsbeschreibung 1 Siehe hierzu auch Teil 1 dieser Handreichung zur Aufgabenstellung (erste Phase des Modellversuchs EU-KonZert). Seite 100 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ • • Leistungsbeschreibung unterteilt in Inhalt und Sprache Aufschlüsselung der Fehlerdiagnose Aus dieser Aufstellung ergaben sich drei Bewertungsverfahren, die am häufigsten eingesetzt werden, und die als Folge dessen bei der Bewertung der Prüfungsaufgaben während der Workshops der zweiten Modellversuchsphase zum Einsatz kamen. Zusammenfassen ließen sich die Leistungsbeschreibungen und Deskriptoren, die Lösungshinweise und Lösungsvorschläge sowie die Stichpunkte, gegebenenfalls mit Punktevergabe oder Hinweisen zu Sprache und Inhalt. Für die Workshops entwickelte daraufhin die Landesgruppe Bayern in Zusammenarbeit mit der wissenschaftlichen Begleitung des Modellversuchs Bewertungsschemata in Form von Deskriptoren, einem Lösungsvorschlag und einer freien Bewertung, die nur wenige Stichpunkte zur erwarteten Lösung der Aufgabe lieferte. Die für den Workshop verwendeten Deskriptoren stammten aus der Landesgruppe Bayern, wo schon seit langer Zeit anhand von Deskriptoren bewertet wird. Die Deskriptoren wurden an die zu bewertenden Aufgaben geheftet. Die Lösungsvorschläge wurden teilweise von den Mitgliedern der Landesgruppe Bayern und der wissenschaftlichen Begleitung erstellt, ebenso wie die Vorlage für das Verfahren der freien Bewertung. Dies musste geschehen, weil die ausgewählten Aufgaben natürlich immer nur einem bestimmten Bewertungsschema zugeordnet waren. Um aber eine Vergleichbarkeit der drei Bewertungsschemata erreichen zu können, mussten alle Aufgaben mit jeweils allen Schemata bewertet werden. Die Ergebnisse dieser Bewertungen werden im Folgenden diskutiert. 2.1.2 Durchführung Da die Prüfungsaufgaben aller Workshops mit allen Bewertungsverfahren bearbeitet werden sollten, bot es sich an, die Workshopteilnehmer in Zweiergruppen einzuteilen, damit jeder Teilnehmer einmal jedes Bewertungsschema anwenden konnte, und damit es während des Bewertungsprozesses zum Austausch zwischen zwei Korrektoren kommen konnte. Durch diesen Austausch konnten die Leistungen der Prüflinge detaillierter evaluiert werden, und es konnte schließlich zu einem größtmöglichen Konsens zwischen zwei Korrektoren kommen. Es wurde in der Regel darauf geachtet, dass die Korrektorenteams nicht aus den gleichen Ländern stammen. Das folgende Schema zum Ablauf der Gruppenarbeit wurde sowohl für Produktion als auch Mediation angewandt2. 2 Die Teilnehmerzahlen variierten in den Workshops, so dass nicht immer zwei Teilnehmer zusammenarbeiten konnten. Trotzdem wurden die drei Parallelgruppen immer eingehalten. Seite 101 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Abb.1 Ablauf der Gruppenarbeit Eine Aufgabe der Stufe II Eine Aufgabe der Stufe III Eine Aufgabe der Stufe I Bewertungsschema: Bewertungsschema: Bewertungsschema: Deskriptoren Lösungsvorschlag Freie Bewertung Personengruppe C Personengruppe A Personengruppe B 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 Personengruppe B Personengruppe C Personengruppe A 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 Personengruppe C Personengruppe A Personengruppe B 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 Phase 1 Phase 2 Phase 3 In jeder Partnerarbeitsphase wurde eine Aufgabe mit einem Bewertungsschema bewertet und der vergebene Punktwert für die gesamte Gruppe sichtbar auf einer Metaplanwand festgehalten. Die vergebenen Punktwerte wurden dann im Plenum diskutiert. Die Diskussionen wurden schwerpunktmäßig um Extremwerte geführt, für die die verantwortlichen Korrektoren ihre individuellen Erklärungen abgeben konnten und ihre Punktevergabe mit den anderen Workshopteilnehmern diskutieren konnten. Darüber hinaus wurden die Teilnehmer gebeten, ihre persönliche Einschätzung des jeweiligen angewendeten Bewertungsschemas auf einem Fragebogen einzutragen (siehe Anhang b). Kriterien der Einschätzung waren der Zeitaufwand bei der Korrektur, die Durchschaubarkeit des Bewertungsschemas in Bezug auf die Aufgabe und die Problematik bei der Bewertung. Die Ergebnisse dieser Befragung wurden rechnerisch aufgearbeitet und die Durchschnittswerte der Fragebögen im Plenum vorgestellt und nach Abschluss der Bewertungsphasen diskutiert. Abschließend wurden auf den Workshops Desiderata zur Verbesserung der Bewertungsschemata gesammelt. II. 2.1.3 Ergebnissicherung Die von den Teilnehmern erhobenen Aussagen über den Zeitaufwand, die Durchschaubarkeit des Bewertungsschemas und die Problematik bei der Bewertung der Aufgaben zusammen mit den vergebenen Punktzahlen wurden in Balkendiagramme umgewandelt. Anhand dieser Diagramme lässt sich erkennen, welche Bewertungsschemata den Korrektoren am effizientesten erschienen, und es lässt sich ablesen, welche Bewertungsschemata eine einheitliche Bewertung möglich gemacht haben. Im Folgenden soll auf die einzelnen Workshops in Zusammenhang mit ihren Ergebnissen eingegangen werden. Das Ergebnis für jeden Workshop erscheint am Ende jedes Abschnitts und wird für den vierten und letzten Workshop dieser Modellversuchsphase in München kommentiert. Seite 102 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ 2.1.4 1. Workshop in München (Dezember 2004) Der erste Workshop der zweiten Modellversuchsphase fand im ISB in München statt. Die Teilnehmer des Workshops kamen zum größten Teil aus der Landesgruppe Bayern, darunter Baden-Württemberg, Rheinland-Pfalz, Hessen und Sachsen, es waren aber auch Gäste aus Hamburg und Thüringen mit dabei. Das ausgesprochen gute Ergebnis bei der Bewertung mit Deskriptoren ist darauf zurückzuführen, dass es sich bei dem Bewertungsverfahren um ein gängiges Verfahren in Bayern handelt (Abb.2). Die meisten Teilnehmer mussten sich nicht umgewöhnen, sondern konnten mit ihrem ihnen bekannten Werkzeug arbeiten. Problematischer für die Bewertung war der Lösungsvorschlag, da der Zeitaufwand für ein individuelles Einarbeiten in die Lösung höher war als bei den anderen zwei Bewertungsverfahren. Im Gegensatz dazu lag der Zeitaufwand bei der Bewertung mit der freien Bewertung in der Mitte zwischen Deskriptoren und Lösungsvorschlag. Es ist zu vermuten, dass durch die Kürze der Hinweise in der freien Bewertung keine Zeit zum Lesen gebraucht wurde. Die Durchschaubarkeit wurde bei der Evaluation der freien Bewertung ausgelassen. Produktion (Abb. 2: Durchschnitte der Bewertung der Produktionsaufgaben) hoch schwer problematisch niedrig leicht problemlos Als Ergebnis für die Bewertung von Produktionsaufgaben kann für den ersten Workshop in München festgehalten werden, dass die Teilnehmer den Umgang mit den Deskriptoren für problemlos hielten. Sie wurden als durchschaubares, effizientes und objektives Hilfsmittel für Korrektoren erachtet. Die Deskriptoren sind berufsfeldübergreifend einsetzbar, da sie Leistungsbeschreibungen der sprachlichen Leistungen der Prüflinge beinhalten und nicht individuell auf eine Aufgabe abgestimmt sind, so wie es ein Lösungsvorschlag oder auch eine freie Bewertung sein müssten. Außerdem entfällt bei der Verwendung der Deskriptoren die Erstellung eines Lösungsvorschlags für die Korrektoren bzw. Prüfungsersteller. Auch dieser Punkt wurde von den Workshopteilnehmern hervorgehoben. Als Desiderat gaben die Teilnehmer eine Checkliste, die aus einer stichwortartigen Liste inhaltlicher Erwartungen bestehen sollte, die auf die Aufgabe bezogen sind. Die Liste könnte teilweise beispielhaften Charakter haben und auch formale Kriterien mit berücksichtigen. Die Checkliste soll nur unterstützenden Charakter haben, und weder den Prüfungsersteller noch den Korrektor in jeglicher Form einengen. Für die Mediationsaufgaben (Abb.3) wurden ebenfalls die drei Bewertungsschemata angewendet. Bei der Vergabe von Punktwerten für die Schülerleistungen bei den Mediationsaufgaben zeigte sich, dass besonders bei der freien Bewertung der Leistungen große Diskrepanzen Seite 103 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ entstanden. Außerdem war der Zeitaufwand bei der Bewertung mit den Angaben der freien Bewertung höher als bei den anderen zwei Schemata. Am einheitlichsten stellten sich auch bei der Bewertung der Mediationsaufgaben die Deskriptoren dar. Analog zu den Ergebnissen der Produktion wünschten sich die Workshopteilnehmer eine Checkliste als Erweiterung der Deskriptoren. Mediation (Abb. 3: Durchschnitte der Bewertung der Mediationsaufgaben) hoch schwer problematisch niedrig leicht problemlos Da die Durchführung des Münchner Workshops als gelungen beurteilt wurde, folgten die kommenden zwei Workshops der gleichen Struktur. 2.1.5 2. Workshop in Hamburg (Januar 2005) Der zweite Workshop fand in der Behörde für Bildung und Sport in Hamburg statt. Die Teilnehmer des Workshops in Hamburg setzten sich aus Prüfungserstellern und Korrektoren aus Schleswig-Holstein, Hamburg, Mecklenburg-Vorpommern, Bremen und Niedersachsen, mit Gästen aus Bayern und Thüringen, zusammen. In den Handreichungen zu den Fremdsprachenzertifikatsprüfungen an beruflichen Schulen dieser Länder finden sich unterschiedliche Bewertungsschemata für Produktions- und Mediationsaufgaben. Dies ließ vermuten, dass die Ergebnisse der Einschätzungen der verschiedenen Bewertungsschemata anders als in München sein würden, da es keine vergleichbar große Gruppe von versierten Deskriptoren-Nutzern wie bei dem Münchner Workshop gab. Produktion (Abb. 4: Durchschnitte der Bewertung der Produktionsaufgaben) hoch schwer problematisch niedrig leicht problemlos Seite 104 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Wie aus diesen Daten (Abb.4) zu erkennen ist, wurden auch auf dem Workshop in Hamburg die Deskriptoren als transparentes, effizientes und objektives Hilfsmittel für die Korrektoren erachtet. Sie sind eine relativ reliable Orientierungshilfe für den Korrektor und ermöglichen ein ökonomisches Arbeiten, da sie länder- und berufsfeldübergreifend einsetzbar sind. Die Einschätzungen der Leistungen der zu bewertenden Aufgaben in den Partnerarbeitsphasen waren nahezu deckungsgleich, was für eine starke Einheitlichkeit bei der Bewertung der Leistungen spricht. Auch in Hamburg sprachen sich die Teilnehmer für die Erstellung einer Lösungsskizze, oder einer Checkliste aus. Bei den Aufgaben aus dem Bereich der Mediation zeigte sich, dass die freie Bewertung eine recht hohe Abweichung in der Einschätzung trägt (Abb.5). Die Teilnehmer befanden, dass eine Bewertung ohne Orientierungshilfe sehr zeitintensiv sei und nicht objektiv genug erscheint. Mediation (Abb. 5: Durchschnitte der Bewertung der Mediationsaufgaben) hoch schwer problematisch niedrig leicht problemlos Sowohl der Lösungsvorschlag als auch die Deskriptoren wurden von den Teilnehmern des Hamburger Workshops als unproblematisch und effizient beurteilt. Die Formulierungen der Deskriptoren müssten gegebenenfalls überarbeitet werden, wenn diese als ausschließliches Bewertungsschema für Mediationsaufgaben beschlossen werden. Wie in München wünschen sich die Teilnehmer des Workshops in Hamburg eine Checkliste als Hilfestellung zur Bewertung mit den Deskriptoren. Anders als bei den Produktionsaufgaben sollte die Checkliste der Mediationsaufgaben auch Punktwerte beinhalten, damit eine noch größere Einheitlichkeit bei der Bewertung gewährleistet werden kann. 2.1.6 3. Workshop in Bad Berka (April 2005) Der dritte Workshop fand im Thillm in Bad Berka statt. Die Teilnehmer des Workshops in Bad Berka kamen aus Berlin, Brandenburg, Nordrhein-Westfalen, Sachsen-Anhalt und Thüringen. Gäste aus Hamburg und Bayern nahmen ebenfalls an diesem Workshop teil. Im Gegensatz zu den vorausgegangenen Workshops bestanden die Bewertungsschemata nicht aus Deskriptoren, freier Bewertung und einem Lösungsvorschlag, sondern der Lösungsvorschlag wurde bei diesem Workshop um Deskriptoren für sprachliche Leistungen erweitert. Diese Erweiterung erklärt auch die folgende Grafik (Abb. 6). Zwar erscheint auch in diesem Ergebnis die freie Bewertung als ineffizient und wurde von den Teilnehmern als wenig objektiv eingeschätzt, und die Deskriptoren erhalten eine recht einheitliche Beurteilung, Seite 105 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ aber abgesehen vom Zeitaufwand erscheint der Lösungsvorschlag in Verbindung mit den Deskriptoren für die sprachliche Leistung als optimal. Produktion (Abb. 6: Durchschnitte der Bewertung der Produktionsaufgaben) hoch schwer problematisch niedrig leicht problemlos Die Ergebnisse der Gruppenarbeiten wurden in Bad Berka kontrovers diskutiert. Es kam die Frage auf, worin der Unterschied zwischen einer Checkliste und einem Lösungsvorschlag besteht und ob bei einer Checkliste die Breite der Lösungsmöglichkeiten vernachlässigt und dadurch der Korrektor sehr in seiner Arbeit festgelegt werde. Dieser Diskussionspunkt sollte beim Abschlussworkshop in München wieder aufgenommen werden. Bei der Bearbeitung der Mediationsaufgaben ergab sich ein anderes Bild (Abb. 7). In diesem Zusammenhang wurden die Deskriptoren als problemloseste Lösung angesehen. Zwar wurden sie als interpretierbar eingeschätzt, in Kombination mit einem Lösungsvorschlag erschienen sie den Teilnehmern des Workshops jedoch als ideales Bewertungsschema. Mediation (Abb. 7: Durchschnitte der Bewertung der Mediationsaufgaben) hoch schwer problematisch niedrig leicht problemlos Bei allen Workshops ergaben sich bei der Bewertung der Mediationsaufgaben weitere Fragen, die nicht nur auf das Bewertungsschema beschränkt waren. Eine der ersten Fragen, die sich die Teilnehmer in den Diskussionen stellten, war die der Sprachrichtung und der daraus resultierenden Bewertung der sprachlichen Leistung. Die Bewertung des Englischen bei der Mediation vom Deutschen ins Englische stellt sich als Seite 106 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ relativ problemlos dar. Bei der Mediation ins Deutsche kann allerdings nach Auffassung der Workshopteilnehmer keine Bewertung der sprachlichen Leistungen erfolgen, da es sich bei der Zertifikatsprüfung um eine Fremdsprachenprüfung handelt und daher der Umgang mit der Muttersprache nicht zu bewerten ist. Wenn aber eine Schülerlösung wegen großer Ausdrucksschwierigkeiten im Deutschen fast nicht mehr verständlich ist, jedoch scheinbar die wichtigsten inhaltlichen Punkte abdeckt, ist eine Bewertung dieser Lösung schwierig. Auch wird die korrekte Wiedergabe des Adressatenbezuges als wichtig angesehen, und sollte der Prüfling sprachliche Schwierigkeiten mit dieser Wiedergabe haben, muss sich das Bewertungsschema auch in diese Richtung anwenden lassen. 2.1.7 Abschlussworkshop in München (Juni 2005) Der abschließende Workshop der zweiten Phase des Modellversuchs EU-KonZert fand wiederum in München statt. Aus den Protokollen der vorangegangenen Workshops hatte das bayerische Team herausgearbeitet, dass es zwar eine generelle Zustimmung zu den Deskriptoren als Bewertungsschema sowohl für Produktions- als auch Mediationsaufgaben gab, sich diese Zustimmung aber noch ausbauen lassen könnte, wenn die Formulierungen der Deskriptoren überarbeitet würden und den Korrektoren eine Checkliste zu den Aufgaben gegeben werden könnte. Eine Überarbeitung sei allerdings nur für die Deskriptoren der Produktionsaufgaben notwendig, denn die bereits vorhandenen einspaltigen Deskriptoren wurden als reliabel, transparent, effizient und objektiv für die Bewertung von Mediationsaufgaben angesehen. Die Landesgruppe Bayern erstellte für den vierten Workshop einen neuen Satz Deskriptoren für die Bewertung von Produktionsaufgaben (siehe Anhang d). Die neue Aufteilung in die zwei Spalten ergab sich auf vielfältigen Wunsch aus den beteiligten Ländern, die Bewertung von schriftlichen Leistungen besser nach Sprache und Inhalt aufschlüsseln zu können. Die Grundlage der neuen Deskriptoren bilden die bayerischen Deskriptoren und die Ergebnisse der Desiderata, die von den Teilnehmern aller vorangegangen Workshops formuliert wurden. Aufgrund der neuen Arbeitsgrundlage und des Vorsatzes herauszufinden, ob die Neuformulierung und Umstrukturierung der Deskriptoren eine Bewertung wirklich beeinflussen können, musste auch der Ablauf der Gruppenarbeit umstrukturiert werden. Im Bereich Produktion sollte der Schwerpunkt darauf liegen, die beiden unterschiedlichen Versionen der Deskriptoren in der Praxis des Workshops zu überprüfen, um schließlich eine Empfehlung für die eine oder die andere Variante aussprechen zu können. Das folgende Schema stellt die leicht veränderte Gruppenaufteilung dar, in welcher sich immer zwei Korrektoren, nach Möglichkeit aus unterschiedlichen Ländern, zusammenfanden und Aufgaben aus allen drei Stufen jeweils mit dem ein-, bzw. zweispaltigen Deskriptorensatz bewerteten. Nach Beendigung der jeweiligen Arbeitsphase erfolgte eine Plenumsdiskussion über die zugewiesenen Punktwerte für die Schülerlösungen, und die Teilnehmer füllten wieder einen Evaluationsbogen zu den Bewertungsschemata aus (siehe Anhang c). In dieser Evaluation gab es, abweichend zu den ersten Evaluationen, die Möglichkeit, über die Abstimmung mit dem Zweitkorrektor Informationen zu geben. Diese neue Information sollte Einblick in die tatsächliche Objektivität und Ökonomie der Deskriptoren liefern. Seite 107 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Abb. 8: Gruppenarbeitsschema Workshop 4, München Eine Aufgabe der Stufe II Bewertungsschema: Deskriptoren (1-Spalter) 7 Parallelgruppen zu je 2 Personen 2 2 2 2 2 2 2 Bewertungsschema: Deskriptoren (2-Spalter) 7 Parallelgruppen zu je 2 Personen 2 2 2 2 2 2 2 Eine Aufgabe der Stufe III 7 Parallelgruppen zu je 2 Personen 2 2 2 2 2 2 2 7 Parallelgruppen zu je 2 Personen 2 2 2 2 2 2 2 Phase 2 Eine Aufgabe der Stufe I 7 Parallelgruppen zu je 2 Personen 2 2 2 2 2 2 2 7 Parallelgruppen zu je 2 Personen 2 2 2 2 2 2 2 Phase 3 Phase 1 Die zu bewertenden Aufgaben waren neu aus den Ländern ausgewählt. Die Auswahlkriterien der ersten Workshops waren auch beim vierten Workshop ausschlaggebend. Die Landesgruppe Bayern hat teilweise für ausgewählte Aufgaben Checklisten erarbeitet, die so gestaltet sein sollten, dass sie den auf den Workshops formulierten Desiderata entsprachen. Die vergebenen Punktwerte für die Schülerleistungen wiesen weniger starke Extremwerte auf als in den vorangegangen Workshops. Die Werte für die zweispaltigen Deskriptoren fielen im Allgemeinen etwas höher als für die einspaltigen Deskriptoren aus. In der Ergebniszusammenfassung einigten sich die Workshopteilnehmer darauf, dass die Bewertung mit Hilfe von zweispaltigen Deskriptoren zu empfehlen sei. Die Bandbreite der Bewertung wird dadurch geringer und der Vorgang der Bewertung selbst leichter. Die Teilnehmer fühlten sich mit den zweispaltigen Deskriptoren wohler und konnten schneller bewerten. Dass die zweispaltigen Deskriptoren keine sichtbare passmark mehr haben, wurde nicht als Problem empfunden, da es sich hier prinzipiell um Prozentwerte und nicht tatsächliche Punktwerte handeln muss. Abb. 9: Auswertung Deskriptoren Ein- und Zweispalter Produktion Auswertung - Produktion - Durchschnitte 5,00 4,50 4,00 3,50 Zeitaufwand Bewertung Abstimmung ZP 3,00 2,50 2,00 1,50 1,00 0,50 Einspalter Zweispalter Seite 108 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Die Checklisten konnten nach dieser Bewertungsphase ebenfalls besser beurteilt werden. Die ideale Checkliste sollte folgende Merkmale aufweisen: • Hinweischarakter (auch andere Lösungen denkbar) • Übersichtlichkeit • Stichpunkte • Grad der Abstrahierung, der auch kreative Schülerleistungen zulässt • keine Punkteverteilung • Berücksichtigung formaler Kriterien (Textsorte, Aufgabengemäßheit, Situationsbezug, Adressatenbezug, Vollständigkeit) Zur Erstellung einer umfassenden Liste von Stichpunkten zum Inhalt einer solchen Checkliste bietet sich eine abgewandelte Form des text-mapping an. Beim klassischen textmapping werden z. B. Leseverstehenstexte auf ihre Hauptaussagen reduziert. Diese Hauptaussagen können dann als erwartete Antworten auf Fragen zum Text gesammelt werden. Übertragen auf Produktions- und Mediationsaufgaben können solche text-maps als Checklisten gesehen werden. Die vom Prüfungsersteller herausgearbeiteten Hauptaussagen sollten sich im Idealfall in der Schülerlösung finden lassen. Anhand einer auf diese Weise erstellten Checkliste sollte es auch Korrektoren, die nicht selbst an der Erstellung der Prüfungsaufgaben beteiligt waren, gelingen, eine Schülerleistung kompetent bewerten zu können3. Die Bewertung der Mediationsaufgaben stellte sich als relativ problemlos dar. Die Workshopsteilnehmer wurden beauftragt herauszuarbeiten, ob ein Satz Deskriptoren für beide Sprachrichtungen ausreichend sei. Außerdem wurde auch hier die Qualität der Checkliste begutachtet. Abb. 10: Auswertung Mediation Auswertung - Mediation - Durchschnitte 5,00 4,50 4,00 3,50 Zeitaufwand Bewertung Abstimmung 3,00 2,50 2,00 1,50 1,00 0,50 Gesamt 3 Für weitere Informationen zur Methode des Text-Mapping (bes. zur Erstellung von Leseverstehensaufgaben) vgl. Sarig, G. Constructing meaning. Language Testing 6/1 1989, Urquhart, A. & Weir, C. J. 1998: Reading in a Foreign Language Longman [p112-120, and appendix 2] und Nuttall, C. Reading 1996 Teaching Reading Skills in a Foreign Language Heinemann [p226]. Seite 109 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Die Deskriptoren wurden auch bei den Mediationsaufgaben als bestes Bewertungsschema bestätigt. Außerdem stellte es sich heraus, dass ein Satz Deskriptoren für beide Sprachrichtungen ausreichend ist. In der folgenden Diskussion wurde versucht, die in Bad Berka gestellten Fragen zu beantworten bzw. eine Richtungsweisung anzugeben. Bei der Mediation vom Englischen ins Deutsche sollte die Muttersprache grundsätzlich nicht bewertet werden, oder nur dann, wenn es negative Auswirkungen auf die Kommunikationsleistung gibt. Der Adressatenbezug oder Verwendungszweck des Textes muss jedoch deutlich sein. Auch bei Mediationsaufgaben ist eine kreative Eigenleistung des Prüflings möglich. Diese muss aber der Aufgabenstellung entsprechen (vgl. Handreichung der Phase I des Modellversuchs zur Aufgabenstellung). Sie ist bei positiven Auswirkungen auf die Kommunikationsleistung auch positiv zu bewerten. Die Checkliste für Mediationsaufgaben sollte in der Zielsprache abgefasst sein. Sie sollte auch für einen Nichtfachmann aussagekräftig sein. 2.2 Zusammenfassung der Ergebnisse der Phase II des BLK-Modellversuchs EU-KonZert Zusammenfassend haben die Teilnehmer der Workshops der zweiten Phase des BLKModellversuchs EU-KonZert das Folgende herausgefunden: 1. Deskriptoren sind als Bewertungsschema für Produktions- und Mediationsaufgaben das transparenteste, effizienteste und objektivste Hilfsmittel für Korrekturen. Sie sind angelehnt an die Formulierungen des Gemeinsamen europäischen Referenzrahmen für Sprachen: lernen, lehren und beurteilen (2001, Trim, North, Coste) (GER), sind dadurch reliabel und valide, lassen genug Raum zur Interpretation und damit individueller Platzierung der Leistungen der Prüflinge in der für sie angebrachten Stufe, und geben, in Verbindung mit einer Checkliste, auch fachfremden Korrektoren genug Leitung und gleichzeitig Spielraum zur objektiven Beurteilung der Leistungen. 2. Die zweispaltigen Deskriptoren, mit ihrer Unterteilung zwischen Aufgabenerfüllung und sprachlicher Leistung, lassen eine noch präzisere Bewertung der Leistungen zu und erwiesen sich in den Workshops als zeiteffizient und als große Hilfestellung zu einer einheitlicheren Bewertung. 3. Für Mediationsaufgaben reicht ein Satz einspaltiger Deskriptoren für beide Sprachrichtungen. Die deutsche Sprache sollte nicht in die Bewertung einfließen, da es sich bei der Zertifikatsprüfung um eine Prüfung fremdsprachlicher Kompetenz handelt. 4. Sowohl für die Bewertung von Produktions- als auch von Mediationsaufgaben sollte neben den Deskriptoren eine Checkliste beiliegen. Für Produktion sollte die Checkliste den folgenden Punkten entsprechen: • • • • • • Übersichtlichkeit Berücksichtigung formaler Kriterien (Textsorte, Aufgabengemäßheit, Situationsbezug, Adressatenbezug, Vollständigkeit) Stichpunkte Hinweischarakter (auch andere Lösungen denkbar) Grad der Abstrahierung, der auch kreative Schülerleistungen zulässt keine Punkteverteilung Für die Mediationsaufgaben sollte die Checkliste in der Zielsprache verfasst sein und auch für einen Nichtfachmann aussagekräftig genug für eine Bewertung von Prüflingsleistungen sein. Seite 110 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ 2.3 Anhang a. Prüfungsaufgaben mit Schülerlösungen b. Bewertungsbogen der Workshopteilnehmer, Workshops 1-3 c. Bewertungsbögen der Workshopteilnehmer, Workshop 4 d. Deskriptoren für schriftliche produktive Leistungen, zweispaltig, Stufe 1 – 3 e. Deskriptoren für schriftliche mediative Leistungen, einspaltig, Stufe 1 – 3 Seite 111 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Anhang a Produktion Stufe 1 Nur für Köche Name: ______________________________________ Schriftstücke erstellen (Produktion) 28 Punkte Der neue Kollege aus den USA hat morgen zum ersten Mal Frühschicht in der Küche. Um ihm zu helfen, erstellen Sie stichpunktartig eine Checkliste mit den 10 wichtigsten Aufgaben in englischer Sprache. SCHÜLERLEISTUNG MEMO Genuine pell boil potatoes and make a potatoes salad make curcumber, pepper, ... salad for salad-buffet cut onion-cube fill in cocktail-dressing (jug) controll the saladbuffet curcumber /tomatoes plate cheese plate for next day’s breakfast sausage plate sausage spread plate Kommentar: Diese Schülerlösung entfachte beim ersten Workshop in München eine lange Diskussion. Dabei stellte sich vor allem heraus, dass besonders fachfremde Korrektoren sehr viel härter bewerten als Experten. Die vergebenen Punkte zeigten dabei eine große Spanne (zwischen 6 und 21 Punkten). Diejenigen, die mit Hilfe der Deskriptoren bewerteten, vergaben insgesamt höhere Punktzahlen als diejenigen (zwischen 9 und 21), die mit den anderen Bewertungsschemata arbeiteten (freie Bewertung: 6 bis 8,5; Lösungsvorschlag: 6 bis 8). Seite 112 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Mediation Stufe 3 Texte wiedergeben (Mediation) 30 Punkte Ihr Chef las in der International Herald Tribune einen Artikel über Linux. Er bittet Sie, diesen Artikel für Ihre Kollegen stichpunktartig auf Deutsch zusammen zu fassen und dabei in die 8 Hauptgedanken zu gliedern. Verwenden Sie für Ihren Text die Vorlage auf der nächsten Seite. Linux forecast to be a big power in running personal devices Linux, the rapidly growing and freely available operating system is set to be the software of choice for future televisions, set-top boxes and DVD recorders, according to consumer electronics specialists. Linux, currently mostly used to power big servers and personal computers, is emerging in a smaller set of computing code to drive devices like mobile phones, remote controls and televisions. Low cost and the freedom to tweak the software are among the reasons that eight of the largest consumer electronics makers including the two leaders, Sony and Matsushita of Japan, last month set up an alliance to develop and promote Linux for consumer electronics. Linux can also provide a common standard to connect products from different manufacturers that currently build various proprietary systems into their devices. Linux‘s key advantage over other operating systems is that the core software is freely available and widely embraced. Linux’s core software, also known as kernel, which drives the chips and other basic functions of a device, can be as small as 1 megabyte if embedded in a consumer electronics product. A single high-quality digital picture or one minute of MP3 music can be stored on 1 megabyte of memory. Motorola, the US electronics maker, has introduced a Linux mobile phone for the Chinese market, and Philips has a remote control running on Linux for all the electronic devices in a home. The Consumer Electronics Linux Forum is working to cut the start-up time of devices and reduce power demands. The next target is the TV market, where 164 million units are sold a year as well as millions of set-top boxes and DVD recorders. These devices need versatile software like Linux to connect easily to other devices in the home and the Web. Microsoft has a slimmed-down version of its Windows operating system for networked home electronics. Consumers are embracing home networks to hook up their computers with continuous rapid Internet connections. Consumer electronics makers say buyers soon will want to play and display music, pictures and films from the Internet and their computers on television and stereo systems. Worldwide, more than 20 million consumers have a home network this year, a number that will double within two years and triple within four, said the Intel sales manager for Western Europe. The US chipmaker said it would form a partnership with Sony to develop these home networks. International Herald Tribune, August 30-31, 2003 Seite 113 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Mediation Stufe 3 Name: _________________________________________ Texte wiedergeben (Mediation) Ihr deutscher Text: (SCHÜLERLEISTUNG) Linux – Die voraussichtliche Macht Das kostenlose Betriebssystem Linux, das heutzutage meist auf großen Servern läuft, wird in Zukunft auch in Geräten wie z. B. DVD-Rekordern zum Einsatz kommen. Die acht größten Entwickler von Konsumerelektronik arbeiten zur Zeit an einem Linux das die versch. Geräte „verbinden“ soll. Der Linux-Kernel kann bis zu 1Mbyte klein sein. Motorola hat ein Mobiltelefon für den chinesischen Markt auf Linux-Basis entwickelt. Phillips hat eine Steuerung für elektronische Haushaltsgeräte auf Linux-Basis entwickelt. Geräte wie DVD-Rekorder benötigen Linux, um sich mit anderen Geräten im Haushalt und im Internet zu verbinden. Weltweit steigt die Anzahl der Netzwerke zuhause an. Dieses Jahr haben bereits 20 Millionen Konsumenten ein eigenes Netzwerk. Kommentar: Auch bei dieser Schülerleistung wurde auf allen Workshops viel diskutiert, denn auch hier ergaben sich große Unterschiede in den Bewertungen (zwischen 10 und 22 Punkten). Das Bewertungsschema der freien Bewertung erzielte bei dieser Schülerleistung die größte Divergenz (10-22), bei den Deskriptoren ergaben sich Unterschiede zwischen 16 und 20 Punkten, und beim Lösungsvorschlag sogar nur Unterschiede zwischen 15 und 17 Punkten. Dies gab Anlass zu der Vermutung, dass die freie Bewertung dem Korrektor schlicht zu wenig Hilfestellung bei der Bewertung gab, wobei bei den Deskriptoren und dem Lösungsvorschlag ausreichende Hilfsmittel zur Bewertung vorhanden waren. Seite 114 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Mediation Stufe 1 30 P Sie arbeiten für ein deutsches Tochterunternehmen der britischen Firma belco Ltd. (British electrical company). Die Firma stellt Motoren für Maschinen wie Gabelstapler, Waschmaschinen bis hin zu Bohrmaschinen her. Belco Ltd. Beabsichtigt, einen Wettbewerber in Frankreich oder Spanien aufzukaufen. Jedoch wurde noch nicht entschieden, welches Unternehmen in welchem Land übernommen wird. Ihr Abteilungsleiter gibt Ihnen den folgenden Kurzbericht, den er vom Mutterunternehmen erhalten hat. Er bittet Sie, die Argumente, die für die Übernahme der verschiedenen Firmen in den jeweiligen Ländern sprechen, auf Deutsch stichwortartig zusammenzufassen. Expanding in Europe There are various possibilities for the taking over of one of our competitors in France or Spain. In France there is Electrique. They are the French market leader. So taking them over would make belco the number one in Europe. belco could also become present in France which is the only market where we have had no factories so far. Apart from this Electrique has contracts with important French suppliers. In Spain there is Torredos. Torredos is very strong on household electrical goods like dishwashers or electric drills. If belco took them over it would give us a dominant position in this area. In addition to that Torredos has low production costs. SCHÜLERLEISTUNG Electrique: Die Firma heißt “Electrique” und ist in Frankreich Marktführer. Sie sind in Europa die Nummer 1. Sie haben Verträge mit den wichtigsten Französischen Zulieferern. Wir hätten dann so viele Fabriken wie nie zuvor in Europa. Torredos: Die Firma heißt „Torredos“ und stellt viele Elektrosachen wie Bohrmaschinen und Waschmaschinen her. Wenn belco „Torredos“ übernimmt hätten sie in Spanien die führende Position in diesem Gebiet. „Torredos“ hat auch niedrige Produktionskosten. Kommentar: Auch wenn die Unterschiede in den vergebenen Punkten bei der Bewertung dieser Schülerlösung im Vergleich zu den vorangegangenen Aufgaben eher gering ausfielen (zwischen 6 und 11 Punkten), ergab die Diskussion am ersten Workshop jedoch, dass die Bewertungsschemata Freie Bewertung und Lösungsvorschlag bei der Bewertung eher problematische Hilfestellungen waren. Diejenigen Workshopteilnehmer, die mit den Deskriptoren arbeiteten, konnten in der Diskussion zum Ausdruck bringen, dass die Deskriptoren für die Bewertung dieser Schülerleistung die größtmögliche Hilfestellung gaben. Die Punktzahlen lagen bei 7 bzw. 8 Punkten. Seite 115 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Anhang b Auswertung Personengruppe A Phase 1, Stufe II Vergebene Punkte 1. Der Zeitaufwand war 2. Das Bewertungsschema war 1 niedrig 2 3 1 2 3 1 2 problemlos 3 4 1 niedrig 2 3 4 1 2 3 1 2 problemlos 3 4 1 niedrig 2 3 4 1 2 3 1 2 problemlos 3 5 6 hoch leicht 3. Die Bewertung war 4 4 5 6 schwer durchschaubar 5 6 problematisch Phase 2, Stufe III Vergebene Punkte 1. Der Zeitaufwand war 2. Das Bewertungsschema war 6 hoch leicht 3. Die Bewertung war 5 4 5 6 schwer durchschaubar 5 6 problematisch Phase 3, Stufe I Vergebene Punkte 1. Der Zeitaufwand war 2. Das Bewertungsschema war 3. Die Bewertung war 6 hoch leicht Seite 116 5 4 5 6 schwer durchschaubar 4 5 6 problematisch BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Anhang c Auswertung PRODUKTION Phase 1, Stufe II Bewertungsverfahren: a) Deskriptoren einspaltig b) Deskriptoren zweispaltig Vergebene Punkte: 1. Der Zeitaufwand war 1 niedrig 2. Die Bewertung war 1 2 problemlos 3 4 5 6 problematisch 3. Die Abstimmung mit dem Zweitprüfer war 1 2 problemlos 3 4 5 6 problematisch 3 4 2 3 4 5 6 hoch Phase 2, Stufe III Bewertungsverfahren: a) Deskriptoren einspaltig b) Deskriptoren zweispaltig Vergebene Punkte: 1. Der Zeitaufwand war 1 niedrig 2. Die Bewertung war 1 2 problemlos 3 4 5 6 problematisch 3. Die Abstimmung mit dem Zweitprüfer war 1 2 problemlos 3 4 5 6 problematisch 3 4 2 5 6 hoch Phase 3, Stufe I Bewertungsverfahren: a) Deskriptoren einspaltig b) Deskriptoren zweispaltig Vergebene Punkte: 1. Der Zeitaufwand war 1 niedrig 2. Die Bewertung war 1 2 problemlos 3 4 5 6 problematisch 3. Die Abstimmung mit dem Zweitprüfer war 1 2 problemlos 3 4 5 6 problematisch Seite 117 2 5 6 hoch BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Auswertung MEDIATION Phase 1, Stufe II Vergebene Punkte: 1. Der Zeitaufwand war 1 niedrig 2 3 4 5 6 2. Die Bewertung war 1 2 problemlos 3 4 5 6 problematisch 1 2 3. Die Abstimmung mit dem Zweitprüfer war problemlos 3 4 5 6 problematisch 3 4 hoch Phase 2, Stufe III Vergebene Punkte: 1. Der Zeitaufwand war 1 niedrig 2 5 6 2. Die Bewertung war 1 2 problemlos tisch 3 4 5 6 problema- 1 2 3. Die Abstimmung mit dem Zweitprüfer war problemlos 3 4 5 6 problematisch 3 4 hoch Phase 3, Stufe I Vergebene Punkte: 1. Der Zeitaufwand war 1 niedrig 2. Die Bewertung war 1 2 problemlos 3 4 5 6 problematisch 1 2 3. Die Abstimmung mit dem Zweitprüfer war problemlos 3 4 5 6 problematisch Seite 118 2 5 6 hoch BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Anhang d BEWERTUNG SCHRIFTLICHER RODUKTIVER LEISTUNGEN (STUFE I) Punkte 15 - 14 13 - 12 11 - 10 9-8 Beschreibung der Leistung Der Lesefluss wird zwar gelegentlich durch orthografische, strukturelle und/oder verbale Fehler unDie Aufgabe ist vollständig terbrochen, diese behindern aber gelöst. Der Text ist verständ15 - 14 das Verständnis nicht. Ein Bemülich und erfüllt seinen Zweck. hen um richtige und situationsadäquate Ausdrucksweise wird deutlich. Die Aufgabe ist nahezu vollständig gelöst. Der Text kann seinen Zweck erfüllen, auch wenn die Aufgabe nicht ganz vollständig ausgeführt ist. Der Text erfüllt seinen Zweck nur noch zum Teil. 7-5 Der Text erfüllt seinen Zweck kaum mehr. 4-0 Der Text erfüllt seinen Zweck nicht mehr. 13 - 12 Orthografie, Strukturen- und Wortgebrauch sind nicht fehlerfrei, erfordern aber kaum eine Rekonstruktionsleistung vom Leser. Ansätze zu richtiger und situationsadäquater Ausdrucksweise sind erkennbar. 11 - 10 Der Text enthält gelegentlich den einen oder anderen sinnstörenden Fehler, der vom Leser eine Rekonstruktionsleistung verlangt. Aber auch nicht den Sinn störende Fehler fallen durch Häufung auf und verlangsamen die Lektüre. 9-8 Eine verbal wie strukturell stark von der Muttersprache geprägte Ausdrucksweise behindert den Lesefluss. Das Gemeinte ist an manchen Stellen nicht verständlich und muss vom Leser mühsam rekonstruiert werden. 7-5 Eine verbal wie strukturell stark von der Muttersprache geprägte Ausdrucksweise behindert den Lesefluss stark. Das Gemeinte ist an etlichen Stellen unverständlich und kann vom Leser kaum mehr rekonstruiert werden. 4-0 Der Text ist nur noch mit Fantasie vom Leser zu entschlüsseln und/oder enthält nur noch rudimentäre Satzstrukturen. Seite 119 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ BEWERTUNG SCHRIFTLICHER PRODUKTIVER LEISTUNGEN (STUFE II) Punkte 15 - 14 13 - 12 11 - 10 9-8 7-5 4-0 Beschreibung der Leistung Die Aufgabe ist vollständig gelöst. Der Text ist sofort verständlich und flüssig lesbar. Die Aufgabe ist vollständig oder nahezu vollständig gelöst. Der Text ist verständlich und erfüllt seinen Zweck. Der Text erfüllt seine Hauptfunktionen, auch wenn die Aufgabe nicht in allen Einzelheiten vollständig ausgeführt ist. Der Text kann seinen Zweck erfüllen, auch wenn die Aufgabe nicht ganz vollständig ausgeführt ist. Der Text erfüllt seinen Zweck kaum mehr. Der Text erfüllt seinen Zweck nicht mehr. 15 - 14 Orthografie und Strukturengebrauch sind überwiegend korrekt; Wortwahl und Redewendungen sind dem Anlass gemäß gewählt und im Wesentlichen idiomatisch verwendet. 13 - 12 Der Lesefluss wird zwar gelegentlich durch kleinere Fehler unterbrochen, aber diese behindern das Verständnis nicht. Ein Bemühen um situationsadäquate und idiomatische Ausdrucksweise wird deutlich. 11 - 10 Orthografie, Strukturen- und Wortgebrauch sind nicht fehlerfrei, erfordern aber kaum eine Rekonstruktionsleistung vom Leser. Ansätze zu situationsadäquater idiomatischer Ausdrucksweise sind erkennbar. 9-8 Der Text enthält gelegentlich den einen oder anderen sinnstörenden Fehler. Aber auch nicht den Sinn störende Fehler fallen durch Häufung auf und verlangsamen die Lektüre. Ansätze zu situationsadäquater idiomatischer Ausdrucksweise sind kaum zu erkennen. 7-5 Eine verbal wie strukturell stark von der Muttersprache geprägte unidiomatische Ausdrucksweise behindert den Lesefluss erheblich. Das Gemeinte ist an etlichen Stellen nicht verständlich und muss vom Leser mühsam rekonstruiert werden. 4-0 Der Text enthält, wenn überhaupt, nur rudimentäre Satzstrukturen und/oder ist nur noch mit Fantasie vom Leser zu entschlüsseln. Seite 120 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ BEWERTUNG SCHRIFTLICHER PRODUKTIVER LEISTUNGEN (STUFE III) Punkte Beschreibung der Leistung 15 - 14 Die Aufgabe ist vollständig gelöst. Der Text ist sofort verständlich und flüssig lesbar. 13 - 12 Die Aufgabe ist vollständig oder nahezu vollständig gelöst. Der Text ist sofort verständlich und flüssig lesbar. 11 - 10 Die Aufgabe ist nahezu vollständig gelöst. Der Text ist verständlich und erfüllt seinen Zweck. 9-8 Der Text erfüllt seine Hauptfunktionen, auch wenn die Aufgabe nicht in allen Einzelheiten vollständig ausgeführt ist. 7-5 4-0 Der Text erfüllt seinen Zweck kaum mehr. Der Text erfüllt seinen Zweck nicht mehr. 15 - 14 Orthografie und Strukturengebrauch sind korrekt; Wortwahl und Redewendungen sind dem Anlass gemäß gewählt und weitestgehend idiomatisch verwendet. 13 - 12 Orthografie und Strukturengebrauch sind weitgehend korrekt; Wortwahl und Redewendungen sind dem Anlass gemäß gewählt und im Wesentlichen idiomatisch verwendet. 11 - 10 Der Lesefluss wird zwar gelegentlich durch kleinere Fehler unterbrochen, aber diese behindern an keiner Stelle das Verständnis. Ein Bemühen um situationsadäquate und idiomatische Ausdrucksweise wird deutlich. 9-8 Orthografie, Strukturen- und Wortgebrauch sind nicht fehlerfrei, erfordern aber kaum eine Rekonstruktionsleistung vom Leser. Ansätze zu situationsadäquater idiomatischer Ausdrucksweise sind erkennbar. 7-5 Der Text enthält entweder gelegentlich den einen oder anderen sinnstörenden Fehler und/oder nicht den Sinn störende Fehler sind derart häufig, dass sie die Lektüre unangenehm behindern. Ansätze zu situationsadäquater idiomatischer Ausdrucksweise sind kaum zu erkennen. 4-0 Eine verbal wie strukturell stark von der Muttersprache geprägte unidiomatische Ausdrucksweise behindert den Lesefluss erheblich. Das Gemeinte ist an etlichen Stellen nicht verständlich und muss vom Leser mühsam rekonstruiert werden. Seite 121 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ Anhang e BEWERTUNG SCHRIFTLICHER MEDIATIVER LEISTUNGEN (STUFE I) Punkte Beschreibung der Leistung 30 – 27 Die Aufgabe ist weitgehend gelöst. Darstellungsform und Sprache werden der gegebenen Kommunikationssituation im Wesentlichen gerecht. Um für den vorgesehenen Zweck verwendet werden zu können, müsste der Text nur leicht überarbeitet werden. 26 – 23 Der Darstellung mangelt es zwar etwas an Klarheit und Übersichtlichkeit und/oder sie enthält Fehler, die zu Irritationen beim Adressaten führen könnten. Der Text könnte jedoch nach einiger Überarbeitung zweckgemäß verwendet werden. 22 – 19 Der Adressat müsste über sprachliche Flüchtigkeitsfehler und Unklarheiten in der Darstellung großzügig hinwegsehen und/oder die eine oder andere Sinnentstellung durch eigene Rekonstruktionsleistungen ausgleichen, um den Text zweckgemäß verwenden zu können. 18 – 15 Der Darstellung mangelt es an Klarheit und Übersichtlichkeit. Der Adressat müsste an etlichen Stellen Sinnentstellungen durch eigene Rekonstruktionsleistungen ausgleichen, um den Text überhaupt zweckgemäß verwenden zu können. 14 – 10 Die Aufgabe ist nicht gelöst, weil die Darstellung verworren ist und der Adressat zahlreiche Sinnentstellungen durch eigene Rekonstruktionsleistung ausgleichen müsste, um den Text verwenden zu können. 9-0 Der Text ist völlig unbrauchbar, weil sein Inhalt nur noch mit Fantasie vom Adressaten zu entschlüsseln ist. Seite 122 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ BEWERTUNG SCHRIFTLICHER MEDIATIVER LEISTUNGEN (STUFE II) Punkte Beschreibung der Leistung 30 – 27 Die Aufgabe ist vollständig gelöst. Die Darstellungsform wird der gegebenen Kommunikationssituation voll gerecht. Der Text könnte nach nur geringfügigen sprachlichen Verbesserungen für den vorgesehenen Zweck verwendet werden. 26 – 23 Die Aufgabe ist weitgehend gelöst. Darstellungsform und Sprache werden der gegebenen Kommunikationssituation im Wesentlichen gerecht. Um für den vorgesehenen Zweck verwendet werden zu können, müsste der Text jedoch etwas überarbeitet werden. 22 – 19 Der Darstellung mangelt es zwar etwas an Klarheit und Übersichtlichkeit und/oder sie enthält Fehler, die zu Irritationen beim Adressaten führen könnten. Der Text könnte jedoch nach einiger Überarbeitung zweckgemäß verwendet werden. 18 – 15 Der Adressat müsste über sprachliche Flüchtigkeitsfehler und Unklarheiten in der Darstellung großzügig hinwegsehen und/oder die eine oder andere Sinnentstellung durch eigene Rekonstruktionsleistungen ausgleichen, um den Text zweckgemäß verwenden zu können. 14 – 10 Die Aufgabe kann kaum als gelöst betrachtet werden. Der Adressat müsste an etlichen Stellen Sinnentstellungen durch eigene Rekonstruktionsleistungen ausgleichen, um den Text überhaupt zweckgemäß verwenden zu können. 9–0 Die Aufgabe ist nicht gelöst, weil die Darstellung verworren und der Textinhalt nur noch mit Fantasie vom Adressaten zu entschlüsseln ist. Seite 123 BLK-Modellversuch EU-KonZert: „Bewertung von Prüfungsaufgaben“ BEWERTUNG SCHRIFTLICHER MEDIATIVER LEISTUNGEN (STUFE III) Punkte Beschreibung der Leistung 30 – 27 Die Aufgabe ist vollständig gelöst. Darstellungsform und Sprache werden der gegebenen Kommunikationssituation voll gerecht. Der Text könnte unmittelbar für den vorgesehenen Zweck verwendet werden. 26 – 24 Die Aufgabe ist vollständig gelöst. Die Darstellungsform wird der gegebenen Kommunikationssituation voll gerecht. Der Text könnte nach nur geringfügigen sprachlichen Verbesserungen für den vorgesehenen Zweck verwendet werden. 23 – 21 Die Aufgabe ist weitgehend gelöst. Darstellungsform und Sprache werden der gegebenen Kommunikationssituation im Wesentlichen gerecht. Um für den vorgesehenen Zweck verwendet werden zu können, müsste der Text jedoch etwas überarbeitet werden. 20 – 15 Der Text könnte nur nach einiger Überarbeitung zweckgemäß verwendet werden. Der Darstellung mangelt es an Klarheit und Übersichtlichkeit und/oder sie enthält Fehler, die zu Irritationen beim Adressaten führen könnten. 14 – 9 Die Aufgabe kann kaum als gelöst betrachtet werden. Der Adressat müsste über sprachliche Flüchtigkeitsfehler und Unklarheiten in der Darstellung großzügig hinwegsehen und/oder die eine oder andere Sinnentstellung durch eigene Rekonstruktionsleistungen ausgleichen, um den Text zweckgemäß verwenden zu können. 8–0 Die Aufgabe kann nicht als gelöst betrachtet werden. Der Adressat müsste an etlichen Stellen Sinnentstellungen durch eigene Rekonstruktionsleistungen ausgleichen, um den Text überhaupt zweckgemäß verwenden zu können. Seite 124 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ III.1 "Now you’re talking!" Überlegungen zu mündlichen Sprachprüfungen Micheál Ó Dúill 1.1 "Oh, now I come? Yes, …" Fangen wir mit Ausschnitten von drei Transkripten aufgezeichneter mündlicher Prüfungen an. Auf welcher Stufe fanden diese Prüfungen wohl statt? Und wie sind die jeweiligen Leistungen der Prüflinge zu bewerten? (Erste Rohtranskripte dieser Aufnahmen wurden von Maike Engelhardt erstellt.) A: B.: A.: B.: A: B.: A.: B.: A.: B.: A.: B.: A.: B.: A.: B: Beispiel 1 Good afternoon. My name is [A.A.]. I’m, you’re on the hotline from Western Tech. What can I do for you? Oh, hello, my name is [B.]. Eh, about one month ago I bought a CD Rom eh at West-, Western Tech in the internet. And my reason for this phone call is I have em a lot of problems with this CD Rom. Uhm. Can you help me here? Um. Yes, I can help you. Em, have you got a customer number from our firm? Yes, my customer number is 78448 Oh. Okay. Eh, can you describe your problem? Em, yes. Eh, I put the CD Rom X 4 hundred 7 like the, the [iks] [EXHALES LOUDLY] directory in my manual in the computer, and tried to INstall the program on the disk which was in the car-, cartoon eh where the CD Rom was and then cames the arrow, error [THREE-SECOND PAUSE] CD Rom not found. I don’t know what I shall do? Um. Em what for a ver-, version did you have about the installation program. Eh, I have the program disk utilities 4.1, second version Ah yes, eh with this program and version eh we has many problems. But it is easy to repair this. Em, have you got a internet connection? Yes, I have a internet connection Oh, good, em, you go in the internet on the site tribble w dot western tech dot com. And you go on the link to downloads. You download the file bug fix d u 4 point 1 and after these you have downloaded the file you installed these program After the installation you em start the computer at new and then em the problem don’t, don’t were on your computer. Ok, I’ll try to download this program and inSTALL it and then we will see. Ok Eh, thank you for your help, and bye-bye Seite 125 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ A.: C: D: C: D: C: D. C: D: C: D: C: D: C: D: C: D: C: Thank you. A very nice day. Beispiel 2 Hello. Em. My name is [C]. Eh, I’m a trainee, Em [3 SECOND PAUSE; LOOKS AT NOTES] I’m a trainee em [1] from the United States and eh I’m here to help you. Em. [1] Or can I help you [DROPPING INTONATION] Yes, of course. Hello, my name’s [D.D.] I’m a council clerk from this administrative community. I’m responsible for the move and I’m VERY glad of your help. Em, well, em, can you say me where the new department are? Em, the new depar-, eh, em, the new department is em, the new financial administration Uhm is now in the Hauptstraße at the first floor. Em, have you ever been in that new building? Yes, eh, I know. I was there eh in the past Em. At the last week I was eh in the building control office. Eh, it’s the second, second floor. Ém To, to, to, to, eh, to translate a fax, facsimilimie message or so [FOUR-SECOND PAUSE D. LOOKS AT NOTES] Can you bring some files to the financial adminstration for me please and can you order there in the shelf, please? [TWO-SECOND PAUSE] Eh, yes, I can eh take this files em to the financial administration. Em, is there, is it em next to the mail room eh or opposite em to the personal department You must go upstairs to the first floor, then turn left and go till the end of the floor. There is the financial administration on your right hand side and next to mailroom. Yes, thank you. Eh, and em can I enter the data into the computer or take copies for you em? And eh the computer, at the computer, is there an internet access? The new computer has an internet access, yes. Very well With a printer, a mouse Oh And a keyboard. Do you come to the meeting at eh three o’clock in the AFTERnoon, too? Sorry, em, I can’t eh come to the meeting em before half past three. Em I have a me, I have em a meeting em with the mayor em [THREE-SECOND PAUSE] Em so em Now em I will take this file and em bring to, bring to the financial administration. Seite 126 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ D: C: D: C: Thank you, very kind of you. Em, thank you for your help, and we see us. No thanking, it’s my job. OK Bye Bye [C. AND D. SHAKE HANDS] Beispiel 3 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24: 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 E: F: E: F: E: F: E: G: F: G: F: F: E: E: F: E: F: E: F: E: F: G: E: G: E: Well, I think eh Europe PasSAGE, Umhm eh maybe we eh have a little focus on Europe So we have a lot of eh Europe Asian food, Europe mediterrean food, but eh I think eh, my mind is coming now, eh Polynesia, never, never eh heard of eh Polynesian restaurants so I don’t know what kind of food they have, so But you know it doesn’t belong to Europe? Yeah. So Europe. Exactly. So that I, then I thought em, we can do a European Polynesian eh, eh, eh restaurant. Wow S-, something new. Never, never works I mean downtown Hamburg here OK there’s a lot of business business you can have it in the traders’ X as well. Polynesian, Polynesian and European food There’s Polynesian? Then let me take: New, New Zealand? Oder Madagaskar [EXHALES AIR] there is the movie, the movie from the Walt Disney, Madagaskar, with the yeah Umhm. Yeah Ok Yeah. The animation, the animation movie. Europe. But I think it would be a good idea to to have the focus on the European, yes, just European? I mean it’s a lot a lot of business in town, right, in the Europa Passage, so a lot of offices and everything, so, em, maybe we should do something which is kind of fast and kind of eh good, fresh and everything so whatever that the people come there for for lunch then we really specialize on, on the lunch em time. Like the Vapiano thing, which is already sold in pasta, maybe we can do it with something else. some, maybe Polonesisches, maybe one never know. What-, whatever. But still that it’s fast and [WHISTLES] goes out and; I guess it’s a very good place to, to open a restaurant. well To make money The buffet, the buffet style is eh, eh, eh, eh fast But eh it’s, it’s you know like a, like a modern kind of CANteen. Go in, go out. Seite 127 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 G: E: F: E: G: F: G: F: G: E: F: G: G: F: G: F: But not the canteen you know from eh from eh from a business like Mercedes Benz or whatever. Something more in a rest’ran’. A mixture, mixture, mixture. What do you think about that? Yea. Or an American thing, like at the Hooters thing, you know? and then you can yes! then you can use all the European XXX [F. & G. LAUGH] I mean sex sells, still, you know. So, em It does So we just OK girls with small pants on and you know And rollerskates? And rollerskates Yeah, yeah so there you go rollerskates Yes, and that’s fast as well. ’Cos they can OK. Welche Stufen? Und wie viele Punkte pro Prüfling? Mehr hierzu in Abschnitt 1. 6 unten. 1.2 Einige weitere Definitionen Wir werden diesen dritten Teil der Handreichung, der sich mündlichen Prüfungen widmet, nicht schon wieder mit Definitionen beginnen? Wurde doch etwa bei Teil I. 1.6 oben der Begriff des „Testkonstrukts“ ausführlich erläutert. Aber nicht nur im Teil II. 1.2 („Definitionen“), sondern auch im anschließenden Teil II. 1.3 („Bewertung“) detailliert auf Begriffsbestimmungen eingegangen, die für die Bewertung von schriftlichen Prüfungsleistungen bedeutend sind. Will man sich mit der These auseinandersetzen, mündliche Sprachproduktion sei grundsätzlich zu unterscheiden vom schriftlichen Sprachgebrauch, ob bei Muttersprachlern oder bei Lernenden, dann kann man wohl nicht umhin, sich mit den Beschreibungsversuchen zu beschäftigen, die versuchen, diese Andersartigkeit mündlicher Äußerungen zu erkennen und festzuhalten, denn diese Andersartigkeit, soweit es sie tatsächlich geben sollte, müsste von größter Relevanz bei der Entwicklung eines Testkonstrukts sein, der als Grundlage für das Prüfen mündlicher Fertigkeiten dienen soll. Das englische Wort ‚proficiency’ kam in einer Reihe von Zitaten in Teilen I. 1 und II. 1 hier vor, ohne dass jedoch eine Begriffsbestimmung vorgenommen worden sei. Was bedeutet nun eigentlich dieses Wort? Im Multilingual glossary of language testing terms heißt es im englischsprachigen Glossarteil: Proficiency Knowledge of a language and degree of skill in using it (ALTE members 1998: 158). Seite 128 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ Im deutschsprachigen Teil hingegen etwas ausführlicher: Beherrschung Kenntnis einer Sprache und Fertigkeit bei ihrer Anwendung sowohl in schriftlicher als auch mündlicher Form (ebd.: 96) Wie wir bei Teil II. 1.2 oben gesehen haben, gibt das ein Jahr später in der gleichen Reihe „Studies in Language Testing“ der Cambridge University Press erschienene Werk Dictionary of language testing gern etwas ausführlichere Definitionen an: Proficiency There are three main uses of the term proficiency. 1. A general type of knowledge of or competence in the use of a language, regardless of how, where or under what conditions it has been acquired; 2. Ability to do something specific in the language, for example proficiency in English to study in higher education in the UK, proficiency to work as a foreign language teacher of a particular language in the United States, proficiency in Japanese to act as a tour guide in Australia. 3. Performance as measured by a particular testing procedure. (Davies et al.: 1999: 153) Spricht ALTE members 1998 von „Knowledge“ bzw. „Kenntnis“, hilft uns die dritte Definition von Davies und Kolleginnen und Kollegen noch weiter, indem sie von „Performance“ („Performanz“, ALTE members 1998: 117) spricht als das, was in Tests gemessen wird. Wir haben bereits in den Teilen I. 1 und II. 1 gesehen, wie der Begriff „Performanz“ mit der Verwendung von Deskriptoren und Stufenbeschreibungen zur Feststellung des Grades der Sprachbeherrschung wiederholt in Verbindung gebracht werden, beispielsweise bei Brindley 1998, Davies et al. 1999, North 2000 und Morrow 2004. North ist bekanntlich derjenige, dessen Forschungen für das empirische Gewicht des von ihm mitverfassten Gemeinsamen europäischen Referenzrahmens für Sprachen (Trim et al. 2001) von zentraler Bedeutung sind. In seinem einschlägigen Werk zur Entwicklung dieses Referenzrahmens bestätigt nun auch er einen Trend im Gebrauch des Begriffs „proficiency“, der wie bei der soeben zitierten dritten Definition von Davies et al. testtheoretisch auf eine Subsumierung der Begriffe „competence“ und „ability“ hindeutet: The term proficiency is preferred to competence in the context of the current study because there is such confusion over whether or not the concept of ability can be included in competence (North 2000: 43). An dieser Stelle sei darauf hingewiesen, dass der von ALTE members vorgeschlagene Begriff „Beherrschung“ nicht von allen als Übersetzung des englischen Wortes „proficiency“ bevorzugt wird. So spricht etwa Zydatiß (2002: 89) von der „Sprachfähigkeit in einer Fremdsprache […] (=proficiency) […] das Kompetenzniveau eines Fremd- (oder Zweit-)sprachenlerners zu einem bestimmten Zeitpunkt einer Sprachbiographie“. Da wir uns in diesem Handreichungsteil mit dem mündlichen Sprachgebrauch beschäftigen, wollen wir uns nun, nachdem wir gerade den in den ersten beiden Handreichungsteilen erwähnten Begriff des „proficiency“ wieder aufgegriffen und genauer erläutert haben, dem verwandten Begriff des „oral proficiency“ widmen. Seite 129 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ ALTE führt den Begriff „oral proficiency“ auf und definiert diesen so: „Competence in speaking a language“ (ALTE members 1998: 155). Als deutsches Äquivalent wird der Terminus „Sprechfertigkeit“ empfohlen und definiert als „Kompetenz beim Sprechen einer Sprache“ (ebd.: 125). Davies et al. 1999 führen einen Begriff „oral proficiency“ in ihrem Wörterbuch nicht auf. Bei „oral proficiency“ geht es also bei ALTE nicht mehr, wie oben zitiert bei der Definition von „proficiency“ um „knowledge of a language and degree of skill in using it“, sondern wieder um „competence“. Vielleicht sollten wir uns näher ansehen, wie der Begriff „competence“ in diesem mehrsprachigen Werk sonst verwendet wird. Dazu vorab einige kurze Bemerkungen zur prägenden Präsenz unterschiedlicher Sprachen im gegenwärtigen Wissenschaftsdiskurs. Bereits die angegebene Autorenschaft dieses für alle, die sich in den zehn darin verwendeten Sprachen mit dem Sprachtesten beschäftigen, einmaligen Werkes macht deutlich, dass es ein Produkt mehrerer Hände und Tastaturen ist. Weiteres halten die zwei Seiten „Acknowledgements“ (ebd.: IX, X) fest, die etwas Aufschluss darüber enthalten, ob man bei den verschiedenen Sprachteilen von „Äquivalenten“ oder „Übersetzungen“ reden sollte. Eine eindeutige Feststellung erlauben diese „Acknowledgements“ jedoch leider nicht, obwohl dies so wichtig wäre, um den Einfluss dieses Werkes bei der Prägung des entsprechenden transnationalen testtheoretischen Sprachgebrauches zu überprüfen. So werden beim Eintrag zum deutschsprachigen Teil eine Vertreterin des deutschen Goethe-Instituts und ein Vertreter des deutschen Bundesinstituts für Berufsbildung als Übersetzer aufgeführt (ebd.: IX); beim entsprechenden Eintrag zum englischsprachigen Teil wird jedoch niemand als Übersetzer genannt. Bei der trotz der Hervorhebung des Begriffs „proficiency“ etwas gespenstisch stets zurückkehrenden Bezeichnung „competence“ heißt es bei ALTE members im entsprechenden Haupteintrag in folgender Ausführlichkeit (1998: 138): The knowledge or ability to do something. Used in linguistics to refer to an underlying ability, as contrasted with performance, which is the manifestation of competence as language in use. This distinction originates in the work of Chomsky. Hierzu zur Ergänzung die deutschsprachige Fassung, die den Begriff interessanterweise leicht anders definiert (ebd.: 108): Wissen oder Fähigkeit, um etwas zu tun. In der Linguistik bezeichnet Kompetenz eine zugrunde liegende Fähigkeit im Gegensatz zur beobachtbaren Performanz, die sich in der Sprachverwendung als Ausdruck der Kompetenz niederschlägt. Diese Unterscheidung stammt aus den Arbeiten von Chomsky. Davies et al. bieten keine Definition von ‚competence’ als Oberbegriff an, sondern verweisen auf spezifische Kompetenzen: Competence See linguistic competence, discourse competence, pragmatic competence, strategic competence (Davies et al. 1999: 27) Dieses Hervorheben von einzelnen Kompetenzen erinnert uns an die in Abschnitt II.1.5 oben zitierte Bemerkung von Upshur und Turner, dass „the qualities of discourse that mark competence in telemarketing will differ from those that mark competence in psychotherapy“ (Upshur / Turner 1999: 89). Diese Feststellung zu Diskurskompetenzen wurde in einem Aufsatz zu „speaking ability“ gemacht. Um dieSeite 130 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ sen Abschnitt abzuschließen, möchte ich nun in einiger Ausführlichkeit eine etwas ältere Abhandlung zu „oral proficiency“ zitieren, die bis heute nichts von ihrer Relevanz eingebüßt hat. Diese Relevanz ist um so wichtiger, weil sich die folgende Bestimmung des Begriffs „oral proficiency“ in ähnlichem Maß auf alle die in den drei folgenden Abschnitten zu besprechenden Aspekte mündlicher Prüfungen, die Aufgabenstellung, Prüfungsdurchführung sowie Bewertung bezieht: The preconditions for a display of oral proficiency […] include […]: 1. Face-to-face interaction […] 2. Decision-making opportunities. […] [C]hoice of when to speak, for how long and about what. 3. Goal relatedness. […] [L]inguistic (lexical, syntactic, prosodic, etc.) tools used in the interaction are not the only yardstick for the evaluation of quality (van Lier 1989: 493-494) 1.3 Aufgabenstellung Im Folgenden werde ich mich auf einige Veröffentlichungen beziehen, die sich speziell mündlichen Prüfungen widmen. Im soeben zitierten Aufsatz von van Lier betont der Autor die Bedeutung von Interaktion, Wahlmöglichkeiten im Gespräch sowie Zielorientierung als Charakteristika mündlicher Prüfungen. Im weiteren Verlauf seines Artikels entwickelt van Lier seine Thesen von den Eigenschaften mündlicher Kommunikation. Wie diese in mündlichen Prüfungen wie dem so genannten „oral proficiency interview“ getestet werden, steht für ihn eindeutig die Fähigkeit, Konversationen zu führen (und nicht etwa Vorlesungen zu halten) im Vordergrund und deswegen ergänzt er seine Thesen zu „oral proficiency“ mit folgenden Merkmalen der Konversation: „face-to-face interaction, unplannedness (locally assembled), unpredictability of sequence and outcome, potentially equal distribution of rights and duties in talk“ (ebd.: 495). Erkennt man in diesem zweiten Zitat von van Lier wieder die Hervorhebung der Bedeutung echter Kommunikation (Interaktion und nicht etwa das Reagieren auf von Tonträgern vorgespielte Aufnahmen), so wird hier ebenfalls betont, dass eine Interaktion so gestaltet werden muss, dass deren Verlauf nicht von nur einem der Teilnehmer (etwa einem Prüfer oder einem selbstbewussten Prüfling) dominiert wird, sondern dass beide bzw. alle Beteiligten Gelegenheit haben sollten, die Entwicklung einer Unterhaltung entscheidend mitzuprägen. Allerdings scheint ein potentieller Widerspruch zu bestehen zwischen dem Wunsch nach „goal relatedness“ und „unpredictability of sequence and outcome“. Welche Aufgabenstellung könnte denn beides gewährleisten? Ein Ausweg aus diesem scheinbaren Dilemma könnte van Liers Betonen der Bedeutung des Kontexts beinhalten, die, soweit bei der Aufgabenstellung berücksichtigt, wohl eine Möglichkeit einer gewissen Beurteilung der Realisierung des Ziels des so genannten „goal-relatedness“ bieten könnte: Every contextual manifestation of speaking ability requires, in addition to speaking ability, context-specific skills and experience. Indeed, the fact that speaking ability does not exist in isolation from contexts means that every test of speaking is a performance test (ebd.: 500). Hier denkt man an die im letzten Abschnitt zitierte Gleichstellung von “proficiency” und “performance” (Davies et al. 1999: 153) sowie an die im Abschnitt I. 1.4 oben Seite 131 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ zitierte Feststellung, dass „every attempt should be made to allow background knowledge to facilitate performance rather than its absence to inhibit“ (Alderson 2000: 121). Eine sorgfältige Überlegung des gewünschten Kontexts bei der Aufgabenstellung wird in anderen Worten dazu beitragen, dass die Prüflingsperformanz adäquat geprüft wird; darüber hinaus gewährleistet die Akzeptanz des Hintergrundwissens des Prüflings die Testvalidität, das heißt, dass das, was geprüft werden soll, tatsächlich geprüft wird. Zur Erinnerung: Ein Test oder ein Beurteilungsverfahren kann in dem Maß ‚valide’ genannt werden, in dem man nachweisen kann, dass das tatsächlich gemessene Konstrukt auch das ist, das in dem betreffenden Kontext gemessen werden soll (Trim et al. 2001: 172; Vergleiche Abschnitt I. 1.6 oben). In wie weit spiegeln sich die Analysen van Liers von vor gut anderthalb Jahrzehnten mit den Beobachtungen zeitgenössischer Forscher wider? Hardy und Moore fassen die Ergebnisse einer Untersuchung aus dem Jahr 2001 von Robinson wie folgt zusammen: A complex task (with unfamiliar content and greater processing demands) led to greater speaker-listener interaction by inducing comprehension checks on the part of the hearer and greater lexical variety and a lower number of words on the part of the speaker (Hardy / Moore 2004: 343). An diesem Zitat erkennt man, wie sich die Wissenschaft seit van Lier bemüht, zu untersuchen, welche Art von Aufgabenstellungen für eine reiche mündliche Interaktion förderlich ist. Nach Robinson (2001) besteht beispielsweise ein Zusammenhang zwischen der Komplexität der Aufgabenstellung und der lexikalischen Vielfalt der Teilnehmer: Es wird weniger gesprochen, dafür benutzt man einen größeren Wortschatz, um die Komplexität der zu äußernden Inhalte auszudrücken. Den bisher erwähnten Forschungsergebnissen und Empfehlungen etwa von van Lier, Alderson und Robinson gemäß scheint die Annahme berechtigt zu sein, dass eine komplexe mündliche Aufgabenstellung, die den Kontext des zu prüfenden Konstrukts berücksichtigt, die sei, die zu empfehlen ist. Doch wie steht es mit der leidigen Frage der Stellung der so genannten „languages for specific purposes“ (Vergleiche hierzu abschnitt I. 1.4 oben)? Lumley und O’Sullivan berufen sich auf Davies, der schreibt, dass „sampling for a proficiency test should not be restricted to the work domain“ (Davies 2001: 138, zitiert nach Lumley / O’Sullivan 2005: 417); diese Wissenschaftler zeigen sich überzeugt von der Davies’schen These, dass „test tasks relevant to a broader social domain“ Teil jeder mündlichen Prüfung zu sein haben (Lumley / O’Sullivan ebd.). Neben den Empfehlungen, mündliche Interaktion kontext- aber nicht ausschließlich berufsbezogen sowie durch komplexe Aufgabenstellungen zu prüfen, gibt es auch Stellungnahmen zur geeigneten Anzahl der zu stellenden Aufgaben. Lee bemerkt hierzu unter Berücksichtigung der durchführungs- und bewertungstechnisch relevanten Frage der Anzahl der Bewerter (zur Rolle der „raters“, siehe oben II. 1. 2 Definitionen und vor allem II. 1.3 Bewertung): Univariate analyses have shown that, to maximize score reliability for speaking, it would be more efficient to increase the number of tasks than the number of ratings per speech sample. […] While tasks are on average comparable in difficulty, they are not uniformly difficult for all examinees. […] However, beyond five or six tasks, there would be clearly a diminishing return in increasing the number of tasks (Lee 2006: 162). Seite 132 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ Wichtig an dieser Feststellung aus der Sichtweite der anzustrebenden Testfairness ist die Erkenntnis, dass die Tatsache, dass nicht jeder Prüfling jede Aufgabe ähnlich gut bewältigt, eine empirisch objektiv festzustellende Tatsache darstellt, die eher durch eine anzustrebende Pluralität der Aufgabenstellungsformen zu berücksichtigen ist denn durch exzessiv strenge Bewertung zahlenmäßig begrenzter Aufgabenformen. Die im vorangehenden Abschnitt wieder zitierten, vor allem aber im Abschnitt II. 1. 5 ausführlich besprochenen Abhandlung von Upshur und Turner beschäftigt sich eingehend mit dem Umgang mit den so genannten „test effects“ in verschiedenen Bewertungsvorgehensweisen. Wenn in diesem Abschnitt zunächst die wegweisenden Beobachtungen van Liers betont wurden und dann über die Beleuchtung einzelner Aspekte mündlicher Prüfungen durch spätere Wissenschaftler berichtet wurde, erfolgt dies nicht, um den Eindruck zu erwecken, dass sich seit van Lier keiner an eine größere Darstellung der Charakteristika mündlicher Prüfungen gewagt hätte. Es ist in der Tat so, dass zum Beispiel Fulcher sehr ausführliche Ausführungen zu diesem Thema vorgelegt hat. Wegen ihrer Qualität, Relevanz und Detailliertheit verdienen es diese, hier auch ausführlich zitiert zu werden. So entwirft Fulcher einen ganzseitigen Rahmen für das Testkonstrukt einer mündlichen Prüfung: A framework for describing the speaking construct Language competence Phonology: Pronunciation, Stress, Intonation Accuracy: Syntax, Vocabulary, Cohesion Fluency: Hesitation, Repetition, Re-selecting inappropriate words, Re-structuring sentences, Cohesion Strategic capacity Achievement strategies: Overgeneralization, Paraphrase, Word coinage, Restructuring, Cooperative strategies, Code switching, Non-linguistic strategies Avoidance strategies: Formal avoidance, Functional avoidance Textual knowledge The structure of talk: Turn taking, Adjacency pairs, Openings and closings Pragmatic knowledge Appropriacy; Implicature; Expressing being Sociolinguistic knowledge Situational; Topical; Cultural (nach Fulcher 2003: 48) Nach Kriterien der Ausführlichkeit ist eine solche Aufstellung kaum zu überbieten; Sachzwänge der Handhabbarkeit dürften wohl bei der Einschätzung der Brauchbarkeit einer solchen detaillierten Aufstellung allerdings wohl zum Wunsch nach einem etwas vereinfachten Entwurf Anlass geben. Doch gerade die angestrebte Klarheit, die den Ansatz Fulchers hier charakterisiert, kennzeichnet auch seine konkreten Vorschläge zur Beschreibung von Aufgaben, die seiner Meinung nach für mündliche Prüfungen geeignet sind: A framework for describing tasks 1. Task orientation - Open: outcomes dependent upon speakers - Guided: outcomes are guided by the rubrics, but there is a degree of flexibility in how the test taker reacts to the input. - Closed: outcomes dictated by input or rubrics Seite 133 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ 2. Interactional relationship - Non-interactional - Interactional: - One-way - Two-way - Multi-way 3. Goal orientation - None - Convergent - Divergent 4. Interlocutor status and familiarity - No interlocutor - Higher status - Lower status - Same status - Degree of familiarity with interlocutor 5. Topic(s) 6. Situations (Fulcher 2003: 57) Die Frage nach einem geeigneten Konstrukt für das Prüfen und Bewerten mündlicher Leistungen ist von zentraler Bedeutung bei Entscheidungen zur Aufgabenstellung. Diese Entscheidungen bestimmen die Prüfungsdurchführung mit, wie wir im nächsten Abschnitt sehen werden. Die Entwicklung eines passenden Konstrukts ist nicht zuletzt deswegen von solcher Wichtigkeit, als das Beschreiben typischer Merkmale mündlicher Interaktion entscheidende Auskunft darüber erteilt, in welchem Maße beziehungsweise ob überhaupt Bewertungsinstrumente wie Deskriptoren, die sich bei schriftlichen Leistungen bewährt haben, eine Anwendung im mündlichen Bereich finden können. 1.4 Prüfungsdurchführung „[T]he interviewer typically speaks far more than the test taker“ (Alderson / Banerjee 2002: 93, Ergebnisse von Merrylees / McDowell (1999) referierend) Manche Aspekte der Durchführung mündlicher Prüfungen werden bereits durch die jeweilige Aufgabenstellung vorgegeben; andere wiederum, wie die Wahl des Gesprächspartners oder der Gesprächspartner, müssen extra bedacht werden. Die Wichtigkeit des bedachten Planens der Prüfungsdurchführung beruht darauf, dass, wie die Wissenschaft immer wieder empirisch nachweist, die Wahl für die eine oder die andere Durchführungsmöglichkeit nicht weniger als das Entscheiden für die eine oder andere Art von Aufgabenstellung durchaus individuell recht unterschiedliche Auswirkungen auf das potentielle Verhalten und dadurch auch die erreichbare Leistungserbringung eines Prüflings haben kann. Das einleitende Zitat dieses Abschnitts von Alderson und Banerjee weist bereits auf die sehr bekannte, wenn auch nicht immer bewusste Neigung von Lehrern und Prüfern hin, Gespräche durch Verlängerung der eigenen Redeanteile zu dominieren. Auf Grund solcher beobachtbarer Verhaltensweisen ist man als Testanbieter gehalten, sich gut zu überlegen, welche Konstellation von Gesprächsteilnehmern für die jeweilige Prüfung am geeignetsten ist. Wenn man verschiedene mündliche Prüfungen vergleicht, die von unterschiedlichen Anbietern gehalten werden, stellt man fest, dass es eine Reihe von Möglichkeiten gibt. Eine Möglichkeit sind Prüfungsgespräche zwischen einem oder Seite 134 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ mehreren Prüflingen und einem oder mehreren Prüfern. Eine andere Möglichkeit ist, das Gespräch zwischen Prüflingen stattfinden zu lassen, wobei in diesem Fall die Prüfer als Beobachter fungieren. Es kommen auch Mischformen vor, in denen etwa ein einleitendes Gespräch zwischen Prüfer und Prüflingen geführt wird, bevor die Prüflinge versuchen, gemeinsam eine mündliche Aufgabe zu lösen. Unterschiedlich ist auch – teils aus organisatorischen Gründen – die Entscheidung, wie viele Prüflinge gleichzeitig geprüft werden sollen. Bei der Wahl der geeignetsten Form für die jeweilige Stufe einer KMK-Zertifikatsprüfung sollen neben den Erfahrungswerten der Praxis auch die Ergebnisse wissenschaftlicher Untersuchungen berücksichtigt werden. Alderson und Banerjee führen etwa in dem oben einleitend zitierte Übersichtsaufsatz fort: [T]here are concerns about the paired format, particularly with respect to the relationship between test takers (Foot, 1999) and the effect of test taker characteristics on test performance […]. This […] suggests that it may not be fair to assign scores to individuals in group assessment (Alderson / Banerjee 2002: 94; die Autoren nehmen unter anderem auch auf die Arbeiten von Morton 1998 und Swain 2001 Bezug). Hier führt die Theoretisierung sowohl der Frage des Verhältnisses zwischen Testteilnehmern als auch der Persönlichkeitsmerkmale individueller Prüflinge zur konkreten Infragestellung der Validität der Benotungspraxis bei mündlichen Gruppenprüfungen. Aus unterrichtspraktischen Motivationsforschungen, die er zusammen mit Kormos durchgeführt hat (Dörnyei / Kormos 2000), berichtet Dörnyei analog hierzu von a positive relationship between L2 learners’ willingness to engage in communicative tasks and (a) the speakers’ social status and (b) the quality of the social relationship between the speaker and the interlocutor (Dörnyei 2001: 81). Aber wie lassen sich von solchen weit reichenden theoretischen Analysen konkrete Empfehlungen für die Prüfungspraxis ableiten? Ist man nicht leicht entmutigt von dem Umfang potentieller Berücksichtigungsfaktoren, wie man auch im vorhergehenden Abschnitt von der Detailliertheit des Fulcher’schen Konstruktrahmens nur allzu schnell eingeschüchtert werden kann? Es gibt zwar ausdrückliche Praxisempfehlungen in der Literatur, doch nicht alle werden wohl zwangsläufig den Beifall aller Prüfungsdurchführenden genießen dürfen. Nachdem Norton feststellt, dass die Frage, wie man sich entscheidet, welche Prüflinge man bei Paarprüfungen zusammen prüfen soll, noch „more detailed consideration and further research“ verdiene (Norton 2005: 287) plädiert sie dafür, bei der Wahl, ob Paar- oder Einzelprüfungen stattfinden sollen, bei den Prüflingen selbst Rat zu holen: Following Együd and Glover (2001), it would seem worthwhile to find out student preferences for paired or individual interviews in speaking tests (Norton 2005: 295). Doch andere Fachempfehlungen werden bei Prüfern vermutlich auf mehr Verständnis treffen: Wie Lee im vorherigen Abschnitt zur Anzahl der zu stellenden Aufgaben einen konkreten Vorschlag unterbreitet, so stellt Tscherner zur empfehlungswerten Zahl der Prüfer fest, dass sich die Zuverlässigkeit der Bewertung deutlich erhöht, je mehr Bewerter dieselbe Prüfung beurteilen […] Kenyon / Tschirner (2000) ziehen daraus den Schluss, dass bei mündlichen Prüfungen mindestens zwei Bewerter unabhängig voneinander ihre Bewertungen abgeben müssen (Tschirner 2001: 109-110). Seite 135 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ Nun erscheint es gegenwärtig aber einfach so zu sein, dass es leichter ist, auf empirischer Grundlage eine Empfehlung für die Anzahl der Prüfungsaufgaben und Prüfer zu geben als Konsequenzen zu ziehen aus der Tatsache, dass etwa „personality factors“ (Fulcher 2003: 49) oder „variability in interlocutor style“ (Brown 2003, 2004, zitiert nach Lumley / O’Sullivan 2005: 433) einen Einfluss auf die Entwicklung eines Prüfungsgesprächs haben (siehe jetzt auch Brown 2005). Zu den Rollen von Gesprächsteilnehmern stellt Wigglesworth fest: „the role of the interlocutor […] is central in ensuring that learners obtain similar output across similar tasks“ (Wigglesworth 2001: 189). Damit ist aber noch gar nichts darüber gesagt, wer ein „interlocutor“ sein darf und soll. ALTE members definieren diesen Begriff allein aus der Optik des Testens: In a test of speaking, the examiner who explains the tasks, asks questions and generally interacts orally with the candidate(s) Alte members 1998: 148. Als deutsche Übersetzung hierfür wird „Fragesteller“ empfohlen (ebd.: 125). Die zweite Definition, die Davies et al. anbieten, bezieht sich ebenfalls direkt auf mündliche Prüfungen: 2. In language testing the term is used to refer to the interviewer or facilitator of communication in an oral interview (Davies et al. 1999: 85). Die erste Definition an dieser Stelle führt jedoch eine Möglichkeit auf, die bei ALTE members fehlt. Diese Variante spiegelt nicht nur den Alltagsgebrauch des Ausdrucks wider, sie stellt ebenfalls eine verbreitete alternative Prüfungsvariante dar: 1. Any person who makes an active spoken contribution to a conversation or some other form of oral interaction (ebd.). Wie auch immer die Entscheidung bei verschiedenen Testanbietern fällt, Prüfer als Gesprächsteilnehmer zuzulassen oder die mündliche Interaktion unter Prüflingen stattfinden zu lassen, wichtig dürfte es für Prüfer etwa sein, sich bei der Prüfungsdurchführung wie bei der anschließenden Beurteilung bewusst zu sein, dass sowohl Prüfer, sofern bei der Prüfung aktiv beteiligt, als auch verschiedene Prüflinge durch ihre Persönlichkeitsmerkmale und ihr individuelles Verhalten einen Einfluss auf den Ablauf der Prüfung haben. Dies dürfte vor allem beim ersten Fall von besonderer Bedeutung sein, wenn Prüfer selbst aktiv am Prüfungsgespräch beteiligt sind, denn „teacher talk“ ist nicht nur ein bekanntes und natürlich auch nötiges Phänomen des Klassenzimmers; auch in der Prüfungssituation verhält sich mancher Prüfer wohlwollend und entgegenkommend in einer Art und Weise, die nicht zwangsläufig einer beruflichen Wirklichkeit entspricht. Die Ergebnisse entsprechender Studien fasst Fulcher wie folgt zusammen: „interlocutor raters accommodate their speech to that of the test taker“ (Fulcher 2003: 49). Damit soll keine Kritik an dieser Prüfungshaltung ausgesprochen worden sein. Wichtig ist aber wohl, dass sich Prüfer, die sich am Prüfungsgespräch beteiligen, bewusst sind, in welcher Art und Weise sie dies tun und welche Auswirkungen dies auf die angestrebte Authentizität des Berufsbezugs der Prüfung haben kann. Damit soll nicht gesagt worden sein, dass Prüflinge nicht selbst die Fähigkeit zeigen können, ihrem beispielsweise sprachlich schwächeren Gesprächspartner gegenüber Entgegenkommen zu zeigen; doch die täglichen Lehrgewohnheiten fließen vermutlich stärker ins Prüfungsgespräch eines Lehrers ein als die auch aus beruflicher Sicht zu begrüßende Sensibilität mancher Prüflinge. Diesem Unterschied soll man sich als Prüfer bewusst werden; bei der Bewertung allemal, aber auch bereits bei der Entscheidung für die geeignete Form der Prüfungsdurchführung. Seite 136 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ 1.5 Bewertung Wir haben uns oben einzelne Überlegungen zum Entwerfen von geeigneten Testaufgaben für mündliche Prüfungen angesehen sowie uns darüber Gedanken gemacht, welche Aspekte bei der Durchführung solcher Prüfungen zu berücksichtigen sind. Im jetzigen Abschnitt beschäftigen wir uns nun mit dem Teil des Prüfungsgeschehens, bei dem wohl am meisten Tinte fließt: die Bewertung. Der Grund, warum so viel über das Bewerten geschrieben wird, zudem von mündlichen Prüfungen, ist schlicht darin zu finden, dass dieses Bewerten so schwierig ist. Bygate et al. sprechen in diesem Zusammenhang des „assessment of spoken language performance“ denn auch unverblümt von „the difficulty it entails“ (Bygate et al. 2001: 163). Neben dem oben zitierten allgemeinen Rahmen eines Testkonstrukts für mündliche Prüfungen, den Fulcher 2003 vorlegte, wurde auch ausdrücklich für den berufsbildenden Schulbereich der Schweiz ein „Kriterienraster zur Beurteilung mündlicher Leistungen im Fremdsprachenunterricht“ erarbeitet (Ghisla / Kolb 2001:60). Die Autoren dieses Rasters drücken die Problematik in fast dem gleichen Wortlaut wie Bygate et al. aus: „Erfahrungsgemäss erweist sich die Beurteilung mündlicher Leistungen als schwierig“ (ebd.). Da im dritten Jahr des Modellversuchs sehr viel Zeit darauf verwendet wurde, verschiedene Deskriptoren zur Bewertung von mündlichen Prüfungen zu vergleichen und gemeinsam weiter zu entwickeln möchte ich an dieser Stelle einleitend die Arbeit der Schweizer Kolleginnen und Kollegen in diesem Bereich dokumentieren. Es handelt sich um ein Raster zur Beurteilung mündlicher Leistungen zum Erwerb der Berufsmaturität (man beachte, dass in der Schweiz die Note 6 die beste ist): Zur Beurteilung mündlicher Leistungen (Beispiel) Grammatik Die Äusserungen ... Note 6 sind weitgehend fehlerfrei. Note 5 enthalten einige Fehler, die das Verstehen aber nicht beeinträchtigen. Note 4 enthalten mehrere Fehler, die das Verstehen etwas beeinträchtigen. Note 3 enthalten Fehler, die das Verstehen erheblich beeinträchtigen. Note 2 sind weitestgehend unverständlich. Wortschatz Der Wortschatz ist ... Note 6 variationsreich; fehlende Begriffe können problemlos umschrieben werden. Note 5 der Aufgabe angemessen; fehlende Begriffe können in den meisten Fällen umschrieben werden. Note 4 angemessen, aber einfach; fehlende Begriffe können annähernd umschrieben werden. Note 3 in mehreren Fällen der Aufgabe zu wenig angemessen. Note 2 für die Aufgabe nicht ausreichend. Aussprache und Intonation Aussprache und Intonation weisen ... Note 6 keine wesentlichen Abweichungen von gesprochener Standardsprache auf. Note 5 einige Abweichungen auf, die das Verstehen jedoch nicht beeinträchtigen. Note 4 Abweichungen auf, die das Verstehen gelegentlich beeinträchtigen. Note 3 Abweichungen auf, die das Verstehen häufig beeinträchtigen. Note 2 so starke Abweichungen auf, dass das Verstehen stellenweise unmöglich ist. Seite 137 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ Interaktives Verhalten Die/Der Lernende hält das Gespräch ... Note 6 selbst in Gang. Note 5 weitgehend selbst in Gang. Note 4 mit einiger Hilfe in Gang. Note 3 nur dank wiederholter Hilfe einigermassen in Gang. Note 2 Es kommt kein richtiges Gespräch zu Stande. Inhalt/Aussage Die Ausführungen sind inhaltlich ... Note 6 treffend, ausführlich und durchwegs dem erforderlichen Niveau entsprechend. Note 5 angemessen und ausführlich, dem Niveau entsprechend. Note 4 meistens angemessen und dem Niveau einigermassen entsprechend. Note 3 oft unangemessen bzw. zu knapp. Note 2 meistens zu wenig relevant. (Ghisla / Kolb ebd.) Sowohl Fulcher als auch Ghisla und Kolb verwenden fünf verschiedene Kategorien, die berücksichtigt werden sollen. Manche, die sich etwa wegen der Handhabbarkeit des Bewertungskriteriums eine Einschränkung solcher Kategorien wünschen, mögen sich bei den Empfehlungen Skehans wohler fühlen, der sich auf drei Bereiche konzentriert: „measures are required in the three areas of complexity, accuracy and fluency“ (Skehan 2001: 170). Wer sich bereits darüber freut, während einer Prüfung nur drei statt fünf Kategorien gleichzeitig berücksichtigen zu müssen, muss nun weiter lesen und beherzigen, dass es Skehan in seinen Empfehlungen nicht um eine Beurteilung einzelner Fertigkeiten unabhängig von einander geht, sondern dass auch das Zusammenspiel aller drei Bereiche mitberücksichtigt werden muss: „the competition between them will have an important impact on decisions that are made“ (ebd.). (Skehans Ausführungen beziehen sich an dieser Stelle sowohl auf die Aufgabenstellung als auf die Bewertung.) Bei Empfehlungen dieser Art wünscht man sich als Prüfer konkrete Handlungsanweisungen. Skehan versucht diesem Wunsch zu entsprechen indem er in einer Fußnote genauer erläutet, was er unter dem Begriff „complexity“ versteht: The construct of complexity is close to what testers mean by range, in that both focus on a willingness to use a greater variety of syntactic forms (ebd.: 183). Die Äußerungen Shehans beziehen sich hier auf die Bewertung jeder Art fremdsprachlicher Leistung und nicht speziell von mündlichen Leistungen. Luchtenberg hingegen versucht, unsere Aufmerksamkeit auf die für diesen dritten Teil der Handreichung wichtige Unterscheidung zwischen schriftlicher und mündlicher Kommunikation zu lenken in dem sie selbst den etwas heiklen Begriff der Sprachnorm problematisiert: Das wesentliche Kriterium für die Bewertung von Sprachäußerungen ist die Sprachnorm. Diese klare Aussage verliert allerdings an Eindeutigkeit, wenn die Unterschiede zwischen gesprochener und geschriebener Sprache stärker berücksichtigt werden, denn die ‚Sprachrichtigkeit’ in mündlicher Rede verstößt auch bei Muttersprachlern in der Regel gegen die Norm der geschriebenen Sprache (Luchtenberg 2002: 85). Luchtenbergs Äußerungen sind charakteristisch für eine ganze Reihe von wissenschaftlichen Beiträgen, die immer wieder betonen, dass wir es mit der Bewertung von mündlichen Leistungen mit einer ganz anderen Art der Kommunikation zu tun haben. Die Folge dessen ist, dass unsere Bewertungsinstrumente explizit auf die Eigenschaften natürlich vorkommender mündlicher Äußerungen basieSeite 138 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ ren müssen und keineswegs eine einfache Übertragung bewahrter Bewertungsinstrumente aus dem Bereich der schriftlichen Prüfungen zulässig ist. Hughes beschreibt ausführlich, wie wenig mündliche Interaktion oft den Kriterien entspricht, die man üblicherweise auf die Bewertung der Qualität schriftlicher Leistungen anwendet: Spontaneous interactive speech will be full of hesitations, false-starts, grammatical inaccuracies, have a limited vocabulary, tend towards repetition and be structured around short thought units or quasi-clauses based on the constraints of breath and of spoken language processing (Hughes 2002: 77; Vergleiche auch Weir 2005: 107). Eine empirische Untersuchung, die zeigt, wie unterschiedlich das Bewertungsverhalten verschiedener Gruppen sein kann, wurde 2003 von Sundh vorgelegt. Dieser fand heraus, dass Muttersprachler des Englischen bei der Bewertung mündlicher Leistungen mehr Wert auf kommunikative Fertigkeiten legten, während für schwedische Lehrer grammatikalische Korrektheit wichtig war: The Native Speakers focused on the students’ communicative skills and the messages conveyed, while the School Teachers […] tended to pay more attention to grammatical accuracy and the students’ grammatical repertoire (Sundh 2003: 265). (Im Abschnitt II. 1.4 oben sahen wir bereits, dass Sundh herausfand, dass die Muttersprachler in seiner Untersuchung insgesamt weniger streng benoteten als die schwedischen Lehrer.) Aus dieser Übersicht soll ersichtlich sein, dass die Wissenschaft sich wiederholt bemüht, sowohl umfangreiche Kriterienkataloge für die Bewertung spezifisch mündlicher Sprachleistungen zu erstellen als auch darauf hinzuweisen, dass die Gefahr besteht, ohne Berechtigung in der muttersprachlichen Sprachpraxis die Bedeutung des einen oder anderen Bereichs künstlich höher anzusiedeln. Stichfeste Empfehlungen, wie vom Prüfer gewährleistet werden soll, dass das anzustrebende Gleichgewicht zwischen den verschiedenen Bewertungskategorien erreicht werden soll, sind das noch lange nicht. Wenn etwa Fulcher in seinem bei III. 1.3 oben zitierten Konstrukt von „pragmatic knowledge“ und „sociolinguistic knowledge“ spricht, wie sind diese zu definieren, von einander zu unterscheiden und zu beurteilen? Im Bereich der „inter-language pragmatics“ spricht Hughes mit Bezug auf Rose und Kasper (2001) von „issues surrounding differences in conversational behaviour““ (Hughes 2002: 49). Doch wie sollten diese in die Bewertung mit einfließen? Und nach welchen „Normen“ würde man bei einer KMK-Zertifikatsprüfung urteilen? Nach den englischen? Den amerikanischen? Den deutschen? Den türkischen? Wer nimmt an der Prüfung teil und welche Zielgruppe gilt als Modell? Sich auf Jones (2001) beziehend vertritt Luoma folgende These: Good storytelling routines are important for speakers, as one of the most common types of chatting involves personal stories about accidents or embarrassing situations (Luoma 2004: 24). Doch ist diese Fähigkeit in jedem Kulturkreis gleich ausgeprägt? Wie wertet man als deutscher KMK-Prüfer die rhetorischen Schreibstrategien des irischen Verfassers dieses Handreichungsteiles? Oder machen wir uns vielleicht allzu viele Sorgen um die Treffsicherheit unserer Kategorien, wenn eventuell alles tatsächlich viel enger zusammenhängen sollte als bisher oft angenommen. Beebe und Zhang Waring behaupten auf jeden Fall auf Grund ihrer empirischen Untersuchungen, dass die Bereiche Pragmatik und Grammatik eng miteinander verbunden sind: „grammatical proficiency does contribute to pragmatic proficiency“ (Beebe / Zhang Waring 2004: 243). Seite 139 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ Was zeigen uns diese Beispiele aus der Fachliteratur zum Thema Bewertung mündlicher Prüfungen? Dass es sich hier wohl um einen noch umstritteneren Bereich als den der Bewertung schriftlicher Leistungen handelt; und dass die Bemühungen aller Beteiligten im dritten Jahr des Modellversuchs EU-KonZert zur Sicherung der Vergleichbarkeit der Standards zu gemeinsamen Ergebnissen zu kommen, ein nicht weniger mutiges als auch nötiges Unterfangen war. 1.6 "Oh, and another thing I wanted to say was…" Wie am Anfang dieses Handreichungsteiles versprochen, komme ich jetzt auf die bei III. 1.1 abgedruckten Transkripte von Prüfungsauszügen zu sprechen. Aber warum wohl, wenn ich schon Abschnitte zu den drei Aufgaben dieser Modellversuchsphase „Aufgabenstellung“, „Prüfungsdurchführung“ und „Bewertung“ geschrieben habe? Jeder Prozess der gemeinsamen Standardfindung muss sich um die Validierung der gemeinsam erzielten Ergebnisse bemühen. Im Falle des KMKFremdsprachenzertifikats handelt es sich zudem um Prüfungen, die zu den ersten und erst recht zu den ersten berufsbezogenen Prüfungen in Deutschland gehören, die sich an die Empfehlungen des Gemeinsamen europäischen Referenzrahmens angelehnt haben. Verständlicherweise und in bester bildungspolitischer Absicht regt der Europarat jetzt an, dass überall dort, wo mit dem Stempel Gemeinsamer europäischer Referenzrahmen / Common European Framework / Cadre européen commun hantiert wird, vom Rahmen viel enthalten ist. Es geht bei den parallel laufenden Vorhaben „Weiterentwicklung des Referenzrahmens“ und „Sicherung der Vergleichbarkeit der Standards der KMK-Fremdsprachenzertifikatsprüfungen“ um das gemeinsame Ziel der Validierung der jeweiligen Prüfungsentwürfe. Bei der Validierung einer Prüfung geht es um den „Prozess der Sammlung von Belegen für die Richtigkeit von aus den Testwerten gezogenen Schlussfolgerungen“ (ALTE members 1998: 130). Auch der Europarat betont die Notwendigkeit, Folgendes zu tun: „outlining the validation process and providing evaluation criteria for the technical quality of the standard setting“ (Takala 2004: iv). In “Section A: Overview of the Linking Process” des gleichen Reference Supplement zum Manual for Relating Language examinations to the Common European Framework wird das Stichwort „Empirical Validation“ beschrieben als the collection and analysis of test data and ratings from assessments to provide evidence that both the examination itself and the linking to the CEFR are sound“ (Takala (ed.) 2004: 1). Bei diesem Reference Supplement des Europarates ist bisher nur bei der Nachweismöglichkeit der “Specification“ eine qualitative Vorgehensweise zur Validierung einer Prüfung vorgesehen: To prove internal and external validity, quantitative and qualitative methods can be combined. Specification (Chapter 4) can be seen as a qualitative method: providing evidence through content-based arguments (ebd.: 2). Wenn dort von empirischer Validierung gesprochen wird, ist hingegen nur von quantitativen Prozeduren die Rede (ebd.; als Beispiele für Daten, die zur quantitativen Analyse der Nützlichkeit eines Tests herangezogen werden können führt etwa Bachman ‚test scores, scores for items or tasks, or responses to questionnaires and self-ratings’ auf [Bachman 2004: 6]). Wenn das Reference Supplement des Europarates von empirischer Validierung spricht kommt allerdings leider nicht zur Geltung, dass neuere Forschungsarbeiten dafür plädieren, zur Ergänzung von traSeite 140 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ ditionellen statistischen Methoden auch von anderen, qualitativen, Forschungsansätzen Gebrauch zu machen: Language testers have generally come to recognize the limitations of traditional statistical methods for validating oral language tests and have begun to consider more innovative approaches to test validation, approaches that promise to illuminate the assessment process itself, rather than just assessment outcomes (i.e., ratings) (Lazaraton 2002: xi). Lazaraton selbst empfiehlt einen solchen möglichen qualitativen Forschungsansatz bei der Validierung: „One such approach is conversation analysis (CA)“ (ebd.). Diese Forderung rechtfertigt sie mit folgender Feststellung: Conversation analysis provides a uniquely suited vehicle for understanding the interaction, and the discourse produced, in face-to-face oral assessment procedures (ebd.: 171). Ellis und Barkhuizen erklären den Ansatz der Konversationsanalyse in einer etwas vorsichtigen Art und Weise, die dennoch seine Bedeutung für die Bewertung von mündlichen Sprachleistungen klar verdeutlicht, wie folgt: Ordinary conversation […] is what other types of talk are measured against, since, CA purists would argue, it is ‘the predominant form of human interaction in the social world and the primary medium of communication to which the child is exposed and through which socialization proceeds’ (Heritage 2001: 2741). (Ellis / Barkhuizen 2005: 200). Dabei heben Ellis und Barkhuiszen hervor, dass dieses Forschungsparadigma der Konversationsanalyse von Anfang an trotz der durch Textverarbeitungstechniken möglich gewordenen elektronischen Analyse von Verbaldaten von quantitativen Untersuchungsansätzen Abstand gehalten hat: It makes sense, therefore, that the quantification of the data, the counting of patterns and structures, does not have a place in the analysis, as Heritage (2001: 2744) remarks, ‘statistical analysis has played little role in the field, largely because in the matter of interactional practices, as in the case of biological species, large numbers are not essential to establishing their existence’ (Ellis / Barkhuizen 2005: 212). Wie könnte eine konversationsanalytische Untersuchung der drei Prüfungsausschnitte bei 1.1 aussehen und welcher Bewertungsschemata würde man sich bedienen, um eine solche Untersuchung zu unterstützen? Da ein großer Teil der Arbeit der dritten Phase des Modellversuchs darin bestand, verschiedene Deskriptorensätze zu erproben und weiterzuentwickeln, ohne dass abschließend eine Empfehlung für den einen oder anderen Satz als verbindlicher ausgesprochen wurde, werde ich mich in meinen kurzen verbleibenden Bemerkungen zu den PrüfungsTranskripten auf die Hinweise des Gemeinsamen europäischen Referenzrahmens beziehen, der den Ausgangspunkt der Bemühungen der Zertifikatsprüfungen bildet. Aus Platzgründen erheben die folgenden Ausführungen keineswegs den Anspruch, eine vollständige konversationsanalytische Behandlung der bei 1.1 abgedruckten Transkripte zu sein. Es geht in diesem abschließenden Abschnitt lediglich darum, anzudeuten, erstens, wie schwer die Bewertung von mündlichen Sprachleistungen überhaupt ist und zweitens, welche Beiträge ausführliche konversationsanalytische Untersuchungen zur weiteren Validierung der KMK-Zertifikatsprüfungen noch leisten könnten. Die erste bei 1.1 abgedruckte Aufgabe simuliert ein Telefongespräch in dem ein Kunde eine Lösung für sein Problem mit einer erworbenen CD-ROM sucht und Seite 141 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ der Kundenberater dem Kunden erklären will, wie das Problem zu beheben ist. Wie bewältigen die zwei Prüflinge die Aufgabe nach der Kategorie „Spektrum“ („range“), der ersten der fünf Kategorien des Beurteilungsrasters des Referenzrahmens zur mündlichen Kommunikation „Spektrum“ („range“) (Trim et al. 2001: 37, 38)? Beim Spektrum heißt es im Referenzrahmen: A2: Verwendet elementare Satzstrukturen mit memorierten Wendungen, kurzen Wortgruppen und Redeformeln, um damit in einfachen Alltagssituationen begrenzt Informationen auszutauschen. B1: Verfügt über genügend sprachliche Mittel um zurechtzukommen; der Wortschatz reicht aus, um sich, wenn auch manchmal zögernd und mit Hilfe von Umschreibungen, über Themen wie Familie, Hobbys und Interessen, Arbeit, reisen und aktuelle Ereignisse äußern zu können. B2: Verfügt über ein ausreichend breites Spektrum von Redemitteln, um in klaren Beschreibungen oder Berichten über die meisten Themen allgemeiner Art zu sprechen und eigene Standpunkte auszudrücken; sucht nicht auffällig nach Worten und verwendet einige komplexe Satzstrukturen. (nach Trim et al. 2001: 37, 38). Der Kunde B. beschreibt sein Problem wie folgt: Em, yes. Eh, I put the CD Rom X 4 hundred 7 like the, the [iks] [EXHALES LOUDLY] directory in my manual in the computer, and tried to INstall the program on the disk which was in the car-, cartoon eh where the CD Rom was and then cames the arrow, error [THREE-SECOND PAUSE] CD Rom not found. I don’t know what I shall do? Der Kundenberater A. schlägt eine Lösung in folgendem Wortlaut vor: Oh, good, em, you go in the internet on the site tribble w dot western tech dot com. And you go on the link to downloads. You download the file bug fix d u 4 point 1 and after these you have downloaded the file you installed these program After the installation you em start the computer at new and then em the problem don’t, don’t were on your computer. B.’s “I […] tried to Install the program on the disk which was in the car-, cartoon eh where the CD ROM was and then cames the arrow” klingt beim ersten Hinhören schon recht elementar und ebenso A.’s “after the installation you em start the computer at new and then em the problem don’t, don’t were on your computer” ebenso. Also sind beide auf Stufe A2 des Referenzrahmens oder Stufe I der KMK-Prüfung? Bei B1 soll man hingegen sprachlich zurecht kommen. Aber was heißt es, sprachlich zurecht zu kommen? Der Kunde beschreibt sein Problem mittels Sprache. Die Sprache ist zwar fehlerhaft, aber es gelingt dem Kunden, sein Anliegen genau zu schildern. Das Gleiche gilt für die angebotene Lösung des Kundenberaters: es ist ein brauchbarer Vorschlag, in fehlerhafter Sprache erfolgreich ausgedrückt. Also sind beide Prüflinge auf der GER-Stufe B1 /KMK Stufe II? Seite 142 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ Erlauben ihre Redemittel den Prüflingen, klare Beschreibungen zu formulieren? Falls ja, müsste man bei einer kriterienorientierten Prüfung nach dem Gesichtspunkt des verwendeten Sprachspektrums sogar das Niveau GER Stufe B2 / KMK Stufe III bescheinigen. Nun ja: Entscheidend ist, was man unter „klare Beschreibungen“ meint. Wie klar heißt „klar“? Welche Rekonstruktionsleistung des Zuhörers muss stattfinden, damit die intendierte Botschaft beim Empfänger wie beabsichtigt ankommt? Wichtig ist auch, dass man die jeweilige Leistung tatsächlich nach den vorgegebenen Kriterien beurteilt. Habe ich in meiner Diskussion des verwendeten Sprachspektrums der beiden Prüflinge wirklich diesen Aspekt bewertet oder richtete ich mein Merkmal nicht bereits auf die zweite Kategorie des GERs zur Beurteilung der mündlichen Kommunikation, auf die Korrektheit? Der Umgang mit Deskriptorenkategorien will gelernt und geübt werden. Beim zweiten Transkript versuche ich genau diese zweite Kategorie der Korrektheit zu beurteilen. Der Referenzrahmen beschreibt mündliche Korrektheit wie folgt: A2: Verwendet einige einfache Strukturen korrekt, macht aber noch systematisch elementare Fehler. B1: Verwendet verhältnismäßig korrekt ein Repertoire gebräuchlicher Strukturen und Redeformen, die mit eher vorhersehbaren Situationen zusammenhängen. B2: Zeigt eine recht gute Beherrschung der Grammatik. Macht keine Fehler, die zu Missverständnissen führen, und kann die meisten eigenen Fehler selbst korrigieren (nach Trim et al 2001, 37-38). Im zweiten Beispiel sollen die Prüflinge eine Reihe von Informationen miteinander austauschen, wobei C. die Rolle eines Praktikanten aus den Vereinten Staaten von Amerika übernimmt und D. die einer Angestellten der örtlichen deutschen Stadtverwaltung. Werden „einige einfache Strukturen korrekt“ verwendet (Stufe A2 / KMK I)? C. stellt sich korrekt vor: „My name is [C.]“. Er erklärt, dass er wegen eines Termins beim Bürgermeister am Nachmittag nur etwas später zu einer geplanten Besprechung mit der Angestellten kommen kann: Sorry, em, I can’t eh come to the meeting em before half past three. Em I have a me, I have em a meeting em with the mayor. D. ihrerseits stellt sich ebenfalls korrekt vor, erläutert ihre Zuständigkeiten und begrüßt die ihr von C. angekündigte Unterstützung: Hello, my name’s [D.D.], I’m a council clerk from this administrative community. I’m responsible for the move and I’m VERY glad of your help. Kann man bei beiden von einem „Repertoire gebräuchlicher Strukturen und Redeformen“ sprechen (Stufe B1 / KMK II)? Wie bei Transkript 1 oben, bei dem es darum ging, das verwendete sprachliche Spektrum zu beurteilen, sieht man hier beim zweiten Transkript, wie sehr der Prüfer bei der Anwendung jeder einzelner dieser Kategorien herausgefordert ist. Wie viele gebräuchliche Strukturen und Redeformen müssen denn dabei sein, um als „Repertoire“ zu gelten? Reichen hierzu solche Höflichkeitsbekunden C.’s wie „eh I’m here to help you“ oder D.’s ebenfalls höflich geäußerte Aufforderung „Can you bring some files to the financial administration for me please“? Auf den ersten Blick scheint es leichter zu sein, die Frage nach der Zugehörigkeit zur GER-Stufe B2 / KMK-Stufe III zu beantworten: „Zeigt eine recht gute Seite 143 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ Beherrschung der Grammatik“ wenn C. an einer Stelle grammatikalisch fehlerhaft sagt „I can eh take this files em to the financial administration“ oder D.’s ausführliche Wegbeschreibung ebenfalls von der Bahn der grammatikalischen Korrektheit abkommt: You must go upstairs to the first floor, then turn left and go till the end of the floor. There is the financial administration on your right hand side and next to mailroom. Doch wie repräsentativ sind diese Beispiele für den jeweiligen Grad an Korrektheit, der den Gesamteindruck der Leistungen der Prüflinge Rechnung trägt? Wie umfangreich muss eine Prüfungsanalyse sein, welchen zeitlichen Umfang soll eine mündliche Prüfung haben, damit ein ausgewogenes Urteil gefällt werden kann? Gelingt es uns in unserer Bewertungspraxis zu erkennen, dass ein Prüfling im Laufe eines Prüfungsgesprächs vielleicht selbst registriert, welche grammatikalischen Fehler er gemacht hat (um diese später zu vermeiden), wenn wir uns als Prüfer nur das Vorkommen solchen Fehler notieren und nicht das spätere Fehlen hiervon im weiteren Verlauf eines Prüfungsgesprächs? Und wie viele von uns beurteilen die erbrachte Leistung während einer mündlichen Prüfung tatsächlich nach den Kriterien des Gebrauchs der mündlichen Sprache durch Muttersprachler, mit all den Verzögerungen, Wiederholungen, unvollendeten Formulierungen und gar grammatikalischen Fehlern, die, wie wir in unserer Literatursynopse oben gesehen haben, hierfür charakteristisch sein können? Oder vergleichen nicht viele von uns immer noch mündliche Fremdsprachenleistungen mit der in aller Ruhe ausgearbeiteten Prosa dieser Muttersprachler? Als drittes Beispiel soll abschließend an Hand unseres dritten Transkripts die GER-Kategorie „Flüssigkeit“ untersucht werden (Vergleiche hierzu die im Abschnitt 2.c1. beschriebenen Ergebnisse einer Diskussion dieser Aufnahme). Bei diesem dritten Beispiel handelt es sich im Gegensatz zu den ersten beiden Transkripten um eine mündliche Prüfung mit drei Prüflingen. Die daraus erwachsende Herausforderung sowohl für Prüflinge als auch für Prüfer erkennt man bereits an der Komplexität der verwendeten Transkriptionskonventionen, die unter anderem deswegen so eigenartig wirken, weil es bei dieser dritten Aufnahme es anders als bei den beiden Zweiergesprächen so oft vorkam, dass Prüflinge gleichzeitig redeten. (Dies wird im Transkript den Konventionen der Konversationsanalyse entsprechend durch Unterstreichen gleichzeitig gesprochener Redebeiträge signalisiert. Ferner werden solche simultan gesprochene Äußerungen bei der Durchnummerierung der Zeilen als eine Zeile nummeriert, obwohl durch die Gleichzeitigkeit des Sprechens räumlich zwei Zeilen benötigt werden, um diese Äußerungen zu transkribieren.) Bei der Kategorie „Flüssigkeit“ wendet der Referenzrahmen folgende Deskriptoren an: A2: Kann sich in sehr kurzen Redebeiträgen verständlich machen, obwohl er/sie offensichtlich häufig stockt und neu ansetzen oder umformulieren muss. B1: Kann sich ohne viel Stocken verständlich ausdrücken, obwohl er/sie deutliche Pausen macht, um die Äußerungen grammatisch und in der Wortwahl zu planen oder zu korrigieren, vor allem, wenn er/sie länger frei spricht. B2: Kann in recht gleichmäßigem Tempo sprechen. Auch wenn er/sie eventuell zögert, um nach Strukturen oder Wörtern zu suchen, entstehen kaum auffällig lange Pausen (nach Trim et al. 2001: 37-38). Seite 144 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ Zur Länge der Redebeiträge: Bei Prüfling E. stellt man bei Zeilen 03-08 schon die Fähigkeit fest, länger zu sprechen (das heißt: besser als A2, also mindestens B1), ja sogar durchaus auch die, „in recht gleichmäßigem Tempo“ zu sprechen (B2; bei Transkript 3 fehlen, im Gegensatz zu den ersten beiden Transkripten, alle Hinweise auf Redepausen, die länger als eine Sekunde gedauert hätten, da solche Pausen bei diesem Ausschnitt gar nicht vorkamen): 03 04 05 06 07 08 E: eh maybe we eh have a little focus on Europe So we have a lot of eh Europe Asian food, Europe mediterrean food, but eh I think eh, my mind is coming now, eh Polynesia, never, never eh heard of eh Polynesian restaurants so I don’t know what kind of food they have, so Wenn damit Kandidat E. nachweist, auf KMK Stufe III zu sein, dann muss das wohl erst recht für Prüfling G. gelten: 27 28 29 30 31 32 33 34 35 36 37 G: just European? I mean it’s a lot a lot of business in town, right, in the Europa Passage, so a lot of offices and everything, so, em, maybe we should do something which is kind of fast and kind of eh good, fresh and everything so whatever that the people come there for for lunch then we really specialize on, on the lunch em time. Like the Vapiano thing, which is already sold in pasta, maybe we can do it with something else. some, maybe Polonesisches, maybe one never know. What-, whatever. Bei Kandidat F. allerdings haben wir mit den vorliegenden Deskriptoren ein Problem, denn an keiner einzigen Stelle dieses Gesprächs weist F. die Fähigkeit nach, mehr als nur sehr kurze Redebeiträge leisten zu können. Doch wäre man berechtigt, Kandidat F. bei einer KMK-Prüfung der Stufe II oder III (GER-Stufe B1 und B2) durchfallen zu lassen? Sieht man sich Zeilen 14-20 an, so erkennt man, dass das Gespräch dieser Gruppenprüfung von E. und G. regelrecht dominiert wurde. 14 15 16 17 18 19 20 E: G: F: G: F: F: E: E: F: E: S-, something new. Never, never works I mean downtown Hamburg here OK there’s a lot of business business you can have it in the traders’ X as well. Polynesian, Polynesian and European food There’s Polynesian? Then let me take: New, New Zealand? Oder Madagaskar [EXHALES AIR] there is the movie, the movie from the Walt Disney, Madagaskar, with the yeah In Zeile 15 zeigt sich F. als guter Zuhörer (“OK”). Nach G.’s abgeschlossener Feststellung aus den Zeilen 15 und 16 („I mean downtown Hamburg there’s a lot of business“) versucht F. dann selbst In den Zeilen 16 und 17, einen ausführlicheren Redebeitrag zu leisten: „you can have it in the traders’ X (Redebeitrag wegen der Unterbrechung G.’s an dieser Stelle unverständlich) as well. Polynesian, Polynesian and European food“. Doch F.’s Redebeitrag wird gleich zweimal unterbrochen. Zuerst signalisiert G., dass er F. doch nicht zu Wort kommen lassen will, Seite 145 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: ”Now you’re talking!“ in dem er das Wort „business“ wiederholt. Nichtsdestotrotz versucht F. seinen Beitrag fortzusetzen, wird aber dann sehr dominierend von E. unterbrochen. In Folge dessen verzichtet F. bei Zeile 19 auf eine weitere Wortmeldung und gibt ein paraverbales Zeichen seiner Frustration von sich gibt („[EXHALES AIR]“). Diese Gelegenheit benutzt E., um mit seinem neuen Beitrag fortzufahren. Damit gelingt es E. und G. an dieser Stelle wieder, F. eine aktive, gestaltende Rolle in diesem Gespräch zu verwehren. Verdient er es wirklich, deshalb vom Verleihen eines Zertifikats der Stufe II oder III ausgeschlossen zu werden? Oder sind hier nicht andere Aspekte am Werk, die bei der Anwendung vorgesehener Deskriptoren berücksichtigt werden sollen? Deskriptoren zur Beschreibung von Teilfertigkeiten können überarbeitet und verbessert werden. Doch eben so wichtig wie eine Überarbeitung scheint die Frage zu sein, wie die bewerteten Teilkompetenzen zueinander in Verbindung stehen. Entscheidend bleibt immer noch die Frage, welchen Stellenwert analytische und holistische Verfahren in unseren Bewertungen haben sollten. Diese Frage des Verhältnisses zwischen holistischen und analytischen Bewertungsverfahren wurde vor allem im Abschnitt II. 1.4 oben bereits ausführlich erläutert. Götz Reuter schildert in Teil c. der folgenden Betrachtung der Workshops des dritten Teiles des Modellversuchs (III. 2) die Erprobung und Weiterentwicklung der Bewertungsinstrumente, die in dieser letzten Modellversuchsphase stattgefunden haben. In diesem Abschnitt ging es mir darum zu zeigen, dass das Entwickeln geeigneter Deskriptoren immer eine große Aufgabe ist; und ferner, dass die Anwendung solcher Deskriptoren von Prüfern geprobt und erlernt werden muss. Um dieses zu verdeutlichen, habe ich Prüfungstranskripte untersucht, ohne zu sagen, auf welcher Stufe diese Prüfungen stattgefunden haben. Dadurch konnte festgestellt werden, dass eine Zuordnung der Kandidaten zu den Stufen des europäischen Referenzrahmens beziehungsweise zu den Stufen der KMK-Prüfung nicht immer leicht war. Wie wir im Abschnitt II. 1.3 oben bereits gesehen haben, muss allerdings ein Prüfer immer daran denken, dass bei kriteriumsorientierten Tests „die Leistung eines Prüflings im Verhältnis zu einem zuvor definierten Kriterium interpretiert wird“ (ALTE members 1998: 110). Es bleibt einem Prüfling unbenommen, an einer Prüfung einer niedrigeren Stufe teilzunehmen, obwohl dieser Prüfling die besten Aussichten hätte, die Prüfung einer höheren Stufe zu bestehen. Bei kriterienorientierten Prüfungen kann jedoch nur die Erfüllung der jeweiligen Kriterien vom Prüfer bescheinigt werden, nicht jedoch das Vorhandensein von Fertigkeiten, die auf das Bestehen einer Prüfung einer höheren Stufe hoffen lassen. Wie dem auch sei und für welche Stufe auch immer dieser freiwilligen Prüfungen unsere Prüflinge sich anmelden: Wir wünschen uns alle bei unseren mündlichen Prüfungen Prüflinge, die nicht auf den Mund gefallen sind. Möge es uns gelingen, unsere Aufgaben so zu stellen und durchzuführen, dass wir bei unserer Bewertung möglichst oft begeistert ausrufen können: "Now you’re talking!" Seite 146 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung III.2 Götz Reuter, ISB München: Eine prozessorientierte Betrachtung der Workshops des BLKModellversuchs EU KonZert zum mündlichen Teil der KMK – Fremdsprachenzertifikatsprüfung Der BLK Modellversuch EU-KonZert (Entwicklung und Umsetzung eines Evaluationskonzeptes für die KMK-Fremdsprachenzertifikatsprüfung zur Sicherung der Vergleichbarkeit der Standards) beschäftigt sich in der dritten Phase (November 2005 - Oktober 2006) mit der gemeinsamen Standardfindung bei der mündlichen Prüfungsdurchführung. Wie in den ersten beiden Modellversuchsphasen treffen sich auch in der dritten Phase Vertreter1 aller teilnehmenden Länder zu Workshops. In diesen Workshops findet ein Austausch über die bisher gängigen Durchführungsverfahren der mündlichen Zertifikatsprüfungen statt, es werden beispielhaft Aufgabenstellungen für mündliche Prüfungen bewertet und Diskussionen über eine Verbesserung der Einheitlichkeit der Bewertungsschemata geführt. Diskussions- und damit Arbeitsgrundlage stellt die Erprobung und Evaluation unterschiedlicher Bewertungsverfahren der mündlichen Prüfung dar. Der Erfahrungsaustausch über Aufgabenstellungen für und Bewertungsmodi von mündlichen Prüfungen ist so konzipiert, dass die Workshopteilnehmer als Multiplikatoren in ihren Bundesländern fungieren, um dort direkt die Diskussionsergebnisse des Modellversuchs weiter zu verbreiten. Durch diesen Informationsaustausch will die Arbeitsgruppe einen fruchtbaren Diskurs initiieren mit dem Ziel, nationale Standards für die Bereiche Aufgabenstellung, Bewertung und Durchführung mündlicher Prüfungen an beruflichen Schulen in Deutschland festzulegen. Da sich die drei Stufen der Fremdsprachenzertifikatsprüfung an beruflichen Schulen an den Stufen A2, B1 und B2 des Gemeinsamen europäischen Referenzrahmens für Sprachen (Trim et al., 2001) orientieren, ist eine Abstimmung in Bezug auf Aufgabenstellung und Bewertung in mündlichen Prüfungen auf Bundesland übergreifender Ebene von hoher Relevanz, sodass fremdsprachliche Kompetenzen des Prüflings reliabel und valide dokumentiert werden können. Die am Modellversuch beteiligten Länder stellten unterschiedliche Ansatzpunkte bei der Aufgabenstellung in mündlichen Prüfungen und bei der Bewertung mündlicher Prüfungsleistungen fest. Hier beginnen die Modellversuchsträger Hamburg, Thüringen und Bayern mit der Entwicklung von Vorgehensweisen und Arbeitsabläufen für die Workshops der dritten Phase des Modellversuchs, um weitgehenden Konsens aller Workshopteilnehmer bezüglich Aufgabenstellung und Bewertung herzustellen. Dieser Teil der Handreichung als Ausdruck teils divergierenden, teils konzertierten Handelns soll nicht nur die Ergebnisse, sondern auch den Prozess eines umfassenden Abstimmungs- und Einigungsprozesses spiegeln. 2.1 Die ersten drei Workshops Der praktische Arbeitsansatz der jeweils dreitägigen Workshops basiert auf folgendem Modell: Nach Feststellung und Diskussion der aktuellen Prüfungspraxis in den Ländern untersuchen und bewerten die Mitglieder der Workshops am ersten Arbeitstag beispielhaft ausgewählte Aufgabenstellungen von mündlichen Prüfungen. Der zweite Tag konzentriert sich auf die Analyse und Evaluation von Bewertungsverfahren mündlicher Prüfungen. Ziel des dritten und letzten Tages ist es schließlich, Best-practice Beispiele zu erarbeiten, die trotz teilweise divergierender Aus1 Im Folgenden wird jeweils auf die weibliche Form verzichtet. Diese ist jedoch immer mit eingeschlossen. Seite 147 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung gangspositionen in allen Ländern gleichermaßen als Leitfaden für zukünftige Prüfungsersteller dienen können. 2.1.1 Ausgangslage: Die Durchführungspraxis der mündlichen Prüfung in den Ländern In Vorbereitung auf die geplanten Arbeitstreffen dokumentierte Thüringen den Status-Quo der mündlichen Prüfungspraxis durch eine Umfrage in beteiligten Ländern. Befragt wurden Bayern (BY), Brandenburg (BB), Berlin (B), Hamburg (HH), Hessen (HE), Nordrhein-Westfalen (NRW), Sachsen (SN), Sachsen-Anhalt (ST) und Thüringen (TH). Die Erhebung gliederte sich in die drei Teile Organisation, Aufgabenstellung und Bewertung. Der erste Abschnitt konzentrierte sich auf den Zeitpunkt der Prüfung, die beteiligten Personen, die Vorbereitung und die Prüfungszeit. Prüfungsstruktur, Grad der Lenkung und Aspekte der Mediation waren Bestandteile des zweiten Teils des Fragebogens. Der dritte und letzte Bereich der Umfrage fokussierte die zugrunde liegenden Bewertungsverfahren, die Dokumentation der Prüfung und allgemeine Hinweise für die Prüfer. Die Auswertung des Fragebogens ergab Folgendes: Organisation Die mündliche Prüfung fand in den beteiligten Bundesländern in der Regel während der Schulzeit und nach der schriftlichen Prüfung statt; in Hessen, Hamburg und Berlin wurden beide Prüfungsteile zudem meist am gleichen Tag abgehalten. Bayern und Sachsen-Anhalt gaben an, dass die mündliche gegebenenfalls auch vor der schriftlichen Prüfung durchgeführt werden kann. In allen Ländern besaßen die Prüfer in der Regel die Lehrbefähigung für das Fach Englisch. Ausbilder nahmen an der Prüfung nicht teil. Überall war die Aufgabenverteilung in der Prüfungskommission klar geregelt: Während der Erstprüfer Leitung und Gesprächsführung innehatte, beschränkte sich die Funktion des Zweitprüfers auf die Protokollführung. Nur Bayern gab an, dass auch der Zweitprüfer die Möglichkeit hat, das Gespräch zu steuern. In Bezug auf die Vorbereitungszeit für die Prüflinge traten zum Teil deutliche Differenzen zwischen den Ländern auf: Die Bandbreite reichte von keiner Vorbereitungszeit (Bayern) bis hin zu 20 Minuten (NRW, Hessen, Sachsen). Wörterbücher waren in allen Bundesländern bis auf Bayern erlaubt (Sachsen: keine Angabe). Die Prüfung wurde in der Regel als Partner- oder Gruppenprüfung durchgeführt. In Bayern nahmen in Ausnahmefällen bis zu vier Kandidaten teil, in Sachsen-Anhalt, Thüringen und Hessen wurden auch Einzelprüfungen durchgeführt. Heterogen war bundesweit auch die Einteilung der Prüflinge. Sie erfolgte alphabethisch, nach Klassenliste, nach Leistung, durch Los, durch den Prüfer oder auf Schülerwunsch. Die Dauer der Prüfung variierte ebenso und lag bei einer Einzelprüfung auf Stufe I bei zehn, auf Stufe II bei fünfzehn und auf Stufe III bei zwanzig Minuten. Die Gruppenprüfungen auf Stufe I variierten zwischen zehn (NRW) und zwanzig Minuten (Bayern, Hamburg, Hessen, Thüringen), auf Stufe II zwischen fünfzehn (NRW) und dreißig Minuten (Thüringen) sowie auf Stufe III zwischen zwanzig (NRW) und vierzig Minuten (Thüringen). Aufgabenstellung Sechs der neun befragten Länder gaben an, in der Aufgabenstellung grundsätzlich drei Phasen vorzusehen. Nur Hessen hatte abhängig vom Fachgebiet zwei (GeSeite 148 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung werbe/Gastronomie) bzw. drei (Wirtschaft und Verwaltung) Phasen der mündlichen Prüfung. In sechs Bundesländern wurden in der Regel alle Phasen bewertet (Ausnahme: Brandenburg; keine Angabe: Sachsen-Anhalt und Hamburg). Bis auf Hamburg (in der Regel Rollenkarten) arbeiteten abhängig von der Stufe oder der Phase sieben Bundesländer sowohl mit geschlossenen als auch mit offenen Aufgabenstellungen (Sachsen: k. A.). Die Vorgaben waren in der Regel auf Deutsch (Hamburg: k. A.). Aspekte der Mediation kamen im Zusammenhang mit der mündlichen Prüfung auch in den Ländern Nordrhein-Westfalen, Thüringen, Bayern, Sachsen-Anhalt und Sachsen zum Ausdruck. Bewertung Deskriptoren spielten bei der Bewertung in allen befragten Bundesländern eine zentrale Rolle. Zusätzlich lagen bei den gewerblichen und gastgewerblichen Prüfungen in Hessen Musterlösungen vor. Die Prüfer hielten in allen Ländern ihre Ergebnisse schriftlich fest, wobei in Brandenburg, Berlin, Nordrhein-Westfalen, Sachsen-Anhalt, Thüringen und begrenzt auch in Bayern zusätzlich Protokolle angefertigt werden. Hinweise für die Prüfer wurden überall gegeben bis auf in SachsenAnhalt und in Thüringen. In Sachsen-Anhalt wurde darauf verzichtet, da zu diesem Thema Fortbildungen stattfanden. In Berlin wurden die Prüfungshinweise durch Videos zu PET und KET – Prüfungen2 ergänzt. Die erhobenen Daten stellten die Diskussionsgrundlage für die Workshops dar. Der Erfahrungsaustausch zur Prüfungspraxis während der ersten zwei Workshops in Bad Berka und München ergibt, dass in einigen Ländern trotz dezentral durchgeführter Prüfungen durchaus gesetzliche Regelungen (Erlasse, Rundschreiben etc.) zur Durchführung der mündlichen Prüfung vorliegen, in anderen Ländern jedoch die Organisation den prüfenden Schulen obliegt. Die anwesenden Ländervertreter erläutern die Hintergründe der unterschiedlichen Verfahren und beantworten Fragen aus dem Plenum. Auch beim dritten Workshop in Hamburg tauschen die Ländervertreter ihre in den mündlichen Prüfungen gemachten Erfahrungen aus. Parallel hierzu halten drei Schriftführer auf Metaplankarten fest, was generell zu empfehlen, was abzulehnen ist und was strittig bleibt: 2 KET (Key English Test, A2) und PET (Preliminary English Test, B1) der University of Cambridge, ESOL Examinations. Seite 149 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung Ergebnisse zur Durchführungspraxis der mündlichen Prüfung (3. Workshop in Hamburg): • Aus schulorganisatorischen Gründen individuell Zeitpunkt festzulegen • Mindestens zweiphasige Prüfung (Warming-up und Interaktionsphase) • Evtl. eine dritte Phase als Reserve (in der sich die Kandidaten z.B. zu einem Schaubild äußern) • Wenig monologische Darbietung • Umstritten: Bewertung der monologischen ersten Phase (Vorstellung der Kandidaten) • Dauer der Prüfung ist kein Qualitätskriterium • Dauer Stufe I: Zweierprüfung nicht mehr als 15 Minuten, Dreierprüfung nicht mehr als 20 Minuten • Dauer Stufe II: Zweierprüfung nicht mehr als 20 Minuten, Dreierprüfung nicht mehr als 25 Minuten • Dauer Stufe III: Zweierprüfung nicht mehr als 25 Minuten, Dreierprüfung nicht mehr als 30 Minuten • Zeitvorgaben nicht dogmatisch handhaben • Möglichst keine Einzelprüfungen • Prüfer und Beisitzer sind gleichberechtigt in der Urteilsfindung. • Möglichst Englischunterrichtende im Berufsfeld • Zusammensetzung erst kurz vor der Prüfung, unabhängig vom Leistungsvermögen, von Sympathie etc. • Keine Vorbereitungszeit, nur Einlesezeit • Keine Fachwörterbücher Prüfungsablauf Prüfungszeit Prüfungsausschuss Prüflingsgruppen Vorbereitung 2.1.2 Analyse der Aufgabenstellungen Schwerpunkte der Sitzungen sind Aspekte der Aufgabenstellung, der Bewertungsinstrumente und die Konzeption von Best-practice Beispielen. Der jeweils erste Tag der drei Workshops konzentriert sich auf die systematische Untersuchung und Weiterentwicklung der Aufgabenstellungen. 2.1.2.1 Aspekte der Aufgabenstellung in Bad Berka, Thüringen Beim ersten Workshop in Bad Berka, Thüringen, sehen alle Teilnehmer die Videoaufnahme einer mündlichen Prüfung, um so Parameter für Aufgabenstellungen zu entwickeln. In Gruppen arbeiten die Teilnehmer folgende Kriterien als wesentliche heraus: Seite 150 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung Kriterien Beispiele 1. Lenkung Aufgabenstellung, Materialien Rolle des Prüfers Vorbereitungszeit, Prüfungsdauer 2. Berufsrelevanz, Tätigkeitsbezug situativer Rahmen Authentizität Fachwortschatz 3. Umsetzbarkeit/Praktikabilität Einzel-/ Partner-/ Gruppenprüfung Aufgabenstellung (Sprache, Formulierungen) Bewertbarkeit („Bewertungsfreundlichkeit“) Übersichtlichkeit 4. Aufgabentyp/Struktur Anteil kognitiver Eigenleistung (Geschlossene/offene Aufgabe) Initiieren/Steuern interaktiver Handlungen (Anregung zum Diskurs) Struktur: Prüfungsformat, Wechsel in den Aktivitäten, 2 bzw. 3 Phasen Ausgeglichenheit der Anforderungen 5. Eignung für die Stufe Relation Quantität ↔ Zeit Vergleich mit Kompetenzbereichen der Stufen (GER) für Interaktion stufenübergreifende Aufgaben Unter Berücksichtigung der vorgeschlagenen Kriterien werden beispielhaft ausgewählte Aufgabensätze gesichtet und diskutiert, um verallgemeinernd Erkenntnisse für eine optimale Aufgabenstellung zu entwickeln. Die Auswertung der Gruppenergebnisse ergab Folgendes: Seite 151 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung Umsetzbarkeit und Praktikabilität Berufsrelevanz Lenkung • • • Empfehlungen und Gedanken zur Aufgabenstellung (1. Workshop in Bad Berka): Es besteht Diskussionsbedarf, inwieweit die Inhalte der mündlichen Interaktion in der Prüfung durch die Prüflinge formuliert werden müssen oder durch mehr oder weniger lenkende Flowcharts vorgegeben werden. Die Akzeptanz von Flowcharts auf Stufe III (B 2) ist umstritten. Die Ausgewogenheit der Redeanteile aller Prüflinge bezüglich Umfang und Schwierigkeitsgrad erweist sich als Problem. • Berufsrelevanz ist in allen bearbeiteten Aufgaben weitgehend gegeben. • Überraschend wirkt die Vielfalt der Aufgabenstruktur in den Bundesländern. Übersichtlichkeit und Umfang der Aufgabenstellung sind wichtig für die Umsetzbarkeit. Zu überprüfen ist die Rollenidentität, die den Prüflingen zugewiesen wird. Auch wenn sich in allen Bundesländern die Prüfung über mehrere Phasen erstreckt, existiert kein Konsens über die Bewertung der Vorstellungsphase (Warming-up). • • • Aufgabentyp / Struktur • • Eignung für die Stufe • • • • Die Anteile inhaltlicher, kognitiver und kommunikativer Leistungen sind zu beachten. Als Problem erweisen sich zu hohe Mediationsteile in den Flowcharts. Problematisch ist auch eine zu freie Gestaltung von Aufgaben, in denen die Prüflinge erst ein Gesprächsdesign entwickeln müssen. Die Aufgabenstruktur muss eine sinnvolle Bewertung ermöglichen, d. h. trotz fachlicher Schwerpunkte stehen in erster Linie sprachliche Aspekte im Vordergrund, die von Sprachlehrern und nicht von Fachlehrern bewertet werden. Die gesichteten Aufgaben sind zum Teil nicht stufengerecht, d. h. zu schwer oder zu einfach. Insbesondere im Vergleich zwischen den kaufmännisch-verwaltenden und den gewerblich-technischen Berufen erweist sich die Stufenrelevanz in den unterschiedlichen Berufen als schwierig. Seite 152 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung 2.1.2.2 Aspekte der Aufgabenstellung in München, Bayern Beim zweiten Workshop in München beraten die Teilnehmer über Kriterien, die für die Aufgabenstellung von Bedeutung sind, besprechen diese in Zweierteams und vergleichen ihre Ergebnisse mit denjenigen, die auf dem Workshop in Thüringen gefunden wurden. Hierzu werden Aufnahmen der Thüringer Ergebnisse zur Verfügung gestellt. Anschließend werden die gefundenen Kriterien diskutiert und an einer Metaplanwand Oberbegriffen (Lenkung, Berufsrelevanz/Tätigkeitsbezug, Umsetzbarkeit/Praktikabilität, Aufgabentyp/Struktur, Eignung für die Stufe) zugeordnet. Im weiteren Verlauf untersuchen die Teilnehmer in Gruppenarbeit vorhandene Prüfungen im Hinblick auf die gefundenen Kriterien. Hierbei möchten die Repräsentanten der Bundesländer nicht nur eine qualitative Analyse der vorhandenen Prüfungen vornehmen, sondern auch Empfehlungen formulieren, die für zukünftige Aufgabensteller hilfreich sind. Im Vorfeld des Workshops werden hierzu Prüfungen aus allen Bereichen und Stufen sowie verschiedenen Ländern gesichtet und ausgewählt. Die Gruppenarbeit orientiert sich an den in Thüringen entwickelten Kriterien Lenkung, Berufsrelevanz (Tätigkeitsbezug), Umsetzbarkeit (Praktikabilität), Aufgabentyp (Struktur) und Eignung für die Stufe. Im Anschluss an die Gruppenarbeit werden die gefundenen Ergebnisse präsentiert. In der Diskussion wird festgestellt, dass einige Empfehlungen stufenübergreifenden Charakter haben. Empfehlungen und Gedanken zur Aufgabenstellung (2. Workshop in München): Stufe I Stufe II Stufe III Lenkung • Keine Absprache der • • Berufsrelevanz • • • • • Prüflinge in der Vorbereitungszeit (keine Einsicht in die Rolle des anderen) Vorbereitungszeit muss kürzer als Prüfungszeit sein Vorbereitungszeit ist als Einlesezeit gedacht Kein reines Vorlesen von Daten (nur als integrierter Bestandteil einer Aufgabe) Angemessenheit Authentizität Lebensnähe Aufgabenlösung erfordert Fachwortschatz • Eindeutigkeit der Sprachrichtung • s. Stufe I • Höhere kreative Eigenleistung als auf Stufen I u. II • s. Stufe I • Verstärkt authenti- s. Stufe I Seite 153 sches Material (Originale, nicht didaktisiert) • s. Stufe I Umsetzbarkeit und Praktikabilität BLK-Modellversuch EU-KonZert: Prüfungsdurchführung • Übersichtlichkeit • Ausgeglichenheit der • Geschlossenes Redeanteile s. Stufe I • Kurze Einlesezeit • Einheitliche Sprachrichtung Konzept mit unabhängig voneinander lösbaren Aufgaben • s. Stufe I Eignung für die Stufe Aufgabentyp/ Struktur • Flowcharts als Regie- anweisungen (Freiräume für Sprachproduktion) • Ausgewogenheit der Redeanteile • Quantitative Begrenzung der Prüfungsunterlagen • Zielorientierte, individuelle Situationsbewältigung • Die Relation „Quantität“ zur „Zeit“ ist zu beachten • Vergleich mit Kompetenzbereichen der Stufen (GeR) für Interaktion s. Stufe I s. Stufe I • Mit Anstieg der Stufen Vorgaben senken • Offenere Aufgaben s. Stufe I s. Stufen I und II Nach Sichtung der Videoaufzeichnung einer mündlichen Prüfung diskutieren die Teilnehmer die Rahmenbedingungen von mündlichen Prüfungen. So sollte die Prüfung aus mindestens zwei Phasen bestehen, wovon eine als warming-up Phase genutzt und zur Bewertung hinzugezogen werden kann. Eine Prüfung mit zwei Prüflingen bedingt keine Verdopplung der Prüfungszeit. Auch kann abhängig von den Bedingungen an den Schulen die mündliche Prüfung vor oder nach den schriftlichen Prüfungen durchgeführt werden. Wenn den Prüflingen eine Vorbereitungszeit gegeben wird, sollte diese der Rezeption dienen. Dabei sollten die Prüflinge ihre Vorbereitungszeit zum Rollenverständnis und nicht zum Aufgabenlösen nutzen. Die Dauer einer Einlesezeit sollte nicht vorgeschrieben werden, da sie sich an der Länge der Aufgabe orientiert. Trotzdem sollte die Einlesezeit kürzer als die Prüfungszeit sein. Wörterbücher können nur in der potentiellen Vorbereitungszeit verwendet werden. Während der Prüfung dürfen die Prüflinge zum Beispiel im Rahmen eines Telefongesprächs kein Wörterbuch benutzen. 2.1.2.3 Aspekte der Aufgabenstellung in Hamburg Auf dem dritten Workshop in Hamburg werden unter der Fragestellung „Was soll eine gute Aufgabenstellung leisten?“ drei Prüfungsausschnitte präsentiert und Rollenkarten untersucht. Daraufhin sammeln vier Gruppen Ideen an vier Metaplanwänden nach der Graffiti-Methode (Gruppen wechseln nach 5 Minuten zur nächsSeite 154 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung ten Metaplanwand) und stellen sie dem Plenum zu den folgenden vier Aspekten vor: 1. 2. 3. 4. Praktikabilität Berufsrelevanz Lenkung/Gesprächsanlass Struktur/Aufgabe Die Resultate der Gruppen ergeben sich wie folgt: Lenkung/ Gesprächsanlass Je höher die Stufe, desto geringer die Lenkung Handlungsspielräume auf allen Stufen bieten Situation immer vorgeben Reserve bereithalten • • • • Aufgabe soll auf den beruflichen Erfahrungen der Prüflinge aufbauen Zwei gleichrangige „Fachleute“ können sich unterhalten. Es sollen berufstypische Situationen bewältigt werden. Authentizität muss gewahrt sein • Die Möglichkeit zu verschiedenen Gesprächsabläufen soll gegeben sein. Möglichst Realgegenstände bzw. situatives Ambiente liefern Die Prüfungslänge ist stufenangemessen. Die Aufgabenstellung soll Interaktion initiieren. Arbeitsaufwand muss ökonomisch sein. Aufgabe/Struktur Praktikabilität • • • • Berufsrelevanz Empfehlungen und Gedanken zur Aufgabenstellung (3. Workshop in Hamburg): • • • • • • • Ausgewogene Redeanteile aller Prüflinge Wenige Details Während der mündlichen Prüfung soll der Prüfling nicht mit seinen Aufzeichnungen arbeiten. 2.1.2.4 Aspekte der Aufgabenstellung im abschließenden Workshop in Bad Berka, Thüringen Ziel des abschließenden Workshops ist es, auf Bundesland übergreifender Ebene Kriterien zu formulieren, die als Orientierungspunkte zukünftig Aufgabenstellungen beeinflussen. Die teilweise unterschiedlichen Entwicklungen und Ergebnisse der vorangegangenen Workshops werden im Rahmen dieses Workshops reflektiert Seite 155 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung und zusammengeführt. Zusätzlich stimmen die Workshopteilnehmer folgende Punkte ab: • Die Sprache der Aufgabenstellung (Englisch oder Deutsch) hängt von der situativen Einbettung und Stufe ab. • In der Einlesezeit soll keine detaillierte schriftliche Ausarbeitung möglich sein, so dass als Folge die Prüflinge ihre Ergebnisse nicht ablesen. • Im Rahmen einer möglichst authentischen beruflichen Aufgabenstellung sollen den Prüflingen keine unrealistischen Rollen zugewiesen werden. Die Redeanteile sollten qualitativ und quantitativ gleichwertig sein. • Die mündlichen Prüfungen sollten auf Stufe I (A2) und Stufe II (B1) in drei, auf Stufe III (B2) mindestens in zwei Prüfungsteile gegliedert sein. Unter Berücksichtigung dieser Aspekte entwickeln die Bundesländer im Anschluss Best-practice Beispiele für die drei Berufsbereiche gewerblich-technische, gastgewerbliche und kaufmännisch verwaltende Berufe3, die in Anlage 4 wiedergegeben werden. Zusätzlich bereichert Thüringen die Gestaltung der Aufgabenstellung durch Operatorenbeispiele für die mündliche Prüfung (Anlage 5). 2.1.2.5 Überblick: Desiderata zur Standardsicherung mündlicher Prüfungspraxis Im Folgenden sind die Ergebnisse zur Aufgabenstellung als wünschenswerte, länderübergreifende Positionen dargestellt: Empfehlungen und Gedanken zur Aufgabenstellung: Allgemein gilt: • Je höher die Stufe, desto geringer die Lenkung • Handlungsspielräume auf allen Stufen bieten • Situativen Rahmen immer vorgeben • Flowcharts nur als „Regieanweisungen“ • Reserve bereithalten Lenkung/ Gesprächsablauf Für die einzelnen Stufen gilt: Stufe I: • Keine Absprache der Prüflinge in der Vorbereitungszeit (keine Einsicht in die Rolle des anderen) • Vorbereitungszeit kürzer als Prüfungszeit • Vorbereitungszeit als Einlesezeit Stufe II: • Eindeutigkeit der Sprachrichtung Stufe III: • Höhere kreative Eigenleistung als auf Stufen I und II Umstritten bleibt: • Es besteht Diskussionsbedarf, inwieweit die Inhalte der Interaktion (mündlich) in der Prüfung durch die Prüflinge formuliert werden oder durch mehr oder weniger lenkende Flowcharts vorgegeben werden sollen. Die Ausgewogenheit der Redeanteile aller Prüflinge bezüglich Umfang und Schwierigkeitsgrad erweist sich als Problem. 3 Sozialpflegerische Berufe konnten aufgrund organisatorischer Restriktionen nicht thematisiert werden. Seite 156 Berufsrelevanz BLK-Modellversuch EU-KonZert: Prüfungsdurchführung Allgemein gilt: • Berufsrelevanz ist in allen bearbeiteten Aufgaben weitgehend gegeben. • Aufgabe soll auf den beruflichen Erfahrungen der Prüflinge aufbauen. • Zwei gleichrangige „Fachleute“ können sich unterhalten. • Es sollen berufstypische Situationen bewältigt werden. • Authentizität muss gewahrt sein, d. h. der berufliche und soziale Kontext soll nicht künstlich und realitätsfern konstruiert sein (z. B. „Stellen Sie sich vor, Sie sind ein Inder!“). Für die einzelnen Stufen gilt: Stufe I: • Kein reines Vorlesen von Daten (nur als integrierter Bestandteil einer Aufgabe) • Angemessenheit • Lebensnähe • Aufgabenlösung erfordert Fachwortschatz Umsetzbarkeit und Praktikabilität Stufe III: • Verstärkt authentisches Material (Originale, nicht didaktisiert) Allgemein gilt: • Eine Vielfalt der Aufgaben ist erwünscht. • Übersichtlichkeit und Umfang der Aufgabenstellung sind wichtig für die Umsetzbarkeit. • Zu überprüfen ist die Rollenidentität, die den Prüflingen zugewiesen wird. • Die Möglichkeit zu verschiedenen Abläufen soll gegeben sein. • Möglichst Realgegenstände bzw. situatives Ambiente liefern. • Länge der Prüfung sollte stufenangemessen sein. • Die Aufgabenstellung soll Interaktion initiieren. • Arbeitsaufwand muss ökonomisch sein. Für die einzelnen Stufen gilt: Stufe I: • Übersichtlichkeit • Ausgeglichenheit der Redeanteile • Kurze Einlesezeit • Einheitliche Sprachrichtung Stufe III: • Geschlossenes Konzept mit unabhängig voneinander lösbaren Aufgaben Umstritten bleibt: • Auch wenn sich in allen Bundesländern die Prüfung über mehrere Phasen erstreckt, existiert kein Konsens über die Bewertung der Vorstellungsphase (Warming up). Seite 157 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung Aufgabentyp/ Struktur Allgemein gilt: • Die Anteile kognitiver und kommunikativer Leistungen sind zu beachten. • Die Aufgabenstruktur muss eine angemessene Bewertung ermöglichen. • Ausgewogene Redeanteile aller Prüflinge. • Wenige Details. • Während der mündlichen Prüfung soll der Prüfling nicht von seinen Aufzeichnungen ablesen. Für die einzelnen Stufen gilt: Stufe I: • Flowcharts als Regieanweisungen (Freiräume für Sprachproduktion) • Quantitative Begrenzung der Prüfungsunterlagen • Zielorientierte, individuelle Situationsbewältigung Stufe III: • Offenere Aufgaben Umstritten bleibt: • • Als Problem erweisen sich zu hohe Anteile von Mediation in den Flowcharts. Problematisch ist auch eine zu freie Gestaltung von Aufgaben, in denen die Prüflinge erst ein Gesprächsdesign entwickeln müssen. Allgemein gilt: Eignung für die Stufe • • • Die Aufgaben sind zum Teil noch nicht stufengerecht, d. h. zu schwer oder zu einfach. Bei der Aufgabenstellung muss die Stufenbeschreibung Beachtung finden. Insbesondere im Vergleich zwischen den kaufmännisch-verwaltenden und den gewerblich-technischen Berufen erweist sich die Stufenrelevanz in den unterschiedlichen Berufen als schwierig. Daraus ergibt sich Abstimmungsbedarf zwischen den Aufgabenerstellern. Mit Anstieg der Stufen soll die Zahl der Vorgaben abnehmen. Für die einzelnen Stufen gilt: Stufe I: • Beachten: Verhältnis Quantität (Aufgabenumfang) zu (Prüfungs-)Zeit. • Vergleich mit Kompetenzbereichen der Stufen (GER) für Interaktion Seite 158 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung 2.1.3 Erprobung und Weiterentwicklung der Bewertungsinstrumente Der zweite Tag der Workshops fokussiert Bewertungsinstrumente für die mündliche Prüfung, wobei im Verlauf der dritten Modellversuchsphase die Teilnehmer Deskriptoren als Evaluierungsgrundlage favorisieren. Ziel ist es, unterschiedliche Deskriptoren in Prüfungssituationen zu erproben, zu evaluieren und gegebenenfalls weiterzuentwickeln.4 2.1.3.1 Aspekte der Bewertungsinstrumente in Bad Berka, Thüringen Beim ersten Arbeitstreffen in Bad Berka sehen die Teilnehmer eine Videoaufzeichnung einer mündlichen Prüfung (Hotelbetriebswirt, Stufe III) mit drei Prüfungsteilnehmern (Teilnehmer A, B und C). Die Prüflinge werden von den Workshopteilnehmern bewertet und die Ergebnisse werden an Metaplanwänden visualisiert. Bei der Bewertung (maximal 30 Punkte) ergeben sich für die Prüflinge folgende Bandbreiten: Prüfling A B C Punktevergabe der Workshopteilnehmer 21-30 10-28 21-29 In der anschließenden Diskussion begründen die Prüfer ihre Punktevergabe. Dadurch ergibt sich die Frage nach den Kriterien für die Bewertung, die im Folgenden mittels Karten auf einer Metaplanwand zusammengetragen werden. Es kristallisiert sich heraus, dass das Zählen von Fehlern vernachlässigt und dafür die kommunikative Qualität der Interaktion mit Hilfe von Deskriptoren bewertet werden sollte. In Zweiergruppen arbeiten die Teilnehmer mit drei ausgewählten Bewertungsschemata, die maximal 30 Punkte wie folgt aufschlüsseln: 7 Punkte 7 Punkte 16 Punkte 10 Punkte 10 Punkte 10 Punkte 15 Punkte 15 Punkte 1. Hellblaue Bewertungsbögen (7:7:16) Sprachliche Richtigkeit Ausdrucksvermögen Interaktionsfähigkeit und sachliche Angemessenheit 2. Gelbe Bewertungsbögen (10:10:10) Aussprache / Grammatik Ausdrucksfähigkeit Interaktion 3. Orange Bewertungsbögen (15:15) Inhalt Aussprache/Grammatik (5 Punkte) Ausdrucksfähigkeit (5 Punkte) Interaktion / Reaktion (5 Punkte) Bewertet werden mündliche Prüfungen für Stufe I Stufe II Stufe III Verwaltungsfachangestellte IT - Berufe IT - Berufe 4 Das finale, im Laufe der Workshops entwickelte und von allen beteiligten Ländern getragene Bewertungsinstrument ist im Anhang in der Anlage 7 dargestellt. Seite 159 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung Jeder Teilnehmer beurteilt die Arbeit mit dem verwendeten Bewertungsinstrument mittels eines Einschätzungsbogens (Anlage 1). Die Ergebnisse dieser Einschätzungen werden im Plenum diskutiert. Es erweist sich als schwierig, die Prüflinge unabhängig voneinander und nicht vergleichend zu bewerten. Ein Teilnehmer stellt die Frage, wie und ob Passivität oder Dominanz eines Prüflings bewertet werden soll. Es erscheint hilfreich, wenn die Aufgabenstellung dem Prüfling deutlich macht, wie stark die Kategorie Interaktion gewichtet wird. Weiterhin zeigt sich, dass besonders bei Problem- bzw. Grenzfällen alle Bewertungskriterien defizitär sind. Der orange Bewertungsbogen eignet sich durch die paritätische Gewichtung von Inhalt und Sprache eher zur Bewertung schriftlicher Leistungen. Die Kategorie Inhalt ist nicht losgelöst von der Aufgabenerfüllung (task achievement) zu betrachten. Aufgabenerfüllung soll in diesem Kontext nicht nur an das Ergebnis („was?“), sondern auch an sprachliche Aspekte („wie?“) gekoppelt werden. Alle Deskriptoren beschreiben zwar die Bestleistung, nicht aber die Mindestleistung (passmark), die zum Bestehen der Prüfung erforderlich ist. Für die mündliche Zertifikatsprüfung wäre ein universelles Bewertungsschema wünschenswert, in welchem unabhängig von extrovertiertem Verhalten sprachliche Leistungen zu zwei Dritteln und interaktive zu einem Drittel gewichtet werden sollten. Der Erwartungshorizont sollte durch die Prüfer vorher festgelegt werden, so dass die Bewertung nicht durch extrem extrovertiertes Auftreten der Prüflinge beeinflusst wird. Auch die Fachliteratur diskutiert den Begriff Interaktion. Neben der Frage deren Gewichtung in einem Gesamturteil wirft der Terminus folgende Probleme auf: 1. Interaktion kann mündlich und schriftlich geleistet werden (GER S. 78/79, KMK-Rahmenvereinbarung vom 26.04.2002). 2. Der Begriff Interaktion ist eine generelle Bezeichnung für die mündliche Prüfung und gleichzeitig eine Bewertungskategorie im Rahmen der mündlichen Prüfung. 3. Offen bleibt die Frage nach Rezeptions- und Mediationselementen in der Interaktion. 2.1.3.2 Aspekte der Bewertungsinstrumente in München, Bayern Schwerpunkt des zweiten Tages in München stellt die Bewertung von mündlichen Prüfungen mit Hilfe von Videoaufzeichnungen dar. Vorbereitend wurde eine Reihe von Videoaufnahmen gesichtet und auf Qualität (Bild/Ton) und Eignung geprüft. Bei der Auswahl wurde berücksichtigt, dass die Prüfungen möglichst aus unterschiedlichen Stufen, Bereichen und Bundesländern stammen. Als Arbeitsgrundlage für den Workshop wurden folgende Prüfungen verwendet: Stufe I Stufe II Stufe III Kaufmännisch - verwaltend Kaufmännisch - verwaltend IT - Berufe Für die praktische Workshoparbeit wurden zum einen zwei Verfahren ausgewählt, die derzeit Grundlage für die Bewertung in einigen am Modellversuch beteiligten Bundesländern sind (Schema „blau“ und „rot“). Zum anderen wurde ein von der Landesgruppe Hamburg neu entwickeltes Bewertungsschema (Schema „grün“) hinzugezogen. Hierbei wurde versucht, Schwerpunkte zu setzen und lediglich die Bestleistung sowie die Bestehensgrenze auf den drei Stufen der ZertifikatsprüfunSeite 160 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung gen mit Hilfe von Leistungsbeschreibungen zu definieren. In der anschließenden Gruppenarbeitsphase bewerten die Workshopteilnehmer in wechselnden Zweierteams mündliche Prüfungen anhand von Videoaufzeichnungen und auf Grundlage verschiedener Bewertungsverfahren. Die Gruppenarbeit verläuft nach folgendem Schema: Bewertungsschema: Bewertungsschema: Bewertungsschema: Blau Rot Grün ê ê ê Personengruppe C Personengruppe A Personengruppe B Stufe I Stufe II Stufe III 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 Personengruppe C Personengruppe A Personengruppe B 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 Personengruppe B Personengruppe C Personengruppe A 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 3 Parallelgruppen zu je 2 Personen 2 2 2 Ziel ist es, sowohl mündliche Prüfungen verschiedener Berufsfelder und Stufen zu bewerten und die erzielten Ergebnisse zu diskutieren als auch verschiedene Bewertungsverfahren in der praktischen Arbeit zu erproben sowie auf deren Zuverlässigkeit, Durchschaubarkeit und im Hinblick auf den Zeitaufwand bei der Korrektur zu überprüfen. Neben der Bewertung der Prüflingsleistungen nehmen die Teilnehmer daher auch eine persönliche Beurteilung der Bewertungsverfahren vor. Diese Beurteilung erfolgt durch Eintrag in ein Raster (siehe Einschätzungsbogen, Anlage 1) im Anschluss an die Punktevergabe. Nach Abgabe der Bewertung auf einer Stufe werden die Ergebnisse auf einer Metaplanwand präsentiert, die Extremwerte begründet und im Plenum diskutiert. Als Grundlage für die abschließende Diskussion zum Thema Bewertung wird die Auswertung der Einschätzungsbögen in Balkendiagrammen dargestellt und präsentiert (siehe Anlage 2). Es ist festzustellen, dass die Arbeit mit den Bewertungsschemata blau und grün hinsichtlich Zeitaufwand, Durchschaubarkeit und Eindeutigkeit als annähernd gleich gut beurteilt wird. Die Arbeit mit dem Schema rot wird zwar als wenig zeitintensiv empfunden, insbesondere im Hinblick auf die Zuverlässigkeit der Bewertung jedoch als problematischer eingeschätzt. Die Workshopteilnehmer erachten Deskriptoren generell als zuverlässiges, klar verständliches und leicht handhabbares Instrument für die Bewertung von mündlichen Prüfungen, wobei eine nicht allzu detaillierte Ausführung von Deskriptoren bevorzugt wird. Prüfern sollte die Gelegenheit gegeben werden, den Umgang mit diesem Bewertungsverfahren zu üben. Im Hinblick auf die im Workshop verwendeten Schemata wurde angeregt, dass die Arbeitskreise neben der Bestleistung Deskriptoren formulieren, die die Schülerleistung direkt oberhalb der Bestehensgrenze beschreiben. Durch die Veränderung Seite 161 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung des Layouts kann unter praktischen Aspekten die Bewertung noch vereinfacht werden. Während in einigen Bundesländern lediglich eine Unterscheidung zwischen „bestanden“ und „nicht bestanden“ vorgenommen wird, soll bei den Zertifikatsprüfungen generell die differenzierte Bepunktung der Prüfungsleistung beibehalten werden, um internationale Vergleichbarkeit zu gewährleisten. Auf Grund abweichender organisatorischer Bedingungen in den Ländern und der daraus resultierenden unterschiedlichen Durchführungsweise der Prüfungen wäre die Koexistenz mehrerer Bewertungsverfahren denkbar. Dies soll im Rahmen des folgenden Workshops in Hamburg weiter diskutiert werden. 2.1.3.3 Aspekte der Bewertungsinstrumente in Hamburg Beim dritten Workshop in Hamburg haben die Teilnehmer am zweiten Arbeitstag mit den folgenden Bewertungsinstrumenten gearbeitet: „Bayrisch blau / neu“ (Anlage 3a) Hier handelt es sich um eine Weiterentwicklung des bereits in München erprobten dreigliedrigen Bewertungsschemas. An diesem war kritisiert worden, dass Inhalte der 3. Kategorie („Interaktion“) in den ersten beiden Kategorien vorhanden waren. Dieses führte zu Missverständnissen, und die Teilnehmer einigten sich auf eine Überarbeitung. „Hamburg grün / neu“ (siehe Anlage 3b) Hier handelt es sich um eine Weiterentwicklung des bereits in München erprobten zweispaltigen Schemas. Aufgrund der in München festgestellten Redundanzen zwischen den beiden Spalten war angeregt worden, das Schema einspaltig anzulegen. Außerdem sollte die passmark so umformuliert werden, dass die Leistung beschrieben wird, die erbracht werden muss, um die Prüfung gerade noch zu bestehen. „Hamburg lachs“ (siehe Anlage 1c) Dieses Bewertungsschema entstand in Analogie zu den Deskriptoren für schriftliche produktive Leistungen. Es ist daher zweispaltig und umfasst sechs Zeilen bzw. Bänder in Anlehnung an die Notenskala. Nach einer Einlesezeit für die Deskriptorenvarianten und die Rollenkarten wird ein Videoausschnitt der Interaktionsprüfung auf Stufe I im Plenum angesehen. Zunächst trifft jeder individuell seine Bewertung, die dann mit dem Teamkollegen diskutiert wird. Danach wird ein gemeinsames Ergebnis gefunden, das in die Tabelle auf der Metaplanwand eingetragen wird. Die Teams mit den höchsten und niedrigsten Extremwerten begründen ihre Ergebnisse unter Einbezug des jeweilig angewendeten Bewertungsinstrumentes. Hier zeigt sich, dass die Kollegen mit den Abweichungen nach oben lobend die Interaktion erwähnen und die hohe Punktzahl auch als Ermunterung sehen, die Prüfung auf der nächst höheren Stufe abzulegen. Das niedrigste Ergebnis kam durch Schwerpunktsetzung bei den sprachlichen Fehlern zustande. Anschließend wird eine Beurteilung des jeweils genutzten Bewertungsschemas vorgenommen. Mit den Videos der Prüfungsausschnitte auf den Stufen II und III wird ebenso verfahren. Bei der Diskussion der Prüfung auf Stufe II wird Kritik an der Aufgabenstellung geübt, da die beiden Aufgabenteile sich zu sehr ähneln: Wenn der Prüfling den ersten Aufgabenteil nicht bewältigen kann, wird er auch am zweiten scheitern. Seite 162 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung Aus Zeitgründen wird auf die sofortige grafische Präsentation der Ergebnisse verzichtet (sind als Balkendiagramme in Anlage 3 aber beigefügt). Es erfolgt hier lediglich die Bekanntgabe der Erhebung „hilfreich“ oder „nicht hilfreich“. Für das „blaue“ Bewertungsschema stimmen 15 Teilnehmer mit „ja“ und 2 mit „nein“. Kritisiert wird hier, dass bei diesem Schema das Gewicht zu sehr auf den Aspekt der Sprache und zu wenig auf den des Inhalts gelegt wird. Viele Teilnehmer wünschen sich, dass der Grad der Aufgabenbewältigung stärker in die Bewertung einbezogen wird. Geeignet erscheint dieses Bewertungsinstrument für stark gelenkte Aufgaben. Es wird weiterhin diskutiert, ob Grammatik und Aussprache in einer Kategorie zusammengefasst werden sollten (eventuell unter dem Begriff „Sprachrichtigkeit“). Einige Kollegen äußern den Wunsch, dass im beruflichen Kontext task achievement, Auftragserfüllung bzw. Situationsbewältigung die passmark definieren sollten. Für das „grüne“ Bewertungsschema stimmen 7 Teilnehmer mit „ja“ und 9 mit „nein“. Bemerkenswert ist, dass dieses Schema den Bewertern offensichtlich mehr Probleme bereitet, obwohl die in München festgestellten Redundanzen beseitigt worden sind. Der „holistische Einspalter“ irritiert einige durch die Komplexität der Formulierungen, so dass die Teilnehmer eine wachsende Präferenz für Zweispalter feststellen. Das „lachsfarbene“ Bewertungsschema wird 14x als hilfreich und einmal als nicht hilfreich angesehen. Die Diskussion über dieses Schema konzentriert sich auf die Aufgabenbewältigung, also auf die inhaltliche Komponente der erbrachten Leistung. Es scheint eher geeignet für solche Prüfungen, bei denen die Prüflinge den Inhalt bestimmen, also für weniger gelenkte Aufgabenstellungen. Wünschenswert ist ein praktisches, klares Bewertungsschema, das die Aspekte Interaktion, Sprachrichtigkeit und Aufgabenbewältigung berücksichtigt. Daraus entsteht die Idee, das „blaue“ Schema durch Zusammenlegung der beiden oberen Zeilen zu einem neuen Zweispalter zu entwickeln, der die interaktive Komponente beinhaltet. Im kommenden abschließenden Workshop in Bad Berka sollen der „lachsfarbene“ und der überarbeitete „blaue“ Vorschlag erprobt werden. Es wird nochmals darauf hingewiesen, dass es hier um die Einschätzung der Bewertungsinstrumente geht und nicht um die in der Diskussion immer wieder aufkommende Debatte über die Aufgabenstellungen oder die von den Prüflingen gezeigten Leistungen. 2.1.3.4 Aspekte der Bewertungsinstrumente im abschließenden Workshop in Bad Berka, Thüringen Beim abschließenden Workshop thematisiert der Moderator die unterschiedlichen Entwicklungslinien bei der Erarbeitung eines standardisierten Bewertungsverfahrens für den mündlichen Teil der KMK-Fremdsprachenzertifikatsprüfung. Diskussionsgrundlage sind die folgenden drei Deskriptorensätze: „Bayerisch blau/überarbeitet“ Hier handelt es sich um eine Weiterentwicklung der bereits in München und Hamburg erprobten Deskriptoren. Sie beschreiben die Bestleistung und die passmark in zwei Spalten. „Hamburg lachs“ Hier handelt es sich um den in Hamburg getesteten Deskriptorensatz. Dieses Bewertungsschema entstand in Analogie zu den Deskriptoren für schriftliche produkSeite 163 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung tive Leistungen. Es ist daher zweispaltig und umfasst sechs Bänder in Anlehnung an die Notenskala. „Thüringen grün“ Diese Deskriptoren entstanden auf der Grundlage der Hamburger Vorlage und weisen ebenso zwei Spalten und sechs Bänder auf. Sie unterscheiden sich durch die Bezeichnung der linken Spalte als „Bewältigung der berufsrelevanten Gesprächssituation“ und einige Konkretisierungen in der rechten Spalte. Beim Testen der drei überarbeiteten Deskriptorensätze wird deutlich, dass sich bei allen Varianten Abweichungen von bis zu sechs Punkten ergeben. Die Teilnehmer kritisieren am bayerischen blauen Deskriptorensatz, dass zwischen der Bestleistung und der Bestehensgrenze keine weiteren Zwischenbeschreibungen existieren und so eine exakte Bewertung erschwert wird. Problematisch wirkt beim Hamburger und Thüringer Modell, dass zwischen den einzelnen Spalten keine eindeutigen und differenzierten Abstufungen möglich sind und auch die Stufengrenzen nicht deutlich und trennscharf genug erscheinen. Trotz dieser Unterschiede einigen sich alle Ländervertreter auf die Leistungsbeschreibung in zwei Spalten, nämlich Sprachrichtigkeit und Situationsbewältigung. Ungeklärt bleibt bei den teilnehmenden Ländern die Frage, ob ein oder mehrere Deskriptorensätze als Empfehlungen für diese Handreichung mit aufgenommen werden soll. In letzterem Fall könnte man empirisch herausfinden, welche der drei Möglichkeiten langfristig optimalen Charakter entwickeln kann. Wenn das Plenum sich auf einen Deskriptorensatz einigt, dann bleibt der Abstimmungsmodus umstritten: Soll das Instrument ausgewählt werden, das bei der Auswertung der Einschätzungsbögen als am hilfreichsten erscheint (Ergebnisse: Anlage 4) oder soll per Handabstimmung eine Entscheidung getroffen werden? Das Plenum beschließt, die Frage von der Lenkungsgruppe entscheiden zu lassen. Das Ergebnis ist im Anhang dargestellt und beleuchtet den intensiven konzeptionellen Lösungsprozess. 2.1.4 Entwicklung von Best-practice Beispielen Der dritte und letzte Tag der drei Workshops konzentriert sich auf die Entwicklung von Best-practice Beispielen. Beim Workshop in Bad Berka und München einigen sich die Anwesenden darauf, dass mit Anstieg der Stufe die Zahl der Vorgaben in der Aufgabenstellung gesenkt wird. Die Aufgabensteller schaffen Diskussionsanlässe für die Prüflinge, wobei auf eine Namensgebung im Rahmen der Rollenzuweisung verzichtet wird. In drei Gruppen erstellen die anwesenden Kollegen Best-practice Aufgaben (Anlage 5) zu den Berufsbereichen gewerblich-technische Berufe und kaufmännischverwaltende Berufe sowie zum Bereich Gastgewerbe/Gesundheit/Ernährung. Zu den gewerblich-technischen und kaufmännisch-verwaltenden Berufen: Alle erarbeiteten Vorschläge5 sind auf allen drei Stufen denkbar, wobei auf die Komplexität der Stufen zu achten ist. Je niedriger das Niveau, desto mehr Vorgaben sind notwendig. Die Aufgabenideen sind für diverse Berufe anwendbar. Günstig sind Situationen, bei denen zwei ähnlich gut informierte Gesprächspartner (z. B. Kollegen) interagieren. 5 Themenfelder kaufmännisch-verwaltende Berufe: Arbeitsplatzgestaltung/Büroausstattung und Einrichtung bzw. Firmenjubiläum. Themenfeld gewerblich-technische Berufe: Diskussion in der Forschung und Entwicklung. Seite 164 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung Als innovative Anregung erwägt die Arbeitgruppe, dass auch zwei gleichberechtigte Fachleute aus verschiedenen Berufsbereichen miteinander kommunizieren könnten. So wäre es beispielsweise denkbar, dass ein Autoverkäufer und ein Tischler über die Anschaffung eines neuen Firmenfahrzeugs sprechen. Zum Berufsfeld Gastgewerbe/Gesundheit/Ernährung: Die Sprache der Aufgabenstellung wird diskutiert: Während eine deutsche situative Einbettung präzise die Arbeitsanweisung klärt, hat eine englische den Vorteil, dass die Prüflinge auf die Situation eingestimmt und gegebenenfalls mit Vokabeln entlastet werden. Schließlich wird die Kompatibilität aller vorgestellten Ideen und Entwürfe festgestellt. Zusammen mit den entwickelten Desiderata für mündliche Prüfungen wird so eine Basis geschaffen, auf die sowohl die am Prüfungsgeschehen beteiligten Lehrkräfte als auch bildungspolitisch Verantwortliche bezüglich Organisation und Gestaltung zukünftiger KMK-Fremdsprachenzertifikatsprüfungen zurückgreifen können. Die hier vorliegende prozessorientierte Betrachtung der Workshops mit ihren Ergebnissen zur Aufgabenstellung und Bewertung der mündlichen Prüfung kann jedoch nur eine offene und möglicherweise vorläufige Plattform darstellen und möchte in dieser Form bewusst eine Weiterentwicklung initiieren. Seite 165 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) 2.2 Anhang Anlage 1: Bewertungsinstrumente Auswertung Interaktion Prüfung 1, Stufe I Bewertungsschema: blau grün lachs Vergebene Punkte (TEAMPUNKTZAHL!): Kandidat links: Kandidat rechts: 1. Die Bewertung erfolgte... sehr schnell schnell langsam zu langsam 2. Die Punktabweichung der individuellen Bewertungen betrug vor der Einigung... 0-1 Punkte 2-3 Punkte 4-5 Punkte > 5 Punkte 3. Die Deskriptoren beschreiben die erwarteten Leistungen... treffend beinahe treffend kaum treffend fehlleitend 4. Das Bewertungsinstrument war hilfreich: ja Prüfung 2, Stufe II nein Bewertungsschema: blau grün lachs Vergebene Punkte (TEAMPUNKTZAHL!): Kandidat links: Kandidat rechts: 1. Die Bewertung erfolgte... sehr schnell schnell langsam zu langsam 2. Die Punktabweichung der individuellen Bewertungen betrug vor der Einigung... 0-1 Punkte 2-3 Punkte 4-5 Punkte > 5 Punkte 3. Die Deskriptoren beschreiben die erwarteten Leistungen... treffend beinahe treffend kaum treffend fehlleitend 4. Das Bewertungsinstrument war hilfreich: ja Prüfung 3, Stufe III nein Bewertungsschema: blau grün lachs Vergebene Punkte (TEAMPUNKTZAHL!): Kandidat links: Kandidat rechts: 1. Die Bewertung erfolgte... sehr schnell schnell langsam zu langsam 2. Die Punktabweichung der individuellen Bewertungen betrug vor der Einigung... 0-1 Punkte 2-3 Punkte 4-5 Punkte > 5 Punkte 3. Die Deskriptoren beschreiben die erwarteten Leistungen... treffend beinahe treffend kaum treffend fehlleitend 4. Das Bewertungsinstrument war hilfreich: ja Seite 166 nein BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Anlage 2: Auswertung Bewertungsinstrumente Interaktion (München) Auswertung Interaktion Durchschnitte 5,00 4,50 4,00 3,50 Zeitaufwand Bewertungsschema Bewertung 3,00 2,50 2,00 1,50 1,00 blau rot grün Anlage 3: Auswertung Bewertungsinstrumente Interaktion (Hamburg) Stimmen der Teilnehmer War das Bewertungsinstrument hilfreich? 16 14 12 10 8 6 4 2 0 ja nein blau ja nein grün Beurteilungsbogen Seite 167 ja nein lachs BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Anlage 4: Auswertung Bewertungsinstrumente Interaktion (Bad Berka, Abschlussworkshop) 1. Die drei Deskriptoren wurden im Durchschnitt folgendermaßen bewertet: (dabei gilt: je niedriger der Wert, desto positiver die Einschätzung) Durchschnittsbenotung der Deskriptoren 3,0 2,5 2,0 Zeitaufwand 3 , 0 2 , 5 2 , 0 1 , 5 1 , 0 1,5 Übereinstimmung 0 , 5 0 , 0 Treffsicherheit 1,0 0,5 0,0 Blau Grün Lachs Stimmen der Teilnehmer War das Bewertungsinstrument hilfreich? 25 20 15 10 5 0 ja nein blau ja nein grün Beurteilungsbogen Seite 168 ja nein lachs BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Anlage 5: Best-practice Beispiele Best-practice Beispiele aus Hamburg (3. Workshop) Kaufm.-verwaltende Berufe Best-practice KMK Stufe I (A2) Situation Sie arbeiten für ein mittelständisches Unternehmen, das sich auf ITDienstleistungen spezialisiert hat. Da die geschäftliche Situation äußerst positiv ist, hat die Geschäftsleitung beschlossen, in ein neues und modernes Bürogebäude umzuziehen. Arbeitauftrag Ihr Vorgesetzter hat Sie und Ihre Kollegin/Ihren Kollegen aus England beauftragt, die Planung und Einrichtung für eine Etage zu übernehmen. Richten Sie anhand des vorliegenden Prospektes die Büros ein. Nutzen Sie den untenstehenden Grundriss der Etage. Führen Sie ein möglichst freies Gespräch auf Englisch. Seite 169 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Kaufm.-verwaltende Berufe Best-practice KMK Stufe II (B1) Situation Sie arbeiten für ein mittelständisches Unternehmen, das sich auf ITDienstleistungen spezialisiert hat. Da die geschäftliche Situation äußerst positiv ist, hat die Geschäftsleitung beschlossen, in ein neues und modernes Bürogebäude umzuziehen. Arbeitauftrag Ihr Vorgesetzter hat Sie und Ihre Kollegin/Ihren Kollegen aus England beauftragt, die Planung und Einrichtung für eine Etage zu übernehmen. Die bestmögliche Ausstattung der Büros kostet circa 240.000,00 €. Ihr Vorgesetzter hat Ihnen aber nur ein Budget von 120.000,00 € zur Verfügung gestellt. Begründen Sie immer Ihre Entscheidungen und sprechen Sie Englisch. Seite 170 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Kaufm.-verwaltende Berufe Best-practice KMK Stufe III (B2) Situation Sie arbeiten für ein mittelständisches Unternehmen, das sich auf ITDienstleistungen spezialisiert hat. Da die geschäftliche Situation äußerst positiv ist, hat die Geschäftsleitung beschlossen, in ein neues und modernes Bürogebäude umzuziehen. Ihr Vorgesetzter hat Sie und Ihre Kollegin/ Ihren Kollegen aus England beauftragt, die Planung und Einrichtung für eine Etage zu übernehmen. Begründen Sie immer Ihre Entscheidungen und sprechen Sie Englisch. Ihr Gespräch kann folgende Punkte enthalten: ð Die bestmögliche Ausstattung der Büros kostet circa 240.000,00 €. Ihr Vorgesetzter hat Ihnen aber nur ein Budget von 120.000,00 € zur Verfügung gestellt. ð Innerhalb von zwei Wochen sollte das Büro komplett eingerichtet sein, damit mit dem Tagesgeschäft begonnen werden kann. ð An einem Tag in der Woche sind Sie in ein wichtiges Projekt eingebunden. ð Die Liefertermine für die Einrichtungsgegenstände sind unterschiedlich lang. ð Beachten Sie bei der Einrichtung des Büros das Organigramm des Unternehmens. Beverly Kline Human Resources Steven Hobday HR 1 Marc Paolella HR 2 Sally Grenzow HR 2.1 David Hughes HR 2 Mike Peters HR 2.2 Seite 171 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Gewerblich-technische Berufe Best-practice KMK Stufe I (A2) Situation ð You work for the R&D department of Telefonino Unlimited. ð Discuss with your team partner pros and cons of all-in-one devices versus separate units (mobile phone, digital camera, MP3 player). ð Prepare a solution for the CEO, which of the devices should be launched and why. Please look at the … ð price ð service Gewerblich-technische Berufe Best-practice KMK Stufe II (B1) Situation ð You work for the R&D department of Telefonino Unlimited. ð Discuss with your team partner pros and cons of all-in-one devices versus separate units (mobile phone, digital camera, MP3 player). ð Prepare a solution for the CEO, which of the devices should be launched and why. Please look at the … ð functions ð quality ð design Seite 172 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Gewerblich-technische Berufe Best-practice KMK Stufe III (B2) Situation ð You work for the R&D department of Telefonino Unlimited. ð Discuss with your team partner pros and cons of all-in-one devices versus separate units (mobile phone, digital camera, MP3 player). ð Prepare a solution for the CEO, which of the devices should be launched and why. Best-practice Beispiele aus Bad Berka (4. Workshop) Gastgewerbliche Berufe Best-practice KMK Stufe I (A2) Candidates A and B 1. Briefly introduce yourself and talk about what you like best / hate most in your job. 2. Interaction: Situation: The hotel manager has developed a new event which will be a midnight meal. The motto is ‘Saturday Night Fever’. Task: Develop ideas for: - food - drinks - decoration (room, flowers, table arrangements etc.) - music - invitation cards / advertising Write your ideas down and discuss them. Tick athe ideas you agree on and tell us why you like these ideas best. Good Luck! Seite 173 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Gastgewerbliche Berufe Best-practice KMK Stufe I (A2) Candidates A and B 1. Briefly introduce yourself and - talk about your colleagues (age, position etc.) - describe the most terrible guest you’ve served so far. 2. Interaction: Situation: The hotel manager wants the staff to develop new ideas to especially attract families with small children. Task: Develop ideas for: - table sets - drawing materials/drawing competitions - music or dance competitions - theatre - sports Write your ideas down and discuss them. Tick athe ideas you agreed on and tell us why you liked these ideas best. Good Luck! Gastgewerbliche Berufe Best-practice KMK Stufe II (B1) Candidates A and B 1. Briefly introduce yourself and - describe your company structure - describe the most challenging guest you’ve served so far. 2. Interaction: Situation: The hotel manager has developed a new event which will be a midnight meal. The motto is ‘World Championship’. Task: Develop ideas for this event. Write your ideas down and discuss them. Find and agree on a solution. Good Luck! Seite 174 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Gastgewerbliche Berufe Best-practice KMK Stufe III (B2) Candidates A and B 1. Briefly introduce yourself and - tell us about the strangest/ funniest situation you had to deal with in your job so far. - tell us how you deal with complaints. 2. Interaction: Situation: The hotel manager wants to offer a new event each month which should be related to regional current affairs. Task: Develop ideas for a motto of this event for one of the following months and agree on this motto. Discuss how you organise this event. Find and agree on a solution. You may use your calendar to structure your ideas. Good Luck! Gastgewerbliche Berufe Best-practice KMK Stufe II / III (B1/2) 1. Vorstellung Stellen Sie sich, Ihre Ausbildung und die entsprechenden Tätigkeitsbereiche kurz vor. 2. Familien als Zielgruppe fürs Hotel/Restaurant Diskutieren Sie mit Ihrem/Ihren Kollegen, wie Hotels/Restaurants sich besser auf Familien mit Kindern einstellen können. Stellen Sie zunächst dar, welche Anstrengungen bereits unternommen werden, um Ihre Häuser für die genannte Zielgruppe attraktiver zu gestalten, und tauschen Sie Ihre beruflichen Erfahrungen aus. Entwickeln Sie dann zusammen weitere Ideen, die Sie Ihrem jeweiligen Management vorlegen könnten. Seite 175 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Gewerblich-technische Berufe Best-practice KMK Stufe II (B1) Kandidat A: Sie sind Verkäufer in einem Computerfachgeschäft. Sie bedienen einen Kunden. Kandidat B: Sie sind ein Englisch sprechender Mitarbeiter bei der Firma Intershop. Von Ihrem Abteilungsleiter werden Sie beauftragt, Computer für die Firma einzukaufen. Übersichtsbogen für die Prüfer Kandidat B Kandidat A Begrüßung, Bitte um Hilfe Antwort auf Begrüßung Besuchsgrund ausdrücken mit Hinweis auf konkrete Probleme des gegenwärtigen Computersystems Zeigen der in Frage kommenden Modelle (ggf. mit Bezug auf Marktprospekte / Datenblätter / Katalogauszüge) Rückfrage nach Details Antwort (ggf. mit Bezug auf Marktprospekte / Datenblätter / Katalogauszüge) Detailfrage nach einem speziellen Kriterium Antwort darauf (ggf. mit Bezug auf Marktprospekte / Datenblätter / Katalogauszüge) Frage nach Finanzierung und Lieferung Zeigen Sie Möglichkeiten auf Hinweis auf Rücksprache mit Vorgesetzten Zeigen Sie Verständnis Verabschiedung mit Hinweis, in Verbindung zu bleiben Reaktion darauf Seite 176 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Material für die mündliche Prüfung, Teil II Kandidat A Sie sind Verkäufer in einem Computerfachgeschäft. Sie bedienen einen Kunden. Kandidat A Kandidat B B beginnt das Gespräch Antwort auf Begrüßung B Zeigen der in Frage kommenden Modelle (ggf. mit Bezug auf Marktprospekte / Datenblätter / Katalogauszüge) B Antwort (ggf. mit Bezug auf Marktprospekte / Datenblätter / Katalogauszüge) B Antwort darauf (ggf. mit Bezug auf Marktprospekte / Datenblätter / Katalogauszüge) B Zeigen Sie Möglichkeiten auf B Zeigen Sie Verständnis B Reaktion darauf Seite 177 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Material für die mündliche Prüfung, Teil II Kandidat B Sie sind ein Englisch sprechender Mitarbeiter bei der Firma Intershop. Von Ihrem Abteilungsleiter werden Sie beauftragt, Computer für die Firma einzukaufen. Kandidat A Kandidat B Begrüßung, Bitte um Hilfe A Besuchsgrund ausdrücken mit Hinweis auf konkrete Probleme des gegenwärtigen Computersystems A Rückfrage nach Details A Detailfrage nach einem speziellen Kriterium A Frage nach Finanzierung und Lieferung A Hinweis auf Rücksprache mit Vorgesetzten A Verabschiedung mit Hinweis in Verbindung zu bleiben A Seite 178 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Kaufm.-verwaltende Berufe Best-practice KMK Stufe II (B1) Sie sind beauftragt, gemeinsam mit einem englischsprachigen Kollegen ein Kundeninformationsbüro einzurichten. Informieren Sie Ihren Kollegen über: • • • Lage (Erdgeschoss, Eingangsbereich, etc.) Größe (80 qm, Fensterfront zur Straße, etc.) Funktion des Raumes (Kundenbetreuung) Diskutieren Sie die Ausstattung/Einrichtung des Büros. Für Sie ist besonders die kundenfreundliche Atmosphäre wichtig, wie zum Beispiel: • • • Sitzgruppe Pflanzen Platz für Informationsmaterialien Einigen Sie sich angesichts des knappen Budgets auf die wichtigsten Anschaffungen. Sie sind beauftragt, gemeinsam mit einem englischsprachigen Kollegen ein Kundeninformationsbüro einzurichten. Informieren Sie Ihren Kollegen über: • • • das Budget (20.000,00 €) Fertigstellung des Büros: Ende des Jahres Technische Ausstattung von drei Arbeitsplätzen Diskutieren Sie die Ausstattung/Einrichtung des Büros. Die technische Ausstattung sollte Ihrer Meinung nach optimal sein: • • • IT Ausstattung Farb-Laser-Kopierer Touch-Screen für Kundeninformation Einigen Sie sich angesichts des knappen Budgets auf die wichtigsten Anschaffungen. Seite 179 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Kaufm.- verwaltende Berufe Best-practice KMK Stufe I-III (A2-B2) Aufgabenblatt für beide Prüflinge Situation: Sie machen ein Praktikum in dem international tätigen Unternehmen „SportsUnlimited.com“. Auf der Messe „World of Sports“ in London präsentiert Ihre Firma Sportartikel. Ihre Aufgabe: Im Moment sind noch alle mit einem „X“ gekennzeichneten Standflächen in der Halle C verfügbar. Diskutieren Sie, welche Stellfläche für Ihr Unternehmen in Frage kommen soll. Konzentrieren Sie sich zunächst auf Lage, Größe und Preis*. (*X1 = am preiswertesten, X2 = mittlere Preiskategorie, X3 = teuer.) Ihr Mitbewerber („Sport3000“) hat bereits den gekennzeichneten Stand gebucht. Exhibition Hall C X1 X3 X2 Sport3000 3 X InEOut Cafeteria WC Beziehen Sie auch folgende Aspekte in Ihre Entscheidung mit ein: § Ausstattung § Farbgestaltung § Beleuchtung § Medieneinsatz am Stand § Bereitstellung von Erfrischungen Seite 180 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Weitere Best-practice Beispiele Gastgewerbliche Berufe Best-practice KMK Stufe II / III (B1 / B2) Hotelfachleute (ab Stufe II möglich) Anzeige (worst case scenario bezüglich Layout und Formulierungen) Task: Comment on the ad and develop ideas to improve it. These aspects might help you: Ø Layout Ø Photos Ø corporate identity (evtl. Zusatzhilfe: Prospekt des entsprechenden Hotels) Gastgewerbliche Berufe Best-practice KMK Stufe I-III (A2-B2) Restaurantfachleute / Hotelkaufleute (für alle Stufen möglich) You and your colleague have developed a new function / event in your restaurant which will be a midnight meal. The events could be held with different mottos, e.g. A Midsummer Night’s Dream, A Summer Night in Paris, Saturday Night Fever. Develop ideas for e.g: Ø food offered Ø drinks offered Ø decoration Ø advertising Seite 181 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Gastgewerbliche Berufe Best-practice KMK Stufe III (B2) Systemgastronomie You want to start a sales promotion for one item that hasn’t been sold too well lately. Discuss your ideas with your partner. Kaufm.-verwaltende Berufe Best-practice KMK Stufe II (B1) Situation Messe Sie arbeiten in einem internationalen Unternehmen, in dem die Geschäftssprache Englisch ist. Im Herbst dieses Jahres findet in London eine Messe statt, bei der Ihre Firma ihre Produkte (Fußbälle) präsentieren wird. Sie und Ihre Kollegin/ Ihr Kollege sollen Ideen sammeln, wie der Messestand gestaltet werden kann. Folgende Aspekte können Sie in Ihr Gespräch einbeziehen: - Größe, Lage Ausstattung Farbgestaltung Form Beleuchtung Sound Catering etc. Seite 182 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Gewerblich-technische Berufe Best-practice KMK Stufe III (B2) With regard to the demographic development in our country your task is to develop a mobile phone for the elderly. Discuss with your team partner(s) which technical specifications this mobile phone should have. Kaufm.- verwaltende Berufe Best-practice KMK Stufe II (B1) Kandidat A Sie arbeiten an dem neuen Projekt „Die gläserne Verwaltung“ mit und sollen gemeinsam mit einem englisch sprechenden Kollegen Vorschläge zur Ausstattung des neu einzurichtenden Informationsbüros erarbeiten. Sie haben dafür ein Budget von € 2000 zur Verfügung. Zunächst informieren Sie ihren/ihre Kollegen/in über die Lage (Erdgeschoss, Eingangsbereich des neuen Gebäudes) und die Größe (ca. 80 qm, 2 Fenster). Sie diskutieren mit ihrem/ihrer Kollegin, was Sie dringend für die Einrichtung des Büros benötigen und bereiten eine entsprechende Liste vor. Beurteilen Sie die Vorschläge Ihres Partners und ergänzen Sie weitere 3 Vorschläge für Einrichtungsgegenstände (z. B. 2 Regale ...) und weitere 5 Vorschläge für Büromaterial (z. B. 4 Kugelschreiber...). Erklären Sie, wie Sie das Büro einrichten wollen und wo sich was befinden soll. Achten Sie darauf, dass das ca. 80 qm große Büro besucherfreundlich eingerichtet werden sollte. Kandidat B Sie arbeiten an einem neuen Projekt „Die gläserne Verwaltung“ mit und machen sich mit einem/r englisch sprechenden Mitarbeiter/in bekannt. Sie sollen gemeinsam Vorschläge zur Ausstattung des neu einzurichtenden Informationsbüros erarbeiten. Sie haben dafür ein Budget von € 2000 zur Verfügung. Sie diskutieren mit ihrem/ihrer Kollegin, was Sie dringend für die Einrichtung des Büros benötigen. Dabei machen Sie mindestens 3 Vorschläge für Einrichtungsgegenstände (Aktenschrank ...) und weitere 5 Vorschläge für Büromaterial (Schreibtischauflage ...). Erklären Sie mit Hilfe einer Skizze, wie Sie das Büro einrichten wollen und wo sich was befinden soll. Achten Sie darauf, dass Sie viele Besucher in dem ca. 80 qm großen Büro empfangen werden. Seite 183 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Gewerblich-technische Berufe Best-practice KMK Stufe III (B2) Evaluating a web site Here are some aspects to evaluate a web site: 1. design 2. navigation 3. ease of use 4. accuracy in arrangement 5. up-to-dateness 6. helpful graphics 7. well-placed links 8. limitation of options 9. search functions Phase 1: Discuss the following points with your partner - Which of the points do you consider highly important? - Which of the points are less important? Phase 2: Describe the design of the following sites presented to you by your examiners. - What do you think about these web sites? - What would you change in the designs? Alternatively: Describe different application software for creating web sites. Discuss pros and cons. Seite 184 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Kaufm.-verwaltende Berufe Best-practice Aufgaben zur Interaktion KMK Stufe I / II (A2 / B1) Kandidat B Plan a stay of foreign visitors at your company/office with your team partner. Part 1: Dialogue Candidate A î Discuss how long the stay should be. í Candidate A î Agree or disagree with the number of visitors. í Candidate A î í Choose the best/cheapest means of transport for the trip. Candidate A î Propose the number of rooms and discuss some special facilities like shower or TV for your guest(s). Part 2: Come to an Arrangement Comment on what you can do with your guests during their stay. Plan with your team partner one sport activity or cultural event in the afternoon and one in the evening. Monday 7 Thursday 10 Table tennis for beginners Cycling tour around the city 6 pm-7 pm 4:30 pm Tuesday 8 Friday 11 Boxing match at sports hall 8 pm Wednesday 9 Saturday 12 Football match of regional teams Canoeing and Boat trip 4 pm 2 pm-6 pm Seite 185 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Aufgaben zur Interaktion Kandidat A Plan a stay of foreign visitors at your company/office with your team partner. Part 1: Dialogue Find a special event or date you would like to invite your guest(s). í Candidate B î í Propose the number of visitors. Candidate B î Say what means of transport can generally be used to come to your company/office. í Candidate B î Compare the accommodation at a hotel with that of a host family and come to a decision with your colleague. Part 2: Come to an Arrangement Comment on what you can do with your guests during their stay. Plan with your team partner one sport activity or cultural event in the afternoon and one in the evening. Monday 7 Thursday 10 Exhibition of paintings Author reading at the library 10 am – 5 pm 7:30 pm Tuesday 8 Friday 11 Museum: Guided tours 2 pm and 4 pm Concert with Heavy Metal band 9 pm Wednesday 9 Saturday 12 Dance music & Disco 8 pm Seite 186 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Kaufm.-verwaltende Berufe Best-practice KMK Stufe III (B2) Zielorientierte Kooperation Geschäftseröffnung Als Mitarbeiter des neuen Computerladens BITS AND MORE planen Sie zusammen mit Ihrem Kollegen den Eröffnungstag des Ladens. Entwickeln Sie mit Ihrem Gesprächspartner Vorschläge für den Ablauf und die Organisation des Tages. Vorschlag für die Struktur einer Prüfung: Phase I: Kandidaten berichten über Tätigkeiten im Betrieb (Vorlieben / Abneigungen), Kandidaten werden im Wechsel befragt. Phase II (Interaktionsphase 1): ggf. mit Zeitvorgabe, je nach Stufe und abhängig von der Komplexität der Aufgabenstellung. Denkbar für Stufe III: Einer der Prüflinge gehört zur Marketing-Abteilung, einer zur Finanzabteilung. (Der Prüfer ist Zeitwächter.) Phase III (Interaktionsphase 2)*: Hierauf wird auf dem Aufgabenblatt Bezug genommen: “In part three both of you are going to evaluate a photo / market survey / graph etc.“ * wenn vorgesehen, dann für alle Prüflinge. Seite 187 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Vorschläge für Redeanlässe: - Flow Chart gemeinsam entwickeln für neue Azubis zu einem Standardvorgang - Anzeigenentwurf als Diskussionsgrundlage für Hotelkaufleute (aktualisieren und modernisieren) - Speisenplan für Woche erstellen (Köche) - Entwurf für touristische Vorschläge vor Ort (Diskussion als Grundlage für Flyer für Gäste) / evtl. inkl. Sicherheitsanweisungen - Planung für Ablauf / Aktionswoche - Wie können wir arbeiten, um das Restaurant attraktiver zu gestalten? (mehr Gäste mit Kindern etc.) / ebenso für Hotel / Erschließen neuer Zielgruppen - Promotion für neues Produkt (z. B. Sommersalat) - Impulse fachlicher Art um Gespräche auszulösen, z. B. über Bilder / Cartoons (evtl. auch als didaktische Reserve, falls eigentliches Gespräch nicht zustande kommt - Zimmereinrichtung / Renovierung Vorschläge dazu (von Bildern gestützt) - Verkaufsgespräch mit sehr offener Flow Chart - Konferenzplanung Hotel / Kunde - Warenkorb als Grundlage für Menueplanung - Sales Promotion für Systemgastronomie (Artikel, der sich nicht (mehr) so gut verkauft) - Stellenanzeige beurteilen lassen / verbessern (Systemgastronomie: Lernfeld Personalwesen) - Aktionswoche Beispiele vorgeben und für eines entscheiden lassen; anschließend zu dieser Woche weitere Vorschläge machen lassen Seite 188 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Anlage 6: Beispiele für Operatoren Beispiele für OPERATOREN für die mündliche Prüfung (Interaktion) analyse/examine describe and explain in detail certain aspects and/or features e.g. Analyse the applied technologies. classify/categorize place persons or things together in a group according to the similarities they share e.g. Classify the various ways of producing energy. comment on give a personal view on a certain topic, problem or standpoint based on reasons and/or arguments e.g. Comment on the recent development of the job market. compare consider similarities and/or differences between two or more things e.g. Compare the British and German library systems. contrast consider differences between two or more things e.g. Contrast views on the use of hard and soft wood. define give a clear, concise meaning of a term or an idea e.g. Define what is meant by the term per pro signatory. describe say what something or someone is like by giving details about them; what is called for is to give a good word picture e.g. Describe how to decorate a wedding table. discuss examine an issue from all sides, pointing out the arguments – supported by details, examples and other information e.g. Discuss different means of payment. evaluate make a value judgement, a negative and/or positive statement after careful consideration; you are supposed to back up this type of answer with evidence (facts, figures, ...) e.g. Evaluate the marketing strategy/advertising campaign of your company. explain make something clear or easy to understand e.g. Explain the organisational structure of your company. give examples name a fact, idea, or thing that is used to explain something e.g. Give examples of a low carb diet. justify give an acceptable explanation e.g. Justify your decision to order goods from a certain wholesaler. reflect on express one’s thoughts in a profound and very personal way e.g. Reflect on your future plans. state present a brief, clear and concise statement of a position, fact or point of view e.g. State your reasons for applying for a practical work experience. summarize present the main points of an issue in a condensed form leaving out illustrations and examples e.g. Summarize your partner’s arguments for or against … Weitere Operatoren: choose, find/pick something out, give reasons, identify, name, present, show, … Seite 189 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) Anlage 7: Die Bewertungsinstrumente (Deskriptoren) Hinweise zu den Deskriptoren Die auf den Folgeseiten vorgestellten Deskriptoren für die Bewertung von mündlichen Prüfungen auf den drei Stufen wurden im Nachgang zu den Workshops der Phase III erarbeitet und stellen das Ergebnis eines umfangreichen Abstimmungsprozesses aller am BLKModellversuch EU-KonZert beteiligten Bundesländer dar. Der zeitliche Rahmen des Modellversuchs ließ es leider nicht zu, mit diesen Bewertungsinstrumenten Erfahrungen zu sammeln. Sie sollen für die zukünftige Arbeit zur Erprobung freigegeben werden. Die folgenden Auflistungen von sogenannten qualifiers mag für die Anwendung von Deskriptoren in mündlichen Prüfungen als hilfreich erachtet werden: qualifiers ausschließlich vollständig durchgehend absolut weitgehend fast durchgehend überwiegend mehrheitlich stellenweise ansatzweise qualifiers häufig gehäuft mehrfach wiederholt einige etliche vereinzelt selten gelegentlich stellenweise ansatzweise kaum Bedeutung überhaupt keine Abweichung von der Anforderung gegeben Anforderung in hohem Maß, nur mit wenigen Abstrichen erfüllt Anforderung über 50% erfüllt Anforderung nur sporadisch erfüllt Bedeutung in auffallend vielen Fällen in über die gesamte Sprachproduktion hinweg immer wiederkehrenden Fällen in sehr wenigen und zahlenmäßig schnell ermittelbaren Fällen in verschwindend wenigen Fällen Seite 190 BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) BEWERTUNG INTERAKTIVER LEISTUNGEN (STUFE I, GER A2 ) Globalbeschreibung: Der Prüfling kann einfache und rein informative berufsrelevante Gesprächssituationen ggf. unter Mithilfe des Gesprächspartners in der Fremdsprache bewältigen. Er ist sich dabei landestypischer Unterschiede bewusst. Er kann auf sehr geläufige [...] Mitteilungen mit einfachen sprachlichen Mitteln reagieren. Aussprache, Wortwahl und Strukturengebrauch können noch stark von der Muttersprache geprägt sein. Punkte Interaktive Kompetenz und Aufgabenbewältigung 15 - 14 Die Situation wird unter gezieltem Eingehen auf den Gesprächspartner und ohne jegliche Mithilfe des Gesprächspartners oder Prüfers bewältigt. Die Aufgabe wird unter Beachtung aller wichtigen Gesichtspunkte vollständig gelöst. Punkte Sprachbeherrschung Accuracy, fluency, range, adequacy, comprehensibility 15 - 14 Aussprache, Strukturen- und Wortgebrauch sind nicht fehlerfrei, erfordern jedoch nur gelegentlich eine Rekonstruktionsleistung vom Zuhörer. Der Redefluss wird stellenweise unterbrochen. Ansätze zu richtiger und situationsangemessener Ausdrucksweise sind wiederholt erkennbar. 13,5 - 12 Die Situation wird unter mehrfachem Eingehen auf den Gesprächspartner und ohne Mithilfe des Gesprächspartners oder Prüfers nahezu vollständig bewältigt. Die Aufgabe wird fast durchgehend gelöst. 13,5 -12 11,5 - 10 Die Situation wird unter Eingehen auf den Gesprächspartner und mit gelegentlicher Mithilfe des Gesprächspartners oder Prüfers großteils bewältigt. Die Aufgabe wird weitgehend bearbeitet und zufriedenstellend gelöst. 11,5 - 10 9,5 - 7,5 Die Situation wird unter gelegentlichem Eingehen auf den Gesprächspartner und mit wiederholter Mithilfe des Gesprächspartners oder Prüfers teilweise bewältigt. Die Aufgabe wird noch ausreichend bearbeitet und im Wesentlichen gelöst. 7 - 4,5 Die Situation wird nicht mehr bewältigt. Der Gesprächspartner wird nur ansatzweise einbezogen. Die Aufgabe ist nicht ausreichend gelöst. 7 - 4,5 4-0 Die Situation wird nicht mehr bewältigt. Der Gesprächspartner wird nicht einbezogen. Die Aufgabe ist nicht gelöst. 4-0 9,5 - 7,5 Seite 191 Die Aussagen enthalten gelegentlich sinnstörende Fehler, die vom Zuhörer eine Rekonstruktionsleistung verlangen. Durch die Fehlerhäufung wird der Kommunikationsfluss vereinzelt verlangsamt. Der Redefluss wird mehrfach unterbrochen. Ansätze zu richtiger und situationsangemessener Ausdrucksweise sind gelegentlich erkennbar. Die Aussagen enthalten mehrfach sinnstörende Fehler, die vom Zuhörer eine Rekonstruktionsleistung verlangen. Durch die Fehlerhäufung wird das Verständnis mehrmals verlangsamt. Der Redefluss wird häufig unterbrochen. Ansätze zu richtiger und situationsangemessener Ausdrucksweise sind stellenweise erkennbar. Eine verbal wie strukturell stark von der Muttersprache geprägte Ausdrucksweise behindert den Redefluss erheblich. Das Gemeinte ist vereinzelt nicht sofort verständlich kann jedoch vom Zuhörer weitgehend rekonstruiert werden. Eine verbal wie strukturell stark von der Muttersprache geprägte und / oder fragmentarische Ausdrucksweise behindert den Redefluss stark. Das Gemeinte kann vom Zuhörer nur ansatzweise rekonstruiert werden. Die Aussagen sind fast durchgehend nur noch mit Fantasie vom Zuhörer zu entschlüsseln und / oder bestehen durchgehend aus rudimentären Satzstrukturen. BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) BEWERTUNG INTERAKTIVER LEISTUNGEN (STUFE II, GER B1 ) Globalbeschreibung: Der Prüfling kann gängige berufsrelevante Gesprächssituationen unter Einbeziehung des Gesprächspartners in der Fremdsprache bewältigen [...]. Dabei kann er kurz eigene Meinungen und Pläne erklären und begründen. Er ist dabei fähig, wesentliche landestypische Unterschiede zu berücksichtigen. Aussprache, Wortwahl und Strukturengebrauch können noch von der Muttersprache geprägt sein. Punkte 15 - 14 13,5 - 12 11,5 - 10 9,5 – 7,5 Interaktive Kompetenz und Aufgabenbewältigung Die Situation wird unter intensivem und gezieltem Eingehen auf den Gesprächspartner und ohne jegliche Mithilfe des Gesprächspartners oder Prüfers angemessen bewältigt. Hauptpunkte werden erkannt, präzise umgesetzt und so die Aufgabe eindeutig gelöst. Die Situation wird unter häufigem Eingehen auf den Gesprächspartner und ohne jegliche Mithilfe des Gesprächspartners oder Prüfers weitgehend bewältigt. Die Aufgabe wird fast durchgehend gut gelöst. Die Situation wird unter gelegentlichem Eingehen auf den Gesprächspartner und mit geringer Mithilfe des Gesprächspartners oder Prüfers überwiegend bewältigt. Die Aufgabe wird weitgehend bearbeitet und zufriedenstellend gelöst. Die Situation wird unter ansatzweisem Eingehen auf den Gesprächspartner und mit häufiger Mithilfe des Gesprächspartners oder Prüfers noch mehrheitlich bewältigt. Die Aufgabe wird noch ausreichend bearbeitet und im Wesentlichen gelöst. Punkte Sprachbeherrschung Accuracy, fluency, range, adequacy, comprehensibility 15 - 14 Aussprache und Strukturengebrauch sind im Wesentlichen korrekt; Wortwahl und Redewendungen weitgehend dem Anlass gemäß gewählt und stellenweise idiomatisch verwendet. Die Äußerungen sind relativ flüssig, zusammenhängend und gut verständlich. 13,5 - 12 Aussprache und Strukturengebrauch sind im Wesentlichen korrekt; Wortwahl und Redewendungen weitgehend dem Anlass gemäß gewählt und ansatzweise idiomatisch verwendet. Der Redefluss wird zwar gelegentlich durch Fehler unterbrochen, aber diese behindern das Verständnis nicht. Ein Bemühen um situationsangemessene und idiomatische Ausdrucksweise wird deutlich. 11,5 - 10 Aussprache, Strukturen- und Wortgebrauch sind nicht fehlerfrei, erfordern jedoch kaum Rekonstruktionsleistung vom Zuhörer. Die Äußerungen sind überwiegend flüssig. Ansätze zu situationsangemessener idiomatischer Ausdrucksweise sind erkennbar. 9,5 – 7,5 Die Aussagen enthalten gelegentlich den einen oder anderen sinnstörenden Fehler, und erschweren das Verständnis. Die Äußerungen sind stellenweise stockend. Ansätze zu situationsadäquater idiomatischer Ausdrucksweise sind nur stellenweise zu erkennen. 7 – 4,5 Die Situation wird ansatzweise bewältigt. Der Gesprächspartner wird kaum einbezogen. Die Aufgabe ist nicht ausreichend gelöst. 7 – 4,5 4-0 Die Situation wird nicht bewältigt. Der Gesprächspartner wird nicht einbezogen. Die Aufgabe ist nicht gelöst. 4-0 Seite 192 Eine verbal wie strukturell stark von der Muttersprache geprägte unidiomatische und fehlerbehaftete Ausdrucksweise behindert den Redefluss erheblich. Das Gemeinte ist an etlichen Stellen nicht verständlich und muss vom Zuhörer mühsam rekonstruiert werden. Die Aussagen sind verbal wie strukturell durchgehend von der Muttersprache geprägt. Die unidiomatische und fehlerbehaftete Ausdrucksweise behindert den Redefluss durchgehend. Das Gemeinte ist häufig nicht verständlich und kann vom Zuhörer nicht rekonstruiert werden. BLK-Modellversuch EU-KonZert: Prüfungsdurchführung (Anhang) BEWERTUNG INTERAKTIVER LEISTUNGEN (STUFE III, GER B2 ) Globalbeschreibung: Der Prüfling kann berufsrelevante Gesprächssituationen sicher in der Fremdsprache bewältigen. Er kann dabei auch die Gesprächsinitiative ergreifen und auf den Gesprächspartner gezielt eingehen. Er kann auf [...] Mitteilungen komplexer Art situationsadäquat reagieren. Er kann [...] Sachverhalte ausführlich erläutern und Standpunkte verteidigen. Er ist dabei fähig, landestypische Unterschiede in der jeweiligen Berufs- und Arbeitswelt angemessen zu berücksichtigen. In Aussprache, Wortwahl und Strukturengebrauch ist die Muttersprache ggf. noch erkennbar. Er verfügt jedoch über ein angemessenes idiomatisches Ausdrucksvermögen. Punkte 15 - 14 13,5 - 12 Interaktive Kompetenz und Aufgabenbewältigung Die Situation wird durch häufiges Ergreifen der Gesprächsinitiative und wiederholtem, gezielten und geschickten Einbezug des Gesprächspartners vollständig bewältigt. Die Aufgabe wird differenziert bearbeitet und effektiv gelöst. Die Situation wird durch Ergreifen der Gesprächsinitiative und gezielten Einbezug des Gesprächspartners weitgehend bewältigt. Die Aufgabe wird systematisch bearbeitet und fast durchgehend gelöst. Punkte Sprachbeherrschung Accuracy, fluency, range, adequacy, comprehensibility 15 - 14 Aussprache und Strukturengebrauch sind weitgehend korrekt; Wortwahl und Redewendungen sind dem Anlass gemäß gewählt und weitgehend idiomatisch verwendet. Die Äußerungen sind spontan, flüssig, verständlich und eindeutig. 13,5 -12 11,5 - 10 Die Situation wird durch gelegentliches Ergreifen der Gesprächsinitiative und Einbezug des Gesprächspartners überwiegend bewältigt. Die Aufgabe wird weitgehend bearbeitet und zufriedenstellend gelöst. 9,5 - 7,5 Die Situation wird unter gelegentlichen Einbezug und häufiger Mithilfe des Gesprächspartners noch überwiegend bewältigt. Die Aufgabe wird noch ausreichend bearbeitet und im Wesentlichen gelöst. 7 - 4,5 Die Situation wird nicht mehr ausreichend bewältigt. Der Gesprächspartner wird kaum einbezogen. Trotz Mithilfe des Gesprächspartners wird die Aufgabe nur stellenweise erfüllt. 7 - 4,5 4-0 Die Situation wird nicht bewältigt. Der Gesprächspartner wird nur ansatzweise einbezogen. Trotz Mithilfe des Gesprächspartners wird die Aufgabe nur ansatzweise oder gar nicht erfüllt. 4-0 11,5 -10 9,5 - 7,5 Seite 193 Aussprache und Strukturengebrauch sind überwiegend korrekt; Wortwahl und Redewendungen sind dem Anlass gemäß gewählt und weitgehend idiomatisch verwendet. Die Äußerungen sind nahezu spontan, fast durchgehend flüssig, verständlich und klar. Aussprache und Strukturengebrauch sind überwiegend korrekt, der Redefluss wird gelegentlich durch Fehler unterbrochen, aber diese behindern das sofortige Verständnis nur geringfügig. Ein Bemühen um situationsangemessene und idiomatische Ausdrucksweise wird deutlich. Aussprache, Strukturen- und Wortgebrauch sind nicht fehlerfrei, erfordern jedoch nur wenig Rekonstruktionsleistung vom Zuhörer. Ansätze zu situationsangemessener idiomatischer Ausdrucksweise sind erkennbar. Die Aussagen enthalten entweder sinnstörende Fehler und / oder nicht den Sinn störende Fehler sind derart häufig, dass sie das Verständnis unangenehm behindern. Ansätze zu situationsangemessener idiomatischer Ausdrucksweise sind kaum zu erkennen. Eine verbal wie strukturell stark von der Muttersprache geprägte unidiomatische Ausdrucksweise behindert das Verständnis erheblich. Das Gemeinte ist an etlichen Stellen nicht verständlich und / oder muss vom Zuhörer mühsam rekonstruiert werden. BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ IV Rück- und Ausblick Micheál Ó Dúill In diesem Schlusswort möchte ich den Gesamtprozess des BLKModellversuchs noch einmal Revue passieren lassen, um abschließend einige Anregungen zu einer möglichen Weiterentwicklung der KMK-Fremdsprachenzertifikate zu geben. Dieser letzte Teil der Handreichung ist wie folgt aufgebaut: 1. Ausgangsbasis für den BLK-Modellversuchsantrag 2. Anderweitige Forschungsergebnisse im Bereich der Testtheorie seit Antragstellung 3. Gesellschaftspolitische Entwicklung der Wahrnehmung und Wertung bestimmter testtheoretischer Ansätze 4. Ziele des Modellversuchs, wie diese im Antrag formuliert wurden 5. Weiterentwicklung der Ziele und Ergebnisse, die während der Laufzeit des Modellversuchs erarbeitet wurden 6. Zukünftige Entwicklungsmöglichkeiten für die KMK-Fremdsprachenzertifikatsprüfungen 1 Ausgangsbasis für den BLK-Modellversuchsantrag Der Modellversuchsantrag betont, dass das Vorhaben an die früheren Modellversuche „Fremdsprachen an der Berufsschule – Chancen für den Arbeitnehmer in der EG von morgen“ (1990-1993) sowie „Fremdsprachenpflichtunterricht in der Berufsschule“ (1994-1997) anknüpft. Eine der Veröffentlichungen zum erstgenannten Modellversuch unterstreicht gleich zwei Mal die Bedeutung von Tests und bringt diese in Verbindung mit - unter anderem - der Möglichkeit einer zukünftigen Zertifizierung: Folgende Gründe sprechen für die Notwendigkeit von Tests: (…) - Motivation zum weiteren Lernen - Information für den Arbeitgeber (z. B. durch Zertifikate) - "Backwash Effect": Neben dem Lehrplan bestimmt die Prüfung, die es zu bestehen gilt, Inhalt und Art des Unterrichts (Baumgartner / Gibson 1992: 6; Vgl. ebenda, S. 9). Baumgartner und Gibson sprechen von Leistungsmessung als „wünschenswertes Ziel für die Zukunft wegen […] heterogener Lerngruppen“ (ebenda, S. 9). In einem von einer Reihe von Arbeitsberichten zum zweiten oben erwähnten Modellversuch stellen Weidinger und Träger sechs Jahre später fest: Der Arbeitskreis einigte sich rasch darauf, dass ein auf unterschiedlichen Niveaus angebotenes freiwilliges Fremdsprachenzertifikat den Rahmenbedingungen des Englischunterrichts an der Berufsschule am Besten gerecht wäre, weil es allen Schülerinnen und Schülern die Möglichkeit gibt, sich im Englischunterricht zu engagieren, ohne durch die Konzentration auf ein einziges Abschlussniveau eine Über- oder Unterforderung erleben zu müssen (Weidinger / Träger 1998: 18). Die testtheoretische Grundlage für die vorgesehene Untersuchung der drei Bereiche Aufgabenstellung, Bewertung und Prüfungsdurchführung waren unter Seite 194 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ anderem folgende Arbeiten: Buck 2001; Schneider/North 2000: 140; und Krause / Sändig 1999. Schneider und North stellen in ihrer Untersuchung fest, dass Operationalisation of the scale in appropriate rating instruments […] training in relation to the overall framework […], training in the use of particular assessment instruments, and the validation of such practical applications remain essential steps in the development of a coherent assessment framework (Schneider / North 2000: 140). (Zu Bucks Ausführungen zum Testkonstrukt, vergleiche Abschnitt I. 1.6 oben; zum Thema Wirkung eines Kommunikationsbeitrages, Abschnitt II. 1.5; zum Durchführbarkeitsgrad von Prüfungsformen, siehe Krause / Sändig 1999: 102 und Staatsinstitut 2003: 11.) Die Antragstellung wurde auch von dem Wunsch nach einer langfristigen Modernisierung des Fremdsprachenunterrichts getragen: Wird der Ansatz des GERs [= Gemeinsamer europäischer Referenzrahmen, Ó D] nicht nur wegen der Anregungen, die er bezüglich Prüfungsmodi liefert, gelobt, sondern auch deswegen, weil hierdurch ‚eine langfristige Modernisierung von Fremdsprachenunterricht möglich wird’ (Krumm 2003: 120), so gilt dies mindestens genauso für den Versuch, die Anregungen des GERs im Sektor der beruflichen Schulen Deutschlands umzusetzen. (Staatsinstitut 2003: 12). Hinzu kam im Antrag die Berücksichtigung der Bedeutung von Authentizität für den berufsbezogenen Fremdsprachenunterricht sowie des Wechselverhältnisses zwischen Sprachfertigkeit und Fachwissen (Alderson / Banerjee 2001: 222; Douglas 2000: 2, 6; Siehe Abschnitte I. 1.4 und I. 1.5 oben). Der Antrag berücksichtigt den Ruf de Jongs in seiner Evaluierung der Rahmenvereinbarung nach einer detaillierten Evaluation der KMK-Prüfungen und deren Bewertungsinstrumente sowie seine Aufforderungen, Musterprüfungsleistungen zu sammeln und Testergebnisse statistischen Analysen zu unterziehen: An evaluation of the levels as operationalized in the examinations and as actually attained by vocational students would need to be based on a detailed evaluation of the examination papers, including an analysis of scoring procedures, samples of student work and statistical analyses of examination results (De Jong 2001: 1, zitiert nach Staatsinstitut 2003: 15). Als von maßgeblicher Bedeutung für das geplante Vorhaben werden entsprechende Arbeiten des Europarates im Antrag erwähnt. Dazu zählen die Arbeiten zu berufsbezogenem Fremdsprachenunterricht. Hier rufen etwa Egloff und Fitzpatrick nach umfassenden Arbeiten auf dem Feld des berufsbezogenen Fremdsprachenunterrichts, deren Ergebnisse frei zugänglich gemacht werden, insbesondere in den Bereichen der Evaluierung und Zertifizierung: [T]here is a need for a comprehensive and principled approach whose results are well documented and made readily accessible. These needs are most urgent in … evaluation and certification (Egloff / Fitzpatrick 1997: 21). Dazu zählen auch die Erfahrungen und Ergebnisse der Arbeitsgruppe Gemeinsamer europäischer Referenzrahmen für Sprachen des Europarates, die zu den Anregungen führen, dass man Beispiele von Arbeiten in Bezug auf standardisierte Definitionen und Beispiele vergleicht (Benchmarking) und Seite 195 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ dass man in Diskussionen ein gemeinsames Verständnis aufbaut (gemeinsame Standardfindung) (…) Man ist sich darüber einig, dass die Entwicklung eines standardorientierten Ansatzes zeitaufwendig ist, weil die am Verfahren Beteiligten nur durch einen Prozess der Veranschaulichung und des Austausches von Meinungen ein Gefühl dafür erwerben, was bestimmte Standards bedeuten (Trim et al. 2001: 177, zitiert nach Staatsinstitut 2003: 15-16). Konkret werden Anregungen des Referenzrahmens aufgegriffen, in Diskussionen zur gemeinsamen Standardfindung zu gelangen etwa dadurch, dass Beispiele von Prüfungsleistungen unter Berücksichtigung tatsächlich vorgenommener Bewertungsverfahren verglichen werden. 2 Anderweitige Forschungsergebnisse im Bereich der Testtheorie seit Antragstellung Der Natur eines solchen Projektes entsprechend wurden relevante neue Veröffentlichungen berücksichtigt, die während des Verlaufs des Modellversuchs erschienen sind. Da der Modellversuch in drei einjährige Phasen aufgebaut war, die sich je anderen Fragestellungen gewidmet haben, wurden vor allem diejenigen Neuveröffentlichungen rezipiert, die sich mit den jeweiligen Aufgabenstellungen beschäftigt haben. Aus diesem Grund soll an dieser Stelle eine abschließende Übersicht erstellt werden zu anderen Forschungsarbeiten, die während der Gesamtlaufzeit des Modellversuchs erschienen sind und für dessen Thematik von Bedeutung sind, jedoch wegen der phasenmäßigen Arbeitsweise unseres Projektes noch nicht in dieser Handreichung erwähnt wurden. Dabei geht es nicht mehr darum, wie während der Laufzeit des Modellversuchs, eine detaillierte Untersuchung der Bedeutung dieser Veröffentlichungen für das Projekt zu liefern, sondern darum, die Existenz solcher neueren Arbeiten zu dokumentieren, die für eine weitere wissenschaftliche Beschäftigung mit dem KMK-Fremdsprachenzertifikat wichtig sein könnten. Im Folgenden versuche ich das Interesse der Forschung für verschiedene Bereiche zu dokumentieren, wie sich dieses in den Veröffentlichungen, die ich habe lesen können, in dieser Zeit widerspiegelt. Ich habe diese Übersicht nach von den Autorinnen und Autoren genannten Schlagwörtern eingeteilt und meine Übersicht nach der Anzahl der Themennennungen gegliedert. Danach ergibt sich folgende Auflistung: - allgemeine Abhandlungen der Leistungsmessung und des Testens im Bereich des Fremdsprachenerwerbs; - Diskussion um Bildungsstandards; - Veröffentlichungen zu gattungsbezogenen Teilleistungen (schriftliche Prüfungen; mündliche Prüfungen). Ich schließe diesen Abschnitt mit Informationen zu gegenwärtig erscheinenden Fachzeitschriften und Reihen sowie zu den Arbeiten zweier Gesellschaften, die international in der Analyse und Bewertung von Sprachprüfungen tätig sind, ILTA und EALTA. Seite 196 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ 2.1 Allgemeine Abhandlungen zur Leistungsmessung und zum Testen im Bereich des Fremdsprachenerwerbs Im Jahr 2003 wurde Lynchs Monograph Language Assessment and Programme Evaluation verlegt. Das Jahr 2005 brachte eine Reihe von Übersichtsartikeln, von Hudson; McKay; und Norris und Ortega. Vor allem erschien im groß angelegten, von Hinkel herausgegebenen Handbook of Research in Second Language Teaching and Learning der von McNamara und anderen herausgegebene umfangreiche Teil „Second language testing and assessment“ mit sieben Beiträgen (Hinkel 2005: 773-888). Andere Abhandlungen jenes Jahres spiegeln persönliche Erfahrungen wider (Tomlinson); beziehen sich speziell auf einen nationalen Kontext (Zydatiß 2005b); oder widmen sich bestimmten bewertungsrelevanten Begriffen (Sorace zu „Near-nativeness“). Einige andere Veröffentlichungen weisen auf allgemeine Veröffentlichungstrends hin: Savilles Aufsatz (2003) im Sammelband von Weir und Milanovic sowie Hawkeys Monograph (2004) sind charakteristisch für die Reihe „Studies in Language Testing“ vom University of Cambridge Local Examinations Syndicate (UCLES, neuerdings „Cambridge Assessment“ genannt), die sich zu einem großen Teil (aber nicht ausschließlich) der wissenschaftlichen Evaluierung von Prüfungen dieses Großanbieters widmet. Gottlieb sowie Rivera und Collum (beide 2006) sind repräsentativ für die florierende Beschäftigung in den Vereinten Staaten von Amerika mit den Bedürfnissen von Schülern, die Englisch als Zweitsprache erlernen. Von ähnlicher Bedeutung sind deutsche Arbeiten zu Sprachstandsmessungen bei Schülern, die Deutsch nicht als Muttersprache haben (z.B. Reich 2003). Furedi (2004) gibt eine subjektive Stellungnahme zum Stellenwert des Testens im universitären Bereich ab, die für die bestehende Skepsis einiger Intellektuellen gegenüber einer vermeintlich zunehmenden Testwut charakteristisch ist. 2.2 Diskussionen um den Gemeinsamen europäischen Referenzrahmen und Bildungsstandards der Kultusministerkonferenz Es findet eine zunehmende wissenschaftliche Auseinandersetzung mit dem Einfluss des Gemeinsamen europäischen Referenzrahmens sowie mit den Bildungsstandards der Kultusministerkonferenz statt (zu den Bildungsstandards der KMK, Vergleiche unten, Abschnitt IV.3). Neuere Beiträge zum Referenzrahmen wurden von Quetz (2004), Figueras et al. (2005) sowie Little (2006) verfasst. Zu den Veröffentlichungen, welche versuchen, Sinn und Auswirkungen der Bildungsstandards auf das deutsche Bildungswesen zu untersuchen gehören Bausch et al. (2005); Zydatiß (2005a); sowie Hallet und Müller-Hartmann (2006). 2.3 Einzelveröffentlichungen zu Teilaspekten des Testens Ein umfangreicher Übersichtsartikel zum Hörverstehen wurde 2005 von Grotjahn vorgelegt. Zahlreiche Untersuchungen zur mündlichen Produktion wurden unternommen: Yuan und Ellis (2003) zum Einfluss von Vorbereitungszeit; Hasselgreen (2004) zur Rolle von „smallwords“ (ein Beispiel eines Bandes in der Reihe „Studies in Language Testing“, der keine UCLES-Prüfung untersucht); Kormos und Dénes (2004), ebenfalls, wie Hasselgreen, ein Beitrag zum englischen Begriff „fluency“; Seite 197 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ Johnson Gerson (2006) zur Bedeutung der Fähigkeit, dialogisch geprägte Unterhaltungen führen zu können; sowie Levis (2006) zur Rolle der Aussprache. Alderson und andere haben im Auftrag der niederländischen Regierung den einflussreichen Versuch unternommen, vor dem Hintergrund des Gemeinsamen europäischen Referenzrahmens Hilfestellung zur Entwicklung von Testitems in den Bereichen Lesen und Hörverstehen zu geben; dieser unveröffentlichte Bericht wurde bereits berücksichtigt bei der Erstellung des kürzlich erschienenen Relating language examinations to the Common European Framework of Reference for Languages: learning, teaching, assessment. Writing Tasks: Pilot Samples (s. S. 1). Hyland (2003) hat einen Monograph zum Bereich Schreiben vorgelegt. Hawkey und Barker haben über eine Skala zum Messen der Schreibkompetenz berichtet (Hawkey / Barker 2004). Auch in den Vereinten Staaten von Amerika werden Forschungsarbeiten zur Entwicklung von Testitems zum Messen von Lesekompetenz vorgenommen (Bailey et al. 2005). Elliot (2005) untersucht auf eindringliche Weise die gesellschaftliche Kontrollfunktion des Messens der Schreibkompetenz. Dem bisher wenig erforschten Bereich des Messens pragmatischer Kompetenzen haben sich Röver (2005) und Liu (2006) gewidmet. Wall (2005) hat eine umfassende Untersuchung der Rückkoppelungseffekte von Tests auf den Unterricht vorgelegt. Purpura (2004) hat sich dem Themenbereich Grammatik gewidmet. Für das Projekt der KMK-Zertifikatsprüfungen von besonderer Bedeutung seien zuletzt zwei Arbeiten genannt, die sich mit dem Gebiet des Testens fachbezogener Fremdsprachenkenntnisse beschäftigen: Douglas (2005) untersucht im Sammelband von Hinkel noch einmal diese Thematik, über welche er bereits 2000 seinen einflussreichen Monograph vorlegte. Speziell zu den „Cambridge Business English Certificates“ legt O’Sullivan (2006) eine Untersuchung vor. 2.4 Reihen zum Sprachtesten, Fachzeitschriften und internationale Organisationen 2.4.1 Bücherreihen Ein Indiz für die Bedeutung, welche einer Teildisziplin im gegenwärtigen Wissenschaftsdiskurs beigemessen wird, ist Fähigkeit des Marktes, das Überlegen bestehender Reihen und Fachzeitschriften zu ermöglichen und sogar das regelmäßige Erscheinen neuer Publikationen zu ermöglichen. Im vorhergehenden Abschnitt habe ich speziell einige neuere Titel genannt, deren Lektüre ich all denjenigen empfehlen kann, die sich mit der Weiterentwicklung des KMK-Fremdsprachenzertifikats beschäftigen werden. In diesem Abschnitt möchte ich nun allgemeinen auf das Bestehen und Neuerscheinen einer Reihe von Publikationsorganen hinweisen, welche zusammengenommen die wohl tatsächlich zunehmende Bedeutung einer wissenschaftlich fundierten Testkultur zu belegen scheinen. Die wiederholt von mir erwähnte Reihe „Studies in Language Testing“ erscheint für das University of Cambridge Local Examinations Syndicate seit 1995 bei der Cambridge University Press und wird zur Zeit von Michael Milanovic und Cyril Weir herausgegeben. In dieser Reihe sind bisher (Stand: November 2006) 24 Titel erschienen; zwei weitere sind für das Jahr 2007 bereits angekündigt. Seite 198 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ Eine zweite Reihe erscheint seit 2000, ebenfalls bei Cambridge University Press, die von J. Charles Alderson und Lyle F. Bachman herausgegebene Serie „Cambridge Language Assessment Series“; bisher sind elf Titel erschienen. Seit 2004 erscheint die Reihe „Language Testing and Evaluation“ beim Verlag Peter Lang in Frankfurt am Main, herausgegeben von Rüdiger Grotjahn und Günther Sigott. Sechs Bände sind bisher erschienen. 2.4.2 Fachzeitschriften An dieser Stelle zu nennen sei nicht nur die bekannte Vierteljahreszeitschrift Language Testing, die sich seit ihrem ersten Erscheinen 1984 sehr gut auf diesem Markt etabliert hat, sondern neuerdings auch Language Assessment Quarterly, ebenfalls eine Vierteljahreszeitschrift, die seit 2004 verlegt wird. 2.4.3 Internationale Organisationen Wenn hier unter der Rubrik „Anderweitige Forschungsergebnisse im Bereich der Testtheorie seit Antragstellung“ über die Arbeit der beiden Organisationen ILTA und EALTA berichtet wird, dann deswegen, weil in einer Zeit zunehmender Benützung des Internets der Netzauftritt solcher Organisationen neben dem Buchhandel eine Informationsquelle ersten Ranges ist (ähnliches gilt seit langem für die Netzseiten der „Language Policy Division“ des Europarates, auf Englisch abrufbar unter http://www.coe.int/T/DG4/Linguistic/Default_en.asp, auf Französisch unter http:// www.coe.int/t/dg4/linguistic/default_FR.asp). Von besonderem Interesse dürften meiner Ansicht nach gegenwärtig der sich noch im Entwurfsstadium befindende „Draft Code of Practice“ der International Language Testing Association ILTA (http://www.iltaonline.com/ILTA-COP-ver321Jun2006.pdf) sowie die bereits verabschiedeten „Good Practice Guidelines“ der European Association for Language Testing and Assessment EALTA sein (http://www.ealta.eu.org/documents/archive/Good_Practice_Guidelines_21-052006.pdf). Des Weiteren sei etwa auf die seit 2004 erscheinenden Tagungsdokumentationen der EALTA (http://www.ealta.eu.org/resources.htm), sowie auf die „Publications“-Seite der ILTA hingewiesen (http://www.iltaonline.com/ILTA_pubs.htm). 3 Gesellschaftspolitische Entwicklung der Wahrnehmung und Wertung bestimmter testtheoretischer Ansätze und Reaktionen der Kultusministerkonferenz auf Ergebnisse internationaler Erhebungen Dieser Abschnitt soll verdeutlichen, dass es bereits vor und vor allem während der Laufzeit des Modellversuchs eine Intensivierung des Stellenwerts bestimmter Aspekte gegeben hat, die für unser Projekt von zentraler Bedeutung waren, nämlich Konzepte einer möglichen Standardsicherung im Bildungsbereich und deren Evaluierung. Diese Intensivierung beruhte zum Teil auf Veröffentlichungen von wissenschaftlichen Ergebnissen zu Untersuchungen, die von öffentlicher Hand in Auftrag gegeben wurden; zum anderen fanden sie auf Grund des Beschließens neuerer Bildungsmaßnahmen statt, die ihrerseits zum Teil als eine Reaktion auf die Veröffentlichungen der Ergebnisse der in Auftrag gegebenen Untersuchungen waren. Bereits 1997 beschloss die Kultusministerkonferenz auf ihrer 280. Plenarsitzung am 23./24. Oktober: Seite 199 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ Die Durchführung regelmäßiger länderübergreifender Vergleichsuntersuchungen zum Lern- und Leistungsstand von Schülerinnen und Schülern ausgewählter Jahrgangsstufen an allgemeinbildenden Schulen ist […] eine wichtige Ergänzung der länderbezogenen Qualitätssicherungsmaßnahmen und ermöglicht für jedes Land Rückschlüsse im Hinblick auf die jeweils gewählten Methoden und Maßnahmen zur Qualitätssicherung. Entsprechend dem Beschluss zu den ‚Standards für den mittleren Schulabschluss’ sollten vor allem […] fremdsprachliche Kompetenzen Beachtung finden (Sekretariat der Ständigen Konferenz der Kultusminister: 1997). In dem entsprechenden KMK-Beschluss vom 12.05.1995 hieß es in den allgemeinen Vorbemerkungen interessanterweise: „Die Beschreibung des Anspruchsniveaus erfolgt nicht vorrangig unter dem Gesichtspunkt der Leistungsfeststellung“ (Sekretariat 1995: 14). In der Mitteilung zu dem KMK-Beschluss von 1997 wurde das Entstehen der Diskussion um Standards eindeutig als Reaktion auf die Ergebnisse einzelner internationaler Studien dargestellt: Gegenstand der Beratungen der Kultusministerkonferenz waren auch die Ergebnisse und Auswirkungen der 3. Internationalen Mathematik- und Naturwissenschaftsstudie (TIMMS) sowie der OECD-Studie "Education at a Glance". (Sekretariat: 1997). Dabei stellt die Kultusministerkonferenz laut der entsprechenden Pressemitteilung fest, dass in der künftigen Diskussion der Ergebnisse und Auswirkungen der Studien zu den Leistungen deutscher Schülerinnen und Schüler in den mathematischnaturwissenschaftlichen Fächern als übergreifender Aspekt die Entwicklung einer neuen Kultur der Anstrengung von Bedeutung ist (ebd.). Von Sprachkenntnissen ist noch nicht die Rede. Im Jahr 2000 wurde die erste der alle drei Jahre stattfindenden internationalen Untersuchungen des Programme for International Student Assessment (PISA) der Organisation for Economic Co-operation and Development (OECD) unternommen. Diese erste Untersuchung widmete sich schwerpunktmäßig der muttersprachlichen Lesekompetenz von 15-Jährigen (die darauf folgenden Untersuchungen in den Jahren 2003 bzw. 2006 beschäftigten sich hauptsächlich mit Mathematik bzw. Naturwissenschaften, 2009 wird wieder das Lesen Schwerpunkt sein; eine neuere übersichtliche Darstellung dieser Untersuchungen findet sich auf <http://www.pisa.oecd.org/dataoecd/51/27/37474503.pdf>). Als am 4. Dezember 2001 die Ergebnisse der ersten PISA-Untersuchung mittlere Ergebnisse für die 15jährigen in Deutschland deutlich unter dem OECDDurchschnitt bekannt geben, führt dies zu einer sofortigen Stellungnahme der Präsidentin der Kultusministerkonferenz: "Mit PISA verfügen wir nun über empirische Befunde, die eine Versachlichung der Diskussion geradezu verlangen" (Sekretariat 2001). Diese Achtung vor empirischen Befunden kennzeichnet auch eines der drei Monate später von der KMK bekannt gegebenen Handlungsfelder, die als Konsequenzen aus der PISA-Studie entstanden sind: Seite 200 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ Handlungsfeld 5: Maßnahmen zur konsequenten Weiterentwicklung und Sicherung der Qualität von Unterricht und Schule auf der Grundlage von verbindlichen Standards sowie eine ergebnisorientierte Evaluation Neufassung von Rahmenlehrplänen; Erstellung von Schulprogrammen; Durchführung und Auswertung von Vergleichsarbeiten (auch schulübergreifend); Intensivierung der externen Evaluation; Erarbeitung von Standards in den Kernfächern; Qualitätsmanagement an Schulen. (Sekretariat 2002a) Im folgenden Jahr wurde die Expertise Zur Entwicklung nationaler Bildungsstandards vom Bundesministerium für Bildung und Forschung verlegt. Wie bereits im Abschnitt I.1.3 oben berichtet, legte diese Expertise besonderen Wert auf den Gemeinsamen europäischen Referenzrahmen (Klieme et al. 2003: 147). Im gleichen Jahr wurden die Bildungsstandards für die erste Fremdsprache (Englisch/Französisch) für den Mittleren Schulabschluss von der Kultusministerkonferenz verabschiedet (Sekretariat 2004). In der entsprechenden Vereinbarung vom 4. Dezember 2003 heißt es Die Standards […] beziehen international anerkannte Standardmodelle – u.a. theoretische Grundlagen der PISA-Studie und den Gemeinsamen europäischen Referenzrahmen für Sprachen – ein. (ebd.: 3-4) Im eigentlichen Beschluss ist dann von einer „Orientierung“ dieser „verbindliche[n] Standards“ an den Gemeinsamen europäischen Referenzrahmen die Rede (ebd.: 6); „Die vorliegenden Standards beziehen sich auf die Niveaustufe B 1 (ebd.: 7). Die Beschreibung der Standards für Kompetenzbereiche der ersten Fremdsprache „erfolgt in enger Anlehnung an den Gemeinsamen europäischen Referenzrahmen“ (ebd.: 11, Hervorhebungen von Ó D). 2004 wurden anschließend die Bildungsstandards für die erste Fremdsprache Englisch/Französisch, Jahrgangsstufe 9 verabschiedet (Sekretariat 2005b). Auch hier ist die Rede von einer „Orientierung an dem vom Europarat herausgegebenen […] Gemeinsamen europäischen Referenzrahmen für Sprachen“ (ebd.: 6-7); die Standards „beziehen sich […] nahezu durchgängig auf die Niveaustufe A 2“ (ebd.: 7). Auch hier erfolgt die Beschreibung der Standards für Kompetenzbereiche „in enger Anlehnung an den Gemeinsamen europäischen Referenzrahmen“ (ebd.: 11; Hervorhebungen von Ó D). Ergänzend zu diesen KMK-Veröffentlichungen erschien schließlich die Veröffentlichung Bildungsstandards der Kultusministerkonferenz. Erläuterungen zur Konzeption und Entwicklung. (Am 16.12.2004 von der Kultusministerkonferenz zustimmend zur Kenntnis genommen.) (Sekretariat 2005a). Hier wird der Referenzrahmen eine „wichtige Grundlage“ genannt (ebd.: 15); die Standards würden diesen als „international anerkannte[r] Standardmodell“ einbeziehen (ebd.: 16), die Aufgabenbeispiele würden sich an ihm „orientieren“ (ebd.: 17). Im Auftrag der Kultusministerkonferenz fand zeitgleich zu diesen Entwicklungen die Untersuchung DESI statt: „Die Studie ‚Deutsch-Englisch-Schülerleistungen-International’ (DESI) untersucht die sprachlichen Leistungen von Neuntklässlern und die Unterrichtswirklichkeit in den Fächern Deutsch und Englisch“ (Klieme et al. 2006: 1). (Kompetenzen im Deutschen waren Teil der ersten PISA-Untersuchung, Englischkenntnisse aber nicht.) Seite 201 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ Wie sieht es aus mit der zugenommenen Betonung empirischer Forschungsvorhaben, mit der Einbindung der Arbeiten des Europarates bei DESI bzw. mit dem Einfluss der entwickelten Bildungsstandards? Die KMK-Bildungsstandards setzen als Ziel für den Hauptschulabschluss prinzipiell das Niveau A2 des Europäischen Referenzrahmens, für den mittleren Bildungsabschluss nach Klasse 10 das Niveau B1. Diese Zielsetzungen können im Rahmen von DESI beim computergestützten Test für mündliches Sprechen explizit überprüft werden, weil dieser international eingesetzte Test an den Niveaus des Referenzrahmens normiert wurde. Die bei DESI selbst entwickelten Tests haben hingegen nicht den Anspruch, die europäischen Niveaus gleichsam „eins zu eins“ abzubilden, da sie Aufgabenmaterial verwenden, das auf den Englischunterricht und die Lehrpläne in Deutschland abgestimmt ist. Es wird versucht, jene Kompetenzbereiche, die im Zielbereich der Lehrpläne und Bildungsstandards liegen, so differenziert wie möglich zu erfassen. Daher orientieren sich die DESI-Kompetenzmodelle am Europäischen Referenzrahmen für Sprachen, enthalten aber eigene, je nach Messbereich unterschiedlich stark ausdifferenzierte Niveaubeschreibungen (Klieme et al. 2006: 11). Was bedeutet im zweiten Satz dieses Zitats „an den Niveaus des Referenzrahmens normiert“? Hierzu heißt es an anderer Stelle: Die Fragen dieses Testteils wurden sowohl in ihrer inhaltlichen als auch sprachlichen Komplexität speziell auf die Besonderheiten der Altersgruppe der DESIStudie und die zu erwartenden Kompetenzniveaus des GER zugeschnitten […] Das computergesteuerte Testprogramm errechnete für die Testteile, die eindeutig vorhersagbare Elemente enthalten, Einschätzungen der Testleistungen in den Teilkomponenten Aussprache, Flüssigkeit der Rede, Wortschatz und Satzbau (subscores) und erstellte zusätzlich eine Gesamteinschätzung (overall score). Diese Einschätzungen sind auf die Niveaus der Sprechfähigkeit des Gemeinsamen Europäischen Referenzrahmens für Sprachen (GER) abgestimmt (ebd.: 17). Die Arbeit des DESI-Konsortiums ist unter anderem deswegen interessant, weil im Bereich „mündliches Sprechen“ diese Normierung eines bereits vorhandenen Tests an den Niveaus des Referenzrahmens vorgenommen wurde. Wie genau diese Normierung erfolgte, dürfte bei Überlegungen zu einer Weiterentwicklung des KMK-Fremdsprachenzertifikats (Abschnitt IV. 6 unten) von Bedeutung sein, ebenfalls die Art und Weise, in der sich die anderen DESI-Kompetenzmodelle am Europäischen Referenzrahmen „orientieren“. Die DESI-Studie scheint die Akzeptanz eines maßgeblichen Einflusses empirischer Untersuchungen auf die Sekundarstufe des Bildungswesens zu belegen. Welche Konsequenzen hat das für den Unterricht? Für die Evaluation der Lehrund Lernangebote? Für den berufsbildenen Schulsektor? Sowie für das Testen erreichter oder irgendwie bereits vorhandener oder gar parallel zum Unterricht autonom erworbener Kompetenzen? Auf diese Fragen werde ich im Abschnitt IV.6 unten nochmals zu sprechen kommen. 4 Ziele des BLK-Modellversuchs, wie diese im Antrag formuliert wurden Dieser Abschnitt wird kurz die Ziele des Modellversuchs beschreiben, wie diese im Antrag formuliert wurden, bevor im nächsten Abschnitt die Entwicklung dieser Ziele während der Laufzeit des Modellversuchs beschrieben wird (vgl. hierzu auch Abschnitte I.1.7, II.1.1 und II.1.3 oben). Seite 202 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ In diesem Modellversuch soll nun eine Evaluation der länderspezifisch unterschiedlich ausgeprägten Prüfungen erfolgen. Insbesondere sollen dabei die Aspekte - Aufgabenstellung (Eignung von Aufgabentypen) - Bewertung (z. B. kriterienorientierte Bewertung) - Prüfungsdurchführung (insb. mündliche Prüfungen) auch im Hinblick auf die Erfüllung der Rahmenvereinbarung vergleichend untersucht werden. In der praktischen Modellversuchsarbeit wird dabei insbesondere Wert auf die Analyse konkreter Prüfungsbeispiele aus verschiedenen Bundesländern gelegt, wobei auch die Einbeziehung nicht direkt am Modellversuch beteiligter Länder vorgesehen ist, um in möglichst vielen Fällen das vorhandene Expertenwissen aufzugreifen, zu systematisieren und nachhaltig verfügbar zu machen. Ziel der Untersuchung ist es, aus den erhaltenen Daten best practice Beispiele zu extrahieren sowie für die Prüfungsanbieter Konzepte in Form von Kriterienkatalogen und dokumentierten Prozessabläufen für eine weiterentwickelte Zertifizierungsarbeit zu erstellen. Der Modellversuch versteht sich als ein Beitrag zur Qualitätssicherung der KMKFremdsprachenzertifikate. (Staatsinstitut 2003: 2; Vgl. auch Abschnitt I. 1.7 oben). Innovativ am Modellversuch war, auch daran sei an dieser Stelle erinnert, dass er das erste nationale Projekt [war], welches sich systematisch mit der Frage der Standards im beruflichen Fremdsprachenunterricht auseinander setzt und dabei insbesondere den Aspekt der Zertifizierung in den Vordergrund stellt. […] Das Modellvorhaben folgt dabei bewusst einem sehr praxisorientierten Ansatz, in dem in mehreren länderübergreifend besetzten Landesgruppen vorhandene Erfahrungen und Ansätze reflektiert, gebündelt und systematisiert werden. […] Das Modellvorhaben stärkt durch eine transparente Orientierung an Standards die Wertigkeit der KMK-Fremdsprachenzertifikate und fördert damit deren Akzeptanz im europäischen Raum. […] Eine wie [vom Referenzrahmen] vorgeschlagene Datenerhebung von Prüfungsleistungen wird eine erste vertiefte Untersuchung des Verhältnisses Korrekturvorgaben/eigentliche Korrekturpraxis ermöglichen. Diese Datenmenge lässt eine [vom Referenzrahmen] angeregte Überprüfung der Korrelation zwischen angegebener Kompetenzstufe und tatsächlichem Leistungsniveau der Prüfungsarbeiten zu (ebd., S. 2-3). 5 Weiterentwicklung der Ziele und Ergebnisse, die während der Laufzeit des BLK-Modellversuchs erarbeitet wurden 5.1 Phase I: Aufgabenstellung schriftlicher Prüfungen Die Ergebnisse der ersten Phase wurden im ersten Zwischenbericht (Staatsinstitut 2004) protokolliert und im zweiten Modellversuchsflyer zusammengefasst (Staatsinstitut 2005b; S. auch Abschnitt I. 2 oben, ‚Empfehlungen zur Aufgabenstellung’). In dieser ersten Phase wurden knapp 100 authentische schriftliche Prüfungen von Vertretern von 15 Bundesländern detailliert gesichtet, um dann auf Seite 203 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ Workshops gemeinsam intensiv besprochen zu werden. Ertrag dieser Arbeitsweise waren die Empfehlungen, die auf breiter Basis gefällt und an den im vorherigen Absatz genannten Stellen dokumentiert wurden. Als zentral für das Evaluationskonzept zur Aufgabenstellung stellte sich bei Rezeptionsaufgaben vor allem heraus: eine Stufenangemessenheit und berufstypische, situative Einbettung; die Authentizität der verwendeten Hör- und Lesetexte; eine stufenadäquate Informationsdichte, Sprechgeschwindigkeit und Textlänge; und eine nicht aus dem Fachwissen allein lösbare Aufgabenstellung. Auch bei Produktionsaufgaben wurde die Bedeutung der Stufenangemessenheit festgestellt, sowie die Notwendigkeit einer eindeutigen Aufgabenstellung, die eine produktive Eigenleistung der Prüflinge ermöglichen soll. Als besonders wichtig wurde die situative Einbettung bei Mediationsaufgaben befunden. Auf Stufe II und III seien Sprachmittlungen vom Deutschen ins Englische vorzuziehen (vgl. Staatsinstitut 2005: 2). Zur ersten Modellversuchsphase kann festgestellt werden, dass es durchaus gelungen ist, „das vorhandene Expertenwissen aufzugreifen, zu systematisieren und nachhaltig verfügbar zu machen“ (Staatsinstitut 2003: 2; vgl. Abschnitt IV. 4 oben). Ausdruck dieses Aufgreifens des eingesetzten Expertenpotentials war, dass die anvisierte Extrahierung „Best-practice-Beispiele“ aus den erhaltenen Daten über die Laufzeit der ersten Phase hinaus ging. Dies ist zurückzuführen auf den hohen qualitativen Erkenntnisgewinn der während der ersten Phase bezüglich geeigneter Aufgabenstellungen stattgefunden hat. Hinzu passt allerdings auch der wissenschaftliche Trend, dass neuerdings oft nicht mehr von „best“ sondern von „good practice“ die Rede ist (Saville 2003: 57, zitiert nach Hawkey 2004: 377; Vergl. auch die im Abschnitt IV. 2.4.3 oben erwähnten „Good Practice Guidelines der EALTA, 2006). 5.2 Phase II: Bewertung schriftlicher Prüfungen Die Ergebnisse der zweiten Modellversuchsphase wurden im zweiten Zwischenbericht festgehalten (Staatsinstitut 2005a; S. auch die Dokumentation und Zusammenfassung im Abschnitt II. 2 oben). In der zweiten Phase ging es um die gemeinsame Bewertung authentischer schriftlicher Prüfungsleistungen anhand verschiedener Auswertungsverfahren und Instrumente. Dabei wurden diese Verfahren selbst von den Teilnehmern bewertet, so dass eine empirische Untersuchung alternativer Vorgehensweisen dokumentiert werden konnten. Damit konnten bestehende und neuere Vorgehensweisen gemeinsam auf nationaler Ebene evaluiert werden. Der zweite Modellversuchszwischenbericht berichtet von folgenden Arbeitsergebnissen der Phase II: Deskriptoren: Die Bewertung mit Hilfe von zweispaltigen Deskriptoren im Bereich Produktion wird empfohlen. […] Eine Bezeichnung der Spalten mit Begriffen wie „Inhalt“ und „Sprache“ wird nicht empfohlen, da es die derzeitigen Formulierungen ermöglichen, dass der Textzweck miterfasst werden kann. […] Eine grundsätzlich paritätische Gewichtung der Aspekte beider Spalten ist angemessen, denn das Ziel ist die Bewertung von Fachsprache. Seite 204 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ Da keine strenge Trennung von Inhalt und Sprache vorliegt, sondern eine Mischung von Anforderungsbeschreibungen, kann eine Ausschlussklausel nicht empfohlen werden. Die Bewertung mit Hilfe von einspaltigen Deskriptoren im Bereich Mediation erwies sich als ökonomisch und hilfreich. Punkteschlüssel: Die erprobte Punkteverteilung der jeweiligen Spalten der Deskriptoren wird empfohlen. […] Checkliste: Sie sollte die inhaltliche Vollständigkeit der Arbeit (z. B. auch bei längeren Arbeiten auf Stufe III) leichter und auch schneller kontrollierbar machen (Staatsinstitut 2005a: 10). Es kann auch zur zweiten Modellversuchsphase festgestellt werden, dass mehrere länderübergreifend besetzte Landesgruppen „vorhandene Erfahrungen und Ansätze reflektiert, gebündelt und systematisiert“ (Staatsinstitut 2003: 3; S. Abschnitt IV. 4, oben) und – wie bei Phase I – gemeinsam weitergeführt haben. Die in der zweiten Phase erhobene Datenmenge wurde gemeinsam analysiert und wissenschaftlich ausgewertet, um die Korrelation zwischen angegebener Kompetenzstufe und tatsächlichem Leistungsniveau der Prüfungsarbeiten zu überprüfen. Ob die auf Grund unterschiedlich ausgeprägter Rücklaufquoten von unkorrigierten und korrigierten Prüfungsarbeiten und begrenzter Kapazität der wissenschaftlichen Begleitung zustande gekommene und analysierte Datenmenge ausreicht, um die Akzeptanz der KMK-Zertifikate im europäischen Raum maßgeblich gefördert zu haben lässt sich noch nicht abschließend feststellen (vgl. auch Abschnitt IV. 6 unten); die Grundlage einer effektiven Entwicklung und Umsetzung eines Evaluationskonzeptes bildete diese Datenmenge allemal. 5.3 Phase III: Aufgabenstellung, Durchführung und Bewertung mündlicher Prüfungen Ein maßgebliches Zeichen des zunehmenden Erkenntnisgewinns während der Laufzeit des Modellversuchs war die Feststellung, dass die Bearbeitung der Aufgaben der dritten Phase mehr Zeit benötigt, als im Antrag vorgesehen, da in dem dritten Jahr, das den mündlichen Prüfungen gewidmet war, sowohl die Bereiche Aufgabenstellung und Bewertung als auch der der Prüfungsdurchführung zu berücksichtigen waren und man in den ersten beiden Phasen sehen konnte, dass es in diesen Phasen keineswegs an Gesprächsbedarf gefehlt hat. Die wegweisenden Ergebnisse der dritten Phase sind in nicht geringem Maße darauf zurück zu führen, dass trotz der damit organisatorischen Schwierigkeiten entgegen der ursprünglichen Planung der Ablauf der Workshops in der dritten Phase des Modellversuchs von der Lenkungsgruppe auf drei statt bisher zwei Tage ausgedehnt wurde und dies von den Ländern mitgetragen wurde. Darüber hinaus stellte es sich in dieser dritten Phase bald heraus, dass die Herausforderungen im Bereich der Leistungsmessung mündlicher Fertigkeiten bei den KMK-Fremdsprachenzertifikatsprüfungen tatsächlich anderer Natur sind, als die der Beurteilung schriftlicher Leistungen (vgl. hierzu Abschnitt III. 1.6 oben, z. B. die Ausführungen von Luchtenberg (2002) und Ghisla und Kolb (2001)). Ergebnisse der Phase III werden im obigen Abschnitt III. 2 von Götz Reuter erläutert. Hierzu gehören bei der Frage der Aufgabenstellung Empfehlungen und Gedanken zum Gesprächsablauf, zur Berufsrelevanz, zur Praktikabilität, zum AufSeite 205 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ gabentyp und zur Eignung für die Stufe (siehe vor allem IV.2.1.2.5 Überblick, oben). Beim Gesprächsablauf wurde unter anderem empfohlen: je höher die Stufe, desto geringer die Lenkung; Handlungsspielräume auf allen Stufen bieten; situativen Rahmen immer vorgeben; Reserve bereithalten. Berufsrelevanz und Authentizität sollte in allen Aufgaben weitgehend gegebenen sein. Bei der Praktikabilität wurde unter anderem betont, dass Realgegenstände bzw. situatives Ambiente geliefert werden sollten. Zum Thema Aufgabentyp und Struktur wurde man sich unter anderem darüber einig, dass die Anteile kognitiver und kommunikativer Leistungen zu beachten sind und dass es zu ausgewogenen Redeanteilen aller Prüflinge kommt. Da sich die Stufenrelevanz der Aufgaben nach wie vor als schwierig erweist, wurde die Bedeutung einer Abstimmung unter den Aufgabenerstellern betont. Das andere wesentliche Merkmal der dritten Modellversuchsphase war die konzentrierte Auseinandersetzung mit verschiedenen Bewertungsinstrumenten, die gerade wegen der Intensität der Beiträge als besonders produktiv gekennzeichnet werden darf. Dabei erwies es sich als unmöglich, trotz der Verlängerung der vier Workshops der dritten Phase von je zwei auf drei Tage zu einer Empfehlung für einen bestimmten Deskriptorensatz zu gelangen. Auf Grund dessen wurde am Ende des letzten Workshops des Modellversuchs die Bitte an die Lenkungsgruppe gerichtet, die Erarbeitung eines auf der Basis der Ergebnisse der Workshops weiterentwickelten Deskriptorensatzes in Auftrag zu geben. Dieser neue Deskriptorensatz wird im Anhang dieser Handreichung abgedruckt. Schließlich dokumentiert Götz Reuter im Abschnitt III. 2 oben, in welchen Bereichen der Modalitäten mündlicher Prüfungen noch Redebedarf besteht. Bedenkt man, dass eine auf mündliche Fertigkeiten bezogene, wissenschaftlich fundierte Prüfungskultur verglichen mit den fest etablierten Traditionen der Bewertung schriftlicher Leistungen in Deutschland im großen und ganzen erst im entstehen ist, sind die Ergebnisse der dritten Modellversuchsphase, zu denen auch die Erarbeitung der im Anhang abgedruckten best-practice-Beispiele zählen, allerdings alles andere als gering. 6 Zukünftige Entwicklungsmöglichkeiten für die KMK-Fremdsprachenzertifikatsprüfungen Nachdem wir in den beiden letzten Abschnitten gesehen haben, was im Modellversuchsantrag geplant war und sich hat realisieren lassen, gilt es abschließend zu beraten, welche Entwicklungsmöglichkeiten die KMK-Zertifkatsprüfungen haben. Sieht man sich noch einmal die Ziele des Modellversuchs an, wie diese im Abschnitt IV. 4 oben wieder zitiert wurden, entdeckt man wieder folgende Zielvorgabe: Das Modellvorhaben stärkt durch eine transparente Orientierung an Standards die Wertigkeit der KMK-Fremdsprachenzertifikate und fördert damit deren Akzeptanz im europäischen Raum. (Staatsinstitut 2003: 2-3) Wie wir im Abschnitt IV.3.1 oben ausführlich gesehen haben, sprechen die Bildungsstandards und die DESI-Studie von einer „Orientierung“ an den Gemeinsamen europäischen Referenzrahmen. Wie wir sehen konnten, ist die Arbeit des DESI-Konsortiums unter anderem deswegen interessant, weil im Bereich SpreSeite 206 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ chen eine Normierung eines bereits vorhandenen Tests an den Niveaus des Referenzrahmens vorgenommen wurde. Ist diese Vorgehensweise wegweisend für die Zukunft der KMK-Fremdsprachenzertifikatsprüfungen? Im Abschnitt III.1.6 oben habe ich davon gesprochen, wie der Reference Supplement zum Manual for Relating Language Examinations to the Common European Framework von “empirical validation” spricht als the collection and analysis of test data and ratings from assessments to provide evidence that both the examination itself and the linking to the CEFR are sound“ (Takala (ed.) 2004: 1). Ferner habe ich an jener Stelle eine Vorgehensweise vorgeschlagen, die quantitative und qualitative Verfahren verbindet bei dem Versuch, die KMKFremdsprachenzertifikatsprüfungen noch genauer und enger mit dem Referenzrahmen zu verzahnen. Im Modellversuchsantrag hieß es, die Akzeptanz der KMKFremdsprachenzertifikatsprüfungen im europäischen Raum zu fördern. Im Laufe des Modellversuchs bemühten sich die neuen Veröffentlichungen des Europarates immer mehr um Hilfestellungen bei einer Verzahnung von bereits existierenden Prüfungen mit dem Referenzrahmen. Auf Grund dieser Entwicklungen wurde während unserer Projektarbeit immer deutlicher, dass die Förderung der Akzeptanz der Fremdsprachenzertifikatsprüfungen nun das Unternehmen einer solchen Verzahnung bedeuten muss. Die Frage ist, wer eine solche Verzahnung unternehmen soll und kann. Vieles ist mit dem BLK-Modellversuch EU-KonZert in dieser Richtung bereits geschehen. Deskriptoren, die sich an die des Referenzrahmens beziehen und für den berufsbezogenen Bereich weiterentwickelt wurden, wurden vor dem Hintergrund des Refererenzrahmens noch einmal kritisch unter die Lupe genommen; Aufgabenstellungen wurden auf ihren Berufsbezug und ihre Nähe zu den Vorgaben des Referenzrahmens hin untersucht und best-practice-Beispiele erstellt; alternative Bewertungsinstrumente wurden an authentischen Prüfungsleistungen vergleichend auf ihre Eignung hin detailliert untersucht. Doch vieles bliebe jetzt noch zu tun, wenn das KMK-Fremdsprachenzertifikat ein Produkt anbieten möchte, das sich mit den Produkten der großen Testanbieter, die gegenwärtig bei dem Europarat den größten Einfluss haben, wie etwas UCLES / Cambridge Assessment, vergleichen ließe. Noch wurden beim KMK-Fremdsprachenzertifikat Vorgehensweisen wie die Vorerprobung von Items oder die Bildung von Aufgabenbanken nicht realisiert; noch blieb die statistische Auswertung der mittlerweile mehr als 25.000 Prüfungen im Jahr unterentwickelt. Dies hat natürlich mit dem deutschen Föderalismus zu tun, ist zweifelsohne auch eine Frage der Ressourcen. Aber wenn an das Ziel festgehalten wird, die Akzeptanz der KMK-Fremdsprachenprüfungen im europäischen Raum zu fördern, wird man nicht darum herum kommen können, sich nach der Relevanz dieser hier unerprobten oder unterentwickelten, doch in der Testentwicklung international gängigen Vorgehensweisen zu fragen. Bleibt immer noch die Frage, wer eine solche Ausbreitung der testtheoretischen Basis der KMK-Fremdsprachenzertifikatsprüfungen unternehmen sollte und könnte. Eine Möglichkeit ist die Vergabe eines solchen Projektes an ein oder mehrere Landesinstitute oder Behörden. Traditionell besteht auch die Möglichkeit eines Auftrages an eine Universitätsprofessur, zu deren Dienstverpflichtungen die aktive Forschung gehört. Ein beSeite 207 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ kannter wissenschaftlicher Mehrwert dieser Variante ist, dass etwaige Assistentinnen und Assistenten ihre Tätigkeiten im Drittmittelprojekt als Grundlage einer Promotion benutzen können. Wie oben wiederholt bemerkt, sind hier die Erfahrungen des DESIKonsortiums bei der Normierung eines bereits vorhandenen Tests an den Niveaus des Referenzrahmens sicherlich von Interesse. Von großem Interesse ist in diesem Zusammenhang ferner die Arbeit des 2004 von der Kultusministerkonferenz und der Humboldt-Universität gegründeten Instituts zur Qualitätsentwicklung im Bildungswesen (IQB), dessen wesentliches Ziel es ist, „die nationalen Bildungsstandards zu normieren, zu präzisieren, und weiterzuentwickeln sowie deren Implementierung in den Schulen wissenschaftlich zu begleiten“ (Institut ohne Jahr: 4). Leiter des Instituts ist der beurlaubte Nürnberger Professor für Pädagogische Psychologie Olaf Köller. Für die Koordinierung der Aufgabenentwicklung im Fach Englisch (Sekundarstufe I) verantwortlich ist eine abgeordnete Realschullehrerin. Ein studierter Anglist und promovierter Testtheoretiker arbeitet beim IQB gegenwärtig über statistische Modellen mit latenten Variablen. Zusätzlich arbeitet dort im Bereich Normierung der Bildungsstandards im Fach Englisch auch noch ein Doktorand. Damit bildet sich ein Team an dem Institut, der sinnvoll ergänzt werden könnte durch die Abordnung einer im Bereich der beruflichen Schulen tätige Lehrkraft oder eines einschlägig ausgewiesenen Wissenschaftlers, um an der Weiterentwicklung der KMK-Fremdsprachenzertifikate zu arbeiten. Schließlich bietet sich die Möglichkeit an, sich bei einer Weiterentwicklung der Zertifikatsprüfungen und einer anvisierten Stärkung der europäischen Akzeptanz dieser Prüfungen von einem der „experts“ der EALTA beraten zu lassen. Diese „experts“ müssen viel strengere Kriterien erfüllen als die „individual members“: Qualifications include: - a doctorate in language testing or a related field - at least four years of teaching experience in language testing or a related field - publications and conference presentations on language testing and assessment - consultancies to organisations, institutions or projects - documented participation in test design, development and validation of significant tests or public examinations - documented participation in relevant research - references from at least two other Expert Members of EALTA (EALTA ohne Jahr) Ob und, falls ja, welche Möglichkeit für eine wissenschaftliche Weiterentwicklung der KMK-Fremdsprachenzertifikate gewählt wird, das Fazit von Charles Alderson auf der Abschlusstagung des Modellversuchs in Kloster Banz am 25. Oktober 2006 wird wohl auf alle Fälle stimmen: "Good tests cost time and money". Wofür und für wen sollen diese Investitionen vorgenommen werden? Wir haben bei IV.1 oben gesehen, wie in einer Veröffentlichung über einen frühen Modellversuch zu Fremdsprachen an der Berufsschule bereits 1992 neben der pädagogisch zentralen Überlegung der Schülermotivation die für die beruflichen Schulen charakteristische Frage der Heterogenität der Lerngruppen sowie die Erwartungen der Arbeitgeber bezüglich aussagekräftiger, berufsrelevanter Informationen gestellt wurden (Baumgartner / Gibson 1992: 6). Wenn man mitverSeite 208 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: „Rück- und Ausblick“ folgt, wie manche Länder eine KMK-Fremdsprachenzertifizierung auf einer höheren Ebene, die C1 des Referenzrahmens entsprechen würde (was faktisch die Einführung einer KMK-Ebene IV bedeuten würde) oder heute bereits das freiwillige Ablegen der KMK-Fremdsprachenzertifikatsprüfungen durch Besucher der Fachoberschule zulassen, dann sieht man, dass der Natur des föderalistischen Bildungswesen entsprechend vieles im Fluss ist. 1996 sprach der Staatssekretär des Ministeriums für Schule und Weiterbildung des Landes Nordrhein-Westfalen anlässlich einer Fachtagung zum Thema Englisch in der Berufsschule folgende sehr interessanten Worte: Hinsichtlich der Standardisierung der verschiedenen Niveaustufen streben wir gemeinsam mit den anderen Bundesländern und mit den Kooperationspartnern aus Wirtschaft und Handwerk eine Einbettung in ein nationales oder besser noch in ein europäisches Zertifizierungssystem, das ein vom jeweiligen Schulabschluss unabhängiges Zertifikat ermöglicht (Besch 1997: 13). Die Heterogenität der Schüler der beruflichen Schulen stellt ohne Zweifel eine der entscheidenden Herausforderungen dieser Schulformen dar. Gleichzeitig jedoch bietet unter Umständen gerade diese Heterogenität die Chance, Unterrichts- und Zertifizierungsangebote weiter auszubauen, die auf die individuellen Bedürfnisse der Unterrichtsteilnehmer aufbauen. Die beruflichen Schulen haben mit der Entwicklung des KMK-Fremdsprachenzertifikats die Heterogenität ihrer Schüler als Chance begriffen, während die allgemeinbildenden Schulen Deutschlands gegenwärtig Stufen des Referenzrahmens zunehmend als allgemein geltend vorschreiben. Welche Ressourcen die berufsbildenden Schulen für die Weiterverfolgung dieses pädagogisch sehr innovativen Ansatzes benötigen und wie organisatorisch die Bewahrung eines breiten Prüfangebots mit einer Unterrichtsgestaltung, die Rücksicht nimmt auf die berühmten Rückkopplungseffekte von Prüfungen auf Unterricht berücksichtigt werden kann sind freilich neben der Förderung der europäischen Akzeptanz der KMK-Fremdsprachenzertifikatsprüfungen Fragen, die bei der Erörterung der zukünftigen Weiterentwicklungsmöglichkeiten dieser Prüfungen mitberücksichtigt werden sollen. Denn wie der Bundespräsident in diesen Tagen seiner Nation zu bedenken gegeben hat: „Gute Bildung […] bleibt für den Einzelnen […] die wichtigste Voraussetzung für […] berufliches Fortkommen“ (Köhler 2006: 3). Seite 209 BLK-Modellversuch EU-KonZert: Die Rahmenvereinbarung zum KMK-Zertifikat Anhang 1 Die Rahmenvereinbarung zum KMK-Fremdsprachenzertifikat BESCHLUSSSAMMLUNG DER KMK, BESCHLUSS-NR. 330 R:\B1\KMKBESCHLUSS\RVFRSPRZERT02-04-26.DOC Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung (Beschluss der Kultusministerkonferenz vom 20.11.1998 i.d.F. vom 26.04.2002) 1. Grundsatz Berufliche Schulen können auf freiwilliger Basis - unabhängig von einer Benotung im Zeugnis - eine Prüfung anbieten, in der sich Schülerinnen und Schüler ihre Fremdsprachenkenntnisse zertifizieren lassen können. 2. Prüfungsniveaus und Berufsbezug Die Prüfung wird jeweils in einer der drei Stufen I, II oder III durchgeführt. Sie orientieren sich an den Stufen "A2 (Waystage)" (Stufe I), "B1 Threshold" (Stufe II) und "B2 (Vantage)" (Stufe III), die vom Europarat im "Gemeinsamen Europäischen Referenzrahmen für Sprachen: Lernen, Lehren, Beurteilen" aufgeführt werden. Kurzbeschreibungen der Stufen sind in der Anlage 1 zusammengefasst. Je Stufe soll die Prüfung differenziert nach den Erfordernissen der verschiedenen Berufsbereiche, wie zum Beispiel - kaufmännisch-verwaltende Berufe - gewerblich-technische Berufe - gastgewerbliche Berufe - sozialpflegerische, sozialpädagogische Berufe durchgeführt werden. Innerhalb der Berufsbereiche können weitere berufsbezogene Konkretisierungen vorgenommen werden. 3. Prüfungsteile Die Prüfung besteht aus einem schriftlichen und einem mündlichen Teil. Es werden die folgenden Kompetenzbereiche zu Grunde gelegt: - Rezeption (Fähigkeit, gesprochene und geschriebene fremdsprachliche Mitteilungen zu verstehen) - Produktion (Fähigkeit, sich mündlich und schriftlich in der Fremdsprache zu äußern) - Mediation (Fähigkeit, durch Übersetzung oder Umschreibung mündlich oder schriftlich zwischen Kommunikationspartnern zu vermitteln) - Interaktion (Fähigkeit, Gespräche zu führen und zu korrespondieren). Seite 210 BLK-Modellversuch EU-KonZert: Die Rahmenvereinbarung zum KMK-Zertifikat 4. Prüfungsdurchführung und –bewertung Die Länder treffen geeignete Maßnahmen (zum Beispiel Vergleichsarbeiten oder überregionale Prüfungen), um eine Gewährleistung der Prüfungsstandards sicherzustellen. Die Prüfungen werden an beruflichen Schulen durchgeführt und unter Beachtung der Anforderungen der jeweiligen Stufe auf der Basis des folgenden Punkte-Schlüssels bewertet: - schriftliche Prüfung 100 Punkte - - mündliche Prüfung 30 Punkte. Im Rahmen der schriftlichen Prüfung sollen die Aufgabenanteile für die drei Kompetenzbereiche wie folgt gewichtet werden: - Rezeption 40 % - Produktion 30 % - Mediation: 30 %. Eine Abweichung von jeweils bis zu 10 Prozent-Punkten∗ ist möglich. Die in den Teilen der schriftlichen und in der mündlichen Prüfung jeweils erreichbare Punktzahl ist im Zertifikat anzugeben. Die schriftliche und die mündliche Prüfung sind bestanden, wenn jeweils mindestens die Hälfte der ausgewiesenen Punktzahl erreicht wird. Die Prüfung ist bestanden, wenn der schriftliche und der mündliche Prüfungsteil bestanden sind; ein Ausgleich ist nicht möglich. Für Prüfungen in den einzelnen Stufen gelten die folgenden Zeiten: - I schriftlich 60, mündlich 10 Minuten pro Prüfling - II schriftlich 90, mündlich 15 Minuten pro Prüfling - III schriftlich 120, mündlich 20 Minuten pro Prüfling. Für die mündliche Prüfung, die auch als Gruppenprüfung möglich ist, kann eine angemessene Zeit zur Vorbereitung gegeben werden. 5. Zertifikat Wer die Prüfung bestanden hat, erhält ein Zertifikat nach beiliegendem Muster (Anlage 2). Im Zertifikat wird das Ergebnis des schriftlichen und des mündlichen Prüfungsteils dokumentiert. Es kann außerdem die jeweiligen Aufgabenarten und deren Zuordnung zu Kompetenzbereichen enthalten. Die Beschreibung der Stufen und Kompetenzbereiche ist Bestandteil des Zertifikats. ∗ Anm.: Folgende Bandbreiten sind daher möglich: „Rezeption“ 30-50 Punkte, „Produktion“ 20-40 Punkte und „Mediation“ ebenfalls 20-40 Punkte. Seite 211 BLK-Modellversuch EU-KonZert: Die Rahmenvereinbarung zum KMK-Zertifikat Anlage 1 Kompetenzbereiche der Stufen Stufe I (Europäischer Referenzrahmen A2, Waystage) Rezeption Der Prüfling kann sehr geläufige und einfach strukturierte berufstypische Texte auf konkrete klar erkennbare Einzelinformationen hin auswerten. Es stehen ihm dazu Hilfsmittel (wie z. B. Wörterbücher und visuelle Darstellungen) zur Verfügung. Den Informationsgehalt klar und langsam gesprochener kurzer Mitteilungen aus dem beruflichen Alltag kann er nach wiederholtem Hören verstehen. Produktion Der Prüfling kann Eintragungen in Formulare des beruflichen Alltags vornehmen und kurze Sätze bilden. Längere Darstellungen gelingen, wenn als Hilfsmittel Wörterbücher und/oder ein Repertoire an Textbausteinen zur Verfügung stehen und die Textproduktion stark gelenkt ist. Der Prüfling verfügt über die nötigen sprachlichen Mittel, um die im Berufsleben geläufigsten Sachinformationen (wenn auch nicht immer sprachlich korrekt) zu übermitteln. Mediation Der Prüfling kann einen einfachen fremdsprachlich dargestellten Sachverhalt unter Verwendung von Hilfsmitteln auf Deutsch wiedergeben oder einen einfachen in Deutsch dargestellten Sachverhalt mit eigenen Worten in der Fremdsprache umschreiben. Interaktion Der Prüfling kann einfache und rein informative berufsrelevante Gesprächssituationen unter Mithilfe des Gesprächspartners in der Fremdsprache bewältigen. Er ist sich dabei landestypischer Unterschiede bewusst. Er kann auf sehr geläufige schriftliche Standardmitteilungen mit einfachen sprachlichen Mitteln reagieren. Aussprache, Wortwahl und Strukturengebrauch können noch stark von der Muttersprache geprägt sein. Stufe II, (Europäischer Referenzrahmen B1, Threshold) Rezeption Der Prüfling kann gängige berufstypische Texte unter Einsatz von Hilfsmitteln (wie z.B. Wörterbüchern und visuellen Darstellungen) zügig auf Detailinformationen hin auswerten. Er kann klar und in angemessenem, natürlichem Tempo gesprochene Mitteilungen nach wiederholtem Hören im Wesentlichen verstehen, wenn die Informationen nicht zu dicht aufeinanderfolgen. Produktion Der Prüfling kann berufstypische Standardschriftstücke und mündliche Mitteilungen unter Berücksichtigung von Vorgaben und Verwendung von Hilfsmitteln weitgehend korrekt in der Fremdsprache verfassen bzw. formulieren. Berufsbezogene Sachinformationen werden bei eingeschränktem Wortschatz verständlich in der Fremdsprache wiedergegeben. Mediation Der Prüfling kann einen fremdsprachlich dargestellten Sachverhalt unter Verwendung von Hilfsmitteln auf Deutsch wiedergeben oder einen in Deutsch dargestellten Sachverhalt in die Fremdsprache übertragen. Es kommt dabei nicht auf sprachliche und stilistische, sondern auf inhaltliche Übereinstimmung an. Interaktion Der Prüfling kann gängige berufsrelevante Gesprächssituationen unter Einbeziehung des Gesprächspartners in der Fremdsprache bewältigen und auf schriftliche StandardmitteiSeite 212 BLK-Modellversuch EU-KonZert: Die Rahmenvereinbarung zum KMK-Zertifikat lungen reagieren. Dabei kann er kurz eigene Meinungen und Pläne erklären und begründen. Er ist dabei fähig, wesentliche landestypische Unterschiede zu berücksichtigen. Aussprache, Wortwahl und Strukturengebrauch können noch von der Muttersprache geprägt sein. Stufe III, (Europäischer Referenzrahmen B2, Vantage) Rezeption Der Prüfling kann komplexere berufstypische Texte gegebenenfalls unter Einsatz von Hilfsmitteln über ihren Informationsgehalt hinaus auswerten. Er kann in natürlichem Tempo gesprochenen Mitteilungen folgen und Hauptgedanken erkennen und festhalten, auch wenn leicht regionale Akzentfärbungen zu hören sind. Produktion Der Prüfling kann berufstypische Schriftstücke und mündliche Mitteilungen auch ohne Zuhilfenahme von Textbausteinen insgesamt stil- und formgerecht strukturieren und sprachlich korrekt verfassen bzw. formulieren. Mediation Der Prüfling kann einen komplexeren fremdsprachlich dargestellten Sachverhalt unter Verwendung von Hilfsmitteln auf Deutsch wiedergeben oder einen komplexeren in Deutsch dargestellten Sachverhalt stilistisch angemessen in die Fremdsprache übertragen. Interaktion Der Prüfling kann berufsrelevante Gesprächssituationen sicher in der Fremdsprache bewältigen. Er kann dabei auch die Gesprächsinitiative ergreifen und auf den Gesprächspartner gezielt eingehen. Er kann auf schriftliche Mitteilungen komplexer Art situationsadäquat reagieren. Er kann schriftlich wie mündlich Sachverhalte ausführlich erläutern und Standpunkte verteidigen. Er ist dabei fähig, landestypische Unterschiede in der jeweiligen Berufs- und Arbeitswelt angemessen zu berücksichtigen. In Aussprache, Wortwahl und Strukturengebrauch ist die Muttersprache gegebenenfalls noch erkennbar. Er verfügt jedoch über ein angemessenes idiomatisches Ausdrucksvermögen. Anlage 2 Das KMK-Fremdsprachenzertifikat (Muster / Formatvorlagen): Siehe Folgeseiten. Anm.: Die 4. Seite des Zertifikats (englische Übersetzung der Kompetenzbereiche) ist nicht Bestandteil der Rahmenvereinbarung. Sie wurde in Absprache der Länder erstellt. Seite 213 BLK-Modellversuch EU-KonZert: Das KMK-Zertifikat 2 Das Zertifikat (Muster) KMKFremdsprachenzertifikat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland zu Fremdsprachen in der beruflichen Bildung Zertifikat auf der Grundlage der Initiative des Europarates: Gemeinsamer Europäischer Referenzrahmen für Sprachen: lernen, lehren, beurteilen ENGLISCH FÜR [BERUFSBEZEICHNUNG] Hier (falls vorhanden) Logo der Schule und Adresse, Tel.-Nr. usw. einfügen. Das Länderlogo von Hamburg dient nur der Demonstration. Seite 214 BLK-Modellversuch EU-KonZert: Das KMK-Zertifikat KMK-FREMDSPRACHENZERTIFIKAT Frau/Herr geb. am geb. in hat am erfolgreich die Prüfung für mit der Stufe (vergleiche Seite 3/4) abgelegt und dabei folgende Ergebnisse erzielt: Erreichbare Punkte SCHRIFTLICHE PRÜFUNG 1. Erreichte Punkte Texten und gesprochenen Mitteilungen Informationen entnehmen (REZEPTION) Texte des beruflichen Alltags (wie Memos, Faxmitteilungen, Einladungen, Geschäftsbriefe, Broschüren, Anleitungen u. Ä.) erschließen sowie An- und Durchsagen in Firmen und öffentlichen Gebäuden, Anweisungen von Kollegen u. Ä. verstehen 2. Schriftstücke erstellen (PRODUKTION) Formulare ausfüllen und typische Schriftstücke des beruflichen Alltags (wie Dankschreiben, Terminabsprachen, Geschäftsbriefe, Memos, Lebenslauf, Bewerbungen u. Ä.) verfassen 3. Vermitteln in zweisprachigen Situationen/Texte wiedergeben (MEDIATION) Texte und gesprochene Mitteilungen des beruflichen Alltags auswerten und die Inhalte in praxisgemäßer Weise (z. B. als Memo, Telefonnotiz, Anweisung) weitergeben insgesamt: 100 MÜNDLICHE PRÜFUNG 4. Gespräche führen 30 (INTERAKTION) Telefonische und / oder persönliche Gespräche zur allgemeinen Kontaktpflege sowie über alltägliche berufliche Sachverhalte (wie Wegbeschreibungen, Kundenberatung, Terminabsprache etc.) führen, dabei ggf. auch zwischen einem Sprecher der deutschen und einem Sprecher der Fremdsprache vermitteln Das Zertifikat entspricht den Anforderungen der Rahmenvereinbarung der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland vom 20.11.1998 (in der jeweils gültigen Fassung) über die Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung. (Ort, Datum) (Unterschrift, Dienstsiegel) Seite 215 BLK-Modellversuch EU-KonZert: Das KMK-Zertifikat Kompetenzbereiche der Stufen Hinweis: Die Formulierungen auf dieser Seite orientieren sich am Gemeinsamen europäischen Referenzrahmen für Sprachen: Lernen, Lehren, Beurteilen KMK-Stufe I (Europäischer Referenzrahmen A 2) KMK-Stufe II (Europäischer Referenzrahmen B 1) KMK-Stufe III (Europäischer Referenzrahmen B 2) Rezeption Der Prüfling kann sehr geläufige und einfach strukturierte berufstypische Texte auf konkrete, klar erkennbare Einzelinformationen hin auswerten. Es stehen ihm dazu Hilfsmittel (wie z. B. Wörterbücher und visuelle Darstellungen) zur Verfügung. Den Informationsgehalt klar und langsam gesprochener kurzer Mitteilungen aus dem beruflichen Alltag kann er nach wiederholtem Hören verstehen. Der Prüfling kann gängige berufstypische Texte unter Einsatz von Hilfsmitteln (wie z. B. Wörterbüchern und visuellen Darstellungen) zügig auf Detailinformationen hin auswerten. Er kann klar und in angemessenem, natürlichem Tempo gesprochene Mitteilungen nach wiederholtem Hören im Wesentlichen verstehen, wenn die Informationen nicht zu dicht aufeinander folgen. Der Prüfling kann komplexere berufstypische Texte ggf. unter Einsatz von Hilfsmitteln über ihren Informationsgehalt hinaus auswerten. Er kann in natürlichem Tempo gesprochenen Mitteilungen folgen und Hauptgedanken erkennen und festhalten, auch wenn leicht regionale Akzentfärbungen zu hören sind. Produktion Der Prüfling kann Eintragungen in Formulare des beruflichen Alltags vornehmen und kurze Sätze bilden. Längere Darstellungen gelingen, wenn als Hilfsmittel Wörterbücher und / oder ein Repertoire an Textbausteinen zur Verfügung stehen und die Textproduktion stark gelenkt ist. Der Prüfling verfügt über die nötigen sprachlichen Mittel, um die im Berufsleben geläufigsten Sachinformationen (wenn auch nicht immer sprachlich korrekt) zu übermitteln. Der Prüfling kann berufstypische Standardschriftstücke und mündliche Mitteilungen unter Berücksichtigung von Vorgaben und Verwendung von Hilfsmitteln weitgehend korrekt in der Fremdsprache verfassen bzw. formulieren. Berufsbezogene Sachinformationen werden bei eingeschränktem Wortschatz verständlich in der Fremdsprache wiedergegeben. Der Prüfling kann berufstypische Schriftstücke und mündliche Mitteilungen auch ohne Zuhilfenahme von Textbausteinen insgesamt stil- und formgerecht strukturieren und sprachlich korrekt verfassen bzw. formulieren. Mediation Der Prüfling kann einen einfachen fremdsprachlich dargestellten Sachverhalt unter Verwendung von Hilfsmitteln auf Deutsch wiedergeben oder einen einfachen in Deutsch dargestellten Sachverhalt mit eigenen Worten in der Fremdsprache umschreiben. Der Prüfling kann einen fremdsprachlich dargestellten Sachverhalt unter Verwendung von Hilfsmitteln auf Deutsch wiedergeben oder einen in Deutsch dargestellten Sachverhalt in die Fremdsprache übertragen. Es kommt dabei nicht auf sprachliche und stilistische, sondern nur auf inhaltliche Übereinstimmung an. Der Prüfling kann einen komplexeren fremdsprachlich dargestellten Sachverhalt unter Verwendung von Hilfsmitteln auf Deutsch wiedergeben oder einen komplexeren in Deutsch dargestellten Sachverhalt stilistisch angemessen in die Fremdsprache übertragen. Interaktion Der Prüfling kann einfache und rein informative berufsrelevante Gesprächssituationen unter Mithilfe des Gesprächspartners in der Fremdsprache bewältigen. Er ist sich dabei landestypischer Unterschiede bewusst. Er kann auf sehr geläufige schriftliche Standardmitteilungen mit einfachen sprachlichen Mitteln reagieren. Aussprache, Wortwahl und Strukturengebrauch können noch stark von der Muttersprache geprägt sein. Der Prüfling kann gängige berufsrelevante Gesprächssituationen unter Einbeziehung des Gesprächspartners in der Fremdsprache bewältigen und auf schriftliche Standardmitteilungen reagieren. Dabei kann er kurz eigene Meinungen und Pläne erklären und begründen. Er ist dabei fähig, wesentliche landestypische Unterschiede zu berücksichtigen. Aussprache, Wortwahl und Strukturengebrauch können noch von der Muttersprache geprägt sein. Der Prüfling kann berufsrelevante Gesprächssituationen sicher in der Fremdsprache bewältigen. Er kann dabei auch die Gesprächsinitiative ergreifen und auf den Gesprächspartner gezielt eingehen. Er kann auf schriftliche Mitteilungen komplexer Art situationsadäquat reagieren. Er kann schriftlich wie mündlich Sachverhalte ausführlich erläutern und Standpunkte verteidigen. Er ist dabei fähig, landestypische Unterschiede in der jeweiligen Berufs- und Arbeitswelt angemessen zu berücksichtigen. In Aussprache, Wortwahl und Strukturengebrauch ist die Muttersprache ggf. noch erkennbar. Er verfügt jedoch über ein angemessenes idiomatisches Ausdrucksvermögen. Die drei Stufen des KMK-Fremdsprachenzertifikats lassen sich in die Eurolevels folgendermaßen einordnen: A Elementare Sprachverwendung í î A1 A2 Breakthrough Waystage KMK-Stufe I B Selbstständige Sprachverwendung í î B1 B2 Threshold Vantage KMK-Stufe II Seite 216 KMK-Stufe III C Kompetente Sprachverwendung í î C1 C2 Effective Operational Mastery Proficiency (EOP) BLK-Modellversuch EU-KonZert: Das KMK-Zertifikat Areas of Competence Note: The following descriptions are based on the Council of Europe’s “A Common European Framework of Reference for Languages: Learning, Teaching, Assessment” Level I (European Framework of Reference A2) Level II (European Framework of Reference B1) Level III (European Framework of Reference B2) Reception The candidate can understand clearly defined, individual items of information in simply structured texts that are in very frequent use in his/her field of work, using aids such as dictionaries and illustrations. He/she can understand the content of short messages relating to everyday working life when these are spoken clearly and slowly and there is an opportunity to listen to them more than once. The candidate can speedily understand the details contained in texts that are in frequent use in his/her field of work, using aids such as dictionaries and illustrations. He/she can understand virtually all the content of messages spoken clearly and at an appropriate, natural speed when the items of information are not too close together and there is an opportunity to listen to the message more than once. The candidate can analyse and understand the implications of fairly complex texts in his/her field of work, using works of reference if necessary. He/she can follow messages spoken at a natural speed and recognize and record the main ideas even when these are spoken with a slight regional accent. Production The candidate can fill in forms used in everyday working life and form short sentences. Acting on clear instructions, he/she can successfully undertake more extensive text production with the aid of dictionaries and/or a repertoire of text modules. The candidate has sufficient knowledge of the language at his/her disposal to convey the most commonly used, job-related factual information (even if the language employed is not always completely correct). The candidate can produce standard written and oral messages in the foreign language to a relatively high degree of language accuracy, acting on instructions and with the aid of works of reference. He/she can express factual information concerning his/her field of work comprehensibly in the foreign language despite a limited range of vocabulary. The candidate can compose texts and convey messages that are typical of his/her field of work to an, in general, high degree of language and stylistic accuracy and appropriacy of form, without necessarily having to resort to the use of works of reference. Mediation The candidate can render in German simple facts expressed in the foreign language or, in the foreign language, express in his/her own words simple facts given in German, using works of reference. The candidate can render in German facts expressed in the foreign language or reproduce in the foreign language facts given in German, using works of reference. Of primary concern is the appropriacy of the content, not the accuracy of the language and the suitability of the style. The candidate can render in German fairly complex information expressed in the foreign language, or, in the foreign language, convey in his/her own words and while paying attention to stylistic appropriacy, fairly complex information given in German, using works of reference. Interaction The candidate can cope with simple conversational situations in the foreign language dealing purely with the exchange of information in his/her field of work, making use of the help provided by the person to whom he/she is talking. He/she is aware of intercultural differences existing between the speakers of the two languages. He/she is able to react to very frequently used, standard written messages using the simple language at his/her disposal. Pronunciation, choice of vocabulary and use of structures may still be strongly influenced by his/her mother tongue. The candidate can cope with conversational situations in the foreign language that arise frequently in his/her field of work, on occasion making use of the help provided by the person to whom he/she is talking, and react to standard written messages. He/she can also express and explain his/her own opinions and plans. In the process, he/she is able to take into consideration the most important intercultural differences existing between speakers of the two languages. Pronunciation, choice of vocabulary and use of structures may still be influenced by the mother tongue. The candidate can cope confidently with conversational situations in the foreign language that relate to his/her field of work. In the process, he/she can also take the initiative and adapt to the needs and wishes of the other person. He/she can react to fairly complex written pieces of text as the situation demands. He/she can explain facts in detail and defend standpoints both in writing and orally. In this context, he/she is able to pay appropriate attention to the intercultural differences existing in the occupational environment of the speakers of the two languages. Although the influence of the mother tongue may still be recognisable with regard to pronunciation, choice of vocabulary and use of structures, he/she has an appropriately idiomatic mode of expression at his/her disposal. The three levels of the Foreign Language Certificate issued by “The Standing Conference of Ministers for Education and Culture of the Länder” (KMK) can be categorised according to the Euro-Levels as follows: A Basic User í î A1 Breakthrough A2 Waystage KMK-Level I B Independent User í î B1 Threshold B2 Vantage KMK-Level II KMK-Level III Seite 217 C Proficient User í î C1 Effective Operational Proficiency (EOP) C2 Mastery BLK-Modellversuch EU-KonZert 3 Angaben zum BLK-Modellversuch / Ansprechpartner / Kontaktmöglichkeiten Wissenschaftliche Begleitung Die wissenschaftliche Begleitung erfolgt durch Herrn Professor Micheál Ó Dúill von der Fachhochschule Rosenheim. Herr Prof. Ó Dúill war langjähriges Mitglied des Hochschulsprachzertifizierungsbeirates UNIcert® und ist Experte auf dem Gebiet der Zertifizierung von Fremdsprachenkenntnissen. Herr Prof. Micheál Ó Dúill Fachhochschule Rosenheim Hochschulstr. 1 83026 Rosenheim Tel.: 08031-805423 E-Mail: [email protected] Daten zum Modellversuch EU-KONZERT Entwicklung und Umsetzung eines Evaluationskonzeptes für die KMKFremdsprachenzertifikatsprüfungen zur Sicherung der Vergleichbarkeit der Standards BLK-Verbundmodellversuch der Länder Bayern, Hamburg und Thüringen Laufzeit: 1. November 2003 – 31. Oktober 2006 Förderkennzeichen: K 0971.00 Modellversuchsträger Ansprechpartner Bayern (federführend): Staatsinstitut für Schulqualität und Bildungsforschung Schellingstraße 155 80797 München Arnulf Zöller, OstD Tel: 0049-89-2170-2211 Fax: 0049-89-2170-2215 e-mail: [email protected] Josef Biro, StD ab 2006: Jan Mayer, OStR Tel: 0049-89-2170-2213 Fax: 0049-89-2170-2215 http://www.isb.bayern.de e-mail: [email protected] Hamburg: Behörde für Bildung und Sport Referat Berufliche Schulen Hamburger Str. 131 22083 Hamburg Manfred Thönicke, StD (B 51-9) Tel: 0049-40-42863-3526 Fax: 0049-40-42863-4033 e-mail: [email protected] http://fhh.hamburg.de/stadt/Aktuell/behoerden/bildung-sport/start.html Thüringen: Thüringer Kultusministerium Werner-Seelenbinder-Straße 7 99096 Erfurt Andrea Nolte, RDin Tel: 0049-361-3794-440 Fax: 0049-361-3794-405 e-mail: [email protected] http://tkm31.tkm.thlv.de/ Der BLK-Modellversuch wurde gefördert durch bmb+f Bundesministerium für Bildung und Forschung Seite 218 BLK-Modellversuch EU-KonZert 4 Die am BLK-Modellversuch beteiligten Personen und Länder Das Gelingen des BLK-Modellversuches „EU-KonZert“ war nur möglich durch die länderübergreifende Zusammenarbeit. Es wirkten mit: Andrea Albert (Thüringen) Katrin Jeffries-Heinemann (Sachsen) Ruth Bankmann (Bayern) Ulrike Kotzi (Bayern) Ute Bartetzko (Berlin) Thomas Lenth (Brandenburg) Hans-Jürgen Bauer (Hessen) Marie-Luise Lindemann (Brandenburg) Knut Becker (Baden-Württemberg) Brigitte Lüdtke-Arndt (Hamburg) Sigrid Berndt (Sachsen) Margit Müller (Schleswig-Holstein) Jan Mayer (Bayern) Josef Biro (Bayern) Andrea Nolte (Thüringen) Beate Bösel (Sachsen) Gerhard Carra (Rheinland-Pfalz) Micheál Ó Dúill (Fachhochschule Rosenheim) Hildegard Dorth (Hessen) Hermann Poppelmeyer (Bremen) Helga Dreher (Thüringen) Gerd Reddig (Niedersachsen) Maike Engelhardt (Fachhochschule Rosenheim) Ines Reitmann (Sachsen-Anhalt) Götz Reuter (Bayern) Martina Fiksel (Thüringen) Wolfgang Schäfer (Baden-Württemberg) Helmut Fischmann (Bayern) Beate Schmidt (Thüringen) Gabriele Frambach (Thüringen) Anna-Katharina Findeklee (Thüringen) Elvira Günschmann (Thüringen) Wolfgang Hämmerling (Sachsen-Anhalt) Marlies Schmitz (Hessen) Anna Maria Siegert (Bayern) Maike Tadsen (Hamburg) Sandra Haberkorn (Hessen) Thomas Thewes (Nordrhein-Westfalen) Jens Hatje (Hamburg) Manfred Thönicke (Hamburg) Susanne Hausmann (Hessen) Diana Tornow (Mecklenburg-Vorpommern) Reina Hildebrandt (Thüringen) Robert Hönmann (Baden-Württemberg) Heiko Janssen (Baden-Württemberg) Jörg Trabert (Hamburg) Elke Uthoff (Niedersachsen) Kerstin Waedow (Mecklenburg-Vorpommern) Hans-Henning Jasper (Nordrhein-Westfalen) Andreas Werra (Rheinland-Pfalz) Seite 219 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis 5 Literaturverzeichnis Abel, Fritz (2003). “Eine wichtige Etappe auf dem Weg zur transparenten Zertifizierung von Fremdsprachenkenntnissen, - nicht mehr.” In: Bausch, Karl-Richard / Christ, Herbert / Königs, Frank G. / Krumm, Hans-Jürgen (eds.). Der Gemeinsame europäische Referenzrahmen für Sprachen in der Diskussion, 9-21. Aigner, Georg / Bankmann, Ruth / Bittner, Jürgen-Peter / Fischmann, Helmut / Kotzi, Ulrike / Millitzer, Peter / Nix, Alan / Siegert, Anna-Maria / Träger, Hildegard (2000). Zertifizierung von Englischkenntnissen durch die Berufsschule. Eine Handreichung für Aufgabenersteller und Prüfungen durchführende Schulen. München: Hintermaier. Alderson, J. Charles (2000). Assessing Reading. Cambridge: Cambridge University Press. Alderson, J. Charles (2005). Diagnosing Foreign Language Proficiency. The Interface between Learning and Assessment. London / New York: Continuum. Alderson, J. Charles (2006). Principles and practice in language testing: compliance or conflict? http://www.examsreform.hu/Pages/Events0201_01.html. Zugriff am 18. März 2006. Alderson, J. Charles / Banerjee, Jayanti (2001). “Language testing and assessment (Part 1). (State-of-the-Art Review.)” In: Language Teaching 34, 213-236 Alderson, J. Charles / Banerjee, Jayanti (2002). “Language testing and assessment (Part 2). (State-of-the-Art Review.)” In: Language Teaching 35, 79-113. Alderson, J. Charles / Figueras, Neus / Kuijper, Henk /Nold, Guenter / Takala, Sauli / Tardieu, Claire (2004). “The Development of Specifications for Item Development and Classification within the Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Reading and Listening. Final Report of the Dutch CEF Construct Project.” Zu beziehen vom Erstautor, [email protected] ALTE members (1998). Multilingual glossary of language testing terms. Cambridge: Cambridge University Press. Andrews, Stephen (2004). „Washback and Curriculum Innovation“ In: Cheng, Liying / Watanabe, Yoshinori with Curtis, Andy (eds.). Washback in Language Testing. Research Contexts and Methods. Mahwah, NJ / London: Lawrence Erlbaum, 37-50. Appel, Joachim (2000). Erfahrungswissen und Fremdsprachendidaktik. München: Langenscheidt-Longman. Bachman, Lyle F. (2004). Statistical Analyses for Language Assessment. Cambridge: Cambridge University Press. Bachman, Lyle F. / Cohen, Andrew D. (eds.) (1998). Interfaces between second language acquisition and language testing research. Cambridge: Cambridge University Press Bailey, Alison / Stevens, Robin / Butler, Frances A. / Huang, Becky / Miyoshi, Judy N. (2005). Using Standards and Empirical Evidence to Develop Academic English Proficiency Test Items in Reading. Los Angeles: National Center for Research on Evaluation, Standards, and Student Testing (CRESST). Seite 220 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Barron, Anne (2003). Acquisition in Interlanguage Pragmatics. Learning how to do things with words in a study abroad context. Amsterdam / Philadelphia: Benjamins. Baumgartner, Wilhelm / Gibson, Robert (1992). Tests für berufsbezogenes Englisch. Modellversuch Fremdsprachen an der Berufsschule – Chancen für den Arbeitnehmer in der EG von morgen. München: Hintermaier. Bausch, Karl-Richard (2003). „Zustimmung, aber…!“ In: Bausch, Karl-Richard / Christ, Herbert / Königs, Frank G. / Krumm, Hans-Jürgen (eds.). Der Gemeinsame europäische Referenzrahmen für Sprachen in der Diskussion, 29-35. Bausch, Karl-Richard / Burwitz-Melzer, Eva / Königs, Frank G. / Krumm, HansJürgen (eds.) (2005). Bildungsstandards für den Fremdsprachenunterricht auf dem Prüfstand. Tübingen: Narr. Bausch, Karl-Richard / Christ, Herbert / Königs, Frank G. / Krumm, Hans-Jürgen (eds.) (2003). Der Gemeinsame europäische Referenzrahmen für Sprachen in der Diskussion. Arbeitspapiere der 22. Frühjahrskonferenz zur Erforschung des Fremdsprachenunterrichts. Tübingen: Gunter Narr. Beebe, Leslie M. / Zhang Waring, Hansun (2004). „The Linguistic Encoding of Pragmatic Tone: Adverbials as Words that Work“. In: Boxer, Diana / Cohen, Andrew D. (eds.). Studying Speaking to Inform Second Language Learning. Clevedon: Multilingual Matters, 228-249. Besch, Friedrich (1997). „Notwendigkeiten und Ziele des Englischunterrichts in der Berufsschule.“ In: Landesinstitut für Schule und Weiterbildung (ed.). Englisch in der Berufsschule. Reader zur Fachtagung vom 18.-20.03.1996. Bönen: Verlag für Schule und Weiterbildung, S. 11-14. Brandenburg, Ingrid (ed.) (1999). Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung. Das KMK-Zertifikat an Hamburger Berufsschulen. Allgemeine Hinweise. Aufgabenbeispiele für Englisch. Hamburg: Freie und Hansestadt Hamburg, Behörde für Schule, Jugend und Berufsbildung, Abteilung Berufliche Schulen. Brandenburg, Ingrid (2001). Bericht zur Evaluation der Rahmenordnung über die Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung (Beschluss der Kultusministerkonferenz vom 20.11.1998). Bonn: Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland. Brindley, Geoff (1998). „Describing language development? Rating scales and SLA.” In: Bachman, Lyle E. / Cohen, Andrew D. (eds.). Interfaces between second language acquisition and language testing research, 112-140. Brown, Annie (2003). “Interviewer variation and the co-construction of speaking proficiency”. In: Language Testing 20, 1-25. Brown, Annie (2004). “Interviewer variability in oral proficiency interviews. Unpublished PhD dissertation”. Melbourne: University of Melbourne. Brown, Annie (2005). Interviewer Variability in Oral Proficiency Interviews. Frankfurt / Main: Peter Lang. Brown, Dan (1998). Digital fortress. London: Corgi. Brown, James Dean / Hudson, Thom (2002). Criterion-referenced Language Testing. Cambridge: Cambridge University Press. Buck, Gary (2001). Assessing Listening. Cambridge: Cambridge University Press. Seite 221 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Bundesarbeitsgemeinschaft Englisch an Gesamtschulen (1996). Kommunikativer Englischunterricht. Prinzipien und Übungstypologie. Ein Handbuch für Lehrer. Neue Ausgabe. München: Langenscheidt-Longman. Bygate, Martin / Skehan, Peter / Swain, Merrill (2001). “Editors’ introduction to Part III: Task-based approaches to Testing”. In: Bygate, Martin / Skehan, Peter / Swain, Merrill (eds.). Researching Pedagogic Tasks. Second Language Learning, Teaching and Testing. Harlow: Pearson, 163-165. Bygate, Martin / Skehan, Peter / Swain, Merrill (eds.). Researching Pedagogic Tasks. Second Language Learning, Teaching and Testing. Harlow: Pearson. Carini, Patricia F. (2001). Starting Strong. A Different Look at Children, Schools, and Standards. New York / London: Teachers College Press. Carr, N. (2000). „A comparison of the effects of analytic and holistic rating scales types in the context of composition texts”. In: Issues in Applied Linguistics 11, 207241. Council of Europe (2001). Common European Framework of Languages: Learning, teaching, assessment. Cambridge: Cambridge University Press. Council of Europe (ed.) (ohne Jahr). Relating language examinations to the Common European Framework of Reference for Languages: learning, teaching, assessment. Writing Tasks: Pilot Sample. Straßburg: Council of Europe. <http://www.coe.int/T/DG4/Portfolio/documents/exampleswriting.pdf>. Zugriff am 28. Oktober 2006. Davidson, Fred / Lynch, Brian K. (2002). Testcraft. A Teacher’s Guide to Writing and Using Language Test Specifications. New Haven / London: Yale University Press. Davies, Alan (2001). “The logic of testing languages for specific purposes”. In: Language Testing 18, 133-148. Davies, Alan / Brown, Annie / Elder, Cathie / Hill, Kathryn / Lumley, Tom / McNamara, Tim (1999). Dictionary of language testing. Cambridge: Cambridge University Press. Day, Elaine Mellen (2002). Identity and the Young English Language Learner. Clevedon: Multilingual Matters. De Jong, John H. A. L. (2001). “Evaluation Report Fremdsprachenzertifikat.” Velp: Language Testing Services. on the ‚KMK- Dörnyei, Zoltán (2001). Teaching and Researching Motivation. Harlow: Pearson. Dörnyei, Zoltán / Kormos, Judit (2000). “The role of individual and social variables in oral task performance”. In: Language Teaching Research 4, 275-300. Douglas, Dan (2000). Assessing Languages for Specific Purposes. Cambridge: Cambridge University Press. Douglas, Dan (2005). “Testing Languages for Specific Purposes.” In: Hinkel, S. 857-868. Doyé, Peter (1986). Typologie der Testaufgaben für den Englischunterricht. München: Langenscheidt-Longman. Seite 222 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Egloff, Gerd / Fitzpatrick; Anthony (1997). “Languages for Work and Life: The Council of Europe and Vocationally Oriented Language Learning (VOLL).” In: Egloff, Gerd / Fitzpatrick, Anthony (eds.) Languages for Work and Life: The Council of Europe and Vocationally Oriented Language Learning (VOLL), Straßburg: Council of Europe, S. 1-24. Együd, Györgyi / Glover, Philip (2001). “Oral testing in pairs – a secondary school perspective”. In: ELT Journal 55, 70-76. Elliot, Norbert (2005). On a Scale. A Social History of Writing Assessment in America. New York: Peter Lang. Ellis, Rod / Barkhuizen, Gary (2005). Analysing Learner Language. Oxford: Oxford University Press. European Association for Language Testing and Assessment (ohne Jahr). “Expert membership“. <http://www.ealta.eu.org/expert.htm>. Zugriff am 09. November 2006. European Association for Language Testing and Assessment (2006). “Good Practice Guidelines“. <http://www.ealta.eu.org/documents/archive/Good_Practice_Guidelines_21-052006.pdf>. Zugriff am 05. November 2006. Figueras, Neus (2005). „Testing, testing, everywhere, and not a while to think.” In: ELT Journal 59, 47-54. Figueras, Neus / North, Brian / Takala, Sauli / Verhelst, Norman / Avermaet, Piet van (2005). “Relating examinations to the Common European Framework: a manual.” In: Language Testing 22, S. 261-279. Foot, M. (1999). “Relaxing in pairs”. In: English Language Teaching Journal 53, 3641. Freudenstein, Reinhold (2003). „Richtlinien gehen, der Referenzrahmen kommt… Wie sich ineffektives Sprachenlernen durch neue Begriffe perpetuieren lässt.” In: Bausch, Karl-Richard / Christ, Herbert / Königs, Frank G. / Krumm, Hans-Jürgen (eds.). Der Gemeinsame europäische Referenzrahmen für Sprachen in der Diskussion, 75-84. Fulcher, Glenn (1999). „Assessment in English for Academic Purposes.“ In: Applied Linguistics 20, 2, 221-236 Fulcher, Glenn (2003). Testing Second Language Speaking. London: Pearson. Furedi, Frank (2004). “It’s now no longer critical and nor is it thinking. There are some things that can’t be reduced to measurable skills.” In: The Times Higher Education Supplement, 24. September 2004, S. 58. Ghisla, Gianni / Kolb, Werner in Zusammenarbeit mit Lehrkräften, Fachdidaktikern und Fachdidaktikerinnen (2001). Dossier zur Einführung des Rahmenlehrplans für die Berufsmaturität (RLP-BM) Technische Richtung. Gestalterische Richtung. Gewerbliche Richtung. Bern: Bundesamt für Berufsbildung und Technologie BBT. Glaboniat, Manuela (1998). „Auf der Suche nach ‚Objektivität’. Objektivierungsverfahren zur Benotung und Bewertung schriftlicher Textproduktionen.“ In: Fremdsprache Deutsch 19, 20-23. Seite 223 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Goethe, Johann Wolfgang von (121994). „Erfahrung und Leben.“ In: Trunz, Erich (ed.). Goethes Werke. Hamburger Ausgabe in 14 Bänden. Band XII. Schriften zur Kunst. Schriften zur Literatur. Maximen und Reflexionen. Textkritisch durchgesehen von Erich Trunz und Hans Joachim Schrimpf. Kommentiert von Herbert von Einem und Hans Joachim Schrimpf. München: Beck, 512-547. Goethe, Johann Wolfgang von (91994). „Materialien zur Geschichte der Farbenlehre.“ In: Trunz, Erich (ed.). Goethes Werke. Hamburger Ausgabe in 14 Bänden. Band XIV. Naturwissenschaftliche Schriften II. Materialien. Register. Textkritisch durchgesehen und kommentiert von Dorothea Kuhn. München: Beck, 7-269. Gogolin, Ingrid (2003). „Der Gemeinsame europäische Referenzrahmen”. In: Bausch, Karl-Richard / Christ, Herbert / Königs, Frank G. / Krumm, Hans-Jürgen (eds.). Der Gemeinsame europäische Referenzrahmen für Sprachen in der Diskussion. Arbeitspapiere der 22. Frühjahrskonferenz zur Erforschung des Fremdsprachenunterrichts. Tübingen: Gunter Narr, 85-94. Gottlieb, Margo (2006). Assessing English Language Learners. Bridges From Language Proficiency to Academic Achievement. Thousand Oaks: Corwin. Grotjahn, Rüdiger (2000). „Determinanten der Schwierigkeit von Leseverstehensaufgaben: Theoretische Grundlagen und Konsequenzen für die Entwicklung des TESTDAF.“ In: Bolton, Sibylle (ed.). TESTDAF: Grundlagen für die Entwicklung eines neuen Sprachtests. Beiträge aus einem Expertenseminar. Köln: Gilde, 7-55 Grotjahn, Rüdiger (2005). “Testen und Bewerten des Hörverstehens.“ In: Ó Dúill, Micheál / Zahn, Rosemary / Höppner, Kristina D. C. (eds.). Zusammenarbeiten. Eine Festschrift für Bernd Voss. Bochum: AKS-Verlag, S. 115-144. Grotjahn, Rüdiger / Klein-Braley, Christine (2001). „Testen.“ In: Jung, Udo O. H. (ed.). Praktische Handreichung für Fremdsprachenlehrer. 3., durchgesehene Auflage unter Mitarbeit von Heidrun Jung. Frankfurt/Main: Peter Lang. Hallet, Wolfgang / Müller-Hartmann, Andreas (eds.) (2006). “Thementeil Bildungsstandards“. In: Der fremdsprachliche Unterricht Englisch 81, S. 1-37. Hardy, Ilonca M. / Moore, Joyce L. (2004). “Foreign Language Students’ Conversational Negotiations in Different Task Environments”. In: Applied Linguistics 25, 340370. Harsch, Claudia (2004). „Writing Assessment: How the Common European Framework of Reference can be used for developing assessment scales”. In: British Council Germany. Standards in language learning and the Common European Framework. Berlin, 5-6 March 2004. Conference Report. Berlin: British Council Germany, 38-44. Hasselgreen, Angela (2004). Testing the Spoken English of Young Norwegians. A study of test validity and the role of ‘smallwords’ in contributing to pupils’ fluency. Cambridge: Cambridge University Press. Hawkey, Roger (2004). A Modular approach to Testing English Language Skills. The development of the Certificates in English Language Skills (CELS) examinations. Cambridge: Cambridge University Press. Hawkey, Roger / Barker, Fiona (2004). “Developing a common scale for the assessment fo writing.” In: Assessing Writing 9, S. 122-159. Seite 224 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Heritage, J. (2001). “Conversation analysis: sociological”. In: N. J. Smelser and P. B. Baltes (eds.). International Encyclopedia of the Social and Behavioral Sciences. Oxford: Elsevier Science, 2741-2744. Hessisches Kultusministerium (2003). Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung. Das KMK-Fremdsprache-Zertifikat in Hessen. Informationen, Durchführung und Bewertung der Prüfung, Aufgabenbeispiele und Lösungen. Wiesbaden: Hessisches Kultusministerium Hinkel, Eli (2002). Second Language Writers’ Text. Linguistic and Rhetorical Features. Mahwah, NJ / London: Lawrence Erlbaum. Hinkel, Eli (ed.) (2005). Handbook of Research in Second Language Teaching and Learning. Mahwah, NJ / London: Lawrence Erlbaum. Hughes, Arthur (2003). Testing for Language Teachers. Second Edition. Cambridge: Cambridge University Press. Hughes, Rebecca (2002). Teaching and Researching Speaking. London: Longman. Hughes, Rebecca (ed.) (2006). Spoken English, TESOL and Applied Linguistics. Challenges for Theory and Practice. Basingstoke / New York: Palgrave Macmillan. Hyland, Ken (2003). Second language Writing. Cambridge: Cambridge University Press. Institut zur Qualitätsentwicklung im Bildungswesen (ohne Jahr). Perspektiven und Visionen. Die Normierung und Präzisierung der Nationalen Bildungsstandards in den Ländern der Bundesrepublik Deutschland. Das IQB stellt sich vor. <http://www.iqb.hu-berlin.de/institut/flyer_iqb_dt.pdf>. Zugriff am 09. November 2006. International Language Testing Association (2006). “Draft Code of Practice“, <http://www.iltaonline.com/ILTA-COP-ver3-21Jun2006.pdf>. Zugriff am 05. November 2006. Iwashita, Norika / Grove, Elisabeth (2003). „A comparison of analytic and holistic scales in the context of a specific-purpose speaking test”. In: Prospect 18, 23-35 James, Carl (1998). Errors in Language Learning and Use. Exploring Error Analysis. Harlow: Longman. Johnson, Marysia (2001). The Art of Nonconversation. A Reexamination of the Validity of the Oral Proficiency Interview. New Haven / London: Yale University Press. Johnson Gerson, Marysia (2006). “Local and Dialogic Language Ability and its Implication for language Teaching and Testing.” In: Hughes, S. 271-286. Jones, Robert E. (2001). “A consciousness-raising approach to the teaching of conversational storytelling skills”. In: ELT Journal 55, 155-163. Juvenal [= Decimus Iunius Iuvenalis]. [Entstanden etwa vom Jahr 100 an] D. IUNI IUVENALIS SATVRAE. <http://www.thelatinlibrary.com/juvenal/6.shtml>. Zugriff am 11. November 2005. Kaftandjieva, Felianka (2004). „Standard Setting.“ In: Takala, Sauli (ed.). Reference Supplement to the Preliminary Pilot version of the Manual for Relating Language examinations to the Common European Framework of References for Languages: learning, teaching, assessment. Straßburg: Council of Europe, B1-43. Seite 225 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Kenyon, Dorry / Tschirner, Erwin (2000). “The rating of direct and semi-direct oral proficiency interviews: Comparing performance at lower proficiency levels”. In: The Modern Language Journal 84, 85-101. Kiernan, Eamon (2002). „Portfolio Assessment in Language Education: A Theoretical Justification and the Results of a Classroom-Based research Project“. In: Kupetz, Rita (ed.). Empowerment of the Learner: Changes and challenges. Frankfurt am Main: Peter Lang, 57-84. Kieweg, Werner (1999). „Allgemeine Gütekriterien für Lernzielkontrollen.“ In: Der Fremdsprachliche Unterricht Englisch 37 (1), 4-11 Kleppin, Karin (2003). „Der Gemeinsame europäische Referenzrahmen für Sprachen: Ärgernis oder Fortschritt?“ In: Bausch, Karl-Richard / Christ, Herbert / Königs, Frank G. / Krumm, Hans-Jürgen (eds.). Der Gemeinsame europäische Referenzrahmen für Sprachen in der Diskussion, 105-112. Klieme, Eckhard / Avenarius, Hermann / Blum, Werner / Döbrich, Peter / Gruber, Hans / Prenzel, Manfred / Reiss, Kristina / Riquarts, Kurt / Rost, Jürgen / Tenorth, Heinz-Elmar / Vollmer, Helmut J. (2003). Zur Entwicklung nationaler Bildungsstandards. Eine Expertise. Berlin: Bundesministerium für Bildung und Forschung. <http:://www.bmbf.de/pub/zur_entwicklung_nationaler_bildungsstandards.pdf>. Zugriff am 19. Juni 2005. Klieme, Eckhard / Eichler, Wolfgang / Helmke, Andreas / Lehmann, Rainer H. / Günter Nold, Günter / Rolff, Hans-Günter / Schröder, Konrad / Thomé, Günther / Willenberg, Heiner (2006). Unterricht und Kompetenzerwerb in Deutsch und Englisch. Zentrale Befunde der Studie Deutsch-Englisch-SchülerleistungenInternational (DESI). Unter Mitarbeit von Bärbel Beck, Svenja Bundt, Holger Ehlers, Steffen Gailberger, Maren Gasenzer, Jan von der Gathen, Kerstin Göbel, Jens Gomolka, Claudia Harsch, Johannes Hartig, Tuyet Helmke, Hermann-Günter Hesse, Nina Jude, Michael Krelle, Michael Leucht, Astrid Neumann, Ernst Rösner, Henning Rossa, Friedrich-Wilhelm Schrader, Heiko Sibberns, Brigitte Steinert, Wolfgang Wagner. Frankfurt am Main: Deutsches Institut für Internationale Pädagogische Forschung. Köhler, Horst (2006). „Bildung für alle. Berliner Rede 2006“. <http://www. bundespraesident.de/artikel-,2.633130/Berliner-Rede-2006.htm> Zugriff am 09. November 2006. Kormos, Judit / Dénes, Mariann (2004). “Exploring measures and perceptions of fluency in the speech of second language learners.” In: System 32, S. 145-164. Krause, Wolf-Dieter / Sändig, Uta (1999). „Zur Effektivierung von Leistungskontrollen und Tests für die Überprüfung der Kommunikationskompetenz im Fremdsprachenunterricht.“ In: Fremdsprachen und Hochschule 57, 88-116. Krumm, Hans-Jürgen (2003). „Der Gemeinsame europäische Referenzrahmen – ein Kuckucksei für den Fremdsprachenunterricht?“ In: Bausch, Karl-Richard / Christ, Herbert / Königs, Frank G. / Krumm, Hans-Jürgen (eds.). Der Gemeinsame europäische Referenzrahmen für Sprachen in der Diskussion. Arbeitspapiere der 22. Frühjahrskonferenz zur Erforschung des Fremdsprachenunterrichts. Tübingen: Gunter Narr, S. 120-126. Seite 226 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Lavric, Eva (1998). „Fachsprachliche Fehlerlinguistik“. In: Hoffmann, Lothar / Kalverkämper, Hartwig / Wiegand, Herbert Ernst (eds.). Fachsprache. Languages for Special Purposes. 1. Halbband / Volume 1. Berlin / New York: de Gruyter, 970975. Lazaraton, Anne (2002). A Qualitative Approach to the Validation of Oral Language Tests. Cambridge: Cambridge University Press. Lee, Yong-Won (2006). “Dependability of scores for a new ESL speaking assessment consisting of integrated and independent tasks”. In: Language Testing 23, 131-166. Legenhausen, Lienhard (2001). „Lernerfehler in Forschung und Unterrichtspraxis”. In: Jung, Udo O. H. (ed.). Praktische Handreichung für Fremdsprachenlehrer. 3., durchgesehene Auflage unter Mitarbeit von Heidrun Jung. Frankfurt am Main: Peter Lang, 46-51. Levis, John M. (2006). “Pronunciation and the assessment of spoken language.” In: Hughes, S. 245-270. Little, David (2006). “The Common European Framework of Reference for Languages: Content, purpose, origin, reception and impact.” In: Language Teaching 39, S. 167-190. Liu, Jianda (2006). Measuring Interlanguage Pragmatic Knowledge of EFL Learners. Frankfurt / Main: Peter Lang. Luchtenberg, Sigrid (2002). “Überlegungen zur Sprachstandsdiagnostik”. In: Staatsinstitut für Schulpädagogik und Bildungsforschung. Kenntnisse in Deutsch als Zweitsprache erfassen. Screening-Modell für Schulanfänger. Stuttgart: Klett, 73-92. Lumley, Tom / O’Sullivan, Barry (2005). “The effect of test-taker gender, audience and topic on task performance in tape-mediated assessment of speaking”. In: Language Testing 22, 415-437. Luoma, Sari (2004). Assessing Speaking. Cambridge: Cambridge University Press. Lynch, Brian K, (2003). Language Assessment and Programme Evaluation. Edinburgh: Edinburgh University Press. Malvern, David / Richards, Brian (2002). „Investigating accommodation in language proficiency interviews using a new measure of lexical density”. In: Language Testing 19, 85-104. McNamara, Tim / Brown, Annie / Grove, Lis / Hill, Kathryn / Iwashita, Noriko (eds.) (2005). “Second language testing and assessment”. In: Hinkel, S. 773-888. Merrylees, B. / McDowell, C. (1999). “An investigation of speaking test reliability with particular reference to examiner attitude to the speaking test format and candidate / examiner discourse produced”. In Tulloh, R. (ed.). IELTS Research Reports 1999 (Volume 2, 1-35). Canberra: IELTS Australia Pty Limited. Morrow, Keith (2004). „Background to the CEF.“ In: Morrow, Keith (ed.). Insights from the Common European Framework. Oxford: Oxford University Press, 3-11. Morton, J. (1998). “A cross-cultural study of second language narrative discourse on an oral proficiency test”. In: Prospect 13, 20-35. Seite 227 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Neuner, Gerhard (2003). „Der Gemeinsame europäische Referenzrahmen für Sprachen (RR) – neue Impulse für die Weiterentwicklung der Fremdsprachendidaktik und die Sprachlehrforschung.“ In: Bausch, Karl-Richard / Christ, Herbert / Königs, Frank G. / Krumm, Hans-Jürgen (eds.). Der Gemeinsame europäische Referenzrahmen für Sprachen in der Diskussion, 140-144. North, Brian (2000). The Development of a Common Framework Scale of Language Proficiency. New York: Peter Lang. North, Brian / Figueras, Neus / Takala, Sauli / Van Avermaet, Piet / Verhelst, Norman (2003). Relating Language Examinations to the Common European Framework of Reference for Languages: Learning, Teaching, Assessment (CEF) Manual. Preliminary Pilot Version. Straßburg: Council of Europe. <http:www.coe.int/T/E/Cultural_Co-operation/education/Languages/Language_ Policy/Manual/Manual.pdf?L=E>. Zugriff am 18. Juni 2005 North, Brian / Schneider, Günther (1998): Scaling descriptors for language proficiency scales, Language testing 15 (2) 217-263 Norton, Julie (2005). “The paired format in the Cambridge Speaking Tests”. In: ELT Journal 59, 287-297. Organisation for Economic Co-operation and Development (ohne Jahr). The OECD Programme for International Student Assessment. <http://www.pisa.oecd.org /dataoecd/51/27/37474503.pdf.> Zugriff am 05. November 2006. O’Sullivan, Barry (2006). Issues in Testing Business English. The Revision of the Cambridge Business English Certificates. Cambridge: Cambridge University Press. Purpura, James E. (2004). Assessing Grammar. Cambridge: Cambridge University Press. Pawlikowska-Smith, Grazyna (2000). Canadian Language Benchmarks 2000. English as a second language for adults. [Ottawa:] Centre for Canadian Language Benchmarks. Pawlikowska-Smith, Grazyna (2002). Canadian Language Benchmarks 2000: Theoretical Framework. [Ottawa:] Centre for Canadian Language Benchmarks. Quetz, Jürgen (2003). „A1-A2-B1-B2-C1-C2. Der Gemeinsame europäische Referenzrahmen“. In: Deutsch als Fremdsprache 1, 42-48. Quetz, Jürgen (2004). „Der gemeinsame europäische Referenzrahmen als ein Modell kommunikativer Kompetenz.“ In: Quetz, Jürgen / Solmecke, Gert (eds.). Brücken schlagen. Fächer – Sprachen – Institutionen. Dokumentation zum 20. Kongress für Fremdsprachendidaktik, veranstaltet von der Deutschen Gesellschaft für Fremdsprachenforschung (DGFF) Frankfurt am Main, 1.-4. Oktober 2003. Berlin: Pädagogischer Verlag. Read, John / Chapelle, Carol A. (2001). “A framework for second language vocabulary assessment.” In: Language Testing 18 (1), 1-32. Reich, Hans (2003). „Tests und Sprachstandsmessungen bei Schülern und Schülerinnen, die Deutsch nicht als Muttersprache haben.“ In: Bredel, Ursula / Günther, Hartmut / Klotz, Peter / Ossner, Jakob / Siebert-Ott, Gesa (eds.). Didaktik der deutschen Sprache. 2. Teilband. Paderborn: Schöningh, S. 914-923. Rose, Kenneth R. / Kasper, Gabriele (eds.) (2001). Pragmatics in Language Teaching. Cambridge: Cambridge University Press. Seite 228 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Rivera, Charlene / Collum, Eric (eds.) (2006). State Assessment Policy and Practice for English language Learners. A National Perspective. Mahwah / London: Erlbaum. Robinson, Peter (2001). „Task complexity, task difficulty, and task production: Exploring interactions in a componential framework”. In: Applied Linguistics 22, 27-57. Röver, Carsten (2005). Testing ESL Pragmatics. Development and Validation of a Web-Based Assessment. Frankfurt / Main: Peter Lang. Saville, Nick (2003). „The process of test development and revision within UCLES EFL.“ In: Weir, Cyril. J. / Milanovic, Michael (eds.). Continuity and Innovation: Revising the Cambridge Proficiency in English Examination 1913-2002.Cambridge: Cambridge University Press, S. 57-120. Schneider, Günther / North, Brian (2000). Fremdsprachen können – was heißt das? Skalen zur Beschreibung, Beurteilung und Selbsteinschätzung der fremdsprachlichen Kommunikationsfähigkeit. Chur / Zürich: Rüeger. Schocker-v. Ditfurth, Marita (2003). „Die Bedeutung des europäischen Referenzrahmens für die Qualität der Lehr / Lern-Erfahrungen in Schule und Lehrerbildung.“ In: Bausch, Karl-Richard / Christ, Herbert / Königs, Frank G. / Krumm, Hans-Jürgen (eds.). Der Gemeinsame europäische Referenzrahmen für Sprachen in der Diskussion, 164-172. Schöpper-Grabe, Sigrid / Weiß, Reinhold (1998). Vorsprung durch Fremdsprachentraining. Ergebnisse einer Unternehmensbefragung. Köln: Deutscher InstitutsVerlag. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (ed.) (1995). Standards für den Mittleren Schulabschluss in den Fächern Deutsch, Mathematik und erste Fremdsprache (Beschluss der Kultusministerkonferenz vom 12.05.1995). Bonn: Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (1997). „280. Plenarsitzung.“ <http://www.kmk.org/ aktuell/pm971024.htm>. Zugriff am 29. Oktober 2006. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2001). „Pressemitteilung“, 04.12.2001. Bonn: Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland. <http://www.kmk.org/aktuell/pm011204.htm>. Zugriff am 29. Oktober 2006. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2002a). „Pressemitteilung“, 01.03.2002. Bonn: Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland. <http://www.kmk.org/aktuell/pm020228.htm>. Zugriff am 29. Oktober 2006. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2002b). Rahmenvereinbarung über die Zertifizierung von Fremdsprachenkenntnissen in der beruflichen Bildung. Beschluss der Kultusministerkonferenz vom 20.11.1998 i. d. F. vom 26.04.2002. <http://www.kmk.org/doc/beschl/rvfz02-04-26.pdf>. Zugriff am 17. Juni 2005. Seite 229 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2004). Bildungsstandards für die erste Fremdsprache (Englisch/Französisch) für den Mittleren Schulabschluss. Darmstadt: Wolters Kluwer. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2005a). Bildungsstandards der Kultusministerkonferenz. Erläuterungen zur Konzeption und Entwicklung. (Am 16.12.2004 von der Kultusministerkonferenz zustimmend zur Kenntnis genommen.) München / Neuwied: Wolters Kluwer. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2005b). Bildungsstandards für die erste Fremdsprache Englisch/Französisch, Jahrgangsstufe 9 (Beschluss der Kultusministerkonferenz vom 15.10.2004). München / Neuwied: Wolters Kluwer Shohamy, Elana (2001). The Power of Tests. A Critical Perspective on the Uses of Language Tests. Harlow: Longman. Skehan, Peter (2001). “Tasks and language performance assessment”. In: Bygate, Martin / Skehan, Peter / Swain, Merrill (eds.). Researching Pedagogic Tasks. Second Language Learning, Teaching and Testing. Harlow: Pearson, 167-185. Sorace, Antonella (2005). „Near-nativeness.“ In: Doughty, Catherine J. / Long, Michael H. (eds.). The Handbook of Second Language Acquisition. Malden: Blackwell S. 130-151. Staatsinstitut für Schulpädagogik und Bildungsforschung (ed.) (1998). Aufgabenformen in den modernen Fremdsprachen in den Jahrgangsstufen 5-11. Donauwörth: Auer. Staatsinstitut für Schulpädagogik und Bildungsforschung (2003). Antrag: Entwicklung und Umsetzung eines Evaluationskonzeptes für die KMK-Fremdsprachenzertifikatsprüfungen zur Sicherung der Vergleichbarkeit der Standards. <http://www.landesinstitute.de/modellversuche/fileupload/MV-Antrag.pdf>. Zugriff am 30. Juli 2005. Staatsinstitut für Schulpädagogik und Bildungsforschung (2004). Zwischenbericht zum Modellversuch Entwicklung und Umsetzung eines Evaluationskonzeptes für die KMK-Fremdsprachenzertifikatsprüfungen zur Sicherung der Vergleichbarkeit der Standards (EU-KONZERT). http://www.beruflicheschulen-modellversuche. de/showmv.php?i=3. Zugriff am 07. November 2006. Staatsinstitut für Schulpädagogik und Bildungsforschung (2005a). 2. Zwischenbericht zum BLK-Modellversuch Entwicklung und Umsetzung eines Evaluationskonzeptes für die KMK-Fremdsprachenzertifikatsprüfungen zur Sicherung der Vergleichbarkeit der Standards (EU-KONZERT). http://www.beruflicheschulenmodellversuche.de/showmv.php?i=3. Zugriff am 07. November 2006. Staatsinstitut für Schulpädagogik und Bildungsforschung (2005b). Modellversuchsinformation Nr. 2. <http://www.beruflicheschulen-modellversuche.de/fileupload/Flyer2_06Juni05.pdf>. Zugriff am 07. November 2006. Sundh, Stellan (2003). Swedish School Leavers’ Oral Proficiency in English. Grading of Production and Analysis of Performance. Uppsala: Universität Uppsala. Swain, Merrill (2001). „Examining dialogue: another approach to content specification and to validating inferences drawn from test scores“. In: Language Testing 18, 275-302. Seite 230 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Takala, Sauli (2004). „Foreward“. In: Takala, Sauli (ed.). Reference Supplement to the Preliminary Pilot version of the Manual for Relating Language examinations to the Common European Framework of Reference for Languages: learning, teaching, assessment. Straßburg: Council of Europe Takala, Sauli (ed.). (2004). Reference Supplement to the Preliminary Pilot version of the Manual for Relating Language examinations to the Common European Framework of Reference for Languages: learning, teaching, assessment. Straßburg: Council of Europe. Takala, Sauli (23. Okt. 2005). „[EALTA-discussion] Non Native Speakers conducting language tests”. In: [email protected]. Tarone, Elaine (1998). „Research on interlanguage variation: Implications for language testing.“ In: Bachman, Lyle E. / Cohen, Andrew D. (eds.). Interfaces between second language acquisition and language testing research, 71-89. Trim, John / North, Brian / Coste, Daniel in Zusammenarbeit mit Joseph Sheils (2001). Gemeinsamer europäischer Referenzrahmen für Sprachen: lernen, lehren, beurteilen. Berlin: Langenscheidt. Tschirner, Erwin (2001). “Die Evaluation fremdsprachlicher mündlicher Handlungskompetenz: Ein Problemaufriss”. In: Fremdsprachen lehren und lernen 30, 87-115. Upshur, John A. / Turner, Carolyn E. (1999). “Systematic effects in the rating of second-language speaking ability: test method and learner discourse”. In: Language Testing 16, 82-111. van Lier, Leo (1989). "Reeling, Writhing, Drawling, Stretching, and Fainting in Coils: Oral Proficiency Interviews as Conversation". In: TESOL Quarterly 23, 489508. Vollmer, Helmut J. (2003a). „Ein gemeinsamer europäischer Referenzrahmen für Sprachen: Nicht mehr, nicht weniger.“ In: Bausch, Karl-Richard / Christ, Herbert / Königs, Frank G. / Krumm, Hans-Jürgen (eds.). Der Gemeinsame europäische Referenzrahmen für Sprachen in der Diskussion, 192-206. Vollmer, Helmut J. (2003b). „Leistungsmessung, Lernerfolgskontrolle, Selbstbeurteilung: Überblick.“ In: Bausch, Karl-Richard / Christ, Herbert / Krumm, HansJürgen (eds). Handbuch Fremdsprachenunterricht. Vierte, vollständig neu bearbeitete Auflage. Tübingen / Basel: Francke , 365-370. Vygotskij, Lev Semënovič (11934; 2002). Denken und Sprechen. Psychologische Untersuchungen. Herausgegeben und aus dem Russischen übersetzt von Joachim Lompscher und Georg Rückriem. Mit einem Nachwort von Alexandre Métraux. Weinheim / Basel: Beltz. Wagner, Agnes (2000). „Die Akzeptanz der Zertifikatsprüfung seitens der Wirtschaft.“ Unveröffentlichte schriftliche Hausarbeit. München: Technische Universität München, Fachbereich Erziehungswissenschaften. Wall, Dianne (2005). The Impact of High-Stakes Testing on Classroom Teaching: A Case study using insights from testing and innovation theory. Cambridge: Cambridge University Press. Weidinger, Dorothea / Träger, Hildegard (1998). Ergebnisse des Modellversuchs (1994-1997). Modellversuch „Fremdsprachenpflichtunterricht in der Berufsschule“. Arbeitsbericht Nr 295. München: Staatsinstitut für Schulpädagogik und Bildungsforschung ISB Abteilung Berufliche Schulen. Seite 231 BLK-Modellversuch EU-KonZert: Micheál Ó Dúill: Literaturverzeichnis Weigle, Sarah Cushing (2002). Assessing Writing. Cambridge: Cambridge University Press. Weir, Cyril J. (2005). Language Testing and Validation. An Evidence-based Approach. Basingstoke: Palgrave Macmillan. Wigglesworth, Gillian (2001). „Influences on performance in task-based oral assessments“. In: Bygate, Martin / Skehan, Peter / Swain, Merrill (eds.). Researching Pedagogic Tasks. Second Language Learning, Teaching and Testing. Harlow: Pearson,186-209 Wildavsky, B. (24 April 2000). „Crossed signals“. In: U.S. News and World Report, 12. Willis, Jane (1996). A Framework for Task-based Learning. Harlow: Pearson. Yuan, Fangyuan / Ellis, Rod (2003). „The Effects of Pre-Task Planning and OnLine Planning on fluency, Complexity and Accuracy in L2 Monologic Oral Production.“ In: Applied Linguistics 24, S. 1-27. Zydatiß, Wolfgang (2002). Leistungsentwicklung und Sprachstandserhebungen im Englischunterricht. Methoden und Ergebnisse der Evaluierung eines Schulversuchs zur Begabtenförderung: Gymnasiale Regel- und Expressklassen im Vergleich. Unter Mitarbeit v. Viola Vockrodt-Scholz. Frankfurt/Main: Peter Lang. Zydatiß, Wolfgang (2005a). Bildungsstandards und Kompetenzniveaus im Englischunterricht. Konzepte, Empirie, Kritik und Konsequenzen. Frankfurt / Main: Lang. Zydatiß, Wolfgang (2005b). „Leistungen feststellen und bewerten. Im Spiegel der neuesten bildungspolitischen Entwicklungen.“ In: Praxis Fremdsprachenunterricht 5, S. 3-8. Internetressourcen Conseil de l’Europe, Division des politiques linguistiques: http://www.coe.int/t/dg4/linguistic/default_FR.asp Council of Europe, Language Policy Division: http://www.coe.int/t/dg4/linguistic/default_FR.asp European Association for Language Testing and Assessment (EALTA) (http://www.ealta.eu.org International Language Testing Association (ILTA): http://www.iltaonline.com Seite 232