Muenchner Skript Diagnostik PDF

Preview

Summary

Skript zum Funk Doll Forbrig Klampke Meier Schmidt Zehetner DIAGNOSTIK EVALUATION 0. INHALT 1. Einleitung und Grundbegriffe........................................................................................... 4 1. Die Beurteilung im Rahmen des Schulsystems ........................................

Description

Münchner Skript zum EWS-StEx Funk ▪ Bär ▪ Doll ▪ Forbrig ▪ Klampke ▪ Meier ▪ Schmidt ▪ Zehetner

PÄDAGOGISCHE DIAGNOSTIK & EVALUATION

0. INHALT 1. Einleitung und Grundbegriffe........................................................................................... 4 1.1. Die Beurteilung im Rahmen des Schulsystems ........................................................ 4 1.2. Überblick über das Fach Diagnostik ......................................................................... 5 1.3. Arten von Diagnostik ................................................................................................ 7 1.4. Methoden ................................................................................................................. 8 2. Gütekriterien ................................................................................................................... 9 2.1. Überblick .................................................................................................................. 9 2.2. Objektivität ............................................................................................................. 10 2.3. Reliabilität ............................................................................................................... 12 2.4. Validität .................................................................................................................. 16 2.5. Nebengütekriterien ................................................................................................. 21 3. Fähigkeits- und Leistungstests ...................................................................................... 23 3.1. Definition von Tests ................................................................................................ 23 3.2. Aufbau von Testverfahren ...................................................................................... 23 3.3. Definition und Arten von Schulleistungstests .......................................................... 24 3.4. Formelle Schulleistungstests .................................................................................. 25 3.5. Informelle Schulleistungstests ................................................................................ 32 3.6. Prüfsteine zur Beurteilung von Schulleistungstests ................................................ 34 4. Verschiedene Erhebungsverfahren ............................................................................... 35 4.1. Beobachtung .......................................................................................................... 35 4.2. Fragebogen ............................................................................................................ 44 4.3. Gesprächsmethoden .............................................................................................. 44 4.4. Soziometrie ............................................................................................................ 48 5. Determinanten der Schulleistung .................................................................................. 52 5.1. Schulleistungsmodelle ............................................................................................ 52 5.2. Kognitive Schülermerkmale .................................................................................... 53 5.3. Affektiv-motivationale Lernvoraussetzungen .......................................................... 62 5.4. Psychologisches Umfeld ........................................................................................ 67 6. Psychologische Test-Theorie ........................................................................................ 69 6.1. Skalen für gemessene Größen ............................................................................... 69 6.2. Prinzip der Normierung .......................................................................................... 70 6.3. Arten von Bezugsnormen ....................................................................................... 70 6.4. Interindividuelle Normskalen .................................................................................. 71 6.5. Rechnerisches........................................................................................................ 72 7. Notengebung in der Schule ........................................................................................... 74

7.1. Funktionen ............................................................................................................. 74 7.2. Klassische Formen der schriftlichen Prüfung .......................................................... 76 7.3. Vergleich schulischer Prüfungen mit Schulleistungstests ....................................... 76 7.4. Mündliche Prüfungen ............................................................................................. 77 7.5. Vergleich mündliche vs. schriftliche Prüfungen ...................................................... 78 7.6. Alternative Verfahren der Schulischen Notengebung ............................................. 79 7.7. Beurteilung im Unterricht / Urteilsfehler .................................................................. 79 8. Kritik an Schulischer Zensurengebung .......................................................................... 85 8.1. Erfüllung der Gütekriterien bei schriftlichen Prüfungen ........................................... 85 8.2. Verbesserungsmöglichkeiten für schriftliche Tests ................................................. 88 8.3. Kritik an der mündlichen Prüfung ........................................................................... 89 8.4. Zusammenstellung sachfremder Einflüsse ............................................................. 93 8.5. Diagnostische Kompetenz von Lehrern .................................................................. 96 9. Schulfähigkeitsdiagnostik für verschiedene Schularten ................................................. 98 9.1. Schulreife ............................................................................................................... 98 9.2. Übergang in die Sekundarstufe I ............................................................................ 98 10. Evaluation ................................................................................................................. 100 10.1. Definition und Arten von Evaluation .................................................................... 100 10.2. Ablauf einer Evaluation ...................................................................................... 101 10.3. Methoden schulbezogener Evaluation ................................................................ 103 10.4. Probleme bei der Evaluation .............................................................................. 104 11. Ergebnisse aus internationalen Schulleistungsvergleichen ....................................... 106 11.1. PISA ................................................................................................................... 106 11.2. TIMMS................................................................................................................ 111

4

1.1 Die Beurteilung im Rahmen des Schulsystems

1. EINLEITUNG UND GRUNDBEGRIFFE 1.1. Die Beurteilung im Rahmen des Schulsystems 1.1.1. Zielsetzung des Schulsystems und Berufsaufgaben von Lehrern Drei Reproduktionsaufgaben des Schulsystems nach Fend (1980)  

Qualifikationsfunktion: Vermittlung von Fertigkeiten und Kenntnissen Selektionsfunktion: Reproduktion der Sozialstruktur einer Gesellschaft



(Schulabschluss  gesellschaftliche Position) Integrationsfunktion: Reproduktion von Normen und Werten etc.

Deutscher Bildungsrat: Aufgaben der Lehrer Lehren

Vermittlung von Kenntnissen und Fertigkeiten

Beurteilen

Lernerfolg - Lernmisserfolg

Beraten

Laufbahn, Berufsberatung

Erziehen

Weitergabe von Werten und Normen

Innovieren

Eigenverantwortliches Er- und Verarbeiten von Neuerungen

1.1.2. Bedeutung der Leistungsbeurteilung „Mit der sozialen Mobilität, der Möglichkeit des sozialen Aufstiegs, wurde die Beurteilungsfunktion des Lehrers immer bedeutungsvoller.“ (Kleber) Gründe dafür sind der Ausbau des Bildungssystems und die Erhöhung der Konkurrenz in der Gesellschaft. In einer demokratischen Gesellschaft muss Chancengleichheit Ziel sein!

1.1.3. Zielorientierung des Unterrichts Schule soll: kognitive, affektive und soziale Lernziele erreichen

Wissen und Können

Moral: Haltungen und Einstellungen →problematisch

1.1.4. Leistungs- und Persönlichkeitsbeurteilungen in der Schule 

Leistungsbeurteilung in Form von Prüfungs- und Zeugnisnoten

 

Beratungspflicht geht mit Benotungspflicht einher (Lern-, Schullaufbahnberatung) Informationsrecht des Schülers über dessen Leistungsstand



Persönlichkeits- und Verhaltensbeurteilungen von Seiten des Lehrers (z.B. Zeugniskommentare)

1.2 Überblick über das Fach Diagnostik

1.1.5. Diagnostische Ebenen im Handeln von Lehrern (Langfeldt, 2006) 

INDIVIDUELL: Lernvoraussetzungen einzelner Schüler beurteilen (→ entsprechende Förderung)



KLASSENEBENE: interindividuelle Unterschiede erkennen (→ effizientes, kooperatives Lernen durch angemessene Lehrmethoden)



INSTITUTIONELL: Erstellen von fairen Leistungsberichten, fehlerfreie Empfehlungen für weitere Schullaufbahn

1.2. Überblick über das Fach Diagnostik Definition (Zimbardo, 1988) Diagnostik ist ein Teilbereich der Psychologie, der sich mit der Theorie, der Konstruktion und der Analyse von Diagnoseverfahren befasst. Diagnose ist dabei die Feststellung des Vorhandenseins oder der Ausprägung von psychologischen Merkmalen. Definition (Dorsch, 1982): „Diagnostik [bezeichnet] die Lehre von der sachgemäßen Durchführung der Diagnose; auch die Ausübung der Diagnose.“ „Psychologische Diagnostik ist die Bezeichnung für alle Methoden und deren Anwendung, welche zur Messung bzw. Beschreibung inter- und intraindividueller Unterschiede verwendet werden.“ „Pädagogische Diagnostik war niemals nur eine Agentur, die Klienten prüfte, ihre Merkmale kennzeichnete und sie mit diesen Kennzeichnungen an den Auftraggeber zurückgab. Vielmehr war päd. Diagnostik immer eine Dienstleistung im Rahmen von Erziehung und Unterricht.“ (Ingenkamp, 1985)

 Diagnostische Daten sind ein Teilschritt innerhalb eines päd. Handlungs-systems. Im Gegensatz zu wissenschaftlicher Forschung ist die diagnostische Erkenntnisbemühung nicht auf Entdeckung allgemeiner Zusammenhänge gerichtet, sondern auf die nähere Kategorisierung oder Einordnung des Einzelfalls. Es wird entweder nach dem Eintreffen des Einzelergebnisses gefragt:

Oder das Einzelergebnis ist gegeben und soll erklärt werden:

„Wie wird sich die Leistung des Schülers x entwickeln?“

„Warum hat ein Schüler x in bestimmten Leistungsbereichen versagt?“

Unter diagnostischer Tätigkeit wird dabei ein Vorgehen verstanden, in dem unter Beachtung wissenschaftlicher Gütekriterien beobachtet und befragt wird, und die Beobachtungs- und Befragungsergebnisse interpretiert und mitgeteilt werden, um ein Verhalten zu beschreiben und/ oder die Gründe für dieses Verhalten zu erläutern und/ oder künftiges Verhalten vorherzusagen.

5

6

1.2 Überblick über das Fach Diagnostik

Prozessmodell pädagogisch-psychologischen Handelns (Krapp, 1979) Das Modell beschreibt Komponenten und Ablaufschritte einer rational gesteuerten Handlung und markiert darin jene Stellen, die direkt oder indirekt mit diagnostischen Prozessen verbunden sind.

In diesem Schema wird zunächst zwischen einer Vorbereitungsphase und einer praktischen Phase (Realisierungsphase) unterschieden.



Vorbereitungsphase: Treatment-vorbereitende Diagnostik Es ist notwendig, die Informationen zu gewinnen, die vor dem Hintergrund einer allgemeinen Problemstellung zu einer begründeten Entscheidung bezüglich der richtigen pädagogischen Maßnahme (Treatment) beitragen können. Insbesondere müssen die Zielsetzung und angemessene Maßnahmen vorausgewählt werden. Dieser Prozess läuft meist nicht linear ab, sondern wird immer wieder korrigiert (sog. „Investigatorischer Prozess“).



Realisierungsphase: Treatment-begleitende Diagnostik Es werden Informationen über aktuelle psychische Zustände und bereits erreichte Veränderungen erfasst (vgl. formative Evaluation). Die Phase dient also der Steuerung des Handlungsablaufes, ggf. der Modifikation, Beobachtung von Nebenwirkungen.



Realisierungsphase: Treatment-abschließende Diagnostik Dokumentation der Ergebnisse; eine Bewertung wäre dann eine summative Evaluation. Eigentlich sowohl für Handelnden als auch für Behandelten (Schule: meist nur Note für Schüler).

Aspekte diagnostischen Handelns (nach Ingenkamp, 2005) Vergleich

Beschreibung des Verhaltens

Analyse

Gründe für ein Verhalten finden (Warum tritt ein Verhalten auf?)

Prognose

Vorhersagen eines zukünftigen Verhaltens

1.3 Arten von Diagnostik

Interpretation

Urteilsbildung durch Ordnen, Bewerten und Gewichten der diagnostischen Information

Mitteilung und Wirkungskontrolle

an die Eltern/Schüler, um durch Rückmeldung zukünftiges Verhalten zu beeinflussen (Bsp.: Zeugnis)

Psychologische Diagnostik wird oft als die Messung interindividueller Unterschiede bezeichnet, weil die meisten Beurteilungen angeben, inwieweit sich eine Person im Bezug auf bestimmte Dimensionen von anderen Personen unterscheidet oder ihnen gleicht.

1.3. Arten von Diagnostik Es gibt viele verschiedene Arten der Diagnostik (auch im medizinischen Sinn), hier sind nur einige unterschieden, die für folgende Kapitel bzw. für die Schule relevant sind.

1.3.1. Standardisierte und nicht-standardisierte Diagnostik 

Standardisierte Diagnostik Das Diagnoseverfahren wird auf alle Personen einer ausgewählten, genau beschriebenen Stichprobe in der gleichen Weise und unter vergleichbaren Bedingungen angewendet. Schule: Standardisierte Tests werden meist von Testverlagen vertrieben, Stichproben von Schülern zur Bearbeitung vorgelegt und Gesamtpunktwert mit Normwerten einer Eichstichprobe, z.B. Gruppe gleichen Alters und Schulstufe, verglichen.



Nicht-standardisierte Diagnostik Genau das Gegenteil ist der Fall - die Personen werden subjektiv bewertet und somit nicht in einer großen Gruppe in gleicher Weise und unter gleichen Bedingungen geprüft bzw. bewertet.

1.3.2. Norm- und kriteriumsorientierte Diagnostik Definition (Pawlik, 1982): „Unter normorientierter Diagnostik versteht man einen Untersuchungsansatz mit dem Ziel, das einzelne Untersuchungsergebnis im Hinblick auf statistische Bezugswerte, also relativ zur Verteilung der Testergebnisse in einer Bezugsgruppe (Eichstichprobe), auszudrücken und zu interpretieren.“ Bsp.: Schüler hat 60 % des Einmaleins richtig → Etwas besser als der Klassendurchschnitt Definition (Petermann, 1995): Psychologische Diagnostik erfolgt kriteriumsorientiert, „wenn der verwendete Vergleichsmaßstab für das zu bewertende Charakteristikum eines Beurteilungssachverhaltes unabhängig von Informationen über die Verteilung der Ausprägungsgrade dieses Charakteristikums festgelegt wird.“ Bsp.: Schüler hat 60 % richtig → Das kleine Einmaleins sollte mit mind. 90%-iger Sicherheit beherrscht werden, also schneidet Schüler eher schlecht ab.

7

8

1.4 Methoden

1.3.3. Individual- und Umweltdiagnostik  Individualdiagnostik Einzelne Personen; Selbst- oder Fremddiagnostik  Umweltdiagnostik Soziales Verhalten; Gruppe Die Umweltdiagnostik umfasst zudem Eltern- und Lehrerinterviews, Lehrerberichte, Unterrichtsbeobachtungen, Arbeitsplatzanalysen und den Einbezug anderer Bezugspersonen (z.B. Hausarzt, Verwandte oder Geschwister).

1.3.4. Schulleistungsdiagnostik Definition (Langfeldt & Imhof, 1999) Schulleistungsdiagnostik ist "die systematische Beschreibung und anschließende Bewertung eines aktuellen Wissens- oder Fähigkeitsstatus von Lernenden bzgl. eines umschriebenen Inhaltsbereiches". Funktionen von Schulleistungsdiagnostik nach Heller (1984):  Didaktische Funktion Überprüfung unterrichtlicher Maßnahmen, Bewertung des Unterrichtserfolges, Erfassung von Lernschwierigkeiten, Überprüfung von Lernzielen → Feedback für Lehrer (evtl. Unterrichtsoptimierung) 



Evaluative Funktion Orientierung für Schüler/Eltern über Lernfortschritte), z.B. underachievement → Feedback für Eltern/Schüler

Schulleistung

(Schwächen,

Stärken,

Entscheidungsfunktion Schullaufbahnberatung (Selektion, Auslese) und beim Wechsel von Lerngruppen → äußere/innere Differenzierung im Schulsystem

1.4. Methoden

Die Details der einzelnen Methoden sind in den folgenden Kapiteln beschrieben.

2.1 Überblick

2. GÜTEKRITERIEN 2.1. Überblick An die Genauigkeit und Verlässlichkeit von Messergebnissen in der Diagnostik werden Anforderungen gestellt. Man hat Kriterien (ursprünglich nur für psychologische Tests – Lienert 1967) entwickelt, die es ermöglichen, die Qualität einer Messung zu beurteilen. Gütekriterien sind also Forderungen an die diagnostischen Verfahren bezüglich der:



Testdurchführung: Transparenz, Zumutbarkeit, Störanfälligkeit, Verfälschbarkeit



Testauswertung: Auswertungsobjektivität, Reliabilität, Validität, Bandbreite, Änderungssensitivität, Informationsausschöpfung



Testevaluation: Ökonomie, Fairness, Akzeptanz, Vergleichbarkeit, Bewährung Überblick über Haupt- und Nebengütekriterien für diagnostische Verfahren (nach Lienert 1967; ergänzt)

GÜTEKRITERIEN

Hauptgütekriterien

Nebengütekriterien

Objektivität

Reliabilität

Durchführung Auswertung

Wiederholungsrel. Split-Half-Rel. Paralleltestrel.

Inhaltsvalidität Empirische Val. Konstruktval.

Normierung Nützlichkeit & Zumutbarkeit Ökonomie Vergleichbarkeit

Konsistenzanalyse

(Testfairness)

Akzeptanz

Interpretation

Validität

 Die Güte eines Verfahrens ist am größten, wenn dieses hohe Objektivität, Reliabilität und Validität aufweist!

9

10

2.2 Objektivität

2.2. Objektivität = Grad, in dem Ergebnisse eines Tests unabhängig vom Untersucher sind Definition (Lienert, 1967): Ein Test wäre vollkommen objektiv, wenn verschiedene Untersucher bei denselben Probanden zu gleichen Ergebnissen gelangten [Interpersonelle Übereinstimmung der Untersucher].  Intersubjektive Einflüsse sollen möglichst ausgeschaltet werden. Dazu müssen möglichst viele Arbeitsschritte im Beurteilungsverfahren genau festgelegt sein. Beispiele für objektive Tests: (theoretische) Führerscheinprüfung oder Intelligenztests. Gegenbeispiele (nicht-objektive Tests): sog. „Tintenklecks-Diagnostik“ oder „RorschachTest“, bei Persönlichkeit daraus interpretiert wird, was Proband in einem Tintenklecks sieht. Objektivität ist (wie Reliabilität) ein formales Kriterium, es sagt nichts über den Inhalt aus! Arten von Objektivität Durchführungsobjektivität

Interpretationsobjektivität

Auswertungsobjektivität

2.2.1. Durchführungsobjektivität Gleiche Bedingungen für alle Prüflinge und die Untersuchung soll unabhängig von zufälligen und systematischen Verhaltensvariationen des Untersuchers sein. Man versucht zu sichern, dass alle Lernenden bzw. Probanden den gleichen Anforderungen unter gleichen Bedingungen ausgesetzt sind. 
<...