Zusammenfassung Diagnostik Teil 3 PDF

Preview

Summary

Download Zusammenfassung Diagnostik Teil 3 PDF

Description

Eigene Zusammenfassung

Foliensatz 3

WiSe202021

1. Validität und diagnostische Entscheidung: Inwiefern kann durch subjektive Entscheidungen die Validität von Tests beeinflusst werden?

Reliabilität, Validität und diagnostische Entscheidung •

Ergebnisse diagnostischer Verfahren werden häufig zu Platzierungs- oder Klassifizierungsentscheidungen herangezogen (z.B. Punkteverteilung für Noten)

•

Voraussetzung: Bestimmung von Cut-off-Werten (Grenzwert, z.B. Punkte) Festgelegter Testtrennwert, der z.B. kranke Personen von gesunden Personen hinsichtlich des zu testenden Merkmals trennt und somit eine Interpretation des Testergebniswertes ermöglicht. -

Effektivität

-

Sensitivität

-

Spezifität

Diese 3 Kriterien müssen bei einem Test errechnet werden.

Cut-off-Wert •

Teilt eine Stichprobe in Gruppen auf

•

Oft willkürliche Grenzen, Ziel: Kategorisierung à Ist die Aussage für die Realität sinnvoll?

•

Normalverteilung bei allen Tests, in denen Normwerte aufgestellt werden (z.B. IQ-Test, Matheleistung, Körpergröße, …)

34

Eigene Zusammenfassung

Foliensatz 3

WiSe202021

Generelles Problem der Diagnostik: Setzen von Cut-off-Werten Bsp. Wo fängt Minderbegabung an? •

Grenzgänger (an der Grenze der eingeteilten Kategorien) sind am häufigsten: Gefahr des Messfehlers hier am größten, Gesetz der Normalverteilung

•

Die Diagnose ist am wenigsten sicher nahe bei Cut-off-Werten

•

Je sicherer die Diagnose, je stärker das Symptom, desto seltener der Fall

•

Problem des Messfehlers

Entscheidungsfehler •

Falsche Einteilung der Gruppen

•

Bsp.: 100 Kinder nehmen an einem Schuleingangstest teil. 75 werden als geeignet und 25 als ungeeignet diagnostiziert.

•

Alle Kinder werden eingeschult.

•

Am Ende der 1. Klasse: 15 der nach Test geeigneten Kinder müssen die Klasse wiederholen. 5 der nach Test ungeeigneten Kinder werden in die 2. Klasse versetzt.

•

2 Arten von Zuordnungsfehlern: 35

Eigene Zusammenfassung -

Foliensatz 3

WiSe202021

Fehler erster Art (a-Fehler): fp = Personen werden als geeignet bezeichnet, obwohl sie ungeeignet sind (falsch positiv)

-

Fehler zweiter Art (b-Fehler): fn = Personen werden als ungeeignet diagnostiziert, obwohl sie eigentlich der geeigneten Gruppe angehören (falsch negativ)

•

Fehler müssen so gering wie möglich gehalten werden

Messtheoretische Grundlagen

Effektivität •

Wie viele Entscheidungen, die der Test trifft, sind richtig?

•

Verhältnis von erreichtem Ziel zu definiertem Ziel in % (Zielerreichungsgrad)

Sensitivität •

= Richtig-Positiv-Rate, Empfindlichkeit, Trefferquote

•

Anteil der korrekt als positiv klassifizierten Objekte an der Gesamtheit der tatsächlich positiven Objekte

Spezifität •

= Richtig-Negativ-Rate, kennzeichnende Eigenschaft 36

Eigene Zusammenfassung •

Foliensatz 3

WiSe202021

Anteil der korrekt als negativ klassifizierten Objekte an der Gesamtheit der in Wirklichkeit negativen Objekte

•

Test ist besser darin, die Kinder herauszufiltern, die geeignet sind

Verhältnis von Spezifität und Sensitivität •

Ein Konzentrationstest (KT) wird zur Diagnose von ADHS durchgeführt.

•

Ergebnis: Alle Kinder mit ADHS liegen unter dem Cut-off-Wert im KT à hohe Sensitivität der KT

•

Aber: viele Kinder ohne ADHS liegen auch unter dem Cut-off-Wert à geringe Spezifität des KT

Verbesserung der Spezifität •

Verschiebung des Wertes in den Bereich der Eignung (rp)

•

Folge: viele falsch-negativ

37

Eigene Zusammenfassung •

Foliensatz 3

WiSe202021

Die Wahrscheinlichkeit, mehr rp in der Gruppe zu haben, sinkt, die Wahrscheinlichkeit für rn steigt

•

Je höher die Spezifität, desto sicherer werden alle rn erfasst

Verbesserung der Sensitivität •

Verschiebung des Wertes in den Bereich der Nicht-Eignung (rn)

•

Die Wahrscheinlichkeit, mehr rp in der Gruppe zu haben, steigt, die Wahrscheinlichkeit von rn sinkt

•

Je höher die Sensitivität, desto sicherer werden alle rp erfasst.

•

Verringerung des einen Fehlertyps à Erhöhung des anderen

•

Man macht immer Fehler à welcher ist schlimmer?

•

Setzung des Cut-off-Werts hängt von der Fragestellung ab

38

Eigene Zusammenfassung

Foliensatz 3

WiSe202021

2. Nebengütekriterien

Gütekriterien Die klassischen 3 Gütekriterien zur Beurteilung der Güte eines Tests: •

Objektivität

•

Reliabilität

•

Validität

Nebengütekriterien •

Normen (Normwerte, Normskalen)

•

Testfairness

•

Vergleichbarkeit mit anderen Tests

•

(Ökonomische) Nützlichkeit des Tests

•

Spezifische Nützlichkeit

Normwerte •

Jeder Test hat Normwerte

•

Vergleich von Ergebnissen diagnostischer Instrumente mit denjenigen einer Referenzpopulation

•

Z.B. Ergebnis eines IQ-Tests von Schüler A mit der durchschnittlichen Intelligenz der Normalbevölkerung oder Abiturienten

•

Normierung (Entstehung der Normwerte) gibt an, für welche Zielgruppe dieser Test ein gültiges Messinstrument sein soll

•

Auswertekriterien für 7-jährige Schulkinder müssen anders sein als die für 14-jährige à Altersnormen

•

Referenzpopulation, um das Ergebnis eines Tests einordnen zu können

•

i.d.R. Werte einer repräsentativen Stichprobe, die ich gewonnen habe, als ich den Test konstruiert habe

39

Eigene Zusammenfassung

Foliensatz 3

WiSe202021

Wie entstehen Normwerte?

40

Eigene Zusammenfassung

•

Foliensatz 3

WiSe202021

Problem: Test nur für 5-8-Jährige gültig, getestet wurden aber auch höhere Jahrgangsstufen

Problem von zu kleinen Stichproben •

Zufällige Ergebnisse

•

Je größer die Stichprobe, desto kleiner die Fehler

WISC (IQ-Test): Normierungsstichprobe D, A, CH (1650: Anzahl der getesten Mädchen und Jungen)

kleine Stichprobe 41

Eigene Zusammenfassung

Foliensatz 3

WiSe202021

Wichtig bei Normierung •

Eichstichprobe muss repräsentativ sein Faktoren: Alter, Geschlecht, sozioökonomischer Status, Religion, Wohnortgröße, Religion usw.

•

Eichstichprobe muss ausreichend groß sein

•

Einflussfaktoren auf Normierung: macht neue Normierung nötig, Weiterentwicklung -

Kultur

-

Zeit

-

Gesellschaftliche Veränderungen: Tests müssen neu angepasst werden, ansonsten unfair

-

Übersetzung in andere Sprachen: Niveau evtl. für anderes Land nicht angemessen, Test muss angepasst werden

Wichtig bei Auswahl von Tests •

Für welche Referenzgruppen (Alter, Geschlecht, Bildung, Berufe usw.) liegen Normen vor? à passende Normen wichtig

•

Wie groß und wie repräsentativ sind die Eichstichproben?

•

Wie aktuell sind die Normen?

•

Welche Art der Normierung liegt vor? -

(Alters-)Äquivalentnorm: unterschiedliche Werte bei unterschiedlichem Alter

-

Abweichungsnormen (meist bezogen auf eine Normalverteilung): z.B. IQ: Mittelwert, Abweichung bestimmbar

-

Prozentrangnormen: Wie viel % der Kinder sind gut/besser/… als Testkind?

Normskalen •

Die aus der Testauswertung resultierenden Rohwerte sind für sich genommen zunächst nicht aussagekräftig, da sie von den verwendeten Items abhängen.

42

Eigene Zusammenfassung •

Foliensatz 3

WiSe202021

Eindeutige Aussage über die individuelle Merkmalsausprägung: zusätzlich zum Testwert wird ein Vergleichsmaßstab benötigt, anhand dessen der Testwert eingeordnet bzw. interpretiert wird = Normskalen

•

Rohwerte müssen umgerechnet werden in einen Maßstab, der es ermöglicht, unterschiedliche Tests miteinander zu vergleichen = Normskalen

Normskalen: Normen durch Transformation •

Bsp.: Bei der Diagnose von Legasthenie gilt: die Lese-/Rechtschreibfähigkeiten müssen mind. 1,3 SD unter der Intelligenzleistung liegen.

•

IQ = 110, SD = 15 Rechtschreibtest = 40 von 60 Punkte, SD = 8 Legasthenie??

•

Lösung: Transformation der Normwerte in eine gemeinsame Skala = Normskala

Normskalen mit Verteilungsannahme: IQ, Z-Werte, T-Werte •

T-Werte für Praxis relevant

•

Ermöglichen den Vergleich von mehreren Tests mit unterschiedlichen Mittelwerten, Varianzen oder Standardabweichungen

•

Voraussetzung: Annahme, dass die Fähigkeit nicht normal verteilt ist -

Meist in Population, nicht in Stichprobe

-

Wenn aus Stichprobe z.B. z-Wert berechnet werden muss, dann muss auch in der Stichprobe Normalverteilung vorliegen

43

Eigene Zusammenfassung

Foliensatz 3

WiSe202021

Diagnostik Legasthenie

•

T-Werte als Tabelle in jedem Testhandbuch

•

Nur so können Tests miteinander verglichen werden

•

T-Wert: Normalverteilung -

Aussage über die Güte der Leistung möglich

-

Gut kommunizierbar

Norm ohne Verteilungsannahme: Prozentrangnorm •

Der Prozentrang einer Person gibt Auskunft darüber, wie viele Personen der Vergleichsgruppe gleiche oder niedrigere (max. gleich hohe) Werte in einem Test erreicht haben 44

Eigene Zusammenfassung

Foliensatz 3

WiSe202021

•

Hierarchie: bester in Reihung erhält 100, schlechtester 0

•

Keine Aussagen über Fähigkeiten, nur über Stellung

•

PR 90 = 90% aller Gleichaltrigen sind gleich gut oder schlechter

•

Achtung: Der PR gibt nur die relative Stellung in einer Gruppe und sagt nichts über die tatsächliche Leistung aus. PR ist ein Rang und kein Messwert.

Prozentrangnormen •

Anschaulich

•

Leicht zu ermitteln

•

Verteilungsunabhängig

Nebengütekriterien

Testfairness •

Werden Personengruppen z.B. nach Alter, Geschlecht, Regionen, …, gleich (fair) behandelt, haben sie die gleichen Chancen auf ein entsprechendes Testergebnis?

•

Besonders unfair häufig bezüglich: -

Geschlecht

-

Bildungsnähe/-ferne

-

Sozioökonomischer Status

-

Migrationshintergrund

-

Sprachliche Fähigkeiten (z.B. IQ-Test mit Verständnis von Wörtern)

Vergleichbarkeit •

Liegen Verfahren oder Parallelversionen vor, die gleiche oder ähnliche Konstrukte erfassen?

•

Damit ein Test nicht völlig allein dasteht à Gültigkeit prüfen

45

Eigene Zusammenfassung

Foliensatz 3

WiSe202021

Spezifische Nützlichkeit Ist das Verfahren auch geeignet für die Beantwortung von speziellen Fragestellungen, z.B. Auswahl für einen speziellen Beruf?

Ökonomie •

Was kostet die Anschaffung des Tests? (bei Computertests braucht man teure Basistools)

•

Was kostet die Testdurchführung?

•

Was kosten Auswertung und Interpretation?

•

Steht der Aufwand an Zeit und Geld im richtigen Verhältnis zum möglichen Nutzen des Verfahrens?

•

Werden die Informationen des Tests für die aktuelle diagnostische Entscheidung wirklich benötigt?

46...