V3 Validität und diagnostische Entscheidung : Nebengütekriterien PDF

Preview

Summary

Download V3 Validität und diagnostische Entscheidung : Nebengütekriterien PDF

Description

Diagnostik (3)

Validität und diagnostische Entscheidung / Nebengütekriterien

Reliabilität, Validität und diagnostische Entscheidung • Ergebnisse diagnostischer Verfahren werden häufig zu Platzierungs- oder Klassifizierungsentscheidungen herangezogen. • Voraussetzung: Bestimmung von Cut-off-Werten:

- (festgelegter Testtrennwert, der z.!B. kranke Personen von gesunden Personen hinsichtlich des zu testenden Merkmals trennt und somit eine Interpretation des Testergebniswertes ermöglicht.) • Effektivität • Sensitivität • Spezifität

Cut-off-Wert Der Cut-off-Wert teilt eine Stichprobe in Gruppen auf.

Generelles Problem der Diagnostik: Das Setzen von Cut-off-Werten Beispiel: Wo fängt Minderbegabung an? • Grenzgänger sind am häufigsten • Die Diagnose ist am wenigsten sicher • Je sicherer die Diagnose, je stärker das Symptom, desto seltener der Fall.

Diagnostik (3)

Entscheidungsfehler • Beispiel: 100 Kinder nehmen an einem Schuleingangstest teil.

- 75 Kinder werden als geeignet und 25 Kinder als ungeeignet diagnostiziert. • Alle Kinder werden eingeschult • Am Ende der ersten Klasse:

- 15 der nach Test geeigneten Kinder müssen die Klasse wiederholen. - 5 der nach Test ungeeigneten Kinder werden in die zweite Klasse versetzt. • Es gibt zwei Arten von Zuordnungsfehlern

- Fehler erster Art (α-Fehler): fp = Personen werden als geeignet bezeichnet, obwohl sie ungeeignet sind.

- Fehler zweiter Art (β-Fehler): fn = Personen werden als ungeeignet diagnostiziert, obwohl sie eigentlich der geeigneten Gruppe angehören

Effektivität • Verhältnis von erreichtem Ziel zu definiertem Ziel in % (Zielerreichungsgrad) • Beispiel: 100 Kinder nehmen an einem Schuleingangstest teil

Sensitivität • (auch Richtig-Positiv-Rate, Empfindlichkeit oder Trefferquote) gibt den Anteil der korrekt als positiv klassifizierten Objekte an der Gesamtheit der tatsächlich positiven Objekte an. • Ergebnis: Dieser Test identifiziert 92,3% der Geeigneten korrekt.

Spezifität • (auch Richtig-Negativ-Rate oder kennzeichnende Eigenschaft;) gibt den Anteil der korrekt als negativ klassifizierten Objekte an der Gesamtheit der in Wirklichkeit negativen Objekte an.

Diagnostik (3)

• Ergebnis: Dieser Test identifiziert 57,1% der nicht Geeigneten korrekt.

Verhältnis von Spezifität und Sensitivität • Ein Konzentrationstest (KT) wird zur Diagnose von ADHS durchgeführt. • Ergebnis: Alle Kinder mit ADHS liegen unter dem Cut-Off-Wert im KT

• Aber: viele Kinder ohne ADHS liegen auch unter dem Cut-Off-Wert .

Nebengütekriterien • Normen (Normwerte, Normskalen) • Testfairness • Vergleichbarkeit mit anderen Tests • (Ökonomische) Nützlichkeit des Tests • Spezifische Nützlichkeit

Diagnostik (3)

A. Normwerte • Vergleich von Ergebnissen diagnostischer Instrumente mit denjenigen einer Referenzpopulation (z.B. Ergebnis eines Intelligenztests von Schüler A mit der durchschnittlichen Intelligenz der Normalbevölkerung oder Abiturienten). • Die Normierung gibt an, für welche Zielgruppe dieser Test ein gültiges Messinstrument sein soll.

- Auswertekriterien für 7-jährige Schulkinder müssen anders sein als die für 14-jährige Testteilnehmer.

- Beispiel: IQ-Test: Schüler 7 Jahre: 60 von 100 Punkten, IQ= 110 Schüler 14 Jahre: 60 von 100 Punkten, IQ = ??

I. Wie entstehen Normwerte? Konstruktion eines neuen IQ-Tests für Grundschüler

Diagnostik (3)

II. WISC: Normierungsstichprobe D, A, CH (1650)

III. Wichtig bei Normierung • Eichstichprobe muss repräsentativ sein

- Faktoren: Alter, Geschlecht, soz. Ökonom. Status, Religion, Wohnortgröße, Region usw. • Eichstichprobe muss ausreichend groß sein.

IV. Normierung: Einflussfaktoren • Kultur • Zeit • Gesellschaftliche Veränderungen • Übersetzung in andere Sprachen

Diagnostik (3)

V. Wichtig bei Auswahl von Tests • Für welche Referenzgruppen (Alter, Geschlecht, Bildung, Berufe usw.) liegen Normen vor? • Wie groß und wie repräsentativ sind die Eichungsstichproben? • Wie aktuell sind die Normen? • Welche Art der Normierung liegt vor?

- (Alters-)Äquivalentnormen - Abweichungsnormen (meist bezogen auf eine Normalverteilung) - Prozentrangnormen

A. Normskalen • Die aus der Testauswertung resultierenden Rohwerte sind für sich genommen zunächst nicht aussagekräftig, da sie von den verwendeten Items abhängen.

- 38 richtige Aufgaben im IQ-Test - 12 gelöste Aufgaben von 25 im Mathetest

Ist das gut oder schlecht?

- 70% gelöste Aufgaben im Vokabeltest • Um eine eindeutige Aussage über die individuelle Merkmalsausprägung treffen zu können, wird zusätzlich zum Testwert ein Vergleichsmaßstab benötigt, anhand dessen der Testwert eingeordnet bzw. interpretiert wird: Normskalen

I. Normenskalen: Normen durch Transformation • Beispiel: Bei der Diagnose von Legasthenie gilt: die Lese- / Rechtschreibfähigkeiten müssen mindestens 1,3 SD unter der Intelligenzleistung liegen. • Kind:

IQ = 110, SD = 15 Rechtschreibtest = 40 von 60 Punkten, SD = 8 Legasthenie ??

• Lösung: Transformation der Normwerte in eine gemeinsame Skala = Normskala

Diagnostik (3)

II. Normenskalen mit Verteilungsannahme: IQ, Z-Werte, T-Werte • Ermöglichen den Vergleich von mehreren Tests mit unterschiedlichen Mittelwerten, Varianzen oder Standartabweichungen. • Voraussetzung: Annahme, dass die Fähigkeit normal verteilt ist

-

Meist in Population, nicht in Stichprobe!

- Wenn aus Stichprobe z.B. z-Werte berechnet werden, dann muss auch in der Stichprobe Normalverteilung vorliegen.

III. Norm ohne Verteilungsannahme: Prozentrangnorm • Der Prozentrang einer Person gibt Auskunft darüber, wie viele Personen der Vergleichsgruppe gleiche oder niedrigere (~maximal gleich hohe Werte) in einem Test erreicht haben. • PR 90 bedeutet : 90 Prozent aller Gleichaltrigen sind gleich gut oder schlechter • Achtung! Der Prozentrang gibt nur die relative Stellung in einer Gruppe und sagt nichts über die tatsächliche Leistung aus. Der Prozentrang ist deshalb ein Rang und kein Messwert.

Diagnostik (3)

• Anschaulich • Leicht zu ermitteln • Verteilungsunabhängig

B. Testfairness • Werden Personengruppen z.B. nach Alter, Geschlecht, Regionen, kultureller und sozioökonomischer Zugehörigkeit gleich (fair) behandelt, haben sie die gleichen Chancen auf ein entsprechendes Testergebnis? • Besonders unfair häufig bezogen auf:

- Geschlecht - Bildungsnähe / Bildungsferne - Soz. Ökonom. Status - Migrationshintergrund - Sprachliche Fähigkeiten

C. Vergleichbarkeit • liegen Verfahren oder Parallelversionen vor, die gleiche oder ähnliche Konstrukte erfassen?

D. Spezifische Nützlichkeit • ist das Verfahren auch geeignet für die Beantwortung von speziellen Fragestellung, z.B. einer Auswahl für einen speziellen Beruf?

E. Ökonomie • Was kostet die Anschaffung des Tests? (bei Computertests braucht man teure Basistools) • Was kostet die Testdurchführung? • Was kosten Auswertung und Interpretation? • Steht der Aufwand an Zeit und Geld im richtigen Verhältnis zum möglichen Nutzen des Verfahrens? • Werden die Informationen des Tests für die aktuelle diagnostische Entscheidung wirklich benötigt?...