Diagnostik 05 - Vorlesungsnotizen 5 PDF

Preview

Summary

Download Diagnostik 05 - Vorlesungsnotizen 5 PDF

Description

Diagnostik 5 (24.5.2017)

Standardmessfehler und Konfidenzintervall Übungsbeispiel: Ein Test zur Schuleignung weist für ein Kind einen Testwert von 67 auf. Die Testwerte haben eine Standardabweichung von SD = 10 Punkten; und der Test habe eine Reliabilität von (a) .51 und (b) .84 Rechnen Sie für beide Fälle a) und b) den Standardmessfehler aus! Innerhalb welcher Grenzen liegt der Test-Wert mit 95%iger Wahrscheinlichkeit?

Standardmessfehler - Zieht man aus der Fehlervarianz die Wurzel, so erhält man den Standardmessfehler

-

Den Standardmessfehler kann man über das Produkt der Standardabweichung der Testwerte und der Unreliabilität errechnen 10 x 0.7 = 7

-

Das 95%-/99%-Konfidenzintervall ist der Wertebereich, in dem sich der wahre Wert mit einer Irrtumswahrscheinlichkeit von 5%/1% befindet 67 – 2x7 < … < 67 + 2x7

Übungsbeispiel: Die Testwerte haben eine Standardabweichugn von SD = 10 Punkten Rechnen Sie für beide Fälle a) und b) den Standardmessfehler aus! a) Reliabilität = .51

b) Reliabilität = .84

Z-Werte (bei n > 30) in einer Tabelle nachsehen

Übungsbeispiel: Testwert: 67 Punkte Rechnen Sie das Konfidenzintervall aus (95,45% KI): a) Reliabilität = .51

b) Reliabilität = .84

Reliabilität Definition und Berechnung der Reliabilität Definition Die Reliabilität entspricht dem Quotienten aus wahrer Varianz und der beobachteten Varianz; d.h. dem Anteil der wahren Varianz an der gesamten Varianz

am

Der Wertebereich der Reliabilität ist damit [0, 1] besten Werte ab .70

Bestimmung der Reliabilität (der wahren Varianz)

Bestimmung der wahren Varianz Um diejenige Variation, welche durch die unterschiedlich hoch ausgeprägten wahren Merkmalsausprägungen Zustand kommt, zu bestimmen, nutzt man die Ergebnisse von zwei Testdurchführungen oder der Durchführung von zwei Parallelformen des Tests.

Kovarianz der parallelen Testungen berechnen

Bestimmung der Reliabilität (der wahren Varianz)

Wiederholung: die Axiome der KTT

Methoden der Reliabilitätsschätzung -

Retest-Reliabilität Paralleltest-Reliabilität Split-Half-Reliabilität Interne Konsistenz

Die Idee des parallelen Tests wird hierbei jeweils anders umgesetzt: durch zwei Testversionen, durch die Wiederholung eines Tests mit einem Zeitabstand, die Halbierung eines Tests in zwei parallele Hälften, und die Betrachtung jedes Items als Paralleltestung.

Retest-Reliabilität

-

Die Testverfahren wird an der gleichen Stichprobe zweimal durchgeführt Die Korrelation der beiden Messwertreihen ergibt die Retest-Reliabilität rt Diesem Ansatz liegt die Annahme zugrunde, dass sie die wahren Werte der Person und die Messfehlereinflüsse nicht geändert haben Die gleichen Items werden zeitversetzt gemessen

Stabilität und Reliabilität

Die beobachtete Veränderung enthält zwei Komponenten: - Mangelnde Reliabilität der Messung - Mangelnde Stabilität des Merkmals Um die Retest-Reliabilität zu schätzen nimmt man Zeitintervalle, die kurz genug sind, damit man von einigermaßen hoher Stabilität des Merkmals ausgehen kann.

Retest-Reliabilität: Wichtige Überlegungen zur praktischen Anwendung -

Wie stabil ist das untersuchte Merkmal? Wie groß ist ein angemessenes Zeitintervall?   zu bedenken sind die Merkmalsstabilität, sowie zu erwartende Erinnerungs- und

-

Ist eine zweite Testung zu zeitaufwendig / zu teuer / zumutbar?

Übungseffekte

Systematische und unsystematische Veränderung von Testwerten über die Zeit Keine Beeinflussung von Retest-Reliabilitätskoeffizienten:

 Korrelation ändert sich nicht

Beeinflussung von Retest-Reliabilitätskoeffizienten:

 Trend nach oben

Paralleltest-Reliabilität -

Die Bestimmung der Reliabilität durch die Methode der Paralleltest-Reliabilität ist möglich, wenn zwei parallele Testformen existieren

-

Paralleltest = unterschiedliche Varianten eines Test, die das gleiche Merkmal mit der gleichen Genauigkeit messen 

-

d.h., im Sinne der KTT sind Tests parallel, wenn sie dieselben wahren Werte und die gleichen Fehlervarianzen aufweisen

geschätzt wird die Paralleltest-Reliabilität durch die Korrelation zweier paralleler Tests A und B

Erstellen eines parallelen Tests Überprüfung im Rahmen der KTT: - zwei als parallel konzipierte Testversionen werden derselben Stichprobe präsentiert - ist die Korrelation der beiden Testformen hoch, und die Mittelwerte und Streuung sehr ähnlich, wird Parallelität angenommen - dabei kann die Korrelation zwischen den beiden Testformen nicht höher sein, als die Reliabilität der Testformen für sich betrachtet Alternative Möglichkeiten der Überprüfung durch statistische Modelle: - Überprüfung durch eine konfirmatorische Faktorenanalyse - Überprüfung durch die Item-Response Theorie

Testhalbierungs-Reliabilität (Split-Half) -

-

Lässt die Anzahl von Items dies zu, können Items in zwei parallele Testformen aufgeteilt werden Zur Schätzung der Reliabilität wird die Korrelation zwischen den beiden Testhälften berechnet Methoden zur Aufteilung eines Tests in zwei Hälften:  „Odd-Even“ Methode  Zeitpartitionierung: Aufteilen in zwei zeitliche gleich lange Testhälften  Bilden von Item-Zwillingen mit jeweils ähnlichen Schwierigkeiten und Trennschärfen Achtung: die resultierenden Reliabilitätsschätzungen beruht auf einem Test halber Länge  Korrektur durch die Spearman-Brown Formel!

Die Spearman-Brown-Formel

1. Bei Verlängerung eines Tests um den Faktor k ergibt sich die resultierenden Reliabilität des längeren Tests als:

  

k  Items die dazu genommen wurden was ist k?  ist ein Faktor, 2 wenn man in zwei Test einteilt (von 20 Items in 2x 10) halbiert erst und verdoppelt dann später wieder

Anwendungsbeispiel: Wir haben durch die Split-Half Methode einen Wert von .50 für die Reliabilität gefunden. Wenn wir diesen Wert entsprechend der eigentlichen gegebenen Testlänge nach oben korrigieren, wie hoch ist der korrigierte Reliabilitätswert? 2. Bei Verlängerung eines Tests um den Faktor 2 ergibt sich die resultierende Reliabilität des längeren (ursprünglichen) Tests als: Anwendungsbeispiel:  der durch die Formel korrigierte Wert für die Reliabilität der Skala beträgt etwa .67 Probleme der Testhalbierung - In der Praxis kann es sich als sehr schwierig erweisen, parallele Testformen durch eine Aufteilung von Items zu erreichen - Auch bei hoher Ähnlichkeit von Mitelwerten und Streuung der Testwerte, müssen keine exakte parallelen Testformen vorliegt  durch nicht perfekt parallele Testformen wird die tatsächliche Reliabilität unterschätzt

Interne Konsistenz: Cronbachs Alpha -

Jedes Item gilt als eigenständige Messung des Merkmals (d.h. der Test besteht aus so vielen parallelen Testungen, wie Items)  Aus den korrelativen Zusammenhängen der Items untereinander (interne Konsistenz) kann auf die Reliabilität geschlossen werden  Berechnung durch „Cronbach’s Alpha“  Wünschenswert sind Werte >.80

Voraussetzungen für die korrekte Berechnung von Cronbachs Alpha Essentielle τ-Äquivalenz = alle Items haben denselben wahren Wert (d.h. sie messen genau dasselbe Merkmal) und unterscheiden sich nur durch eine additive Konstante (d.h. Schwierigkeit) und eine unterschiedliche Fehlervarianz  Bei Anwendung des Konzepts paralleler Tests auf einzelne Items müssten

strenggenommen alle

Items die gleiche Schwierigkeit und die gleiche Fehlervarianz aufweisen

Probleme bei der Interpretation von Cronbachs Alpha - Erfassen Items das gleiche Merkmal (ein Konstrukt) spricht man von Item-Homogenität

-

Erfassen Items verschiedene Merkmale spricht man von Item-Heterogenität

-

Erfassen Items nicht genau dasselbe Merkmale (=Item-Heterogenität) wird durch die interne Konsistenz die Reliabilität unterschätzt

-

Beachte aber: auch heterogene Items können einen hohen Vorhersagewert haben

-

Achtung: die Item-Homogenität ist eine Annahme, die für die Schätzung der internen Konsistenz notwendig ist. Diese Annahme wird aber durch die Berechnung von Cornbachs Alpha nicht überprüft!  Cronbachs Alpha gibt keine Auskunft über Homogenität/Eindimensionalität der Items einer Skala (hierzu dient die Faktorenanalyse)  Cronbachs Alpha gibt Auskunft über die interne Konsistenz einer Skala unter Annahme der Item-Homogenität

-

Cronbachs Alpha hängt von der Anzahl der in einer Skala verwendeten Items ab

-

Durch Simulation konnte z.B. gezeigt werden, dass die Items von zwei tatsächlichen unabhängigen Messdimensionen ab einer Item-Anzahl von 14 einen Alpha Koeffizienten >.70 aufweisen können

Zusammenfassung: Vor- und Nachteile von Methoden der Reliabilitätsschätzung

Heterogen: messen mehrere Faceten, messen nicht dasselbe  Unterschätzung besser als Überschätzung (besser etwas zu positiv anzugehen)

Wie hoch soll/kann die Reliabilität sein? Die Höhe der erreichbaren Reliabilität hängt in der Praxis von einer Reihe von Bedingungen ab -

Art des zu erfassenden Merkmals (Leistung vs. Persönlichkeit)  Vergleich mit konkurrierenden Verfahren zur Einschätzung der zu erwartenden Höhe der Reliabilität

-

Einsatzbedingungen und machbarer Aufwand (z.B. Screening Verfahren; Zeitbegrenzungen bei Befragungen etc.)

-

Kosten-Nutzen-Abwägungen (vgl. Taylor-Russel Tafeln)

-

Objektivität als Voraussetzung der Reliabilität (Qualität der Standardisierung zur Vermeidung zusätzlicher Messfehler)

-

Homogenität / Heterogenität des zu erfassenden Merkmals

Die Berechnung Reliabilität (R): Interne Konsistenz (Cronbachs Alpha)

Die Berechnung der Reliabilität (R): Testhalbierung

Ergebnis (R): Testhalbierung

Die Berechnung Reliabilität (R): Testhalbierung (odd-even Methode)

Beispiel zur Berechnung der Reliabilität mit SPSS Beispiel: Skala „Aufgeregtheit“ des TAI-G (Test Anxiety Inventory – German; Hodapp, 1991, 1996). Diese Skala misst emotionale und physiologische Aspekte der Prüfungsangst anhand von 8 Items:

Die Berechnung Reliabilität (SPSS): Interne Konsistenz (Cronbachs Alpha)

Auswahl der zu skalierenden Items: Hier acht Items der ersten Messzeitpunkte

Unter Statistiken die gewünschten Analysen angeben. Voreinstellung ist „Alpha“. Mit OK die Berechnung starten.

Die Berechnung Reliabilität (SPSS): Testhalbierung (odd-even Methode)

Ergebnis: Split-Half Reliabilität

Berechnung der Retest-Reliabilität (SPSS) - Zur Berechnung der Retest-Reliabilität müssen nun Skalenwerte aus den acht Items zum ersten Messzeitpunkt sowie aus den acht Items zum zweiten Messzeitpunkt gebildet werden, damit diese Skalenwerte dann miteinander korreliert werden können  Menü „Transformieren“  Variable berechnen

Testwertvariablen für T1 und T2 berechnen

Berechnung der Retest-Reliabilität als Korrelation zwischen den Testwerten zweier Messzeitpunkte

Ergebnis: Retest-Reliabilität...