WIT-2 - Zusammenfassung Testtheorie und Testpraxis - Standardisierte Verfahren PDF

Preview

Summary

WIT-2 - Zusammenfassung Testtheorie und Testpraxis - Standardisierte Verfahren....

Description

Wilde-Intelligenz-Test 2 1. Einleitung  Revision: Test nicht neu erfunden, sondern perfektioniert Leistungstest:  3 wichtige Arten: Entwicklungstests, Allgemeine Leistungstests, Intelligenztests Intelligenz  = generelle kognitive Fähigkeit  Warum sollte man Intelligenz messen?: Forschung, klinische Zwecke, Eignungsdiagnostik (Norm) Intelligenz im WIT-2  basiert auf Thurstones Modell der Primary Mental Abilities (PMA) - Primärfaktormodell → wurde zum Modifizierten Modell der PMA (MMPMA)  neu im WIT-2: Hierarchieansatz, Facettenansatz, kogn. Korrelate-Ansatz 2. Diagnostische Zielsetzungen und Anwendungsbereiche  differenzierte Erfassung theoretisch fundierter kognitiver Fähigkeiten im Alter von 14-42 Jahren o allgemeine Intelligenzdiagnostik o Eignungsdiagnostik: Personalauswahl u.v.m. o Verlaufsprognose in Schule/Ausbildung/Beruf o unter Beihilfe anderer Tests auch zur Personenmerkmalserfassung Anforderungen an die VP  Minimum an Lese- und Textverstehenskompetenz  muss dem Deutschen mächtig sein (Österreich/Schweiz noch nicht in der Norm enthalten)  Aufmerksamkeit und Motivation (sollte durch Kontext gegeben sein) 3. Theoretische Grundlagen  Intelligenztests unterscheiden sich, u.a. in ihren zugrunde liegenden Theorien  Generalfaktor der Intelligenz nach Spearman  fluide & kristalline Intelligenz nach Cattell  Primärfaktormodell (PMA) nach Thurstone  Berliner Intelligenzstrukturmodell (BIS) nach Jäger

4. Testgenerierung & Itemauswahl

5. Testaufbau Inhalt & Formen  Papier-Bleistift-Version  Manual  4 Testhefte: Heft 1 & 2 in Form A & B  Instruktionsheft  je 10x Antwortbogen 1&2  10 Notizbogen  10 Profilbogen  Auswertungsschablonen A&B  Informationsbroschüre  424€  Auswertungssoftware: 500€  Computergestützte Version inkl. 50 Nutzungen: 940€

Überblick  8 Module durch 11 Subtest

(erfasst 243 Items) → Faktoren aus Stratum II u. III.

Module/Subtests/Itembeispiele Sprachliches Denken (12 min)  GW =Gleiche Wortbedeutungen: 20Items/3:30min Kopf ≙ ? a) Haar b) Haupt c) Körper d) Mensch

e) Hut

AL = Analogien: 20Items/4:30min Schaf : Wolle = Vogel : ? a) Flügel b) Nest c) Adler

e) Tier



d) Federn

Räumliches Denken (22 min)  SP = Spielbilder: 20Items/3:00 min



AW = Abwicklungen: 20Items/9:00min

Schlussfolgerndes Denken: 34min 30s = AL + AW + ZW (Zahlenreihen) : 20 Items/10 min 2

5

8

11

14

17

?

5

10

9

18

17

34

?

Rechnerisches Denken: 26min 30s  Grundrechnen: 20 Items/7:30 min 53 + 44 = ?  ER = Eingekleidete Rechenaufgaben: 20 Items/ 16:00 min Aus Zinseinkünften erhält eine Kontoinhaberin monatlich 30€. Wie viel Euro bekomt sie dann in 7 Monaten? → kein MC-Antwortformat: Zahlenleiste Merkfähigkeit: 21 Items/E: 4:00 A: 3:30/ 26 min inkl. Störaufgabe

Arbeitseffizienz: 42 Items/8:30 min/ 18 min 30s  EM = Emails bearbeiten

a) Weiterleiten Extern b) Weiterleiten Intern

c) Speichern Extern d) Speichern Intern

e) Beantworten Extern f) Beantworten Intern

Modul Wissen Informationstechnologie: WI Welches ist die kleinste Informationseinheit, die ein Computer verarbeitet? a) Mikrobyte b) Boud c) Bit d) Byte → Je 20 Items/ 5:00/5:30 min Modul Wissen Wirtschaft: WW Wie nennt man die Warenausfuhr aus dem eigenen Land? a) Außenhandel b) Export c) Dumping d) Zoll

6. Durchführung, Auswertung, Interpretation Durchführung - Vorbereitung  Anforderungsanalyse (DIN 33430) o Normen? o Mindestanforderungen?/Entscheidungsregeln? o Ergebnisrückmeldung? (globale Ergensirückmeldung) Module? o schlussfolgerndes Denken: ca. 50min o sprachl., rechn., räuml., schlussf. Denken + Merkfähigkeit: ca. 1h 40min o Arbeitseffizient + Kenntnisse WI & IT: ca. 45 min o Gesamttest: 2h 23 min → flexible & ökonomische Anwendung (Module können unterschiedl. aufgebaut werden)  Informationsbroschüre versenden  geeignete Testanweiser  geeignete Räumlichkeiten/Sitzordnung  Gruppengröße  Material o Testhefte/Antworthefte/Notizbogen o Anweisungstext allgm. Art o Instruktionsheft o Stifte o Stoppuhr Ablauf  Instruktion/Übungsaufgabe/Fragenklärung/Testbearbeitung/Antworteintragung  maximale Standardisierung durch: o Anweisungstext/Instruktion wörtlich & ohne Zusätze vorlesen

o o o o o

bei Fragen: an Vorgaben halten kein vorzeitiges Aufschlagen des Testheftes / Markierungen / Zurückblättern (MF!) stichprobenartige Kontrollen nach spätestens 100 min: 15 min Pause sofortiges Einsammeln aller Unterlagen nach Testende

Auswertung  Manuell vs. Computergestützt o mit Schablonen o Eintrag Rohwerte in Auswertungsbogen o Nachschlagen Standardwerte im Manual → direktes Ablesen Prozentränge / IQ-Werte o ca. 30 min pro Testteilnehmer o bei schwerwiegenden Entscheidungen: doppelte Auswertung Interpretation  Ziel: Verständnis der kognitiven Stärken & Entwicklungsfelder eines Testteilnehmers  Regeln für Interpretation & Entscheidung vorher dokumentieren (DIN 33430) → Anforderungsanalyse  → objektiv, unparteilich, unabhängig  Arten: kriteriumsorientiert, ipsativ, normorientiert Hinweise  Wahl Normgruppe / Kriterium begründen → großer Einfluss  nur wenige / spezif. Module verwendet → kein Indikator der allgm. Intelligenz!  Schlussfolgerndes Denken als Indikator der fluiden (allgm.) Intelligenz  Leistungen auf Item- bzw. Subtestebene nicht sinnvoll interpretierbar → nur übergeordnete Dimensionen  EM (Arbeitseffizienz) stark motivationsabhängig  Wissenstestkenntnisse keine Rückschlüsse auf Allgemeinbildung/ allgm. Intelligenz Besonderheiten des WIT-2 Anforderungsorientierte Entscheidung  Ziel: Entscheidung mit hoher Bewährungsgüte  Basis: Ergebnisse der Anforderungsanalyse  Prinzip: Module/Dimensionen je nach praxisrelevanter Bedeutung unterschiedlich gewichten (gesamt 1.0)  Folge: Testergebnis einer Person für verschiedene Anforderungsprofile umrechenbar →

Passung? Eigene Erfahrungen zur Handhabbarkeit  Durchführung  ... als Testeilnehmer: o Aufgaben klar & verständlich o Zahlenleiste fehleranfällig / leichtes Verrutschen o Test anstrengend / Konzentrationsschwierigkeiten o optimales Arbeitstempo schwierig  ... als Testleiter: o im Einzelfall vorher Lesekompetenz-/Leseverständnistest o ohne Vorerfahrung möglich, aber Selbsttestung empfehlenswert o Einhaltung aller Vorgaben (Instruktion) nicht immer einfach (Übung!) → Standardisierung  Auswertung o detaillierte & gut beschriebene Vorgehensweise o Auswertungsschablonen handhabbar o Hinweise zu typ. Auswertungsfehlern sehr positiv (Zahlenleiste) o erfordert Übung o bei mehreren Testpersonen/Tests: Konzentrationsschwierigkeiten o Computerauswertung: weniger fehleranfällig / Konfidenzintervall  Interpretation o ausführliche Hinweise (Anforderungsanalyse/Normen/AE) hilfreich 6. Normierung  Normorientierte Messung  Realnormen → Testeichung Stichprobenziehung  für jeden Subtest Normdaten von 2234 - 10024 Personen  Berufsorientierung → Fokus auf Bewerber, Rehabilitanten  Normdaten in Bewerbungssituation erhoben  Erhebungszeitraum: Feb. 2002 - Mai 2005 Gliederung der Normgruppen  3 bildungsspezifische Normgruppen o Gesamtgruppe  keine Bildungsdifferenzierung  40% Abitur, 60% kein Abitur o Personen mit (fachgebundenen) Abitur o Person ohne (fachgebundenes) Abitur  Ausschlaggeben ist der angestrebte Schulabschluss  6 altersspezifische Normgruppen o Gesamtgruppe (ohne Altersdifferenzierung) o 14-17 Jahre o 18 Jahre o 19-22 Jahre o 23-27 Jahre o 28 Jahre und älter 7. Testgüte









Durchführungsobjektivität o Standardisierte Instruktionen für Getestete o Separates Instruktionsheft für Testleitung Auswertungsobjektivität o Werte nach Wahl der Normgruppe festgelegt o Auswertungsschablonen beugen Fehlern vor o PC-, Intra- und Internettestung Interpretationsobjektivität o Klare Beschreibung der erfassten Fähigkeiten und des zugrundeliegenden Intelligenzmodells verschiede Reliabilitätsschätzungen o für WIT-2: Interne Konsistenzen und Retest-Reliabilität

Validität  Inhaltsvalidität o WIT-2 erhebt keinen Anspruch auf Inhaltsvalidität  Kriteriumsvalidität o Validitätsgeneralisierung  Intelligenztests: .47/.53  WIT-1: .54 o Empirisches zum WIT-2  Selbsteinschätzung .16 - .52  Durchschnittsnote: .15 - .35  Ausbildungserfolg I: .14 - .46  Ausbildungserfolg II: .10 - .39  Kenntnistests: .77 - .31  Konstruktvalidität o Fit der WIT-2 Module mit dem MMPMA  akzeptabel bis gut o konvergente Konstruktvalidität:  Zusammenhänge mit Ähnlichen Tests: mittel - hoch  Zusammenhang mit Wonderlic-Test: hoch

o

diskriminante Konstruktvalidität:  Zusammenhang von Subtests und Persönlichkeitseigenschaften: theoriekonform niedrig

Unverfälschbarkeit  Vermeiden und Erkennen von Fälschung o Ausführliche Informationen zur Testdurchführung aus Manual und Instruktionsheft o Sorgfältige Gestaltung der Materialien o Umfassende Informationen zu den Rahmenbedingungen  Konkrete Möglichkeiten laut Manual: o Farblich markierte Seiten ermöglichen Erkennen von Verfälschungen bei der Merkaufgabe o Standardisierte Antworten auf Nachfragen seitens der Teilnehmer limitiert Information  Aber: Keine Informationen zur Vermeidung von Übungseffekten! o „Diese Maßnahmen sollen dazu beitragen, den Test so wenig störanfällig und so unverfälschbar wie möglich zu machen.“ (Kersting, Althoff & Jäger, 2008) Take Home Message • Fokus des WIT-2 auf Eignungsdiagnostik • Ökonomie durch Modularität • anforderungsanalytische gewichtete Gesamtwertbildung • Verfahrenshinweise zum WIT-2 nach DIN 33430 • hohe Akzeptanz bei den Teilnehmern → „Test aus der Praxis für die Praxis“...