Diagnostik Semester 1 und 2 PDF

Preview

Summary

Download Diagnostik Semester 1 und 2 PDF

Description

1. Ziele und grundlegende Begriffe Ziele Warum Testtheorie?

  

Ziele

  

Ein großer Teil diagnostischer Entscheidungen wird mit Hilfe von Information getroffen, die Tests oder testähnliche Verfahren bereitstellen. Für die Bewertung dieser Information ist die Kenntnis der Prinzipien des Aufbaus und der Konstruktion von Tests unerlässlich. Die Auswahl geeigneter Testverfahren und die angemessene Interpretation ihrer Ergebnisse gehört in vielen Anwendungsfeldern der Psychologie zu den Routineaufgaben. Prinzipien des Aufbaus und der Konstruktion psychologischer Testverfahren kennen lernen Tests und testähnliche Verfahren auswählen, interpretieren und kritisch bewerten können Tests eigenständig konstruieren und nach psychometrischen Gesichtspunkten optimieren können

Definition psychologischer Testverfahren Weite Definition

Psychologische Tests sind Instrumente, die der systematischen Beobachtung und Beschreibung von Erleben und Verhalten mit Hilfe von Skalen oder Kategorien dienen. nach Cronbach (1990)

Enge Definition

In engeren Definitionen wird zusätzlich Erfüllung psychometrischer Qualitätsstandards (Testgütekriterien) gefordet.

Kernbegriffe der weiten Definition

Was wird erfasst?



Systematische Beobachtung/Beschreibung o Gleiche Anforderungen an alle Testpersonen o Gleiche Auswertung der anfallenden Daten



Skalen Quantitative Aussagen über den interessierenden Verhaltensausschnitt (z.B IQ)



Kategorien Einordnung von Personen in definierte Klassen (qualitativ) (z.B. Angststörung oder Depression? Nutzung von: ICD Internacional Classification of Diagnosis → rechtlich verbindend in DE, DSM Diagnostical statistical manual → amerikanisch)



Individuelles Erleben/Verhalten, z.B. o Temperamentsmerkmale o Einstellungen o Aktuelle Stimmungen o Leistungen Umweltbedingungen, z.B. o Vom Kind wahrgenommenes elterliches Erziehungsverhalten o Arbeitsklima bei den Mitgliedern eines Teams oder einer Organisation Andere Formen der systematischen Verhaltensbeobachtung/



Abgrenzungen



(1)

beschreibung (z.B. Videolaboruntersuchung bei mütterlichem Erziehungsstil) Vorstrukturierung der Untersuchungssituation geringer (beim Testverfahren exakt festgelegt) Keine oder nur geringe Einschränkung der Reaktionsmöglichkeiten der beobachteten Personen

 

Abgrenzungen Testähnliche Verfahren und informelle Tests (2)  Erfüllen nicht alle Anforderungen und Erwartungen, die an psychometrische Tests angelegt werden  Betrifft besonders die Dokumentation und hinreichende Erfüllung von Gütekriterien

Zentrale Testgütekriterien Zentrale Testgütekriterien

Hauptgütekritieren  Objektivität bei der Durchführung, Auswertung und Interpretation  Reliabilität (Messpräzision, Freiheit von Messfehlern)  Validität (Erfassung des interessierenden Merkmals) Weitere Gütekriterien („Nebengütekriterien“), u.a.  Bereitstellung von Normen  Nutzen für Beurteilungen, Empfehlungen und Entscheidungen

Objektivität

Lienert (1969) „... Grad, in dem die Ergebnisse eines Tests unabhängig vom Untersucher sind.“ Ergänzung Ausmaß, in dem die Messung sowie die aus ihr gezogenen Schlussfolgerungen von den konkreten Bedingungen der Testdurchführung und -auswertung unabhängig sind (z.B. verschiedene Lehrer bewerten den gleichen Test unterschiedlich → nicht objektiv)

Aspekte der Objektivität

Durchführungsobjektivität  Einheitlichkeit der für die Testergebnisse relevanten Durchführungsbedingungen Auswertungsobjektivität  Registrierung der Daten  Kombination zu Testwerten Interpretationsobjektivität  Schlussfolgerungen/Entscheidungen, die auf der Grundlage der Testwerte getroffen werden (z.B IQ- Test → Kind auf welche Schule, es gibt immer ein Manual zu Tests)

Sicherung der Objektivität

 

Standardisierung der Testprozedur Formulierung präziser Richtlinien zur Auswertung und Interpretation durch die Konstrukteure

Reliabilität = Zuverlässigkeit

 

Einhaltung der Vorgaben durch die Testanwender Kontrolle: Prüfung der Übereinstimmung verschiedener unabhängiger Auswerter

 

Grad der Messpräzision („Wie genau misst ein Test das, was er misst?“) Klassische Bestimmung Reproduzierbarkeit der Ergebnisse bei Wiederholung des Tests unter identischen Ausgangsbedingungen (Mit Waage 3 mal das Selbe messen) Identische Ausgangsbedingungen meint: o Das zu messende Merkmal bleibt über die Messgelegenheiten bei allen Personen stabil. o Die Messwiederholung selbst hat keinerlei Einfluss auf die Antworten im Test. (Bei Psychologie aber Übungseffekte etc.) Unter diesen (und einigen weiteren) Bedingungen), lässt sich die Reliabilität über die Korrelation der Messungen bestimmen. Reliable Verfahren liefern gut reproduzierbare Ergebnisse. Die Bestimmung der Reliabilität ist das zentrale Thema der Klassischen Testheorie.



  

Validität = Gültigkeit

Traditionelle Definition: „Ein Test ist in dem Maß valide, als er das misst, was er messen soll.“ Bestimmung der Validität:  Viele Methoden  Zentral ist Analyse der Zusammenhänge zwischen Test und anderen Variablen (Kriterien)  Beispiel: Studieneignungstest Maße des Studienerfolgs  Valide Tests erlauben ... o gültige Schlüsse auf das interessierende Merkmal o Vorhersagen über künftiges Erleben, Verhalten, Leistungen usw.  Wichtigstes Testgütekriterium

Beziehungen unter den Gütekriterien



Mangelnde Validität kann auf Objektivitäts- und/oder Reliabilitätsdefizite zurückzuführen sein. o Schlamperei bei der Durchführung und/oder Auswertung unterminiert Reliabilität und Validität

Ein Test kann reliabel sein, ohne hinsichtlich des fokussierten Kriteriums auch valide zu sein. o Eignungstest für Dolmetscher, der nur Vokabelkenntnisse abfragt; diese werden eventuell zwar genau gemessen, sind für das Zielkriterium aber zu eng (weiter wichtig: schnelle Auffassungsgabe etc.)



Was soll mit Tests erfasst werden? Gegenstände Verhalten vs. Umwelt und  Individuelles Erleben und Verhalten Zielbereiche  Situative/systemische Bedingungen menschlichen Verhaltens Zeitliche Stabilität  Kurzfristige, aktuelle Merkmale („states“)  Längerfristig stabile Merkmale („traits“) Inhaltsdomänen von Persönlichkeitsmerkmalen  Fähigkeits- und Leistungsdomäne  Persönlichkeitsdomäne im engeren Sinne Art des Tests (Cronbach)  Tests of maximum performance  Tests of typical response -

Test of maximum performance o Fähigkeits- und Leistungstest; so schnell und genau wie möglich Test of typical response o Persönlichkeitsfragebogen o z.B. „wie verhältst du dich im Allgemeinen“ z.B. Tendenz riskante Entscheidungen schnell zu treffen

Bezugssysteme für die Einordnung von Testwerten Bezugssysteme für Testwerte

Normorientiertes Bezugssystem

Bezugssysteme liefern Maßstäbe bzw. Standards für die Einordnung von Testwerten.  Normorientiert: Interindividuelle Vergleiche (besser, schlechter)  Kriteriumsorientiert o Vergleiche mit definierten Kriterien o „Kriterium“ meint hier: Ziel, Anforderung (Wurde Kriterium erreicht?)  Individuell und ipsativ o Vergleiche mit früherem Verhalten ... o oder anderen Merkmalen bei derselben Person   

Einige Beispiele für Kriterien



Aussagen über die Position einer Person relativ zu einer Bezugsgruppe (Referenzpopulation (Mittelwert, Streuung) Normierung (Eichung, Kalibrierung) Große, möglichst repräsentative Eichstichprobe (Normierungsstichprobe) Fähigkeit zum Lösen mathematischer Gleichungen mit einer Unbekannten

Individuelles Bezugssystem

Ipsative Messung

      

Beherrschung des englischen Grundwortschatzes Fahreignung Fähigkeit zur Reflexion eines kontroversen politischen Themas Angstfreiheit in öffentlichen Redesituationen Bezugspunkt ist früheres Verhalten/Erleben einer Person Fokus sind Verhaltensänderungen Variante: ipsative Vergleiche” Testwerte, die unterschiedliche Merkmale reflektieren, werden aufeinander bezogen

Interessentest Einen Paradiesvogel möchte ich am liebsten ...  zeichnen  auseinander nehmen  schlachten  essen  beim Balzverhalten beobachten  konditionieren Bitte nur eine Option wählen.

Bezugssysteme

Beispiel: Zunahme an Englischkenntnissen → am Ende des Schuljahres sollten alle drüberliegen (keine Wiedersprüche)

Zentrale Konzepte

2 Testtheorie und Testkonstruktion – Itemformulierung und -zusammenstellung Phasen der Testkonstruktion Phasen der Testkonstruktion

 psychologische Diagnostik liefert die Operationalisierung von Konstrukten  Testkkonstruktion sollte Theoriegeleitet sein Bsp.: Angstforschung  Untersuchung von Aktivierungsprozessen an Ratten, dann Anwendung der Erträge der Forschung auf den Menschen  Aber: Prüfungsangst kein Einheitliches Phänomen (Verschiedene Subskalen für verschiedene Aspekte der Angst)

Erstellung der Itemmenge Item Definition

Erstellung der Itemmenge

 Kleinste Analyseeinheit eines Tests  Item = Itemstamm + Antwortformat/-optionen Beispiel Was ist ein Axiom? (a) eine grundlegende Aussage einer Theorie (b) die exakte Bestimmung eines Begriffs (c) ein lateinisches Fremdwort (d) der Fortsatz einer Nervenzelle  

Zusammenstellung einer vorläufigen Itemmenge Soll das Konstrukt und seine Facetten möglichst gut repräsentieren

Facetten = Komponenten, aus denen ein komplexes Merkmal zusammengesetzt ist  Beispiele: o Angst Besorgnis und Aufgeregtheit o 

Intelligenz verbal, numerisch, räumlich usw.

Mehr Items formulieren als für den endgültigen Test benötigt werden

Wieviele Items?



Repräsentativität der Items für die unterschiedlichen Facetten eines Konstrukts

 

Messpräzision (Reliabilität) der Skala Einsatzzweck o

lieber mehr

Individualdiagnostik (sollte genau sein, z.B. IQ-Tests)

Itemzahl in gängigen Tests

    

o Gruppenvergleiche Ökonomie der Messung lieber weniger Testmotivation 15-30 Items pro Merkmal (z.B. Trait-Teil des STAI) Erste Orientierung lässt sich bereits mit geringerer Itemzahl gewinnen (z.B. NEO-FFI) Für weite Merkmale sind deutlich mehr Items notwendig (z.B. Intelligenz)

Itemstamm (a) Formale Gesichtspunkte

Formulierung des Itemstamms  Verständlichkeit (KISS-Prinzip = Keep It Simple and Stupid)  Negative Formulierungen vermeiden (insbesondere doppelte Verneinungen)  Eindeutigkeit  nur einen Sachverhalt ansprechen  achte auf „und“, „oder“  Konditionalsätze und kontrafaktische Annahmen vermeiden  Auf Passung von Itemstamm und Antwortformat achten*

Problematische Items

Im Allgemeinen bin ich nicht glücklich → ja / nein Im Allgemeinen bin ich nicht unglücklich → ja / nein Ich bin heiter und gelassen → trifft zu / trifft nicht zu Wenn ich Angst habe, suche ich Kontakt zu Personen, die mir vertraut sind → trifft zu / trifft nicht zu (Unterstellung, was ist mit Repressoren?) *Ich leide manchmal unter Depressionen → nie / manchmal / häufig / immer

Empfehlungen

Maßnahmen

(b) Inhaltliche Gesichtspunkte

 

Komplexere Items aufspalten Häufigkeits- und Intensitätsqualifizierungen im Itemstamm vermeiden: sie gehören in die Antwortoptionen

Items durch Mitglieder der Zielpopulation mündlich beantworten lassen  Interpretation durch Pbn  Hinweise auf alternative, besser geeignete Formulierungen  Wichtig besonders bei Zielgruppen, denen die Testkonstrukteure nicht angehören, z.B. Kindern  

Sexistische, rassistische oder andere möglicherweise verletzende Formulierungen Privatsphäre der Testpersonen (z.B. Bei Personalauswahl nicht nach Klinischen Items fragen)



Laienperspektive berücksichtigen: Insbesondere (falsche) Annahme, die Auswertung und Interpretation von Tests erfolge durch Inspektion der Antworten auf einzelne Items

Antwortformat Antwortformate und Codierung

Grundlegende Möglichkeiten: 1. Offenes/freies Antwortformat Testpersonen generieren die Antwort selbst 2. Gebundenes Antwortformat Testpersonen wählen aus zwei oder mehr Antwortoptionen die korrekte oder für Sie am besten zutreffende aus

Offenes Antwortformat

Antwortmodus  verbal (z.B. HAWI) → v.A. Tests für Kinder  schriftlich (z.B. Teile der OA-TB) → Test zur Erfassung von 

Persönlichkeitseigenschaften, auf ein Reizwort hin wird eine kurze Geschichte geschrieben zeichnerisch (z.B. LGT) → Lagegedächtnistest, Stadtplan einprägen, anschließend in der Erinnerungsphase einen Weg aufzeichnen von jemand der von x nach y möchte

Grad der Vorstrukturierung  Frage mit einem Wort beantworten (z.B Intelligenstests)  Stadtplan aus dem Gedächtnis nachzeichnen  Geschichte zu einem Bild erfinden

Gebundenes Antwortformat (1)

Primär für Persönlichkeits-, Einstellungs-, Interessentests  dichotom (= binär)  mehrere geordnete Antwortkategorien (Ratingskalen, Likert-Skalen)  graphische Ratingskalen  unipolare und bipolare Skalen  Checklisten  Zwangswahlitems (forced choice)

Dichotomes Format

Extraversion Ich gehe gerne auf Parties. . . . . . . . . . . . . . . . . . . . . . . . trifft zu trifft nicht zu Ich ziehe es gewöhnlich vor, Dinge allein zu tun. . . . . . . . . . . . . . . . trifft zu trifft nicht zu

Wichtig

  Ratingformat (Likert-Skalen)

Codierung in Schlüsselrichtung ggf. Umpolung (Invertierung) der Itemantworten

Im Großen und Ganzen bin ich mit meinem Leben zufrieden ... nie selten gelegentlich oft meistens immer Wie gut treffen die folgenden Feststellungen jeweils auf Sie zu?

überhaupt nicht

0 1 2 3 4 5

sehr

Etikettierung  Häufigkeiten  Zustimmungs- bzw. Ablehnungsgrad  Intensitäten (z.B. Stimmung)  Zeitintervalle Codierung gleichabständige, ganzzahlige Werte  1 bis k (Anzahl der Stufen)  0 bis (k-1)

Graphische Ratingskalen  

Differenzierung (vermeintlich) höher Auswertung etwas umständlich, wenn ausgemessen werden muss

 

Vorteil: Begriffspaare erläutern sich gegenseitig Sicherstellen, dass alle Personen sie auch als Gegenpole auffassen

Bipolare Skalen

Wichtige Gesichtspunkte

Ambivalenz-Indifferenzproblem

 Anzahl der Antwortoptionen (Differenzierungsfähigkeit)  Verwendung einer “neutralen” Mittelkategorie  Ambivalenz: die Person hat beides stark ausgeprägt (langer Zeitraum)  Indifferenz: man weiß nicht wie man es interpretieren soll → nur Antwortskala verwenden, die man eindeutig interpretieren kann

Checklisten

 

Personen steht es frei, keine, eine oder mehrere der aufgeführten Optionen anzukreuzen Verrechnung: z.B. Anzahl angegebener negativer Emotionen auszählen

Zwangswahlitems

  

Es werden werden mehrere miteinander unvereinbare Itemstämme vorgegeben, zwischen denen sich die Probanden entscheiden müssen Vorteil: eine Antworttendenzen Früher viel, heute weniger benutzt, da tlw. Antworten nicht klar Kat. Zuordenbar

Beispiel: Kontrollüberzeugung (internal/ external) (a) Auf lange Sicht wird jeder so angesehen, wie er es verdient. (b) Unglücklicherweise wird der Wert eines Menschen oft nicht bemerkt, egal, wieviel Mühe er sich gibt.

Gebundenes Antwortformat (2)

Primär für Fähigkeits- und Leistungstests  Mehrfach-Wahlformat (multiple choice)  Varianten: o Mehrere Antwortoptionen können korrekt sein (multiple response) o Bezugnahme auf vorhergehende Antwortmöglichkeiten  Zuordnungsformat (matching)

Zuordnungsformat

Ordnen Sie jeder der folgenden Personen die ihr zugeschriebene Erfindung zu. Schreiben Sie den Buchstaben in das frei gelassene Feld.

Pros und Kontras

Pro offenes Format  Erfassung spontaner Reaktionen, kreativer Leistungen, Reaktionsabfolgen möglich  Für Wissens-/Fähigkeitstests: Ratetendenzen spielen keine Rolle Pro gebundenes Format  Auswertungsökonomie  Auswertungsobjektivität  Reaktionssicherheit

Zusammenstellung der Items Anforderungen

 

Der Test (mit seinen Subtests) soll genau ein Merkmal erfassen, nämlich das intendierte. Die Zusammenhänge unter den Items des Tests lassen sich auf die Abhängigkeiten der Antworten von diesem Merkmal zurückführen. (Wenn Items zusammenhängen, macht man es richtig)

Verletzung möglich bei Vorliegen von  logischen Abhängigkeiten unter den Items  Positions- und Reihenfolge-Effekten  Einflüssen nicht-intendierter Merkmale auf die Antworten (z.B. Antwortstile)

Logische Unabhängigkeit der Items

  

Position und Reihenfolge

Beantwortung eines Items darf nicht eine bestimmte Antwort auf ein anderes Item voraussetzen oder fördern Beispiel: Lösung eines Items gibt Hinweise auf korrekte Beantwortung eines anderen (Wie im Mathetest) Maßnahme: Inhaltliche Aufgabenanalyse

Positionseffekte  Schwierigkeit eines Items hängt von seiner Platzierung ab (warming-up, Ermüdung, Zeitmangel, Abbruch)  Positionseffekte betreffen am häufigsten Items, die am Anfang oder Ende eines Tests stehen (Am Anfang stehende schwieriger zu beantworten, Bsp. Intelligenztest: Erste Aufgabe schwierig → Frust) Reihenfolge-Effekte  Antworten werden dadurch beeinflusst, welche anderen Items zuvor beantwortet wurden  Übung bzw. Lernen  Motivationale Prozesse

Positionseffekt = Veränderung der Schwierigkeit je nachdem ob das item am Anfang oder Ende stehet Reihenfolgeefffekte = wenn die Schwierigkeit davon abhängt ob vorher y oder das Item z beantwortet wurde Maßnahmen



Problematisch, wenn sich Effekte von Ermüdung, Lernen usw. zwischen den Personen unterscheiden (differenzielle Effekte)

      

Antwortstile

Zufallsabfolge (oft bei Tests typischen Verhaltens) Gezielte Anordnung, z.B. Schwierigkeitsstaffelung (Fähigkeitstests) beeinflussbare Items an Anfang stellen beeinflussende Items ans Ende Einstreuen von Pseudoitems (Pufferitems) Effekte experimentell prüfen (sehr aufwändig)

Antwortstile, z.B.  Aquieszenz (Ja- Sage tendenz)  Soziale Erwünschtheit Maßnahmen Aquieszenz  Ausbalancierung positiv und negativ formulierter Items (häufig nicht möglich oder zweckmäßig – z.b. Gegenteil von Angst oder Gewissenhaftigkeit?)  Aquieszenz miterfassen (Extra Fragebogen) Maßnahmen Soziale Erwünschtheit  Zwangswahlitems mit gleichermaßen erwünschten/unerwünschten Alternativen (früher manchmal verwendet, nicht empfehlenswert)  Items verwenden, die für Erwünschtheitseffekte unanfällig sind (häufig schwierig)  Soziale Erwünschtheit miterfassen

Erfassung der sozialen Erwünschtheit





Berücksichtigung der sozialen Erwünschtheit

Bejahung sozial erwünschter, aber unwahrscheinlicher Verhaltensweisen: Ich bin immer gewillt, einen Fehler, den ich mache, auch zuzugeben. Abstreiten sozial unerwünschter, aber wahrscheinlicher Verhaltensweisen: Manchmal bin ich neidisch, wenn andere Glück haben.

Häufig empfohlene Maßnahmen  Scores in Tests, die für SE-Einflüsse anfällig sind, „vorsichtig“ interpretieren, wenn der SE-Score der Person hoch ausfällt (Wenn Korrrelation mit soziale Erwünschtheits-test → Vorsicht)  Statistische Korrektur der Scores Kritik  Was bedeutet „vorsichtig“?  SE reflektiert zum Teil „wahre Varianz“ (manche Mens...