Explorix Zusammenfassung Testtheorie und Testpraxis - Standardisierte Verfahren PDF

Preview

Summary

Explorix Zusammenfassung Testtheorie und Testpraxis - Standardisierte Verfahren...

Description

EXPLORIX - das Werkzeug zur Berufswahl und Laufbahnplanung (2004) Jörin, Stoll, Bergmann & die Bundesagentur für Arbeit 1. Theorie und Testkonstruktion  Test umfasst berufsbezogene Persönlichkeit/Interessen u. liefert Berufsideen → Anlehnung an John Hollands Theorie → Adaptiert von Hollands Test "Self-Directed-Search" Theorie von John Holland Grundannahmen  6 Interessen- bzw. Persönlichkeitstypen ▫ als Idealtypen ▫ Persönlichkeitsstruktur graduell & strukturell differenziert  → Persönlichkeitsstruktur besteht aus einem Primärtyp + je einem sekundär & tertiär Typ  analog 6 Typen von Arbeitsumgebungen  Berufswahl als Ausdruck der Persönlichkeit → Kongruenz  Hollands Theorie ist eine der meist erforschten Theorien (>500 Studien) → solide empir. Basis  Strukturell-interaktive Theorie durch Verbindung von Persönlichkeitsmerkmalen mit Berufen 6 Persönlichkeits- u. Umwelttypen 1. Realistic ▫ realistisch, handwerklich-technisch, land-/forstwirtschaftlich ▫ Interesse an Maschinen & Werkzeugen ▫ schätzen körperl. Betätigung 2. Investigative ▫ untersuchend-forschend, intellektuell ▫ Interesse an geistigen/naturwissenschaftlichen Problemen 3. Artistic ▫ künstlerisch-kreativ, gestalterisch ▫ Beschäftigung mit ausgefallenen Ideen, Musik, Kultur ▫ schätzen Ästhetik 4. Social ▫ sozial, erziehend-pflegend ▫ Interesse an Arbeit mit Menschen ▫ große Hilfsbereitschaft 5. Enterprising ▫ führend-verkaufend, unternehmerisch ▫ Interesse an wirtschaftlicher Planung ▫ besitzen Überzeugungskraft/Organisationstalent 6. Conventional ▫ konventionell, ordnend-verwaltend ▫ Interesse an Bürotätigkeiten ▫ schätzen klare Regeln → Testergebnis = 3-Buchstaben-Code 2. Testentwicklung Entwicklung des EXPLORIX  Adaption von Hollands Test "Self-directed Search" (SDS) → gleiche Messstruktur  Schaffung einer inhaltlich & messtechnisch kongruenten Version zu SDS:

1. Übersetzung/Neuformulierung 2. inhaltliche Analyse & Kritik durch ExperInnen 3. Empirische Datenerhebung & Analysen → mehrere Wiederholungen Zusammenstellung des Berufsregisters  Berufsbezeichnungen der Berufsdokumentation der Bundesagentur für Arbeit entnommen → 1086 Berufs- & Funktionsbezeichnungen  Generierung der Berufscodes durch Expertenratings & empir. Untersuchungen  ständige Aktualisierung & Überarbeitung des Registers  3 länderspezif. Fassungen (DE, Österreich, Schweiz) 3. Testaufbau Testheft  Persönliche Angaben  Berufsträume, Wünsche, Ideen  Tätigkeiten (je 11 Items)  Fähigkeiten (je 14 Items)  Selbsteinschätzung → 218 Items Itembsp. zu "Tätigkeiten"  R - Praktikum in Werkstatt machen  I - mit wissenschaftlichen Theorie auseinandersetzen  A - Musikinstrument spielen  S - Aktivitäten für psych. Kranke leiten  E - Finanzierung einer Veranstaltung planen  C - Personaldaten registrieren u. verwalten Itembsp. zu "Fähigkeiten"  R - Ich kann einen Fahrradschlauch auswechseln.  I - Ich kann einfache chemische Formeln interpretieren.  A - Ich kann gute Geschichten oder Gedichte schreiben  S - Ich kann gut erzieherisch mit Kindern umgehen.  E - Ich kann erfolgreich verhandeln.  C - Ich kann in einer Buchhaltung Soll und Haben berechnen. Itembsp. zu "Berufe":  R - Elektriker/in  I - Pharmazeut/in  A - Innenarchitekt/in  S - Logopäde/in  E - Unternehmensberater/in  C - Materialprüfer/in Itembsp. zu "Selbsteinschätzung"  R - Handwerkliche Fähigkeiten & Verständnis für Technik  I - Forschungsfähigkeiten & Allgemeinwissen  A - Künstlerische Fähigkeiten & Musikalische Fähigkeiten  S - Erzieherische Fähigkeiten & Einfühlungsvermögen  E - Verkaufsgeschick & Organisationstalent



C - Fähigkeit für Büroarbeiten & Ordentlichkeit/Pflichtgefühl

   

als Paper-Pencil & computergestützte Version erhältlich Koffer mit Manual, 10 Testheften & 3 Codes für online Durchführung → 233€ 1 Test-Set → 17,50€ http://www.explorix.de/ → 13€ online Testung

4. Anwendung Anwendungsbereiche Selbst-Test  Selbstexplorationsinstrument zur Berufswahl u. Laufbahnplanung Karriere- u. Berufsberatung  von Fachpersonen in einer Beratung durchgeführt → vertiefte Auswertung möglich Voraussetzungen  ab 15 Jahren  deutsche Sprache  für vertiefende Auswertung des Manuals testpsycholog. Kenntnisse notwendig  PC Kenntnisse für computergestützte Version Durchführung  ca. 20 min  2 Versionen: schriftlich u. computergestützt  Gruppendurchführung z.B. in Schulklassen möglich Vorgehen beim Ausfüllen des Arbeitsheft: 1. Auflistung der Berufswünsche 2. Präferenzen für Tätigkeiten 3. Einschätzung der Kompetenzen 4. Sympathien für Berufe 5. globale Fähigkeits-Einschätzung Auswertung Schritte 1. Addieren der Ergebnisse für Subskalen → gewichtete Summe der einzelnen Subskalen indiv. sechsdimensionales Antwortprofil 2. Ermittlung des Dreibuchstabencodes → Ermittlung des Dreibuchstabencodes u. allen möglichen Kombinationen (6) mittels der Rangfolge der 3 höchsten Summenwerte 3. Suche im Berufsregister → Berufe des Codes (oder ähnlicher) u. interessante Berufe auswählen 4. Bestimmung der Kongruenz → Bestimmung der Kongruenz zw. GesamtCode des Berufswunsches 5. weiterführende Schritte vorgeschlagen → Erhöhung Entscheidungsfindungsqualität (Fachpersonal)

Interpretation Testheft  übersichtlich mit klaren Instruktionen → detaillierte, schrittweise Anleitung zum weiteren Vorgehen u. Umgang mit Ergebnis  Möglichkeiten zur Vertiefung: ▫ Profil-Grafik und Beurteilung ▫ Checkliste zur Berufswahlsituation ▫ Berufs- u. Laufbahnberatung Mögliche Zusatzauswertung für Fachpersonal  Profil-Interpretation → einzelne Interpretationsschritte ausführlich dargelegt  Analyse des Gesamtprofils und der SubtestProfile  Code-Validierung → Höhe der Übereinstimmung von Code mit Berufswunsch  Regeln zur Verwendung u. Interpretation des 3-Buchstabencodes  → (z.B. 8-Punkte-Regel = Gesamtwerte der Dimensionen sollten sich um mind. 8 Rohwertpunkte unterscheiden, sonst als gleichrangig zu betrachten)  → zusätzliche Interpretationsbsp. anhand zweier Probanden Eigene Erfahrungen  Durchführung: sehr leichte Handhabung → vorgegebene Schritte  Auswertung: sehr verständlich  Interpretation: ▫ viele Hinweise zu weiteren Interpretationsmöglichkeiten u. weiteren Vorgehensweisen → bes. für Fachpersonal ▫ Ergebnisse oft nicht rational

5. Gütekriterien Objektivität  keine Angaben im Manual Durchführungsobjektivität  klare Instruktionen  gut verständlicher Inhalt Auswertungsobjektivität  leicht verständlich  Auswertung gut strukturiert  Internetversion: Daten werden standardisiert u. unabhängig vom Teilnehmer ausgewertet  Verfälschungen unwahrscheinlich Interpretationsobjektivität  Reihenfolge der 3 Buchstaben nicht überinterpretiert → Widerspruch zu Hollands Theorie  keine Garantie für Fehlervermeiden  Umgang mit Code ohne Berater unvollständig  Wahl bei Auswertung zw. Code u. gesamten Persönlichkeitsprofil → Überforderung  → Test ist als objektiv einzustufen, auch wenn Durchführung mit Berufsberater empfehlenswert Reliabilität Interne Konsistenz - Gesamtskala  Cronbachs α (α)  Werte: .86 - .91 → mittel - hoch  Mdn (795) = .88  Mdn (1029) = .89 → mittel  → als gut bis sehr gut einzustufen Interne Konsistenz - Subskalen  N = 1020  Insg. øα = .78  → αmin = .70; αmax = .84 → niedrig - mittel  Tätigkeiten: øα = .77 (niedrig)  Fähigkeiten: øα = .77 (niedrig)  Berufe: øα = .80 (mittel)  → vorsichtige Interpretation möglich, da α>.70  Grund für niedrige Rel.: geringere Itemanzahl (nur 11/14 statt 38 Items) Retest-Reliabilität  Stichpr.: N=138  Zeitintervall: 15-18 Monate  2. Erhebung: EXPLORIX-Kurzform  Interkorrelation zw. gleichnamigen Dimensionen: ▫ ør = .79 → rmin = .70, rmax = .81 → niedrig - mittel  ør (Berufstätige) = .80 vs. ør (Gymnasiasten) = .73  Interkorrelation der Gesamtskalen vermutlich noch höher, da höhere interne Konsistenz Validität Inhaltsvalidität  keine Angaben im Manual

  

Testentwicklung zeigt den umfangreichen Entwicklungsansatz → spricht für gute Inhaltsvalidität Experten mehrerer Ländern herangezogen, um ursprüngliche Inhalte des SDS ins Deutsche zu übersetzen → EXPLORIX beruht inhaltlich valide auf Hollands Theorie

Konstruktvalidität - Interskalenkorrelation  stärksten Korrelationen ▫ Artistic - Social: r=.37 - .48 → "Weibliches Cluster" ▫ Enterprising - Conventional: r=.33 - .37 → "Geschäftswelt Cluster" ▫ Realistic - Investigative: r = .20 - .32 → Berufsfeld Technik; "männliches Cluster" Konstruktvalidität  → Benachbarte Dimensionen: stärkste Korrelation auf → entspricht Hollands Hexagon  Nachbar-Korrelation nur ør = .09  grobe Betrachtung in 3 Kategorien ▫ Nachbarn: r= .22 ▫ Nachbarn-über-eine-Ecke: r=.08 ▫ Gegenüberliegende: r=-.01  → entspricht Hollands Hexagon, wobei eher 3 Cluster ersichtlich Faktorenanalytische Konstruktvalidität Subskalenebene  alle Subskalen laden auf entsprechende 6 Persönlichkeitsfaktoren  sehr hohe Hauptladungen: ø .78  erklären fast 70% der Varianz → Subskalen repräsentieren eigene Dimension auf typische Art und Weise Itemebene  Extraktion von 6 Faktoren  86% aller Items im richtigen Faktor lokalisiert  deutliche Hauptladungen: ø.46 → unterscheiden sich von Nebenladungen → Bestätigung der Konstruktvalidität Konstruktvalidität - AIST (Allgemeiner Interessen-Struktur-Test)  AIST basiert ebenfalls auf Theorie von Holland  konvergente Validität: ▫ Beziehung zw. Skalen: ør = .68 → hoch ▫ AIST nur Interessenskalen → Vgl.: Subskala "Tätigkeiten" (r=.55 - .68)  divergente Validität: ▫ gegenüberliegende Skalen des Hexagons: r=-.02 bis -.31 → hoher Zsgh. zw. EXPLORIX u. AIST

Konstruktvalidität - NEO-FFI  Zshg. zw. Persönlichkeitstheorie (Holland) & 5-Faktoren-Modell (Costa, McCrae & Holland)  konvergente Validität ▫ → mehr als 10% gemeinsamer Varianz jeder Big-5-Dimensionen mit mind. einer RIASECDimension (r=.34 - r=.47 → mittel)  insg.: Beleg für Konstruktvalidität u. auch für typologisches Persönlichkeitskonzept von Holland Kriteriumsvalidität - Zufriedenheit  Karriereberatung steht im Mittelpunkt  Kunde muss sich mit Ergebnis identifizieren können u. mit Ergebnis zufrieden sein  im Manual mehrere Untersuchungen: ▫ 88% (N=322) zufrieden ▫ 77% interessant ▫ 72% Test klar verständlich ▫ 64% Test einfach durchzuführen  → deutet auf hohe Kriteriumsvalidität hin Normierung  kein normbezogener Messansatz  Ergebnisse repräsentieren Summe der indiv. Intemantworten → intraindividuelle Auswertung → persönliches Ergebnis: Buchstabencode → ipsativer Vergleich Unverfälschbarkeit  im Manual keine Hinweise auf Vermeiden o. Vorbeugen  bei Selbsttest meist kritisch  falsches Summieren  absichtliches Verdrehen der Ergebnisse möglich → extra schlecht o. extra gut machen  Frage der Ehrlichkeit → Test ist nur für eigene Orientierung  Internetversion: standardisierte Auswertung Besonderheiten  Selbsttest- kein Testleiter notwendig  Zusammenarbeit zw. DE, Schweiz u. Österreich  kein normbezogener Messansatz → ipsativer Vgl.  sehr viele Erläuterungen zur Theorie im Manual  ausführliche Untersuchungen im Testheft  liefert konkrete Berufsvorschläge 6. Take-Home-Message  gut geeignet zur Orientierung für Laufbahnplanung

    

Selbsterkundungsprozess einfach Handhabung objektives, reliables u. valides Messinstrument viele Berufe gegeben Aber: ▫ Test u. Berufsregister müssen immer aktuell sein → wird aber nicht dauerhaft erneuert ▫ wenig Studiengänge vorhanden...