9 Quasi-Experimente - Vorlesungsnotizen 10 PDF

Preview

Summary

Dozent: Prof. Dr. Richter...

Description

Quasi-experimentelle Versuchspläne Quasi-experimentelle Versuchspläne Quasi-Experiment = eine Untersuchung, in der eine Intervention (ein „Treatment“) planvoll eingesetzt wird, um seine Auswirkung zu beobachten wobei (mindestens) ein Vergleich der Intervention mit einer Bedingung vorgesehen wird, die die Intervention nicht enthält,

-

aber keine optimale Kontrolle von Störvariablen möglich ist, also - keine randomisierte Zuteilung der Versuchspersonen zu Untersuchungsbedingungen (bei interindividueller Bedingungsvariation), keine interindividuelle Ausbalancierung der Reihenfolgen von Versuchsbedingungen (bei intraindividueller Bedingungsvariation) -

wird kein Treatment verabreicht, keine unabhängige Variable die die Forscher manipulieren

Prinzipien quasi-experimenteller Versuchsplanung - Quasi-Experimente haben immer eine geringere interne Validität als Experimente (aufgrund des Fehlens von Randomisierung/Ausbalancierung)

 allgemeines versuchsplanerisches Prinzip von Quasi-Experimenten:  -

Ausgleich der Einbußen an interner Validität durch geschickten Einsatz anderen Kontrolltechniken

Spezielle Prinzipien zur Kontrolle potenzieller Störeffekten (nach Shadish et al., 2002): 1. 2. 3.

Theoriegeleitete Identifikation plausibler Gefährdungen der internen Validität Vorrang der versuchsplanerischen (vor der statistischen) Kontrolle von Störvariablen Überprüfung von Hypothesen über komplexe Ergebnismuster

Anwendungsbedingungen für quasi-experimentelle Designs - Quasi-experimentelle Designs sollten immer dann angewandt werden, wenn   -

Kausalhypothesen überprüft werden sollen, aber der Einsatz experimenteller Designs nicht möglich ist

Gründe, die für Einsatz von Quasi-Experimenten sprechen könnten: 

angewandte Forschungsfragen  z.B. Evaluation der Wirksamkeit konkreter Interventionsmaßnahmen



Forschungspraktische Gründe  z.B. wenn Randomisierung aus organisatorischen Gründen nicht möglich ist (z.B. Unterrichtsforschung)



ethische Gründe  z.B. wenn eine (vermutlich wirksame) Therapieform Patient(inn)en mit hohem Leidensdruck nicht vorenthalten werden darf



Primat der externen Validität (oft bei angewendeten Fragestellungen)  z.B. wenn die Forschungsfrage eine Überprüfung in einem natürlichen Setting erfordert

Typen quasi-experimenteller Designs

Haupttypen quasi-experimenteller Designs (Shadish, Cook & Campbell, 2002): -

ohne Kontroll-/Vergleichsgruppen 

-

mit Kontroll-/Versuchsgruppen, aber ohne Vorhermessung 

-

z.B. Kontrollgruppendesign mit Vorher-Nachher-Messung

Vor- und Nachhermessung mit verschiedenen Designelementen 

-

z.B. Designs mit vorfindbaren, parallelisierten Gruppen

mit Kontroll-/Versuchsgruppen und Vorhermessung 

-

z.B. Design mit entferntem oder wiederholtem Treatment

z.B. Regressions-Diskontinuitäts-Design

mit unterbrochenen Zeitreihen

Beispiel für quasi-experimentelle Designs ohne Kontrollgruppe: Design mit entferntem Treatment

-

Erweiter ung des (vor-experimentelen) Einstichprobendesigns mit Vorher-Nachher-Messung um (a) zweite Nachhermessung, (b) Entfernung des Treatments und (c) dritte Nachhermessung

-

Beispiel:

-

-

Wirkung eines Stipendiums (X) auf die Studienleistung (Y), die vor dem Stipendium, zweimal während des Stipendiums und einmal nach Beendigung des Stipendiums gemessen wird Anstieg der Studienleistung nach Beginn und Abfall nach Beendigung des Stipendiums kann ein Hinweis auf positive Wirkung des Stipendiums sein Aber: etliche Aternativerklärungen/Störeffekte können nicht ausgeräumt werden

Design mit nicht-randomisierten, parallelisierten Gruppen ohne Vorhermessung - Prinzip:  nur Nachher-Messung, keine Vorhermessung der abhängigen Variablen 

zwei (oder mehr) vorfindbare Gruppen werden Treatment- bzw. Kontrollgrupe (oder verschiedenen Versuchsgruppen) zugeordnet



dabei erfolgt eine Parallelisierung, indem anhand einer Organismusvariablen jeweils Paare (oder Drillinge , Vierlinge, …) von Versuchspersonen aus den verschiedenen Gruppen gebildet werden  Analog zu experimentellen Designs mit Blockbildung, aber ohne randomisierte Zuteilung innerhalb der Blöcke zu den Versuchsgruppen

Beispiel: Design mit nicht-randomisierten, parallelisierten Gruppen - Beispiel für ein Design mit nicht-randomisierten, parallelisierten Gruppen:   

Parallelisierung (Blockbildung ohne Randomisierung) der Schüler zweier Schulklassen anhand von IQWerten eine Schulklasse wird mit einer neuen Lernmethode unterrichtet (Treatmentgruppe), die andere nicht (Kontrollgruppe) im Anschluss wird der Lernerfolg gemessen (abhängige Variable)

 nur Ausgangsunterschiede in der zu Parallelisierung herangezogenen Organismusvariablen können kontrolliert werden,  Störeffekte weiterer Versuchspersonenmerkmale werden nicht kontrolliert

Quasi-experimentelle Designs mit Kontroll-/Vergleichsgruppen und Vorhermessung

-

Häufiger Subtyp quasi-experimenteller Designs

-

Prinzip: Kombination der positiven Auswirkungen von Kontrollgruppen und Vorhermessung auf die interne Validität   

-

Verwendung von Kontroll- bzw. Vergleichsgruppen ist wesentlich für Abschätzung der TreatmentWirkung Vorhermessung der abhängigen Variablen wichtig für Abschätzung der Vergleichbarkeit von Treatment- und Kontrollgruppen (bzw. der Vergleichsgruppe) außerdem: Vorhermessung erhöht Präzision des Designs

Aber: insbesondere bei der Existenz von Ausgangsunterschieden (nicht-äquivalente Gruppen) ist das Vorliegen von Störeffekten wahrscheinlich

Mögliche Störeffekte in quasi-experimentellen Designs mit Kontrollgruppen und Vorhermessung

-

Ergebnismuster 1: Unterschied zwischen zwei nicht-äquivalenten Gruppen vergrößert sich in der Nachhermessung

-

Beispiel: Auswirkung flexibler Arbeitszeiten in 2 Betrieben (Kontroll- vs. Treatment-Firma) 

-

Ergebnismuster kann Effekt von differenzieller Reifungseffekten sein, die möglichen TreatmentEffekte überlagern (Fächer-Reifungseffekten) 

-

Treatment-Firma ist in Vorhermessung überlegen, bei Firmen steigern ihre Produktivität, die Treatment-Firma aber deutlicher als die Kontroll-Firma

z.B. können die Mitarbeiter/innen in der Treatment-Gruppe berufserfahrener / besser qualifiziert sein, was zu stärkerer Leistungssteigerung über die Zeit führt

Gegenmaßnahmen (post hoc):  

statistische Kontrolle von Organismusvariablen, die Reifungseffekte moderieren könnten Kontrollanalyse differenzieller Reifungseffekte innerhalb der Versuchsgruppen

-

Ergebnismuster 2: nicht-äquivalente Gruppen, nur Treatment-Gruppe verändert sich

-

Beispiel: Auswirkung flexibler Arbeitszeiten in zwei Betrieben 

Treatment-Firma ist bei Vorhermessung überlegen und Steigert ihre Produktivität bis zur NachherMessung, bei Kontrollfirma keine Veränderung

-

Stärkerer Beleg für Treatment-Effekt als Ergebnismuster 1

-

aber auch hier können differenzielle Reifungseffekte den Effekt in der Treatment-Gruppe (mit-)verursacht haben: 

-

z.B. könnten die Mitarbeiter/innen in der Treatment-Gruppe, nicht aber der Kontrollgruppe über Voraussetzungen verfügen, die Reifungseffekte überhaupt ermöglichen (z.B. ausreichende Berufserfahrung)

Gegenmaßnahmen (post hoc):  statistische Kontrolle von Organismusvariablen, die Reifungseffekte moderieren

-

Ergebnismuster 3: nicht-äquivalente Gruppen, kein Effekt in der Kontrollgruppe, Überlegenheit der Treatment-Gruppe verringert sich von Vor- zur Nachhermessung

-

Beispiel: Auswirkung einer Lehrmethode in zwei Schulklassen 

Lernleistung der Treatment-Klasse ist bei Vorhermessung deutlich überlegen, der Effekt sinkt bei der Nachhermessung ab

-

Mögliche Erklärung: negativer Effekt des Treatments

-

Aber: differenzielle Effekte zwischenzeitlichen Geschehens denkbar, die auf die unterschiedliche Gruppenzusammensetzung zurückgehen: 

-

z.B. könnten die Schüler/innen in der Treatment-Gruppe intelligenter sein (deshalb höhere Leistung in der Vorhermessung) und in der Folge vom Lernstoff unterfordert worden sein (deshalb die Abnahme der Überlegenheit bei der Nachhermessung)

Gegenmaßnahmen (post hoc): 

statistische Kontrolle von Organismusvariablen, die Effekte zwischenzeitlichen Geschehens moderieren können

-

Ergebnismuster 4: nicht-äquivalente Gruppen, Unterlegenheit der Treatment-Gruppe verringert sich über die Zeit

-

Beispiel: Auswirkung einer Lehrmethode in zwei Schulklassen 

-

Lernleistung der Treatment-Klasse ist bei Vorhermessung deutlich schlechter, ihre Leistung gleicht sich der Kontroll-Klasse aber an

Mögliche Erklärung: Kompensatorischer Effekt des Treatments (oft intendierter Effekt, z.B. bei Lernhilfe für schwache Schüler/innen, Therapie für Patient(inn)en mit psychischen Störungen … )

-

Alternativerklärung durch differenzielle Effekte zwischenzeitlichen Geschehens: 

z.B. könnten die Schüler/-innen in der schlechteren Klasse zwar geringeres Vorwissen, aber eine insgesamt höhere Lernmotivation haben, dadurch der stärkere Leistungszuwachs

-

außerdem möglich: Messartefakt (Deckeneffekt) in der Kontrollgruppe

-

Gegenmaßnahmen (post hoc):  

statistische Kontrolle von Organismusvariablen, die differenzielle Effekte moderieren können Kompensatorische Effekte sollten auch innerhalb der Treatment-Gruppe nachweisbar sein

-

Ergebnismuster 5: nicht-äquivalente Gruppen, Veränderung in der Treatment –Gruppe, in der Kontrollgruppe kein oder gegenläufiger Effekt, Treatment-Gruppe in der Vorhermessung geringere, in der Nachhermessung höhere Werte als Kontrollgruppe

-

Beispiel: Auswirkung einer Lehrmethode in zwei Schulklassen 

Lernleistung der Treatment-Klasse ist bei Vorhermessung schlechter, bei Nachhermessung besser; in der Kontrollgruppe keine Veränderung oder Verschlechterung der Leistung

-

relativ klarer Beleg für eine Wirksamkeit des Treatments

-

differenzielle Effekte zwischenzeitlichen Geschehens denkbar, aber nicht sehr wahrscheinlich

-

Messartefakte im Sinne von Decken- oder Bodeneffekten ausgeschlossen

Fazit: Quasi-experimentelle Designs mit Kontrollgruppe und Vorhermessung Kontrollmöglichkeiten in quasi-experimentellen Designs mit Kontrollgruppe und Vorhermessung: -

(Partiell) kontrollierbar sind Störeffekte, die zurückgehen auf 

zwischenzeitliches Geschehen (unkontrollierte zwischenzeitliche Ergebnisse),



Reifung (wichtig z.B. bei Schulversuchen oder Therapieevaluation),



Auswahleffekte (Selektion), die das Ausgangsniveau bezüglich der AV betreffen,



mehrfache Messung (Sensibilisierung ggü. Testmaterial)

Grenzen der Kontrollmöglichkeiten in Designs mit Kontrollgruppe und Vorhermessung: -

oft unzureichend kontrollierbar sind Störeffekte, die zurückgehen auf 

Auswahleffekte, die auf unbekannte versuchspersonenseitige Störvariablen zurückgehen,



Interaktionen von Versuchspersonenmerkmalen mit zeitgebundenen Variablen (z.B. differenzielle Reifungseffekte)



Regression zur Mitte



statistisches Artefakt: extrem gute oder extrem schlechte Werte in der Vorhermessung liegen in der Nachhermessung näher am Mittelwert

 Gefährdung der internen Validität vor allem dann wahrscheinlich, wenn sich bei Vorhermessung die Gruppen als nicht-äquivalent herausstellen

Versuchspläne mit unterbrochenen Zeitreihen

-

Versuchspläne mit unterbrochenen Zeitreihen ähneln Messwiederholungsdesigns, allerdings ohne interindividuelle Ausbalancierung

-

Beispiel: Design mit einer Vielzahl von Vorher-Nachhermessungen an einer Versuchsgruppe und Wiederholung des Treatments („ABAB-Design“)

-

Zeitreihendaten zur Effektivität eines „Token-economy“Programms in der Psychiatrie (ABADesign, Hilgrad et al., 1979, dargestellt nach Sarris, 1992)

-

relevante Information: Kovariation der AV (Änderungen des Mittelwerts) mit Vorhandensein/Abwesenheit des Treatments

-

Zeitreihendaten zur Auswirkung einer Gesetzesreform zu Sexualstratftataen in Kanada (Roberts & Gebotys, 1992)

-

relevante Information: Änderung der Steigerung des Graphen

-

nach der Gesetzesreform steigt die Zahl gemeldeter Straftaten an

Versuchspläne mit unterbrochenen Zeitreihen: Fazit -

Kontrolliert werden Störeffekte, die zurückgehen auf 

-

Selektionseffekte (versuchspersonenseitige Störvariablen) durch intraindividuelle Bedingungsvariationen

nur partiell oder gar nicht kontrollierbar sind Störeffekte, die zurückgehen auf 

zwischenzeitliches Geschehen (unkontrollierte zwischenzeitliche Ergebnisse),



Reifung (z.B. bei Schulversuchen oder Therapieevaluation),



Selektionseffekte, die das Ausgangsniveau der abhängigen Variablen betreffen,



Positionseffekte,



Übertragungseffekte

Regressions-Diskontinuitäts-Design -

Vorgehen und Prinzip: 1.

Vorhermessung: Messung und Regression der abhängigen Variablen auf eine Zuweisungsvariable (assignment variable)

2.

Aufteilung der Stichprobe in eine Treatment- und eine Kontrollgruppe anhand eines Cutoff-Werts der Zuweisungsvariablen

3.

Voraussetzung: Zuweisungsvariable und abhängige Variablen müssen in der Vorhermessung korreliert sein

4.

Nachhermessung: erneute Messung und Regression der abhängigen Variablen auf die Zuweisungsvariable

 Diskontinuitäten („Knick“ und/oder Niveauverschiebung) in den Regressionsgeraden am Übergang von Treatment- zur Kontrollgruppe deuten auf Wirkung des Treatments hin -

Beispiel (aus Bortz & Döring, 2006)    

Überprüfung eines Trainings „Gesunde Ernährung“ für Kinder aus einkommensschwachen Familien Vorhermessung: Regression des Gesundheitszustands der Kinder auf das Einkommen der Eltern Bildung einer Treatmentgruppe mit Kindern einkommensschwacher und einer Kontrollgruppe mit Kindern einkommensstarker Eltern Nachhermessung: erneute Regression des Gesundheitszustandes der Kindern (Nachhermessung) auf das Einkommen der Eltern

Designelemente zur Steigerung der internen Validität in Quasi-Experimenten Welche generellen Maßnahmen zur Steigerung der internen Validität stehen für quasi-experimentellen Designs zur Verfügung?

-

Erhebung mehrerer abhängiger Variablen  

-

Mehrfache Wiederholung/Wegnahme des Treatments 

-

zur Prüfung und ggf. Entkräftung von Alternativhypothesen Beispiel: kognitives Strategietraining sollte Effekte nur auf kognitive Leistungen, nicht auf Motivation haben

abhängige Variable(n) sollte(n) mit Treatment kovariieren

wiederholte Vorhermessungen (Baseline)und Nachhermessungen  

zur Kontrolle von Effekten zwischenzeitlichen Geschehens Zeitreihendesign: vorteilhaft sind möglichst viele Messungen

-

mehr als zwei Versuchsgruppen 

-

abgestufte Treatment-Intensität in mehreren Treatment-Gruppen 

-

Ziel: Verringerung der Gefahr von Selektionseffekten (Versuchspersonenmerkmalen)

wenn Trendanalysen konsistent positiven oder negativen Trend ergibt, ist Konfundierung mit Versuchspersonenmerkmalen eher unwahrscheinlich

Analyse der Gruppenzusammensetzung 

Ziel: die Verteilung möglichst vieler potenzieller Störvariablen kennen, um nicht-äquivalente Gruppen diagnostizieren und Kovariaten kontrollieren zu können

Feld- vs. Laborexperimente - Feldexperiment ≠ Quasi-Experiment !!! -

Laborexperiment vs. Feldexperiment

-

Laborexperiment   

-

Durchführung in einem speziellen Untersuchungsraum gute Kontrollierbarkeit von Störvariablen (z.B. durch Abschirmung) unter Umständen eingeschränkte externe Validität

Feldexperiment    

Durchführung in der natürlichen Umgebung unter Umständen eingeschränkte Kontrollierbarkeit von Störvariablen (Abschirmung nicht möglich) häufig hohe externe Validität erfüllt zentrale Designkriterien des Experiments (Randomisierung/Ausbalancierung)!

Feldexperimente: Beispiel „lost-letter“-Technik - „lost-letter“-technique (Milgram, 1969): adressierte und frankierte Briefe wurden an verschiedenen Orten ausgelegt -

Briefinhalt immer gleich, variiert wurde der Adressat:    

Persönlicher Adressat „Freunde der kommunistischen Partei“ „Freunde der Nazi-Partei“ „Medizinische Forschungsgesellschaft“

-

abhängige Variable: Rücklaufquote

-

Ergebnisse: Persönliche und an die neutrale Organisation adressierte Briefe hatten höhere Rücklaufquote (ca. 70%) als als an eine der beiden extremistischen Organisationen adressierte Briefe (ca. 25%)...