H10-Non-en-quasi-experimentele-onderzoeksstrategie PDF

Preview

Summary

Download H10-Non-en-quasi-experimentele-onderzoeksstrategie PDF

Description

Hoofdstuk 10: Non- en quasi-experimentele HB p 237-264

onderzoeksstrategieën en designs 1. Non-en quasi-experimentele onderzoeksstrategieën 1.2 Algemeen Soms lukt het niet om aan rigoureuze vereisten van een experiment te voldoen : NON-EXPERIMENTEEL nog steeds vergelijken van scores van 2 of meer groepen of condities maar aan min. 1 vereiste van experiment niet voldaan altijd een of andere storende variabele (confounder) die interne validiteit bedreigt, maar integraal deel is van het design en niet verwijderd kan worden deze studies kunnen geen nietambigue oorzaak-gevolg relaties blootleggen geen poging om bedreigingen interne validiteit te verkleinen • • • •

•

QUASI-EXPERIMENTEEL poging om bedreigingen interne validiteit te verkleinen

bijna, maar niet helemaal, een experiment

Algemene structuur lijkt erg op experiment Creëren van condities/groepen MAAR : in experiment worden condities gecre ëerd op basis van manipulatie onafh var HIER: groepen/condities gecreëerd op basis van:  specifieke participant variabele  tussen-subject designs  tijd (pre en post meting)  binnen-subject designs Een niet-gemanipuleerde variabele bepaalt de condities

Voorbeeld: Experiment : groep die “gewone” nachtrust kreeg vergelijken met groep die slaapdeprivatie ontving = manipulatie bepaalt groepen Non/Quasi-experiment: groep goede slapers vergelijken met groep insomnia patiënten = bestaand kenmerk bepaalt groepen DIA 44 , les 6

2. Tussen-subject designs definitie :

niet-equivalente groep designs

doel : matching)

creëeren van equivalente groepen (random toewijzing,  actief controleren wie aan welke groep wordt toegewezen

hier : mogelijk)

groepen bestaan al (geen random toewijzing of matching  geen controle over wie aan welke groep wordt toegewezen.

DUS : geen garantie dat groepen equivalent zijn. Algemene structuur :

MAAR : inherente bedreiging van interne validiteit aanwezig  niet-ambigue uitspraken over oorzaak-gevolg verklaringen niet meer mogelijk Individuele verschillen tussen de groepen vormen in deze designs ALTIJD een bedreiging! Voorbeeld: goede slapers VS insomnia patiënten, mannen VS vrouwen, oudere VS jongere volwassenen, etc.  Kans dat deze groepen verschillen mbt andere factoren (en dus potentiële confounders) is reëel! 3 voorbeelden van niet-equivalente groep designs : 1 . 2 . 3 .

Differentiële onderzoeksdesign Posttest-only niet-equivalente controle groep design Pretest-posttest niet-equivalente controle groep design

Non-experimenteel Quasi-experimenteel

2.1 Differentiële onderzoeksdesign • • •

Individuele verschillen zijn primaire focus Vergelijkt bestaande groepen obv specifiek kenmerk, zonder manipulatie Groepen creëren op basis van een specifiek individueel verschil (bv. geslacht, leeftijd)  hoe wordt gedrag of prestatie beïnvloed door geslachtsverschillen, leeftijdsverschillen, etc.?

Voorbeeld: zelfwaarde scores vergelijken tussen kinderen in 1-ouder VS 2-ouder gezinnen

2.2 Posttest only niet-equivalente controle groep design Posttest-only experimentele groep krijgt eerst behandeling (X) en wordt nadien gemeten/geobserveerd (O) en vergeleken met controle groep die enkel gemeten/geobserveerd wordt (O) X

O O

groep

: experimentele groep : niet-equivalente controle

niet-equivalente controle groep design effect van “behandeling” toegediend aan experimentele groep tov controle groep zonder behandeling MAAR : groepen (experimentele en controle conditie) gecreëerd op basis van bestaande groepen, dus geen random toewijzing.  groepen zijn dus niet equivalent

•

Voorbeeld: effect van parken op aantal sociale interacties in een buurt  vergelijken buurt mét nieuw park en buurt zonder park m.b.t. aantal interacties tijdens 1 week (gemeten via observatie)  Niet-equivalente groepen (geen random toewijzing, maar obv kenmerk)  Experimentele groep mét behandeling en controle groep zonder behandeling worden vergeleken ( differentiële onderzoeksdesign)  Enkel post-meting (parken zijn er al)

• •

Doel = causale uitspraken (park veroorzaakt meer sociale interacties) MAAR: design biedt geen bescherming tegen individuele verschillen als mogelijke confounders (e.g., buurten zullen verschillen op verschillende andere vlakken)  geen niet-ambigue oorzaak-gevolg uitspraken!

2.3 Pretest-posttest niet-equivalente controle groep design • • •

Kleine modificatie van posttest-only design  toevoegen pre-test! Veel sterker design! Pretest-Posttest: experimentele en controle groep worden eerst gemeten/geobserveerd (O), experimentele groep krijgt dan behandeling (X) en nadien worden beide groepen opnieuw gemeten/geobserveerd (O) en vergeleken O X O (experimentele groep) O O (niet-equivalente controle groep)

 Laat toe om effect van individuele verschillen (en dus bedreiging interne validiteit) te reduceren!

3. Binnen-subject designs • • • • •

= Pre-post designs Serie observaties over de tijd van 1 groep participanten Zelfde groep participanten wordt gemeten voor en na een behandeling of gebeurtenis Metingen voor en na worden vergeleken om invloed van behandeling of gebeurtenis te evalueren Géén controlegroep

Pretest-posttest niet-equivalente controle groep design

Pre-post design

Tussen-subject design

Binnen-subject design

Omvat 2 groepen participanten: experimentele en controle groep

Omvat 1 groep participanten (géén controle groep)

Vergelijkt experimentele groep met controle groep

Vergelijkt pre-scores met post-scores

• •

•

Individuele verschillen vormen geen probleem (zelfde groep participanten wordt herhaaldelijk gemeten) MAAR: tijdsgerelateerde variabelen bedreigen interne validiteit!  History, maturatie, instrumentatie, statistische regressie (regession toward the mean), orde effecten Contrabalanceren niet mogelijk (pre-test komt steeds voor de post-test)  experimenteel binnen-subject design

2. Voorbeelden van prepost designs : 1 . 2 .

Pretest-posttest design Time-series design

Non-experimenteel Quasi-experimenteel

3.1 Pretest-posttest design • • •

Meest eenvoudige versie: O X O Elke participant binnen de enige groep participanten wordt één keer gemeten voor behandeling en één keer na behandeling Geen poging om bedreigingen van interne validiteit te controleren, geen oorzaak-gevolg conclusies mogelijk

3.2 Time-series design Reduceert bedreigingen van interne validiteit  Serie pre-test observaties kan trends blootleggen die reeds bestonden voor behandeling (cf. mogelijke confounders)  leereffecten, effect van vermoeidheid, maturatie, instrumentatie, etc.  Geen trends aanwezig in de pre-metingen: redelijk potentiële bedreigingen van interne validiteit geen i hebben op de participanten  Let op met history effecten die perfect samenv behandeling! (bv. start behandeling voor depressie v met drastische verandering in weersomstandigheden Serie post-test observaties kan trends blootleggen na de be

4. Designs voor ontwikkelingsonderzoek • •

Bestuderen veranderingen in gedrag die gerelateerd zijn aan leeftijd Onderzoeken verband leeftijd en andere variabelen

Voorb.: hoe veranderen taalvaardigheden met leeftijd (of: hoe ontwikkelen taalvaardigheden)? 2 types designs: 1. Cross-sectioneel design voor ontwikkelingsonderzoek 2. Longitudinaal design voor ontwikkelingsonderzoek

4.1 Cross-sectioneel design

= tussen-subject design, nl. niet-equivalente groep design • • • • •

Verschillende groep participanten voor elke leeftijd die men wil vergelijken Afhankelijke variabele wordt op 1 moment gemeten voor elke groep Groepen worden vergeleken om na te gaan of er leeftijdsverschillen zijn mbt afh var Groepen worden niet ingedeeld obv manipulatie onafh var, maar obv bestaande participant variabele (leeftijd) Geen random toewijzing (groepen bepaald door leeftijd)

Voordelen : • Snel: effect van leeftijd zonder te wachten tot participanten ouder worden • Geen lange-termijn samenwerking onderzoeker-participant nodig (minder drop-out, kosten, etc.) Nadelen : • Geen uitspraken over hoe een individuele participant ontwikkelt • Groepen die verschillen in leeftijd verschillen waarschijnlijk ook mbt andere variabelen  cohorte- of generatie-effecten: omgevingsfactoren die mogelijk verantwoordelijk zijn voor verschillen tussen de groepen ipv leeftijd (i.e., mogelijke confounders)  Vooral effect als leeftijdsgroepen verder uit elkaar liggen

4.2 Longitudinaal design = binnen-subject design •

1 groep participanten wordt gemeten doorheen de tijd (maanden/jaren)

• • •

Afhankelijke variabele wordt op verschillende momenten gemeten Meetmomenten worden vergeleken om na te gaan of de afh var ontwikkelt over leeftijd = pretest-posttest design, maar zonder “behandeling” (behandeling = leeftijd)

Voordelen : • Uitspraken over hoe een individuele participant ontwikkelt • Geen cohorte-effect Nadelen : • Zeer tijdsintensief, duur • Grote kans op drop-out (gevaar voor interne validiteit) • Herhaaldelijke metingen van zelfde participanten  orde-effecten TED Talk Harvard study • • • • •

Volgde 724 mannen voor 75 (!!!) jaar (sinds 1938) Regelmatige metingen van fysieke en mentale gezondheid, welbevinden in relaties, werk, etc. Wat zorgt er voor een gelukkiger, langer leven? Tevredenheid met relaties Meer info: http://www.adultdevelopmentstudy.org/

5. Besluit In de Psychologie is het vaak niet mogelijk om aan de rigoureuze vereisten van een experiment te beantwoorden  Non- of quasi experimentele strategieën •

• • • • •

Bevat steeds een bedreiging voor de interne validiteit die niet volledig kan uitgesloten worden  Geen niet-ambigue causale uitspraken Quasi-experimentele studies trachten bedreigingen interne validiteit te controleren, non-experimentele studies doen dat niet Lijken erg op echte experimenten: vergelijken van groepen/condities MAAR: condities niet gecreëerd obv manipulatie onafh var, maar obv bestaande karakteristiek of tijd Tussen-subject (niet-equivalente groep) en binnen-subject (pre-post) designs

6. Toepassing Voorbeeldvragen Wat is mogelijk in een experimenteel binnen-subject experiment, maar niet in een pre-post design? A: Random toewijzing van de participanten B: Contrabalanceren van de orde van de condities C: Controle van individuele verschillen D: Generaliseren van de resultaten Een onderzoeker gaat na hoe verandering in gedrag gerelateerd is aan leeftijd door verschillende groepen participanten te vergelijken, elk met een verschillende leeftijd. Welk design gebruikt zij hier? A: Time-series design B: Posttest only niet-equivalente controle groep design C: Cross-sectioneel ontwikkelingsdesign D: Longitudinaal ontwikkelingsdesign Oefening Een onderzoeker wil de effectiviteit van een nieuwe leesmethode tov de oude leesmethode nagaan voor lagere schoolkinderen Hoe zou je voor deze onderzoeksvraag volgende designs kunnen implementeren? 1. Experimenteel tussen-subject design 2. Experimenteel binnen-subject design 3. Posttest-only niet-equivalente controle groep design 4. Pretest-posttest design Wat zijn de voornaamste problemen met elk van deze designs? Welk design zou je uiteindelijk verkiezen? 1. Experimenteel tussen-subject design: steekproef van 40 kinderen van 7 jaar die random worden toegewezen aan oude methode (n1 = 20) of nieuwe methode (n2 = 20). Nadien wordt leesvaardigheid gemeten en vergeleken tussen de 2 groepen. Geslacht wordt gematcht tussen de groepen. Studie wordt voor alle kinderen afgenomen in identieke omstandigheden  Technieken: manipulatie en controle: random toewijzing, matching, variabele constant houden (om bedreigingen interne validiteit door omgevings- en participant variabelen te minimaliseren)  Voornaamste problemen: individuele verschillen, ethiek (1 groep ontvangt mogelijk minder optimale methode)

2. Experimenteel binnen-subject design: steekproef van 20 kinderen (n = 20) van 7 jaar die zowel de oude methode als de nieuwe methode sequentieel ontvangen. Na elke conditie wordt leesvaardigheid gemeten en vergeleken tussen de 2 condities. Studie wordt voor alle kinderen afgenomen in identieke omstandigheden. Orde van condities wordt gecontrabalanceerd

 Technieken: manipulatie en controle: variabele constant houden, contrabalanceren (om bedreigingen interne validiteit door omgevings- en tijdsgerelateerde variabelen te minimaliseren)  Voornaamste problemen: ernstige potentiële asymmetrische orde-effecten (je kan gebruik van een methode niet “ontleren”) 3. Posttest-only niet-equivalente controle groep design: steekproef van 40 kinderen die ofwel in een school zitten waar de nieuwe methode gebruikt wordt (n1 = 20) ofwel in een school zitten waar de nieuwe methode niet gebruikt wordt (n2 = 20). Leesvaardigheid wordt nadien gemeten en vergeleken tussen de 2 groepen  Technieken: GEEN manipulatie/controle: geen random toewijzing, matching, variabele constant houden. Indeling groepen obv bestaande groepen (school met/zonder nieuwe methode)  Voornaamste problemen: geen niet-ambigue causale uitspraken mogelijk, individuele verschillen (hier extra sterk aanwezig: kinderen uit verschillende scholen zullen ook op andere karakteristieken verschillen) 4. Pretest-Posttest design: steekproef van 20 kinderen die de nieuwe methode zullen volgen (n = 20). Hun leesvaardigheid wordt gemeten VOOR én NA het volgen van de methode, en vergeleken tussen de 2 momenten  Technieken: GEEN manipulatie/controle: geen variabele constant houden, contrabalanceren  Voornaamste problemen: geen niet-ambigue causale uitspraken mogelijk, tijdsgerelateerde variabelen (hier extra sterk aanwezig: tussen de 2 metingen kan er veel gebeuren)...