3 Experimenteel Design en Bepalen van Causaliteit PDF

Preview

Summary

Download 3 Experimenteel Design en Bepalen van Causaliteit PDF

Description

EXPERIMENTELE ONDERZOEKSDESIGNS: Bepalen van causaliteit

Onderzoekdesigns: wat kennen? •  Bryman: deel 1 hfdstuk 3 Research designs pp.44-78 •  Vooral: –  experimentele opzet begrijpen –  voor- en nadelen van verschillende designs kunnen inschatten –  gebrekkige designs kunnen identificeren –  Inzien dat sommige designs bepaalde conclusies ivm causaliteit niet verantwoorden –  een design schematisch kunnen voorstellen + een schematisch voorgesteld design kunnen herkennen, begrijpen en (kritisch) ontleden Experimenteel onderzoek | 02/10/14 | pag. 2

Het klassieke experiment •  Basisredenering –  kijk of een verandering van X leidt tot een verandering van Y –  Hoe? door X experimenteel te manipuleren cf. dagelijkse praktijk, bv. waarom werkt mijn internet niet?

•  Centrale vraag draait rond causaliteit •  In de wetenschap: het klassieke experiment –  –  –  – 

Experimentele groep Stimulus Controlegroep Pre- en posttest/meting

Experimenteel onderzoek | 02/10/14 | pag. 3

Causaliteit •  Post hoc ergo propter hoc •  Logical fallacy = denkfout of redeneringsfout die plausibel lijkt •  het Skinner experiment •  de regendans •  het bijgeloof van Kim •  Noodzakelijke voorwaarde, maar nooit voldoende voorwaarde Experimenteel onderzoek | 02/10/14 | pag. 4

Causaliteit •  Tijdsorde noodzakelijke voorwaarde •  Correlatie tussen twee fenomenen (sterkte?)(dosis-respons relatie) •  Plausibele verklaring: mechanisme voor causaliteit •  Geen andere verklaring mogelijk •  Ondersteund door geheel van wetenschappelijke kennis Experimenteel onderzoek | 02/10/14 | pag. 5

Verklaringswijzen: causaal verband 1.  Temporele voorrang: X gaat Y vooraf 2.  Empirische associatie: X en Y vertonen samenhang 3.  Eliminatie van plausibele alternatieven 4.  We kunnen een plausibele uitleg geven voor invloed X op Y 5.  è฀ Het causaal mechanisme kunnen aangeven

Grondvormen, Onderzoekstypen en Research-designs

Overzicht grondvormen, types en research-designs ONDERZOEKSTYPEN ‘VERSTEHEN’ CAUSALITEIT ZUIVER EXPERIMENT QUASI-EXPERIMENTELE DESIGNS PANEL STUDY SURVEY

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Overzicht grondvormen, types en research-designs ONDERZOEKSTYPEN ‘VERSTEHEN’ CAUSALITEIT ZUIVER EXPERIMENT QUASI-EXPERIMENTELE DESIGNS PANEL STUDY SURVEY

Tussen de vele soorten vormen van onderzoek gaan we in dit hoofdstuk in op onderzoek dat gericht is op het vaststellen van causaliteit. In globo kunnen we vier vormen van onderzoek naar causaliteit onderscheiden: Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Vaststellen causaliteit en meten van asymmetrisch effect: •  Experimentele designs (o.a. zuiver experiment): - zelf aanbrengen van stimulus of oorzaak (i.e. onafhankelijke variabele); - opmeten van het effect op de afhankelijke variabele - meerdere meetmomenten (i.e. longitudinaal)

•  Quasi-experimentele designs -

vermeende oorzaak reeds ‘in vivo’ aanwezig (vb. roken): opmeten van effect op afhankelijke variabele (vb. longkanker) prospectief of retrospectief meerdere meetmomenten (i.e. longitudinaal) niet dezelfde validiteit als zuiver experimenten: zelfselectie hypothekeert causale interpretatie van resultaten!

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Vaststellen causaliteit en meten van asymmetrisch effect: •  Paneldesigns - opvolging van een vaste groep respondenten doorheen de tijd: opmeten van trends in situaties (states), gedrag of meningen; opmeten van effecten van gebeurtenis die deel van het panel heeft getroffen; - vermeende oorzaak reeds ‘in vivo’ aanwezig (vb. echtscheiding) - opmeten van effect op afhankelijke variabele (vb. financiële situatie) - meerdere meetmomenten (i.e. longitudinaal)

•  Causale inferentie -

conceptueel ontwerpen van causaal model (o.m. afgaand op tijdssequentie) verwachte samenhangen toetsen aan waargenomen symmetrische correlaties doorgaans slechts één meetmoment (i.e. transversaal) kan hooguit vermoeden van causaliteit aanscherpen

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Overzicht grondvormen, types en research-designs ONDERZOEKSTYPEN ‘VERSTEHEN’ CAUSALITEIT ZUIVER EXPERIMENT QUASI-EXPERIMENTELE DESIGNS PANEL STUDY SURVEY

We weerhouden hier slechts de drie grondvormen die kunnen bijdragen tot het aanwijzen van causaliteit. Causale inferentie gebaseerd op louter cross-sectionele data kan wel vermoeden van oorzakelijk verband aanscherpen maar is op zichzelf geen sluitend bewijs Lesthaeghe & Neels (2009)

Experimentele designs

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit ONDERZOESKTYPEN ‘VERSTEHEN’ CAUSALITEIT EXPERIMENTELE DESIGNS BASISSCHEMA & VALIDITEIT MATCHING & RANDOMIZATIE DOUBLE BLIND & PLACEBO SOLOMON & PRETEST-EFFCT QUASI-EXPERIMENTELE DESIGNS PANEL STUDY SURVEY

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Experimentele designs •  Zuiver experiment: - Basisschema - Oorzaken van verminderde interne en externe validiteit

•  Uitbreidingen: - Pretest-posttest design met placebo-groep: contaminatie door vormeffecten - ‘Double blind’-methode experimentator verwachting, instrumentatie bias, controlegroep contaminatie - Solomon’s 4-groepen design pretest-effect en ‘pretest-stimulus’-interactie

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit ONDERZOESKTYPEN ‘VERSTEHEN’ CAUSALITEIT EXPERIMENTELE DESIGNS BASISSCHEMA & VALIDITEIT MATCHING & RANDOMIZATIE DOUBLE BLIND & PLACEBO SOLOMON & PRETEST-EFFCT QUASI-EXPERIMENTELE DESIGNS PANEL STUDY SURVEY

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Zuiver experiment •  onderzoeker dient zelf stimulus toe; •  derhalve herhaalbaar; •  neergelegd in protocol: gedetailleerde beschrijving van het opzet van het experiment

Niet herhaalbaarheid en fraude… Resultaten van tweelingenonderzoek van Sir Cyril Burt – die in periode 1947 – 1971 werden gepubliceerd in journals waarvan Burt zelf editor was – zouden berusten op fictieve resultaten van experimentele designs. Poging tot herhaalbaarheid leverde tegengestelde resultaten…

Lesthaeghe & Neels (2009); Afbeelding: www.amazon.com.

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Basismodel van het zuiver experiment •  Basisprincipe: vergelijking van uitkomsten tussen experimentele groep en controlegroep;

•  Samenstelling experimentele groep en controlegroep: - gelijkschakeling ex ante voor alle relevante kenmerken; - individuele matching, groepsmatching of randomisatie; - gelijkaardige meetuitslag voor pretest (i.e. t=0) voor afhankelijke variabele: bij perfecte gelijkschakeling is meting 01 = meting 03

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Basismodel van het zuiver experiment •  Samenstelling van experimentele groep en controlegroep

•  Beknopte voorstelling:

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Basismodel van het zuiver experiment •  Stimulus aan experimentele groep - onderzoeker bepaalt zelf wie in experimentele of controlegroep terechtkomt; - onderzoeker dient zelf stimulus toe; - voorbeelden stimulus: ~ geneesmiddel in medisch research, ~ fysische prikkel of nieuw leersysteem in experimentele psychologie, ~ film in attitude-onderzoek of marketing research, ~ actieprogramma in action research,…

•  Afscherming controlegroep - gevaar voor contaminatie - trendeffect: verschuiving in opinies of gedrag omwille van externe factoren

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Basismodel van het zuiver experiment •  Basismodel:

•  Bepaling zuiver stimuluseffect: - verschuiving experimentele groep (verschil 02 – 01): stimulus- én trendeffect; - verschuiving controlegroep (i.e. verschil 04 – 03)= trendeffect - zuiver stimuluseffect: trendeffect in mindering brengen bij verschuiving die werd opgetekend bij experimentele groep: Effect TREND

E(T) = (04 – 03)

Effect STIMULUS

E(X) = (02 – 01) – (04 – 03) = (02 – 04) énkel wanneer groepen gelijk op pretest!

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Uitkomstmogelijkheden zuiver experiment: •  E(X) = 0, en dus (02 – 01) = (04 – 03) Exp. Gr. Contr. Gr.

a)

------->

b)

•  E(X) > 0, en dus (02 – 01) > (04 – 03) Exp. Gr. Contr. Gr. E(X)

c)

--------------> -------> ---->

e)

comf.

1.0

Opleiding (ref: hoger ondw.)

Netto-model Bruto-model

1.13

1.26

1.38 1.50 2.82

Beroepsklasse (ref: prof./managers)

geen beroep

1.57 1.58

ongesch.arb.

1.32

1.63

bedienden

1.18

2.19 2.25

2.06

student/leger

2.0

2.01

geschoolde arb.

2.02

geen/lager

Relatief risico

3.90

4.0

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Nationale Databank Mortaliteit: mannen 15-29 jaar

Gadeyne (2006)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Nationale Databank Mortaliteit: mannen 30-44 jaar Relatief sterfterisico naar socio-economische positie, Belgische mannen 30-44 jaar 6.0

5.26

Cursief: niet significant op het 95% niveau

Relatief risicoik

5.0 3.53

4.0 3.0 2.0

1.71

1.47

2.52

2.47

2.40 1.46

1.50

1.14

1.33

1.58

1.32

1.40

1.49

1.26

1.21

1.42

1.52

1.62

0.98

1.04

1.11

2.65

hoger sec.

lager sec.

geen/lager

huur, > comf.

eigen, mid. comf.

eigen, < comf.

huur, mid. comf.

huur, < comf.

bedienden

ongesch.arb.

geschoolde arb.

geen beroep

1.0 0.0

Opleiding (ref: hoger ondw.)

Gadeyne (2006)

Huisvesting (ref: eigen, > comf.)

Beroepsklasse (ref: prof./managers)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Nationale Databank Mortaliteit: mannen 30-44 jaar

Gadeyne (2006)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Nationale Databank Mortaliteit: mannen 45-59 jaar Relatief sterfterisico naar socio-economische positie, Belgische mannen 45-59 jaar 3.5

2.48 2.5

2.13 1.87

2.0 1.5

1.32

1.62

1.27

1.19

1.24

1.42

1.46

1.68

1.86

huur, < comf.

Beroepsklasse (ref: prof./managers)

2.00

huur, mid. comf.

geen/lager

1.05

eigen, < comf.

lager sec.

Opleiding (ref: hoger ondw)

1.06

huur, > comf.

hoger sec.

0.0

1.06

geschoolde arb.

1.32

ongesch.arb.

1.20

bedienden

1.18

eigen, mid. comf.

1.0 0.5

Gadeyne (2006)

1.49

1.40

1.44

geen beroep

Relatief risico ik

3.0

3.26

3.00

Cursief: niet significant op het 95% niveau

Huisvesting (ref: eigen, > comf.)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Nationale Databank Mortaliteit: mannen 45-59 jaar

Gadeyne (2006)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Retrospectieve vorm van quasi-experimenteel design •  •  •  • 

samenstelling experimentele en controlegroep op basis van aanwezigheid gevolg gelijkschakeling voor andere kenmerken d.m.v. matching retrospectief onderzoek naar relatieve frequentie van vermeende oorzaak voorbeelden: medische statistiek (o.a. effecten van roken in jaren ’50)

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Oral Contraceptive Use & Myocardial Infarction •  2 hospitalen in Engeland & Wales •  1968-1972 •  Design: - retrospectief quasi-experiment: ‘case control study’

•  Experimentele Groep: - 58 gehuwde vrouwen jonger dan 45 jaar - in behandeling voor myocardiaal infarct • 

Controlegroep: - ca. 3 vrouwen controle per vrouw in experimentele groep - 166 vrouwen: gematched naar leeftijd, ziekenhuis,… - niet in behandeling voor myocardiaal infarct

Mann et al. (1975) in Agresti (1990)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Oral Contraceptive Use & Myocardial Infarction Orale contraceptiva

Myocardiaal Infarct Ja Neen

Ooit gebruikt Nooit gebruikt

23 35

34 132

58

166

Bron: Mann et al. (1975) in Agresti, 1990

•  Vergelijking van frequentie gevolg NIET toegelaten: - design bepaalt verhouding experimentele/controlegroep - vrouwen met infarct sterk oververtegenwoordigd

•  Wel vergelijking ‘oral contraceptive use’ (oorzaak): - experimentele groep: 39,6 procent (i.e. 23/58) - controlegroep: 20,5 procent (i.e. 34/166) Mann et al. (1975) in Agresti (1990)

Grondvormen, Onderzoekstypen en Research-designs

Overzicht grondvormen, types en research-designs ONDERZOESKTYPEN ‘VERSTEHEN’ CAUSALITEIT EXPERIMENTELE DESIGNS QUASI-EXPERIMENTELE DESIGNS BASISSCHEMA’S & VALIDITEITSPROBLEMATIEK INTERACTIE-EFFECT VAN MEERDERE OORZAKEN DUURZAAMHEID VAN STIMULUSEFFECTEN PANEL STUDY SURVEY Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Interactie-effect bij meerdere oorzaken •  (quasi-)experimenten niet beperkt tot één oorzaak; •  meerdere oorzaken: interactie- of synergie-effect;

Interactie-effect Effect van oorzaak X1 wordt groter of kleiner naargelang een tweede oorzaak X2 al dan niet aanwezig is.

•  amplificatie-effect: •  suppressie-effect:

Lesthaeghe & Neels (2009)

gecombineerd effect E(X1 X2) is groter dan de som van de twee deeleffecten; gecombineerd effect E(X1 X2) is kleiner dan de som van de twee deeleffecten

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Interactie-effect bij meerdere oorzaken •  groepen worden samengesteld op basis van mogelijke combinaties van stimuli; •  Vb. effect van roken en drinken op cardiovasculaire aandoeningen: 4 groepen

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Overzicht grondvormen, types en research-designs ONDERZOESKTYPEN ‘VERSTEHEN’ CAUSALITEIT EXPERIMENTELE DESIGNS QUASI-EXPERIMENTELE DESIGNS BASISSCHEMA’S & VALIDITEITSPROBLEMATIEK INTERACTIE-EFFECT VAN MEERDERE OORZAKEN DUURZAAMHEID VAN STIMULUSEFFECTEN PANEL STUDY SURVEY Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Duurzaamheid van Stimuluseffecten •  Stimuluseffect blijvend of tijdelijk? •  Uitbreiding ex ante en ex post metingen - basisdesign bij zuiver experiment:

- basisdesign bij prospectief quasi-experiment:

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Duurzaamheid van Stimuluseffecten: Hawthorne Experimenten •  Bedrijf van Western Electric, Chicago, 1920s •  Quasi-experimenten om productiviteit te verhogen - verschillende taken, ploegcombinaties, omstandigheden; - effect van verlichting op productiviteit; - ploegindeling op basis van bestaande informele netwerken; •  Vaak genereren experimenten kortstondig het gewenste effect, maar zijn de productieverhogingen niet blijvend; •  Alternatieve verklaring voor ‘Hawthorne-effect’: placebo als de observatie door de universitaire equipe wordt afgebroken verdwijnt het effect… Roethlisberger & Dickson (1939) in Lesthaeghe & Neels (2009), Afbeelding: www.amazon.com

Panel study

Grondvormen, Onderzoekstypen en Research-designs

Overzicht grondvormen, types en research-designs ONDERZOESKTYPEN ‘VERSTEHEN’ CAUSALITEIT EXPERIMENTELE DESIGNS QUASI-EXPERIMENTELE DESIGNS PANEL STUDY BASISSCHEMA & OPMETING VAN TRENDS CAUSALE INFERENTIE & QUASI-EXPERIMENTEN SELECTIEVE UITVAL SURVEY

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Panelstudie • 

Definitie - vaste groep respondenten die meerdere keren in de tijd worden bevraagd; - elke contactname met het panel vormt ‘wave’;

• 

Hoofddoel: - opmeten van trends bij een representatieve steekproef van de bevolking (cfr. controlegroep in (quasi-)experiment); - nagaan hoe trends worden beïnvloed door gebeurtenissen van buitenaf;

• 

Panelattritie: - panel blijft niet intact (mensen haken af, verhuizen,…); - uitval of attritie is altijd selectief; - selectieve uitval genereert mogelijk vertekende trendopmeting

Lesthaeghe & Neels (2009)

Grondvormen, Onderzoekstypen en Research-designs

Onderzoekstypen gericht op vaststellen van causaliteit Panel-studie •  ‘Guinea-Pig’-effect - respondenten doorgronden meetinstrumenten na meerdere waves: sociale wenselijke antwoorden, verlies van interesse in onderzoek; - cfr. Placebo-effect in experimentele designs

•  Houdbaarheid Panel - levensduur van beperkt omwillen van attritie en guinea-pig effecten; - indien bias te groot: overgaan op nieuw panel met gelijkaardige samenstelling; - vergelijken van compositie panels bij Wave 1: trendbreuk of overgang opgebruikt panel naar nieuw panel? - monitoring attritie en selectiviteit: opmeting tijdens Wave 1 van demografische eigenschappen...