META Analisi e STUDIO LONGITUDINALE - PSICOLOGIA DEI METODI DI RICERCA IN PSICOLOGIA PDF

Preview

Summary

Appunti riguardanti la meta-analisi: cosa è? quali sono i suoi scopi? quali strumenti adotta? quali sono le sue peculiarità?
Appunti riguardo gli studi longitudinali: cosa sono? quanti tipi di studi esistono? quali sono i loro vantaggi? e svantaggi?...

Description

Metodi della ricerca in psicologia - La psicologia nei contesti organizzativi e di lavoro Le meta-analisi sono importanti perché un singola studio non è mai sufficiente a determinare la validità di un associazione tra variabili di una relazione. Inoltre molto spesso, gli studi danno risultati controversi, contraddittori e pertanto non si capisce se una relazione va da una parte o dall'altra (es: relazione tra reddito e soddisfazione per la vita - raccolto dei dati in studi primari pubblicazione dei dati → Ipotesi: c’è una correlazione tra queste due variabili - variabilità sia nella grandezza che nella consistenza). RASSEGNA SISTEMATICHE o SINTESI DELLA RICERCA Questa è finalizzata a rispondere a una precisa domanda di ricerca raccogliendo TUTTE le evidenze empiriche disponibili in letteratura. Si usano metodi sistematici ed espliciti/ trasparente per sintetizzare tutta la ricerca empirica di un dato argomento (associare un valore numerico/ quantità alle variabili che si stanno indagando quantificazione) - Identificare gli studi primari pertinenti - Selezionare gli studi che rispettano i criteri di inclusione - Valutare criticamente gli studi disponibili raccolti e identificati come idonei per la domanda di ricerca - Raccogliere, analizzare e sintetizzare i dati disponibili in quegli studi ↪ Procedura che ha il vantaggio della replicabilità la procedura così che qualsiasi altro ricercatore volesse fare una rassegna sullo stesso argomento deve poter trovare gli stessi risultati se segue le procedure esplicitate dai ricercatori. META-ANALISI Accezione ristretta: famiglia di metodi statistici per sintetizzare i risultati degli studi primari, analizzare il grado di eterogeneità di tali studi e spiegare le differenze riscontrate tra gli studi. Accezione ampia (usata da noi): come sinonimo di rassegna sistematica con meta-analisi (rassegna sistematica ≠ meta-analisi). → Es: un ricercatore potrebbe raccogliere 5 diversi campioni su cui analizza una data relazione e su questi fare una meta-analisi per avere un effect size (meta-analisi solo su quei campioni). ↪ Rassegna sistematica della letteratura esistente e su quei dati ha effettuato una meta-analisi RASSEGNE NARRATIVE Presentano una sintesi della letteratura, ma senza un metodo sistematico ed esplicito per selezionare e pesare gli studi considerati. Problema: non ci sono criteri esplicitati e sistematici attraverso cui i ricercatori hanno incluso o escluso dalla loro rassegna un determinato studio primario → Ci potrebbero essere dei bias (distorsioni) che il il ricercatore, in maniera involontaria e non malevola, introduce nel modo in cui raccoglie e sintetizza gli studi primari. Ad esempio, potrebbe decidere in maniera ragionevole, ma senza esplicitarlo di dare più importanza ad uno studio piuttosto che un altro → Problema per la capacità di replica. META-ANALISI Eysenck, anni ‘50: ha analizzato i dati delle remissioni spontanee (guarire spontaneamente) e le aveva messe in relazione con le remissioni a seguito di cure psicoterapeutiche. Facendo così aveva notato che non c’era differenza ed era perciò arrivato alla conclusione che: La psicoterapia è inefficiente. Non c’è differenza fra le remissione spontanea e le cure psicoterapetiche. Smith e Glass (1977): Prima meta-analisi della storia: → Uno dei contribuiti che ha rivoluzionato la

storia di psicologia; Glass ha cercato di rispondere ad alcune rassegne/ articoli di Eysenck. Glass ha rianalizzato gli stessi dati e ulteriori usando una meta-analisi la prima) e è arrivato alla conclusione opposta: La psicoterapia è efficace.

Enorme diffusione della meta-analisi - Nelle scienze: Dalle poco più di 1000 meta-analisi nel 2004 alle oltre 80000 nel 2014. - Nelle scienze sociali: Dalle poco più di 200 nel 2004 alle quasi 1400 nel 2014. ➥ Meta-analisi = strumento di conoscenza fondamentale META-ANALISI E RIFORMA STATISTICA La meta-analisi assume un valore ancora maggiore in seno alla riforma statistica, attuato qualche anno fa, per cercare di passare da un pensiero scientifico dicotomico (significativo vs non significativo → Critica di questo pensiero dicotomico binario > Rivoluzione) ad un pensiero scientifico maggiormente centrato sulla stima degli effetti. Problemi del pensiero dicotomico: ➔ Un effetto non statisticamente significativo non equivale ad un effetto nullo. ➔ Un effetto statisticamente significativo non equivale ad un effetto clinicamente o praticamente significativo. (effetto es: differenza tra due medie - trattamento farmacologico con farmaco e placebo// correlazione). Riforma statistica: ● Importanza della dimensione dell’effetto desiderato (effect size) ● Importanza del grado di precisione dell’effetto rilevato (intervalli di confidenza) ➥ Invece di dire se un effetto è statisticamente significativo, bisogna guardare quanto grande e preciso è quell’effetto (poi, in realtà, dalla grandezza e precisione è possibile capire se un valore è statisticamente significativo). QUINDI: per la combinazione della riforma statistica e della forza con la quale le meta-analisi vengono realizzate (per la loro trasparenza, sistematicità e replicabilità) sono diventate fondamentali per la ricerca scientifica. FASI DELLA META-ANALISI 1. Definizione dell’area di indagine ● Scelta dell’argomento, domanda di ricerca e ipotesi (NO fishing: andare a cerca di dati e cercare dopo se emergono correlazioni tra le variabili → Tra le pratiche discutibili della scienza → Alla base del publication bias; ma può portare anche alla scoperta di relazioni non ipotizzate. Il fishing però non è il procedimento normale di formulazione di una ricerca e questo atteggiamento non è possibile per le meta-analisi). ○ Non mischiare i fenomeni (es: in uno studio per verificare se ci sono differenze di genere nei sintomi di ansia e depressione - due patologie presenti con comorbilità ma che hanno una loro specificità/ sintomatologie diverse - è erroneo mettere insieme studi che misurano sia l’ansia che la depressione in misurazione al genere del partecipante → è consigliabile fare meta-analisi diverse e poi, eventualmente, mettere in relazione dei dati) ○ Partire dalla teoria e formulare ipotesi specifiche ➟ Leggere cosa è stato scritto su quell’argomento, usare rassegne narrative e sistematiche o precedenti meta-analisi già svolte e pubblicate del medesimo argomento per avere un quadro della situazione e capire quali sono i punti ancora da chiarire e le ipotesi da formulare (es. seguire le

lezioni porta a prendere un bel voto) Operazionalizzare i concetti/ costrutti teorici ➟ trasformare in variabili, cioè in proprietà della realtà di cui possiamo dare una definizione operativa, di cui possiamo effettuare misurazioni (es: misurazione del numero di ore che ogni studente ha seguito per operazionalizzare ‘seguire le lezioni’ oppure dire che ha seguito il n% sul tot. di ore) Definizione dei criteri di inclusione/esclusione degli studi primari ○ Criteri relativi alle caratteristiche dello studio ( ↶ lista di controllo per studi clinici medico- correlazionali - sperimentali…) - Partecipanti (es: bambini, adulti, animali, lavoratori…) - Interventi (es: tipo di farmaco somministrato - formazione sulla sicurezza con tot ore) - Confronti (es: caratteristiche del gruppo di controllo) - Outcomes/ risultati (es:tipi di effetti studiati) → Variabili dipendenti (ricerca sperimentale) o criteri (ricerca correlazionale) - Disegno della ricerca (es: RTC, longitudinale, sperimentali) ○ Criteri relativi alle caratteristiche della pubblicazione - Lingua (tipicamente uso della lingua inglese + lingue parlate dagli autori della ricerca) - Anno di pubblicazione → Tipicamente prendere in considerazione tutti gli anni MA se l’autore vuole studiare un determinato argomento alla luce di una teoria psicologica introdotta in un dato momento, viene preso l’anno di pubblicazione della teoria come punto di riferimento OPPURE se si vuole fare un aggiornamento di una meta-analisi già pubblicata, si parte da questa/ dall'ultimo anno indagato. - Tipo di pubblicazione ➔ Articoli su rivista, tesi di dottorato, capitoli di libri, articoli o dati pubblicati in convegni,... MA anche letteratura grigia, cioè la letteratura che include articoli che non sono stati pubblicati e indicizzati nei motori di ricerca usati - es: articoli pubblicati su riviste non digitalizzate o manoscritti non pubblicati → Publication bias: Anche se si fa una analisi profonda della letteratura grigia, si può avere un numero di studi primari da includere nella rassegna e meta-analisi molto più ampio e diversificato, per cui è meno probabile che sia soggetto al fenomeno del publication bias, MA spesso i dati non pubblicati possono essere di qualità inferiore, oppure possono non essere stati sottoposti al processo di referaggio processo sistematico di review attraverso cui un ricercatore pubblica su una rivista - o possono essere soggetti a bias, errori… ➞ Tutti questi sono problemi per la replicabilità della meta-analisi, perché se per esempio un ricercatore invia email a 50 autori per reperire il loro lavoro e solo 10 gli rispondono, mentre ad un alto ricercatore nessuno o 20… → difficoltà della comparabilità dei lavori dei ricercatori che hanno ottenuto letteratura diversa. Di solito i ricercatori sono pro alla letteratura grigia, mentre le riviste sono un po’ meno orientate ad accettare letteratura grigia. C’è modo di distinguere le analisi facendo vedere se esiste tra letteratura pubblicata e letteratura grigia. ○

●

2. Ricerca e selezione degli studi primari ● Ricerca della letteratura del maggior numero di studi empirici su quell'argomento usando molteplici strategie e banche dati e selezione degli studi in base ai criteri di inclusione RICERCA ○ L’obiettivo è individuare tutti gli studi condotti su un certo argomento (o la grande maggioranza) ○ Articoli pubblicati:

-

Banche dati bibliografiche (es: PsycINFO o Scopus) Indici delle riviste (trovare gli in press - articoli non ancora digitalizzati ma pronti per essere stampati) - Riferimento bibliografici, studi primarie e rassegne (controllo manualmente) per vedere se la propria ricerca ha condotto tutti gli studi già presenti. ○ Letteratura grigia: - Testi di dottorato - Programmi di convegni - Contattare esperti del settore - Ricerca sul web (es: Google) SELEZIONE ○ Identificazione: riportare i risultati sulle strategie di ricerca usate - distinzione tra articoli ottenuti da letteratura grigie e non ○ Screening - eliminazione degli articoli che non rientreranno nella rassegna quantitativa e meta-analisi: - si eliminano i duplicati (es: articoli pubblicati in inglese e nella propria lingua; uso stesse parole chiave su programmi diversi) - si eliminano articoli di base ai criteri di esclusione attraverso: analisi del titolo abstract (es: articoli teorici e non empirici) ○ Eligibilità: analisi dei full-text per riportare gli studi che possono essere inclusi nella meta-analisi → Dopo aver eliminato gli articoli non utili e aver selezionato un certo numero di paper utili, bisogna leggere e scaricare gli articoli completi per vedere se l’articolo effettivamente fornisce i dati necessari per indagare l’effect size ○ Inclusione: studi inclusi effettivamente (distinzione tra pubblicazione e studi, perché in una stessa pubblicazione il ricercatore può presentare più studi) + Valutare l’affidabilità della selezione fatta (es: grado di accordo tra giudici - tipicamente per fare tutto questo lavoro vengono usate almeno due persone che lavorano indipendentemente e poi vengono confrontati i dati)

3. Codifica degli studi primari ● Estrazione dagli studi primari dei dati necessari per svolgere le analisi statistiche ○ Gli studi primari in una meta-analisi sono l’equivalente dei partecipanti di uno studio originale (primario) ○ Preparare il protocollo:→ Bisogna predisporre un protocollo che renda capaci i ricercatori di estrapolare i dati necessari - Dati relativi alle caratteristiche dello studio (es: età del campione) - Dati relativi alle caratteristiche della pubblicazione (es: anno e tipo di pubblicazione, qualità della rivista...) → Per fare delle moderazioni. - Dati necessari per il calcolo dell’effect size e dell’intervallo di confidenza relativo ( → per misurare poi l’effect size globale) Anche questa fase di codifica, è buona prassi, che venga condotta da alcuni ricercatori in modo indipendente, per poi valutare l’affidabilità della codifica effettuata; se l’affidabilità è sufficientemente elevata, va bene; altrimenti è un problema. FASE 2 E 3 = FASI PIù DELICATE 4. Calcolo dell’effect size per ogni studio primario ○ Effect size: è la misura statistica della dimensione di un effetto ○ Può essere relativo alla: - Differenza tra due gruppi (es: medie → Dice quanto è grande la differenza fra la

media di due gruppi) Associazione tra due variabili (es: correlazioni → dice quanto è grande la correlazione tra variabili) Intervalli di confidenza: è l’intervallo di valori plausibili per un determinato parametro stimato (effect size) ➞ Questi sono importanti per la precisione - più l’intervallo è stretto attorno all’effect size, più vuol dire che è preciso; più è largo, più è impreciso -. In più, se l’intervallo di confidenza contiene il valore nullo/ zero significa che quel valore non è statisticamente significativo. ↪ PRECISIONE + SIGNIFICATIVITà STATISTICA Riportare i risultati tramite tabelle e grafici (es: Forest Plot → Grafico sintetico) -

○

○

5. Calcolo dell’effect size globale con scelte su strategie meta analitiche da adottare 6. Valutazione e spiegazione dell'eterogeneità ● Si valuta se e in che misura gli studi primari presentano risultati simili fra loro - in termini di effect size ● Si procede con l’analisi dei moderatori, che servono per spiegare tale eventuale eterogeneità - Se c’è eterogeneità - differenza dell’effect size tra gli studi primari - (ci sono indici appositi per calcolarlo), si cerca di spiegarla attraverso l’analisi dei moderatori Moderazione: sotto quale condizione o in quale gruppo una determinata relazione esiste o cambia di forza → Due variabili sono associate tra di loro ma la relazione tra di loro dipende da una terza variabile. Esempio: Formazione del lavoro → Possibilità di impiego, moderata dal genere del partecipante (maggiormente o solo tra le donne) ➟ Esiste una relazione tra formazione di lavoro e impiego? Sì, ma questa dipende da una terza variabile (es: genere). - Nel contesto della meta-analisi un moderatore è un fattore che si ipotizza influire sulla variazione dell’effect size nei diversi studi primari in cui tale fattore è presente. Esempio: Il legame tra formazione di lavoro e impiego è più forte nei paesi del Sud Europa o del Nord? → Paese: possibile moderatore usato per spiegare una eterogeneità.

Prima: guardare la relazione che sarà trasformata in un effect size; Poi: vedere se c’è eterogeneità, se sì: domandarsi cosa può spiegare quelle grandi variazioni dell’effect size riscontrate? Conduzione di analisi multi gruppi: studi primari condotti in Nord Europa e poi in Sud Europa e osservare se c’è variazione. 7. Valutazione del publication bias ( → Situazione in cui i dati che si stanno usando non sono rappresentativi del totale degli studi condotti su quel tema; non tutti i dati che il ricercatore raccoglie poi vengono pubblicati per cambiamento di argomento, dati diventati vecchi, ipotesi non confermate... - L’ammontare dei dati su un argomento è più grande dell’ammontare dei dati pubblicati su quell’argomento e non sempre c’è concordanza tra i risultati pubblicati e quelli non pubblicati ) ● Si valuta in che misura la meta-analisi condotta è affetta dal problema del publication bias (cioè, la situaz. per cui gli studi usati nella meta-analisi non sono rappresentativi del totale degli studi su quel tema) ○ Usare statistiche che permettono di identificare il publication bias e cercare di prevenirlo (es: con attenta analisi della letteratura grigia)

8. Pubblicazione dei risultati META-ANALISI: SINTESI Domande a cui risponde la meta-analisi: - Qual è la direzione dell’effetto? - Qual è la dimensione dell’effetto? - Quanto precisa è la stima dell’effetto? - L’effetto è consistente fra gli studi? - C’è eterogeneità? Ci sono variabili moderatrici che sappiano spiegare questa eventuale inconsistenza? In che modo fornisce risposte? ● Qual è la direzione dell’effetto? → Segno e grandezza dell’effect size ● Qual è la dimensione dell’effetto? → Segno e grandezza dell’effect size ● Quanto precisa è la stima? → Estensione dell’intervallo di confidenza (LC) ● L’effetto è consistente fra gli studi? → Variabilità dell’effect size tra gli studi Meta-analisi. Passi rilevanti: 1. Domanda di ricerca 2. Decisione dei criteri di inclusione 3. Ricerca sistematica e selezione della letteratura 4. Codifica degli studi 5. Calcolo effect size e scelta della procedura meta-analitica da adottare VANTAGGI ● Fare il punto su di un argomento (Il farmaco funziona per quella terapia? C’è una differenza di genere fra i livelli di ansia sperimentati?... → Qualsiasi domanda) ● Accorpando numerosissimi studi con diversi soggetti permette di avere un campione più

●

●

numeroso = maggiore potenza statistica → importante per la verifica delle ipotesi Possibilità di fare confronti fra sottogruppi → Analisi dei moderatori che sono in grado di spiegare un eventuale eterogeneità (perché a volte correlazione positiva, altre volte nulla o negativa?) Replicabilità del processo (sistematicità e trasparenza)

SVANTAGGI: ● Publication bias (che in parte lo si può controllare o valutare) ● Dipendenza dalla qualità degli studi primari ● Eterogeneità degli studi (diverse qualità, metodi, misure, partecipanti) → Non sempre controllabile tramite i moderatori

RICERCA LONGITUDINALE Cerca di capire come lo scorrere del tempo produce cambiamenti + misurazione del nesso esistente attraverso il tempo delle variabili indagate. Oltre che studiare e fare chiarezza nei processi di cambiamento di stabilità di alcuni fenomeni, è importante anche per identificare possibili nessi di causa effetto, in particolar modo la direzionalità del rapporto fra le variabili oggetto di studio. Senso ampio: coinvolge tutte le ricerche che usano la variabile tempo Senso ristretto: riguarda una particolare tipo di studio, chiamato prospettico Gli studi longitudinali esaminano i fenomeni in diversi momenti del tempo; Il fattore tempo nella ricerca scientifica è sempre presente: ➔ Ricerca sperimentale: la causa (VI) deve precedere l’effetto (VD) ➔ Ricerca trasversale (es: questionario): una quota di tempo passa sempre «Ricerca longitudinale è la ricerca dove i dati sono raccolti in un lasso di tempo significativo» (Wang et al., 2017) → Il concetto di tempo significativo dipende dal fenomeno indagato, delle contingenze e dal contesto, dalle domande poste e dai modelli teorici che possono essere più o meno precisi e evoluti nell’identificare il tempo necessario per comprendere il fenomeno stesso (es: un farmaco somministrato deve avere un certo numero di giorni per essere efficace; c’è comunque anche una certa variabilità individuale - informazioni molto precise sui meccanismi di funzionamento del farmaco). Non sempre, ad es, nelle teorie psicologiche c’è una paragonabile capacità previsionale: se ad esempio voglio sapere se il senso di appartenenza che un lavoratore ha con la sua azienda incide sulla soddisfazione lavorativa (> appartenenza > soddisfazione) e voglio fare una ricerca longitudinale prospettica, quando è il tempo giusto per misurare la soddisfazione lavorativa? ↳ Ci sono dei fenomeni che, si può ipotizzare, hanno un'influenza nei comportamenti/ atteggiamenti molto veloce e con un intervallo di tempo molto ristretto, come l’impatto sull’umore del dormire male; mentre altri influenzano i comportamenti per molto tempo, anche per tutta la vita, come la qualità delle relazioni familiari. ➔ PERCIò in base all’oggetto di studio, ai modelli teorici e alle domande di ricerca bisogna identificare un tempo significativo. APPROCCIO LONGITUDINALE - studio del tempo - si applica su una varia possibilità di disegni di ricerca: - A individui/gruppi seguiti con osservazione naturalistica (es: studio di una particolare tribù - osservazione della t...