Validità, definizione, principali categorie di validità, validità di facciata, validità di costrutto ecc PDF

Preview

Summary

la validità si intende ciò che il punteggio del test signfica, ossia il grado di precisione e di accuratezza con cui esso misura ciò che si propone di misurare....

Description

Capitolo 8. La validità Per validità s'intende ciò che il punteggio del test significa, ossia il grado di precisione e di accuratezza con cui, di fatto, esso misura ciò che si propone di misurare. Si tratta di un giudizio basato sull'appropriatezza delle inferenze e delle conclusioni che si possono fare a partire dai punteggi del test. Principali problemi della misurazione dei test: 1. validità di misurazione: il test valuta effettivamente ciò che si suppone valuti? 2. validità di decisione: il test può essere usato per prendere decisioni appropriate (utilità)? La validazione di un test è un processo che inizia con la sua costruzione e continua quasi ininterrottamente. Acquisizione costante di osservazioni cliniche e di progetti di ricerca. Principali categorie di validità di un test: 1. validità di contenuto: prove proposte, domande alle quali rispondere, ecc…; 2. validità di costrutto: verifica della relazione tra il test e il costrutto teorico cui esso si riferisce e che si vuole misurare; 3. validità in rapporto a un criterio: in relazione ai punteggi ottenuti dagli stessi soggetti in altri test o in misure dirette e indipendenti della stessa cosa valutata dal test (criterio). Validità di costrutto e di contenuto servono a determinare se un test fornisce una valutazione precisa di uno specifico attributo o tratto, e definiscono la validità in termini di misurazione. Validità di rapporto a un criterio definisce tale proprietà in termini di decisioni: un test è valido se può essere usato per prendere decisioni.

La validità di misurazione non è sempre necessaria e sufficiente per garantire la validità delle decisioni. NB. Tutti questi aspetti concorrono nel determinare l’evidenza della validità dello strumento. 8.1 Validità esteriore o di facciata Concerne quanto convincenti e rilevanti appaiono le prove che il soggetto deve affrontare. Per valutare quest'aspetto bisogna mettersi nella prospettiva di chi si sottopone al test. La validità esteriore o di facciata rappresenta un aspetto cruciale nella motivazione di chi risponde a un reattivo, potendone influenzare la prestazione. 8.2 Validità di contenuto La validità di contenuto riguarda quanto le prove o gli item del test riflettono e rappresentano il comportamento che il test vorrebbe valutare. Si valuta quanto un test costituisce un campione rappresentativo dell'area che il test vuole misurare. La validità di contenuto esige che i contenuti di un test riflettano adeguatamente l’area di comportamento che si vuole indagare e riguarda il grado in cui le domande o compiti proposti sono rappresentativi dell’universo di comportamenti che il test vuole misurare.

La validità di contenuto è anche una questione di campionamento. Se tale campione (gli item del test) è rappresentativo della popolazione (di tutti i possibili item), allora il test presenta una soddisfacente grado di validità di contenuto. Il campionamento corretto avviene in seguito alla corretta definizione del campo di contenuto, rappresentato dalla serie totale di comportamenti che potrebbero essere usati per valutare una specifica caratteristica psicologica o comportamentale. Non tutti i campi di contenuto possono essere facilmente determinati. Una descrizione dettagliata del campo di contenuto fornisce la base di partenza per individuare i contenuti di un test (vedi Figura 1 e Tabella 1). Anche la chiarezza e la non equivocità concettuale degli item può contribuire alla validità complessiva del contenuto di un test (vedi Figura 2). Per valutare la validità di contenuto si ricorre al giudizio di giudici indipendenti (in genere esperti dell'area indagata). 8.2.1 Quantificazione della validità di contenuto Una possibile formula per quantificare il grado di consenso degli esperti: ogni giudice deve rispondere alla seguente domanda riferita a ciascun item del test: L’abilità o la conoscenza valutata dal seguente item, rispetto alla performance richiesta è: a. essenziale; b. utile ma non essenziale; c. non necessaria. In seguito è conteggiato il numero di esperti che ritengono essenziale l’item. Si ritiene che ci sia una sufficiente grado di validità di contenuto quando più del 50% dei giudici ritiene l’item essenziale. La formula sviluppata da Lawshare è la seguente: 𝑁 (𝑁𝐸 − ) 2 𝑉𝐶 = 𝑁/2 VC= validità di contenuto NE= numero di giudici che indicano essenziale N= numero di giudici totale Validità di contenuto negativa = l’item è ritenuto essenziale da meno della metà degli esperti Validità di contenuto zero = quando solo la metà esatta degli esperti indica come essenziale l’item Validità di contenuto positiva = più della metà degli esperti giudica come essenziale l’item. Numerosità dei giudici consultati: meno sono maggiore deve essere l'accordo fra loro (vedi Tab. 8.1). Gli item che non raggiungono un livello di accordo adeguato sono eliminati dal test o sono accuratamente riesaminati.

La validità di contenuto (materiale a supporto) tratto da Lucia Boncori. I test in psicologia. Bologna il Mulino

Figura 1. Validità di contenuto: controllo sui contenuti.

Tabella 1. Es. Analisi dei contenuti di un test di valutazione delle abilità matematiche – V elementare.

Figura 2. Quadro d'insieme dei controlli sulla forma da compiere per garantire la validità di contenuto.

8.3 Validità di costrutto → il test è strettamente connesso al costrutto che vuole misurare? Il costrutto è una costruzione (struttura) scientifica, teorica, una categoria astratta, un’idea usata per descrivere, per spiegare un comportamento o per fare dei collegamenti logici (e.g. intelligenza). Il costrutto non è osservabile direttamente ma il costruttore del test ritiene che sia alla base del comportamento osservabile (ad esempio i punteggi nel test) e utilizza il costrutto per descrivere e interpretare i risultati nel test. La validità di costrutto, o validità in rapporto a una funzione, consiste in un giudizio sull'appropriatezza delle deduzioni effettuate dai punteggi di un test che misura un determinato costrutto.

8.3.1 Esplicazione del costrutto Per stabilire che un test abbia un’adeguata validità di costrutto si deve tradurre il costrutto (astratto, teorico) in comportamenti concreti (esplicitazione del costrutto o operazionalizzazione). Questo processo si compone di tre fasi: 1. s'identificano i comportamenti concreti che possono avere una relazione con il costrutto da misurare; 2. s'individuano altri costrutti che possono essere collegati a questo; 3. si decide quali comportamenti hanno una relazione con ciascuno di questi costrutti supplementari e, sulla base delle connessioni tra i diversi costrutti, si determina se ciascun comportamento ha una relazione con il costrutto che si vuole misurare. Il processo di esplicazione fornisce una definizione del costrutto in termini di comportamenti. Disponendo di un sistema nomologico adeguato è possibile ottenere informazioni dettagliate sulla relazione tra il costrutto e un gran numero di comportamenti. I punteggi del test sono correlati con misure oggettive del comportamento e le correlazioni sono confrontate col modello di risultati previsti sulla base dell'esplicazione dei costrutti. La validità di costrutto è vista come il concetto unificante di ogni evidenza di validità. Pertanto anche quelle relative al contenuto e al criterio possono essere considerate come forme della validità di costrutto. Diverse procedure per ottenere evidenze che un test possieda validità di costrutto: a) il test è omogeneo e misura un singolo costrutto, come predetto dalla teoria b) i punteggi nel test variano in funzione dell'età dei soggetti o del trascorrere del tempo, come predetto dalla teoria c) i punteggi ottenuti in seguito ad alcuni eventi, o al semplice passaggio del tempo, differiscono da quelli del pre-test, come predetto dalla teoria d) i punteggi ottenuti da gruppi distinti di soggetti variano, come predetto dalla teoria e) i punteggi nel test correlano con quelli di altri test, come predetto dalla teoria f) analisi fattoriale (risultati come predetto dalla teoria).

8.3.2 L'evidenza dell'omogeneità del test Detta anche coerenza interna, esprime il grado un cui un test misura un singolo concetto. Se ad esempio un subtest presenta una scarsa correlazione con il proprio test, questo potrebbe essere modificato o eliminato. Un modo per incrementare l’omogeneità di un test formato da item con risposte dicotomiche (si/no, vero/falso, giusto/sbagliato) consiste nell’eliminare gli item che correlano scarsamente con i punteggi totali del test. Lo stesso procedimento si può attuare con i test i cui item sono valutati su una scala a più punti, eliminando quegli item che presentano una scarsa correlazione al costrutto, identificati attraverso bassi coefficienti di correlazioni per ranghi di Spearman con i punteggi dell'intero test. Il coefficiente alfa di Cronbach può essere utilizzato per stimare l’omogeneità di un test composto di item a scelta multipla. L'omogeneità del test è importante perché assicura che tutti gli item tendano a misurare la stessa cosa. 8.3.3 Cambiamenti con l’età Alcuni costrutti sono reattivi ai cambiamenti dovuti allo sviluppo cognitivo. Se il punteggio in un test che valuta una data abilità aumenta nello stesso soggetto in tempi successivi, si può ritenere che ciò costituisca una prova della validità del test. Ci sono alcuni costrutti che permettono più agevolmente di altri di fare previsioni sui cambiamenti che ci si può aspettare nel tempo. 8.3.4 Cambiamenti pre e post test Dovuti a un'esperienza particolare; possono essere considerati come una prova evidente della validità di costrutto. 8.3.5 L’uso di gruppi distinti Adottata soprattutto per la validazione di test destinati all’uso clinico. Se il test è una misura valida di un certo costrutto teorico, i punteggi ottenuti da due gruppi di persone, che si presume differiscano tra loro rispetto a questo costrutto, dovrebbe essere diversi in modo statisticamente significativo. 8.3.6 Validità convergente I punteggi del test correlano con quelli di altri test (che misurano lo stesso costrutto o un costrutto simile), com'è teoricamente presumibile. Le correlazioni dovrebbero essere alte, ma non troppo (perché?) Procedura scelta per validare forme ridotte di un test o forme parallele. 8.3.7 Validità discriminante Il test è sottoposto a un processo di discriminazione del proprio costrutto con costrutti con cui non dovrebbe essere correlato. Ci si aspetta bassi livelli di correlazione tra i punteggi al test e quelli di misure di altre variabili non relate teoricamente allo stesso costrutto. In questo modo è possibile dimostrare che il test è immune dall’influenza di alcuni fattori.

8.3.8 La matrice multitratto-multimetodo Permette di controllare la validità di costrutto di un test tenendo presente anche l’influenza sui punteggi del tipo di test usato. La procedura da luogo a una matrice di correlazioni detta multitratto-multimetodo.

Questo metodo suggerisce che: 1. I punteggi nel test dovrebbero essere coerenti con quelli ottenuti con altri metodi di misura dello stesso costrutto; 2. Le misure da esso fornite non dovrebbero correlare con altre che teoricamente ci si aspetta che non correlino con il costrutto misurato dal test 3. Il metodo di misura utilizzato dovrebbe rivelare una ridotta presenza di biases. Limiti: procedimento complesso e difficoltà nell’interpretazione dei punteggi. Risulta difficile confrontare gruppi di coefficienti di correlazione frequentemente non omogenei tra loro in modo da poter operare inferenze univoche e controllare l’incidenza sui coefficienti di correlazione della varianza d’errore dovuta all’inaffidabilità degli strumenti di misura utilizzati.

8.3.9 Analisi fattoriale Per analisi fattoriale s'intende un procedimento matematico-statistico che, partendo dalle risposte date da un gruppo di soggetti a una serie di item, permette di identificare delle caratteristiche psicologiche (fattori) che non emergono a prima vista e che presumibilmente spiegano o influenzano le risposte di un test. Metodo di sintesi dei dati che analizza matematicamente le correlazioni all’interno di un ampio numero di punteggi. Scopo: individuare il fattore o i fattori che si presume siano la causa delle correlazioni osservate tra i punteggi, così da semplificare la descrizione di un comportamento rilevato dagli item di un test ricorrendo a un numero ridotto di categorie: da una molteplicità inziale a pochi fattori o tratti comuni. Grazie all’uso del computer la procedura di calcolo è semplificata e offre il vantaggio di autovalori, ossia indici statistici che sono in grado di rappresentare la relativa importanza di ogni fattore, e che vanno utilizzati anche per decidere il numero di fattori da ritenersi come costruttivi per un test. In genere ci si attende che un singolo item contribuisca in modo rilevante a descrivere un solo fattore e gli analisti fattoriali utilizzano particolari strategie, dette rotazioni, per ottenere il più possibile che gli item saturino molto un fattore e poco altri. Rotazioni più usate: Ortogonale → impiegata quando i fattori che costituiscono il test sono fra loro indipendenti Obliqua → se s'ipotizza che i fattori, pur indipendenti, siano in qualche modo in relazione tra di loro. Analisi fattoriale confermatoria →confronta empiricamente la struttura teorica di un test, ossia il modello teorico elaborato a priori e che ha guidato la costruzione del test, è confrontato con la struttura emergente dai dati reali. Se le due soluzioni (empirica e teorica) sono simili, si può concludere che il costrutto del test è valido. Critiche: 1.Riscontro di risultati diversi di analisi fattoriale nello stesso test. 2. Pareri non omogenei sulla denominazione di un fattore, una volta che questo è identificato (il che dipende dall’ambiguità degli item del test). 3. criticità nell'interpretazione dei risultati. Utilità analisi fattoriale: quando si deve confermare una teoria psicologica formulata a priori.

8.4 Validità relativa a un criterio. La validità relativa a un criterio è quella caratteristica di un test che ci permette di capire quanto adeguatamente il suo risultato può essere usato per prevedere la prestazione futura di un soggetto in una particolare attività o in un altro test (criterio). I punteggi del test sono utilizzati per la previsione del criterio. Questo tipo di validità consente di valutare quanto i punteggi di un test corrispondano ai risultati ottenuti in altre prove e il connettere matematicamente in qualche modo queste due serie di misure (r di Pearson, ranghi di Spearman, ecc.). Il livello della correlazione fornisce un'indicazione dell'accuratezza delle predizioni e quindi delle decisioni che si possono prendere sulla base dei punteggi nel test. Ad esempio: - un test intellettivo dovrebbe essere in grado di prevedere il successo scolastico. Il coefficiente di validità è influenzato dalla gamma dei punteggi del test e del criterio. Il coefficiente di validità è matematicamente connesso con l’attendibilità del criterio. 8.4.1. Che cosa s'intende per criterio? Norma, o standard, insieme di elementi su cui si può basare un giudizio o una decisione. Misura diretta ma esterna e indipendente della "stessa cosa" che un test si propone di misurare, una misura effettuata con procedure diverse e costituisce un termine di riferimento per il test. Esempi di criteri: punteggio a un altro test, diagnosi psichiatrica, punteggio in un esame, una classificazione, ecc. Il criterio deve essere: affidabile, rilevante, valido, non inquinato (contaminato). La chiave per la scelta di un criterio è determinata dal tipo di decisione che si deve prendere. 8.4.2 Caratteristiche di un criterio Un criterio è appropriato se è pertinente rispetto alla funzione che il test vuole misurare.

𝑟𝑥𝑦 ≤ √(𝑟𝑥𝑥 )(𝑟𝑦𝑦 ) rxy= coefficiente di validità (correlazione fra test e criterio) rxx= affidabilità test ryy= affidabilità criterio Il criterio può essere costituito anche dal giudizio di altre persone (es. psicologi che hanno formulato una diagnosi, superiori, insegnanti) . 8.4.3 Strategie di verifica della validità relativa a un criterio Si stima il grado di correlazione fra i punteggi nel test e nel criterio. Due metodi: validità predittiva e validità concorrente Validità predittiva La validità predittiva si riferisce alle situazioni in cui i punteggi di un test sono rilevati in un certo periodo e sono poi correlati a misure di un criterio disponibili successivamente (es. inizio e fine anno scolastico). Si svolge in due fasi:

1. si applica un test a un gruppo di soggetti senza utilizzare i risultati per prendere decisioni; 2. trascorso un certo intervallo, si raccolgono misure della prestazione degli stessi soggetti e si correlano con i punteggi nel test. Si ottiene così un coefficiente di validità predittiva, il cui livello esprime la capacità di predire la prestazione futura dei soggetti. Vantaggi: fornisce una misura semplice e diretta della relazione tra punteggi del test e la prestazione nel criterio per la popolazione generale. A ragione di ciò si sottopone il test a un gruppo di soggetti il più ampio possibile e rappresentativo della popolazione. Validità concorrente Ottenere sia i punteggi di un test sia i punteggi relativi a un criterio in una popolazione specifica e preselezionata (impiegati assunti, studenti iscritti a una scuola, pazienti in terapia, ecc.), calcolando la correlazione tra le due serie di dati. I disegni di ricerca che adottano questo metodo sono detti strategie di validazione concorrente. NB. La differenza sostanziale tra la validità concorrente e predittiva consiste nel campione che nel primo caso è preselezionato, mentre nel secondo caso è casuale. Sono tre le più comuni modalità per stimare la validità di un test in uno specifico criterio: 1. Somministrare il test a individui già selezionati da una popolazione di candidati e ottenere una misura del criterio contemporaneamente a quella del test; attraverso la correlazione tra le due serie di dati si ottiene una stima della validità. 2. Selezionare un gruppo di soggetti attraverso il test, per poi, a distanza di tempo, la rilevazione di misura del criterio 3. Usare dati presenti negli archivi (es. uffici del personale, ospedale, università) come misure del test e del criterio. Pro: 1. Non sono necessari campioni causali 2. Si ottengono dati in breve tempo 3. In alcuni studi non c’è una differenza sostanziale tra validità predittiva e validità concorrente 4. utile per lo screening iniziale Contro: 1. Restrizione della gamma dei punteggi che riduce la correlazione fra i punteggi del test e le misure del criterio. Pertanto il coefficiente di validità concorrente ricavato da gruppi di soggetti molto selezionati rappresentano una sottostima del coefficiente reale del test e tale sottostima è tanto maggiore quanto più è ristretta la gamma di punteggi. 2. Problemi di tipo concettuale (la validità predittiva è solitamente impiegata allo scopo di identificare soggetti che andranno incontro a un possibile fallimento, ad esempio in una dimensione lavorativa, cosa che la validità concorrente raramente permette di identificare). 3. poco generalizzabile alla popolazione 8.5 Validità e meta-analisi La meta-analisi applicata ai test permette di stimare la media dei coefficienti di validità ottenuti da autori diversi sullo stesso test. Questo si verifica, oltre che con il computo delle medie dei diversi dati ottenuti, anche con la correzione per attenuare e per restringere la gamma dei punteggi e a un processo di ponderazione

in funzione alla grandezza dei campioni presi in esame nei diversi studi. Sono ovviamente presi in esame dati che presentino una precisa specifica e omogena definizione del costrutto misurato dal test e che utilizzino analoghe misure del criterio (ricerca bibliografica). 8.6 Relazioni fra validità di costrutto e di criterio

8.7 Interpretazione del coefficiente di validità La validità di criterio è una stima della correlazione tra i punteggi del test e la misura del criterio. Spesso tali coefficienti sono bassi e spesso non superano il >.30. L'effetto del test sulla qualità delle decisioni di uno psicologo dipende anche da altri fattori (non solo dal coefficiente di validità in rapporto al criterio). 8.8 Test e decisioni ...