Evaluarea Acuratetii masuratorilor PDF

Preview

Summary

Download Evaluarea Acuratetii masuratorilor PDF

Description

EVALUAREA ACURATEŢEI MĂSURĂRILOR ÎN CERCETĂRILE DE MARKETING Profesor Universitar Emerit, Doctor, Doctor Honoris Causa Iacob Cătoiu

După cum se cunoaşte măsurarea fenomenelor de marketing se realizează în condiţii deosebit de complexe, procesul aflându-se sub incidenţa a numeroşi factori. Între cele mai semnificative surse potenţiale de eroare în activitatea de măsurare pot fi menţionate: SURSE POSIBILE ALE ERORII TOTALE .  CARACTERISTICI RELATIV STABILE ALE INDIVIZILOR INVESTIGAŢI CARE AFECTEAZĂ SCORURILE -

Inteligenţa

-

Nivelul de instruire

-

Capacitatea de procesare a informaţiei

 FACTORI PERSONALI CU ACŢIUNE PE TERMEN SCURT -

Starea sănătăţii

-

Oboseala

-

Starea emoţională

 FACTORI SITUAŢIONALI -

Zgomotul

-

Prezenţa altor persoane

-

Raporturile existente între cercetător şi respondent

-

Elemente care distrag atenţia respondentului 177

Evaluarea acurateţei măsurărilor în cercetările de marketing

 VARIAŢII ÎN ADMINISTRAREA INSTRUMENTULUI DE MĂSURARE -

Diferenţe în modul de administrare între operatorii de interviu

 DIFERENŢE ÎN SELECŢIA ITEMURILOR CUPRINSE ÎN INSTRUMENTUL DE MĂSURARE -

Adăugiri

-

Eliminări

-

Modificări

 LIPSA DE CLARITATE MĂSURARE

A

INSTRUMENTULUI

-

Diferenţe în instrucţiunilor

interpretarea

întrebărilor

-

Ambiguitatea întrebărilor sau instrucţiunilor

-

Complexitatea întrebărilor sau instrucţiunilor

DE sau

 FACTORI DE NATURĂ MECANICĂ -

Lipsa spaţiului pentru înregistrarea răspunsurilor

-

Aglomerarea itemurilor chestionarului

-

Aspectul instrumentului de măsurare

-

Tipărire necorespunzătoare

 FACTORI SPECIFICI ACTIVITĂŢII DE BAZĂ -

Diferenţe în acordarea scorurilor

-

Diferenţe în compilarea statistică

178

Evaluarea acurateţei măsurărilor în cercetările de marketing

-

Diferenţe în tabulare

Fig. 6.1. Surse posibile ale erorii totale În aceste condiţii este evident că rezultă o eroare de măsurare care face ca scorul rezultat din această activitate să fie diferit de scorul adevărat al caracteristicii măsurate. Următorul model poate oferi cadrul necesar pentru evaluarea acurateţei măsurării: SM = SR + ES + EA unde, SM = scorul rezultat din măsurare; SR = scorul adevărat al caracteristicii măsurate; ES = eroare sistematică; EA = eroare aleatoare.

Eroarea sistematică afectează măsurarea în mod constant reprezentând influenţa factorilor stabili, cum sunt, de exemplu, cei de natură mecanică. Eroarea aleatoare rezultă din schimbări aleatoare, din diferenţe între respondenţi sau între situaţiile în care se realizează măsurarea. Distincţia între cele două categorii de erori are o importanţă deosebită pentru evaluarea acurateţei şi aplicabilităţii măsurării efectuate cu o anumită scală. Aceasta presupune utilizarea a patru criterii fundamentale: exactitatea, validitatea, generalizarea şi senzitivitatea (fig. 6.2.).

179

Evaluarea acurateţei măsurărilor în cercetările de marketing EVALUAREA MĂSURĂRILOR

GENERALIZARE

P R E D I C T I V A

SENZITIVITATE

MOD DE CONSTRUIRE

RELAŢIA CU UN CRITERIU

CONŢINUT

ASPECT EXTERIOR

VALIDITATEA

CONSECVENŢA INTERNĂ

FORME ECHIVALENTE

TESTARE-RETESTARE

EXACTITATE A

C O N C O M I T E N Ţ A

C O N V E R G E N Ţ A

D I S C R I M I N A N A Ţ A

N O M O L O G I C A

Fig. 6.2. Evaluarea măsurărilor

180

Evaluarea acurateţei măsurărilor în cercetările de marketing

6.1. Exactitatea

O scală care asigură măsurarea fenomenelor de marketing conducând la rezultate consecvente în timp se poate afirma că este exactă. Aceasta înseamnă că, dacă un fenomen este măsurat de mai multe ori în timp cu o anumită scală, rezultatele sunt practic similare, ceea ce denotă că factorii trecători şi situaţionali nu au influenţat procesul de măsurare.

Exactitatea (Reliability) reprezintă gradul în care măsurările nu posedă eroare aleatoare şi, deci, oferă date consecvente în timp. O măsurare este exactă dacă ea va conduce la aceleaşi rezultate în condiţiile în care fenomenul supus măsurării rămâne constant în timp. Dacă fenomenul respectiv îşi schimbă valoarea, o măsurare exactă ar trebui să indice acest lucru.

Pentru evaluarea exactităţii, cercetătorul are la dispoziţie trei posibilităţi: 

testare – restestare;



forme echivalente;



consecvenţa internă.

Exactitatea testare – retestare (test – retest reliability) reprezintă capacitatea unui instrument de măsurare de a produce rezultate consecvente (stabile) atunci când este folosit din nou în condiţii cât se poate de asemănătoare.

181

Evaluarea acurateţei măsurărilor în cercetările de marketing

Teoria pe care se bazează exactitatea testare – retestare susţine că dacă sunt prezente variaţii aleatoare, ele ar fi puse în evidenţă prin variaţiile scorurilor între cele două teste. Stabilitatea înseamnă că scorurile după prima şi a doua administrare a testului, în vederea măsurării, diferă nesemnificativ. În aceste condiţii se consideră că instrumentul de măsurare este stabil. Intervalul de timp între două testări se recomandă să fie de 2-4 săptămâni.

De exemplu, să presupunem că o scală de măsurare a imaginii unui magazin universal compusă din 30 de itemuri a fost administrată aceluiaşi grup de cumpărători în două momente diferite. În situaţia în care corelaţia dintre cele două măsurări este ridicată, exactitatea se presupune că este, de asemenea, ridicată. Exactitatea testare – retestare poate ridica unele probleme care trebuie avute în vedere: 

Poate fi destul de dificilă localizarea şi obţinerea cooperării respondenţilor pentru a doua testare;



Prima măsurare poate altera răspunsul persoanei la a doua măsurare; respondenţii îşi pot aminti răspunsul dat prima oară;



Nu trebuie trecut cu vederea că aceasta este sensibilă la intervalul de timp dintre testări; cu cât acest interval este mai lung exactitatea scade.



Caracteristica sau proprietatea măsurată se poate schimba între măsurări.



Factori ai mediului sau personali se pot modifica şi, astfel, ei pot cauza o schimbare la cea de-a doua măsurare.

182

Evaluarea acurateţei măsurărilor în cercetările de marketing



Coeficientul de corelaţie care exprimă gradul exactităţii testare-retestare poate fi mărit în mod artificial datorită corelaţiei fiecărui item cu el însuşi.

Din aceste motive se recomandă folosirea şi a altor forme de exactitate cum ar fi cea care urmează.

Exactitatea forme echivalente (equivalent forms reliability) reprezintă capacitatea de a produce rezultate similare folosind două instrumente cât mai asemănătoare cu putinţă pentru a măsura acelaşi obiect sau fenomen. Prin crearea unor forme echivalente a instrumentelor de măsurare pot fi evitate unele probleme generate de exactitatea testare – retestare. Din aceste motive se recomandă folosirea şi a altor forme de exactitate cum ar fi exactitatea forme echivalente. Aceasta presupune elaborarea a două forme echivalente de scale folosite pentru a măsura aceeaşi respondenţi în două momente diferite, situate la un interval de 2-4 săptămâni. Scorurile obţinute prin administrarea celor două forme alternative de scale sunt apoi corelate pentru a evalua exactitatea.

De exemplu, să presupunem că cercetătorul este interesat de identificarea stilurilor de viaţă orientate spre interiorul individului şi cele orientate spre exteriorul acestuia. Pot fi concepute două chestionare, cu un număr aproximativ egal de întrebări, conţinând măsurări ale comportamentului orientat spre interior, respectiv ale comportamentului orientat spre exterior.

183

Evaluarea acurateţei măsurărilor în cercetările de marketing

Se recomandă ca cel de-al doilea chestionar să fie administrat la două săptămâni după primul, deşi în unele cazuri chestionarele pot fi administrate unul după altul.

Exactitatea forme echivalente se determină măsurând corelaţia scorurilor celor două instrumente. În legătură cu formele echivalente trebuie notate două probleme: 

Prima se referă la faptul că este foarte dificil, dacă nu imposibil, să fie concepute două forme total echivalente. Echivalenţa trebuie să fie din punct de vedere al conţinutului. Aceasta presupune că cele două seturi alternative de itemuri au aceleaşi medii, variaţii şi intercorelaţii. De remarcat că şi în condiţiile în care aceste cerinţe sunt îndeplinite este posibil ca să nu existe o echivalenţă din punct de vedere al conţinutului.



A doua problemă constă în faptul că nu întotdeauna efortul, timpul şi cheltuielile implicate sunt răsplătite, chiar dacă o anumită echivalenţă poate fi realizată.

Teoria care stă la baza celor două căi de evaluare a exactităţii este aceeaşi. Diferenţa între cele două constă în instrumentul de testare propriu-zis. În cazul exactităţii testare – retestare instrumentul este acelaşi, pe când exactitatea forme echivalente foloseşte şi un al doilea instrument de măsurare similar cu primul.

Exactitatea consecvenţă internă (Internal Consistency Reliability) reprezintă abilitatea de a produce rezultate similare folosind eşantioane diferite pentru a măsura fenomenul de-a lungul aceleiaşi perioade de timp.

184

Evaluarea acurateţei măsurărilor în cercetările de marketing

Teoria consecvenţei interne se bazează pe noţiunea de echivalenţă care se referă la cât de multă eroare (care este rezultatul folosirii mai multor eşantioane) poate fi introdusă în măsurarea fenomenului. Echivalenţa priveşte variaţiile, la un moment dat, între eşantioanele constituite. Cercetătorul poate realiza testarea echivalenţei evaluând omogenitatea setului analizat. Întregul set de itemuri folosit pentru a măsura un fenomen, cum ar fi stilurile de viaţă definite de comportamentul orientat spre interior este împărţit în două jumătăţi; scorul total al celor două jumătăţi este apoi corelat. Folosirea tehnicii “divizat în jumătate” (split-half) presupune ca itemurile scalei să fie alocate aleator la una din jumătăţi. Problema acestei metode este că estimarea coeficientului de exactitate este dependentă în totalitate de modul cum au fost divizate itemurile. Diferite divizări pot conduce la diferite corelaţii, ceea ce nu ar trebui să fie aşa.

Pentru a depăşi problemele generate de mai multe divizări în jumătăţi, mulţi cercetători folosesc tehnica denumită Cronbach - Alpha1,2. Aceasta calculează estimări ale coeficientului mediu de exactitate pentru toate modalităţile posibile de a împărţi în două un set de itemuri. Lipsa corelaţiei unui item cu alte itemuri ale scalei reprezintă dovada că itemul nu aparţine scalei şi trebuie omis. Mai trebuie menţionat că folosirea tehnicii Cronbach - Alpha necesită intervale egale (deci, o scală metrică). Dacă datele sunt măsurate cu o scală nemetrică de tip nominal, testul presupune folosirea tehnicii KR-20. 11L.J. Cronbach, Coefficient Alpha and Internal Structure of Tests, Psychometrika, 16, 1951, p.297 – 334. 2 http://en. wikipedia.org/wiki/ Crombach’s alpha. 185

Evaluarea acurateţei măsurărilor în cercetările de marketing

Coeficientul Cronbach-Alpha asigură o măsurare sintetică a intercorelaţiilor care există între un set de itemuri. Alpha se calculează astfel:

( ) k

( k−1k )× 1 −

α=

∑ δi2 i=1

2

δt

unde: k – numărul de itemuri ale scalei; 2

δ i - variaţia scorurilor tuturor subiecţilor în privinţa itemului i; δ t2 - varianţa scorurilor totale ale tuturor subiecţilor, unde scorul total pentru fiecare respondent reprezintă suma scorurilor individuale ale itemurilor. În mod obişnuit, Coeficientul Cronbach-Alpha, se calculează pentru a estima calitatea măsurării. El reprezintă media tuturor coeficienţilor rezultaţi din diferite divizări ale itemurilor scalei. Acest coeficient poate lua valori între 0 şi 1 (teoretic acestea se pot situa între minus infinit şi 1 dar numai valorile pozitive au sens); o valoare mai mică decât 0, 6 indică o exactitate consecvenţă internă nesatisfăcătoare. În general, valoarea coeficientului Cronbach-Alpha creşte pe măsură ce corelaţiile dintre itemuri cresc. Din acest motiv el mai poartă şi denumirea de consecvenţă internă sau de test al exactităţii consecvenţă internă. O proprietate importantă a coeficientului Cronbach-Alpha este aceea că valoarea sa tinde să crească odată cu creşterea numărului itemurilor scalei. Deci, acest coeficient Alpha poate fi în mod artificial mărit prin includerea în scală a câtorva itemuri redundante. Dacă valoarea lui Cronbach-Alpha este redusă şi dacă există suficient de multe itemuri, analistul poate să elimine o parte din acestea, decizie care are la bază calculul corelaţiei fiecărui item cu scorul total. Itemurile cu corelaţiile cele mai mici, aproape de 0, vor fi eliminate. 186

Evaluarea acurateţei măsurărilor în cercetările de marketing

În forma standardizată coeficientul Cronbach-Alpha poate fi definit astfel: α=

r N⋅¯ ( 1+( N−1)⋅r¯ )

unde: N este numărul componentelor (itemurilor); ¯r

este media tuturor coeficienţilor de corelaţie Pearson între componente. Cronbach-Alpha este un estimator fără bias al exactităţii numai dacă componentele sale sunt în esenţă τ- echivalent1. Odată îndeplinită această condiţie, componentele pot avea medii diferite şi varianţe diferite, dar covarianţele trebuie să fie egale- ceea ce presupune că ele au un factor comun în analiza factorială. Când presupunerea privitoare la componente că sunt în esenţă τechivalente este violată, Cronbach-Alpha nu mai este un estimator fără bias al exactităţii. În strânsă legătură cu coeficientul Cronbach-Alpha este coeficientul beta2. Acesta ajută să se determine măsura în care procesul de calculare a mediei în cazul coeficientului alpha ascunde (maschează) unele itemuri. Primul care a folosit denumirea Alpha a fost Cronbach, în 1951. Coeficientul Cronbach-Alpha reprezintă o extensie a unei versiuni anterioare cunoscută sub numele Kuder – Richardson Formula 20 ( în

1 Lord, F.M. and Novick, M.R.(1974): Statistical Theories of Mental Test Scores (2nd printing). Reading, MA: Addison-Wesley. 2 Cooksey, Ray W., Soutar Geoffrey N. Soutar, Coefficient Beta and Hierarchical Item Clustering: An Analytical Procedure for Establishing and Displaying the Dimensionality and Homogeneity of Summated Scales, Organizational Research Methods, 2006, nr. 9, p. 78-98. 187

Evaluarea acurateţei măsurărilor în cercetările de marketing

forma abreviată KR – 20)1,2. Chiar şi Louis Guttman în 1945 a propus un coeficient similar denumit lambda doi3. În statistică Kuder – Richardson Formula 20 (KR – 20), publicată prima dată în 1937, este o măsură a exactităţii consecvenţă internă în situaţia scalelor dichotomice. Aceasta este analoagă Coeficientului CronbachAlpha care este utilizat şi în cazul scalelor multichotomice (continui). Valorile coeficientului KR – 20 se pot situa între 0.00 şi 1.00 (uneori intervalul poate fi între 0.00 şi 100). O valoare mare, (de exemplu > 0.90) indică existenţa unei omogenităţi a formelor alternative analizate, aceasta fiind o alternativă dezirabilă.

[ ] N

∑ p i qi

α=

i=1 K 1− 2 K−1 δx

Varianţa pentru KR-20 este N

∑ ( X− Xbar )2 δ 2x =

i=1

N

Dacă este importantă folosirea unor operatori nedistorsionaţi (unbiased) suma pătratelor trebuie divizată la gradele de libertate (N - 1) şi probabilităţile sunt multiplicate cu

( NN−1 ) 1 Allen, M. J., & Yen, W. M.. Introduction to Measurement Theory. Long Grove, IL: Waveland Press, 2002. 2 http://en. wikipedia.org/wiki/ Kuder – Richardson Formula 20 3 Guttman Louis, A Basis for analyzing test-retest reliability, Psychometrika, 10, 1945, 255282. 188

Evaluarea acurateţei măsurărilor în cercetările de marketing

189

Evaluarea acurateţei măsurărilor în cercetările de marketing

6.2. Validitatea

A doua caracteristică a unui instrument bun de măsurare este validitatea (Validity) care nu reprezintă altceva decât gradul în care am reuşit să măsurăm ceea ce ne-am propus. Altfel spus, validitatea unei scale poate fi definită ca măsura în care diferenţele dintre scorurile rezultate din măsurare reprezintă diferenţele reale dintre stimulii investigaţi în ceea ce priveşte caracteristica (caracteristicile) măsurată (e). Când multinaţionala Coca Cola a adoptat noua formulă a cunoscutei băuturi Coca Cola, cu două decenii în urmă, s-a bazat pe rezultatele a peste 5000 de interviuri, care sugerau că noua Coca Cola era preferată celei originale. Din nefericire instrumentul de măsură folosit în acest caz nu a fost valid, fapt ce a generat numeroase discuţii. Validitatea unei măsurări se referă la gradul în care instrumentul şi procedura de măsurare nu generează eroare sistematică şi/sau aleatoare. Astfel, un instrument de măsurare este valid dacă diferenţele în scoruri reflectă adevăratele diferenţe în privinţa caracteristicii pe care intenţionăm să o măsurăm şi nu cuprinde eroare sistematică sau aleatoare. O validitate ideală presupune inexistenţa erorii de măsurare. Altfel spus (SM = SR, ES = 0, EA= 0). O scală sau alt instrument de măsură nu are nici o valoare pentru cercetător dacă nu are validitate, pentru că nu reuşeşte să măsoare ceea ce se presupune că măsoară. La prima vedere aceasta pare a fi o noţiune simplă, dar în realitate, validitatea presupune adesea înţelegerea unor subtilităţi.

190

Evaluarea acurateţei măsurărilor în cercetările de marketing

Să presupunem că profesorul dă un test studenţilor construit ca să măsoare cunoştinţele în domeniul cercetării de marketing, test care constă în aplicarea strictă a unui număr de formule la probleme simple, specifice unor cazuri. Un student obţine un scor scăzut şi protestează în faţa profesorului, susţinând că el “înţelege cu adevărat cercetarea de marketing”. În esenţă poziţia lui este că testul nu a fost valid. În loc să măsoare cunoştinţele în domeniul cercetării de marketing, testul a măsurat modul de memorizare a formulelor şi abilitatea de a folosi matematica simplă pentru a găsi soluţii. Profesorul poate repeta testul pentru a demonstra că scorurile studenţilor se vor situa în aceeaşi ordine. Înseamnă acest lucru că studentul protestatar nu a fost corect? Nu, neapărat; profesorul poate măsura în mod sistematic abilitatea de a memora, în loc să măsoare cunoştinţele de cercetări de marketing acumulate. Spre deosebire de profesor, care încearcă să măsoare cunoştinţele de cercetări de marketing, un manager al unei mărci este mai interesat de realizarea unei previziuni reuşite. De exemplu, managerul vrea să ştie dacă o scală a intenţiilor de cumpărare reuşeşte să previzioneze achiziţionarea unui nou produs. Astfel, validitatea poate fi examinată din următoarele patru perspective: 

Aspectul exterior;



Conţinutul;



Relaţia cu un criteriu;



Mod de const...