Psicometria - Validade, fidedignidade e padronização PDF

Preview

Summary

Resumo dos conteúdos abordados na disciplina de Psicometria, compreendendo questões como validade, fidedignidade, padronização....

Description

INSTRUMENTOS DE AVALIAÇÃO EM SAÚDE MENTAL: VALIDADE 1 PROPRIEDADES PSICOMÉTRICAS - Preocupação com instrumentos que possibilitem uma análise fiel dos construtos de interesse. - Indicadores de validade e confiabilidade. - A validade é entendida como o elemento básico de qualquer medida e está associada ao processo de elaboração, ao uso e à garantia de mensuração, de forma que ateste que o instrumento mede o que se propõe a medir. - A precisão diz respeito à medição sem erros ou à capacidade de avaliar o quão consistente uma pessoa é em suas respostas. 1.1 Principais Indicadores de confiabilidade - A confiabilidade (precisão, fidedignidade) busca verificar o quanto a pontuação do indivíduo se aproxima de sua realidade e o quanto ela se mantém estatisticamente idêntica em diferentes situações, a variar o tempo e/ou a partir de intercorrelação entre os itens da medida. - Formas de atestar a confiabilidade: o teste-reteste, as formas paralelas ou alternativas e a consistência interna (split-half, alfa de Cronbach e o Kuder-Richardson). Teste-reteste: é a administração do mesmo teste, sendo respondido pelos mesmos sujeitos, em duas ocasiões diferentes. Depois, calcula-se a correlação entre as pontuações obtidas. Vantagem: avalia a invariabilidade das respostas, pois permite observar a estabilidade temporal. Dificuldade: os participantes podem memorizar algumas respostas, gerando a “testagem”, em que a primeira avaliação compromete o resultado da segunda, e também o participante pode passar por alguma situação que dê um viés a sua resposta na segunda aplicação. Forma paralela ou alternativa: é a administração de duas formas diferentes de um mesmo teste, que contenham itens com conteúdo semelhante, sendo também os mesmos participantes a responder as duas versões. Deve haver a condição de equivalência entre os testes. Faz-se a correlação das duas distribuições das pontuações para verificar a precisão. Esses dois métodos são adequados quando se pretende avaliar a implicação da variação temporal na alteração das respostas. Consistência Interna: métodos que evitam aplicar o teste várias vezes. O split-half é definido como a correlação entre duas metades equivalentes de um único teste, sendo respondido em uma única ocasião.

O índice de consistência interna mais utilizado é o alfa de Cronbach, sendo a estimativa estatística que avalia a proporção de variância encontrada nos escores do teste que pode ser atribuída ao escore verdadeiro de variância. Assume-se que o valor do alfa deva ser igual ou superior a 0,70 para que seja considerado adequado. Essa estatística verifica o quanto uma medida é confiável para medir um determinado construto, avaliando-se a variância dos itens individualmente e em grupo. É necessário verificar as relações entre confiabilidade e validade da escala de avaliação! 1.2 Validade: Conceitos gerais e aplicabilidade - Validade de conteúdo: é quando os itens do instrumento representam adequadamente o universo de conteúdos referentes ao construto que se pretende avaliar. Estabelecimento a priori dos comportamentos que operacionalizam o construto. Correspondência dos itens em relação ao construto. - Validade de critério: Capacidade que um teste tem de predizer um comportamento futuro, relacionando as respostas do instrumento ao comportamento do indivíduo em atividades específicas. - Validade de construto ou de conceito: Verifica se os traços latentes estão sendo representados legitimamente por sua representação comportamental (itens). O objetivo é descobrir se os itens do instrumento constituem uma representação legítima, adequada, do construto. TESTAGEM PSICOLÓGICA - A validade refere-se àquilo que o teste mede e a quão bem ele faz isso. 1 DESENVOLVIMENTO DOS CONCEITOS DE VALIDADE DO TESTE - Uma orientação teórica fortalecida e uma estreita ligação entre a teoria psicológica e a verificação através da testagem de hipóteses empíricas e experimentais. - Construtos são categorias amplas, derivadas das características comuns compartilhadas por variáveis comportamentais diretamente observáveis. São entidades teóricas, não observáveis diretamente. 2 PROCEDIMENTOS DE DESCRIÇÃO DO CONTEÚDO - Natureza: Os procedimentos de validação e descrição do conteúdo envolvem essencialmente o exame sistemático do conteúdo do teste para determinar se ele abrange uma amostra representativa do domínio de comportamento a ser medido. - A validade depende da relevância das respostas de teste do indivíduo para a área de

comportamento em consideração, e não da aparente relevância do conteúdo dos itens. - A validade aparente tem relação com o teste “parecer válido” e não deve ser confundida com a validade de conteúdo. É quando o item é adequado ao público-alvo, de forma a torná-lo mais propenso a responder. 3 PROCEDIMENTOS DE PREDIÇÃO DO CRITÉRIO - Validação Concorrente e Preditiva: Indicam a efetividade de um teste para predizer o desempenho de um indivíduo em atividades especificadas. Em muitos casos, a validação concorrente é empregada apenas como um substituto da validação preditiva. A validação concorrente é relevante para os testes empregados para o diagnóstico do status existente, e não para a predição de futuros resultados. 4 PROCEDIMENTOS DE IDENTIFICAÇÃO DO CONSTRUTO - A validação de construto focalizou a atenção no papel da teoria psicológica na construção dos testes e na necessidade de formulamos hipóteses que podem ser provadas ou refutadas no processo de validação. - Correlações com outros testes: Correlações entre um novo teste e testes semelhantes são citadas as vezes como evidência de que o novo teste mede aproximadamente a mesma área geral de comportamento que outros testes designados pelo mesmo nome. - Análise Fatorial: Técnica utilizada para analisar as inter-relações de dados comportamentais. Supondo que 20 testes sejam realizados com 300 pessoas, calcula-se a correlação de cada teste com todos os outros. A tabela resultante irá revelar certos agrupamentos entre os testes, sugerindo a localização de traços comuns. a. Simplifica a descrição do comportamento reduzindo o número de categorias de uma multiplicidade inicial de variáveis de testes para alguns fatores ou traços comuns. Dessa forma, cada teste pode ser caracterizado em termos dos fatores mais importantes que determinam seus escores. b. A validade fatorial é a correlação do teste com aquilo que é comum a um grupo de testes ou a outros índices de comportamento. - Validação convergente e discriminativa: É preciso, para atestar a validade do construto, mostrar que um teste apresenta correlação alta com outras variáveis com as quais ele deve teoricamente correlacionar-se (validação convergente) e não apresentar correlação significativa com variáveis das quais ele deve diferir (validação divergente) FIDEDIGNIDADE DOS TESTES 1 A TEORIA

- A fidedignidade ou precisão diz respeito à características que um teste deve possuir, como medir sem erros, que significa que o mesmo teste, medindo os mesmos sujeitos em ocasiões diferentes, ou testes equivalentes, medindo os mesmos sujeitos na mesma ocasião, produzem resultados idênticos. A correlação entre essas duas medidas deve ser 1, mas, como o erro está sempre presente na medida, esta correlação se afasta tanto do 1 quanto maior for o erro cometido na medida. - O coeficiente de fidedignidade é definido estatisticamente como a correlação entre os escores dos mesmos sujeitos em duas formas paralelas de teste. O coeficiente de precisão é função da variância verdadeira pela variância total. 2 TÉCNICAS DE ESTIMAÇÃO DO COEFICIENTE DE FIDEDIGNIDADE - Existem três tipos de delineamentos e dois tipos ou modelos de análises estatísticas dos dados coletados para estimação do coeficiente de fidedignidade. - Delineamentos: a. Uma amostra de sujeitos, mesmo teste e uma única ocasião: Aplica-se a uma amostra aleatória de sujeitos um teste em uma única ocasião e se analisam os dados em termos de consistência interna dos itens através de análises estatísticas: análise das duas metades ou análise pelas técnicas alfa. b. Uma amostra de sujeitos, dois testes e uma única ocasião: Aplica-se a uma amostra aleatória de sujeitos duas formas paralelas do teste ou dois testes paralelos numa única ocasião e faz-se a análise da correlação entre as distribuições dos dois testes ou formas paralelas. c. Uma amostra de sujeitos, um mesmo teste e duas ocasiões: Aplica-se a uma amostra aleatória de sujeitos um teste na ocasião 1 (O1) e reaplica-se à mesma amostra o mesmo teste em uma ocasião ulterior (O2) e faz-se a correlação entre os dois conjuntos de dados. - Técnicas estatísticas: a. A correlação simples: para obter o coeficiente de fidedignidade através do modelo de correlação, utilizam-se os dados coletados via um dos três procedimentos ou técnicas empíricas de coleta de informação. O coeficiente de correlação expressa o nível de relação ou correspondência que existe entre dois eventos. i.

Todas as técnicas e delineamentos apresentam problemas que podem ser difíceis de serem superados.

b. Coeficiente alfa: Análise estatística dos dados de uma única aplicação de um teste a uma amostra representativa de sujeitos. Eles visam verificar a consistência interna do teste

através da análise da consistência interna dos itens, verificando a congruência que cada item do teste tem com o restante dos itens do mesmo teste. O mais comum é o coeficiente alfa de Cronbach. O índice de alfa será maior quando a variância específica de cada item for pequena e for grande a variância que eles em conjunto produzem. Assim, se todos os itens variarem do mesmo jeito, se não houver variância entre os itens individualmente, o alfa será igual a 1 (presença de consistência de 100%). 3 FATORES QUE AFETAM A FIDEDIGNIDADE a. Variabilidade da amostra de sujeitos: quanto maior e variável a amostra de sujeitos, maior será o coeficiente de correlação e, consequentemente, o índice de fidedignidade. Aumentando a variabilidade da amostra, aumenta o índice de fidedignidade. b. Comprimento do teste: O número de itens do teste afeta a fidedignidade do mesmo. Quanto maior número de itens o teste tiver, maior será seu índice de precisão, pois o erro tende a zero quando o número se aproxima do infinito. PADRONIZAÇÃO DOS TESTES PSICOLÓGICOS - AS NORMAS -

Padronização se refere à necessária existência de uniformidade em todos os

procedimentos no uso de um teste válido e preciso: desde as precauções a serem tomadas na aplicação do teste (uniformidade das condições de testagem) até o desenvolvimento de parâmetros ou critérios para a interpretação dos resultados obtidos. - Alguns autores fazem distinções entre padronização (uniformidade na aplicação dos testes) e normatização (uniformidade na interpretação dos escores dos testes), mas normalmente as duas expressões são utilizadas. 1 PADRONIZAÇÃO DAS CONDIÇÕES DE ADMINISTRAÇÃO DOS TESTES PSICOLÓGICOS - A padronização das condições de aplicação dos testes psicológicos tem como preocupação garantir que a coleta dos dados sobre os sujeitos seja de boa qualidade. Pretende-se, assim, garantir o uso adequado e legítimo dos testes psicológicos. É preciso, então, atender alguns requisitos referentes aos seguintes temas: material da testagem, ambiente e aplicador. 1.1 O Material de Testagem - Qualidade do teste: tem que ser válido e preciso. - Pertinência do teste: deve ter relevância ao problema apresentado pelo sujeito testando. Nenhum teste serve para toda e qualquer avaliação. 1.2 O Ambiente de Testagem - O ambiente físico: o ambiente deve ser tal que o candidato se sinta em suas melhores

condições para responder ao teste, sem a presença de distratores ambientais. - O ambiente psicológico: o testando deve estar em condições de saúde física e psicológica; deve compreender com clareza o que lhe é pedido no teste, isto é, as instruções do teste devem ser claramente entendidas; deve-se estabelecer o rapport com o testando. - A ocasião: o tempo de aplicação dos testes será determinado pelas duas condições expostas acima. - Situações adversas: exemplos de situações são para fins periciais e testagem para seleção. Nestes casos, todo mundo deve ser tratado do mesmo modo, o que implica mesmo horário, mesmas condições, mesmo tudo. 1.3 O aplicador - Conhecimento: o aplicador deve conhecer profundamente o material utilizado, para que possa oferecer respostas às questões levantadas pelos candidatos e transmitir-lhes segurança. - Aparência: deve-se usar roupas adequadas e limpas. - Comportamento durante a testagem: o aplicador deve manter a ordem, respeito, orientação, sem fazer interferências e interrupções desnecessárias. - Gravar a sessão: somente com o consentimento do paciente. 2 NORMATIZAÇÃO DOS TESTES PSICOLÓGICOS - A normatização diz respeito a padrões de como se deve interpretar um escore que o sujeito recebeu num teste. Isso porque um escore bruto produzido por um teste necessita ser contextualizado para poder ser interpretado. - A norma permite situar o escore de um sujeito, permitindo determinar a posição que o sujeito ocupa no traço medido pelo teste que produziu o tal escore e comparar o escore deste sujeito com o escore de qualquer outro sujeito. - O critério de referência ou a norma de interpretação é constituído tipicamente por dois padrões: o nível de desenvolvimento do indivíduo humano e um grupo padrão constituído pela população típica para a qual o teste é construído. 2.1 Normas de desenvolvimento - As normas de interpretação dos escores de um teste baseadas no desenvolvimento se fundamentam no desenvolvimento progressivo (nos vários aspectos de maturação psicomotora, psíquica, etc) pelo qual o indivíduo passa ao longo de sua vida. Neste caso são utilizados três fatores: idade mental, série escolar e estágio de desenvolvimento. 2.2 Normas intragrupo - O critério de referência dos escores é o grupo ou a população para a qual o teste foi construído. Como tipicamente não são conhecidos os escores da população, é sobre uma

amostra representativa dela que as normas são estabelecidas. a. Posto percentílico: O escore do sujeito é expresso em termos de percentil. O posto do sujeito indica quantos por cento dos sujeitos da população (amostra) se situam abaixo dele. Os escores percentílicos são fáceis de calcular e de compreensão simples. A grande dificuldade da escala percentílica está no fato de que as distâncias entre escores sucessivos não são constantes, mas variam segundo a posição do escore estar no início/fim da escala ou no meio dela. b. Escore Padrão: As normas baseadas no escore padrão (escore z) se fundamentam no cálculo desse escore z correspondente ao escore bruto do sujeito. i.

Escore padrão linear é calculado pela fórmula: Z = X - M / DP, onde X= escore bruto, M= média do grupo, DP= desvio padrão.

ii.

As normas baseadas pelo escore z normalmente utilizam transformações lineares ulteriores para evitar duas dificuldades de uma escala de z, a saber: a presença de escores negativos, pois o z vai de menos infinito a mais infinito (-5 a +5) e a presença de decimais.

iii.

Para estas transformações, tipicamente o z é multiplicado por um coeficiente e ao produto é agregada uma constante, utilizando a fórmula = a + bz, em que a e b são valores arbitrários. O mais comum é o escore T, em que T = 50 + 10z....