Confiabilidad Nuevo - Resumen PDF

Preview

Summary

Resumen...

Description

CONFIABILIDAD  ● Al igual que la validez, la confiabilidad es una propiedad de las puntuaciones y NO una  característica de los test. ● Norma técnica que busca garantizar que el test está evaluando el constructoconelmayorgrado de precisión posible. ● Con precisión hace referencia a medir con el menor grado de error; con menor dispersión o varianza. ● Es decir a más varianza = más error = menor confiabilidad. ● Se puede atribuir la confiabilidad cuando las puntuaciones del test se mantienenconstantesante diferentes circunstancias. ● Cuanto  mayor  es  la  variabilidad  entre  las  puntuaciones  de  un  mismo  fenómeno,  menor es la  confiabilidad; cuanto menor es la variabilidad, MAYOR es la confiabilidad. ● Aun así, variabilidad habrá siempre porque el objeto de estudio en psicología es dinámico (las personas cambian) pero se busca que la misma sea lo menor posible. ● Pueden haber variabilidades propias del instrumento o de la persona a laqueseleadministra el  test. ● Qué resultados de la r de Pearson deseamos en confiabilidad: ○ En general es recomendable valores de 0,80 o superiores. ○ Aun así, cuando un test va a utilizarse sólo con fines de investigación, un coeficiente de 0,70 es suficiente. ○ En aquellos test que influyen en la toma de decisiones de las personas son deseables valores de 0,90 o superiores.  La confiabilidad puede entenderse como la exactitud o precisión de una medición, o el grado en el cual las puntuaciones de un test están libres de errores de medición. Según la  APA: significa  la  consistencia  entre  los  puntajes de un test obtenidos por los  mismos individuos en distintas ocasiones o entre diferentes conjuntos de ítems equivalentes.  Debemos distinguir entre la falta de consistencia debido a un cambio real en el rasgo medido y los  cambios o fluctuaciones azarosas ocasionadas por circunstancias personales u otras queafectena la situación de evaluación. Hay que distinguir entre variaciones del instrumento o “investigador” y variaciones en el objeto.  2 Tipos de errores: 1. Sistemáticos (validez) aquellos que generan constantemente una puntuación elevada o baja en una persona al margen de los cambios que puedan darse en el rasgo medidopor el test.  Este tipo de error se denomina sesgo de medición, se define como toda aquella fuente de variación que sistemáticamente afecta a las puntuaciones de un determinado grupoqueestá siendo evaluado por un test. 2. Aleatorios (confiabilidad): Los errores aleatorios afectan a la precisión o consistencia de las  medidas realizadas, son impredecibles y forman parte de todo procesodemedición.El control de estas fuentes de error se relaciona con los métodos utilizados para verificar  la confiabilidad.  

Factores que afectan la confiabilidad:  Fuentes externas al examinado e internas. 4 errores aleatorios: 1. Contenido del Test. 2. Administración. 3. Calificación. 4. Factores Internos del Examinado.

 1) CONTENIDO DEL TEST - (este error se controla con la dimensión “consistencia interna”) Es necesario que los ítems de un test estén fuertemente relacionados entre sí y midan un mismo constructo (unidimensionalidad)  ● De acuerdo con Spearman y Brown, un mayor número de ítems del mismo tipo dará puntajes  más confiables, es decir aumentará la fiabilidad del test. ● Aun así, la confiabilidad será mayor cuanto mayor sea la correlación entre los ítems, en este sentido, la CALIDAD de los mismos es un factor más importante quelacantidadydebenevitarse  los ítems redundantes.  2) ADMINISTRACIÓN - (este error se controla con la dimensión “estabilidad”) Es muy importante examinar a todos los participantes en las mismas condiciones (condiciones  uniformes; estandarizadas) tanto con respecto a:  ● Las condiciones generales del ambiente en el cual se administranlos tests (iluminación,nivelde ruido o confort del lugar). ● Las instrucciones dadas del test: deben ser siempre lo suficientemente claras y unívocas, para que todos los evaluadores las impartan de la misma manera. ● El orden y la forma en que se presentan los materiales a los examinados(debeseridénticopara cada examinado)  3) CALIFICACIÓN - (este error se controla con “confiabilidad inter-examinadores” o con computadores) Este tipo de error puede cometerse cuando la corrección de los test es manual y  hay  2 casos  diferentes: ● Que sean test múltiple opción corregidos por el examinador (quien puede calificar mal accidentalmente) En estos casos, el error se elimina con la corrección del test  por  computadoras. ● Que sean test en donde interfiera cierto margen de subjetividad durante la interpretación de puntuaciones. En estos casos, puede ocurrir que los diferentes evaluadores utilicen criterios distintos de calificación lo cual sería un problema porque el puntaje del sujeto va a variarsegún quien corrija su test y no por cambios reales en lo que se esté midiendo. Para controlarqueesto no suceda o se de en el menor grado posible se acude a la confiabilidad inter-examinadores.  4) FACTORES INTERNOS DEL EXAMINADO/FLUCTUACIONES AZAROSAS - (este error se controla con “estabilidad”) Parte de la varianza en la medición reside también en factores que se originan en las  personas  examinadas. Por ejemplo: las distracciones momentáneas, las preocupaciones personales  y otros acontecimientos semejantes.

 DIMENSIONES DE LA CONFIABILIDAD (con la evaluación de estas dimensiones se intentan minimizar los errores)  a. Estabilidad (error 2 y 4) b. Consistencia Interna (error 1) c. Confiabilidad inter-examinadores (error 3) 

  1) ESTABILIDAD. Esta dimensión intenta evaluar si las puntuaciones del test se ven afectadas o varíanconelpasodel tiempo, ya sea por cambios personales aleatorios del examinado, o por cambios enlascondiciones de administración. Esta dimensión se analiza en test que miden rasgos teóricamente ESTABLES, como la  personalidad o la inteligencia. De esta manera, se busca que quien puntuó como deficiente en la  primera administración, se mantenga deficiente en la segunda. E  xisten 2 TÉCNICAS para evaluar  la estabilidad de un test:  a) Test-Retest (más popular). Este método consiste en: ● Administrar el test a una muestra representativa (500 personas) ● Registrar sus puntuaciones. ● Dejar pasar un periodo de tiempo, ni muy corto (porque la persona puede aprender/recordar sus respuestas), ni muy largo (porque las variaciones en las puntuaciones pueden deberse a cambios reales en el examinado) ● Volver a administrar el mismo test a la misma muestra. ● Ver si hay correlación entre los resultados utilizando r de Pearson (si da 0,80 se puede  concluir que hay estabilidad)  b) Formas Paralelas (no tan usado) ● Se aplica cuando se trata de test en los cuales se corre riesgo de aprendizaje (conocimiento sobre x acontecimiento)

● Consiste en administrar a una misma muestra 2 versiones EQUIVALENTES del test en distintos momentos (entre toma y toma se deja pasar 1 mes aproximadamente) ● ES EL MÉTODO MÁS COMPLETO PARA EVALUAR LA CONFIABILIDAD puesto que permite controlar la mayor cantidad posibles de fuentes de error (porejemplosiseutilizaestatécnica para analizar la estabilidad, al mismo tiempo se analiza la consistencia interna) ● El inconveniente es que para ser consideradas equivalentes las 2 pruebas deben tener  las mismas características formales y estadísticas y existen pocos test con versiones equivalentes.   2) CONSISTENCIA INTERNA. Esta dimensión alude al grado enquelasdistintas partesoítemsdeltestmidenelmismoconstructo  o dominio. Existen 3 TÉCNICAS para evaluar la consistencia interna de un test.  a) Formas Paralelas. ● Consiste en realizar 2 versiones EQUIVALENTES  del  test  y  administrar ambas  a  la misma población. ● De esa manera, cada persona realiza en el mismo día la versión A y B del test. ● Luego se ve el grado de correlación entre ambas.  b) Partición en Mitades (no se usa más): ● Se le administra a la población una única versión del test y luego el investigador parte arbitrariamente la prueba en 2 mitades comparables, obteniendo de esa manera 2 puntuaciones para cada individuo de la muestra. ● Luego se analiza la correlación entre ambas puntuaciones por medio de 2 coeficientes: r de Pearson para una mitad y Spearman-Brown para la otra mitad. ● Inconveniente: lograr que las mitades obtenidas sean realmente comparables.  c) Covarianza de ítem o Alfa de Cronbach (más popular) ● Es una solución a la partición en mitades. ● En este caso se requiere de una sola administración de la prueba y luego se realiza  un  promedio de todas las posibles particiones del test. ● Se utiliza el alfa de cronbach (cuando son ítems politómicos) y el Q de Richardson (cuando son dicotómicos) ● Una covarianza alta indica que el test tiene consistencia interna.   3) CONFIABILIDAD INTER-EXAMINADORES. Esta dimensión alude al grado en que la medición de un rasgo a través de un instrumento  es  independiente o no de la subjetividad del evaluador. Intenta evaluar el grado de objetividad de los datos proporcionados por un test. 1  MÉTODO adecuado para verificar esto:  a) Acuerdo entre Jueces: ● Este procedimiento sólo adquiere importancia cuando interviene el criterio del examinadoren el proceso de calificación. ● Consiste en administrar el test a una muestra y luego entregar los exámenes ya realizados  a distintos jueces para que los califiquen independientemente.

● ● ● ●

Luego se ve la correlación entre las correcciones de cada uno (item por item) Aquellos ítems que tengan diferencias significativas serán eliminados o reformulados. Coeficiente Kappa (si es nominal); Interclase o W de Kendall (si es ordinal o intervalar) Si el Kappa da 0,80 el acuerdo entre jueces es satisfactorio, es decir que lasubjetividad de la calificación no afecta significativamente.



Siempre se miden las mayores dimensiones posibles.  Ejemplo: medir la confiabilidad de una prueba de niñez (aplicaría el método alfa de cronbach para analizar la consistencia interna y el acuerdo entre examinadores para analizar la confiabilidad inter examinadores.   TEORÍA CLÁSICA DE LOS TEST (la APA propone la confiabilidad basándose en la TCT)  El resultado de la medición es un valor observado que no coincide con el valor verdadero y, en consecuencia siempre se mide con un margen de error. Este valor verdadero en Psicología nuncalo se ve (ya que siempre hay un margen de error) y podríamos pensarlo como el promedio de  las puntuaciones observadas en infinitas administraciones de un instrumento dado a una persona.  La hipótesis fundamental en la TCT es que la puntuación observada de una persona en un test  es una función de 2 componentes: 1. Su valor verdadero (que es inobservable) 2. El error de medición implícito en toda medición.  El postulado esencial de la TCT se expresa como:

Po = Pv + E  Puntaje Observado: lo que arroja el test; el puntaje bruto. Puntaje Verdadero: e  s la media de puntuaciones obtenidas por unapersonaeninfinitas aplicaciones  de un test. Error: se entiende como cualquier variación de las puntuaciones de un test, que no sea asimilablea las variaciones en la magnitud del rasgo que está siendo evaluado.  De esta manera: ❏ Po - Pv = E ❏ Po - E = Pv ___________ CALCULAR EL ERROR ESTÁNDAR  ➔ Para qué sirve tener el error (para saber la puntuación verdadera del sujeto) ➔ Datos necesarios para calcular el error: desviación estándar y coeficiente R de Pearson (r) ➔ EEM: error estándar de medición. ➔ rxx: confiabilidad de la muestra (r de Pearson) ➔ Fórmula: EEM = S . √1 - rxx 

Ejemplo: ● S: 1,34 ● R: 0,87  EMM = 1,34 . √1 - 0,87 EMM = 1,34 . √0  ,13 EMM: 0,48  El error estándar de medición es de 0,48.  ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA:  ● El error estándar nos permite calcular el puntaje verdadero de un sujeto.  ● Fórmula: X +- EEM . Z ● X: puntaje bruto. ● EEM: error estándar de medición. ● Z: es la confianza.  CONFIANZAS: ● 68%: 1 (es más preciso pero hay menos probabilidades de acertar; de que la puntuación verdadera esté en ese rango) ● 90%: 1,65 ● 95%: 1,96 ● 99%: 2,58  Ejemplo: ● PB: 40 ● EEM: 0,48 ● Z: 95%  Multiplicamos la confianza (1,96) por el error estándar (0,48), ese resultado dará el error de estimación (5,88), el cual se le sumará Y restará al puntaje bruto (40) y eso dará el rango enelque se debería encontrar el puntaje verdadero del sujeto.  *El error estándar multiplicado por la confianza dará el error de estimación.  2 posibles respuestas: ● “Con una probabilidad de un 95% estimamos que el puntaje verdadero de la personaoscilaentre un intervalo de 34, 12 y 45,88” o ● “Hay una probabilidad del 95% de que el puntaje verdadero del sujeto oscile entre tanto y tanto”....