Tema 3. TCT modelo y fiabilidad PDF

Preview

Summary

Download Tema 3. TCT modelo y fiabilidad PDF

Description

Psicometría.

TEMA 3. TEORÍA CLÁSICA DE LOS TEST: MODELO Y FIABILIDAD. ÍNDICE DE CONTENIDOS 1. 2. 3. 4. 5. 6. 7. 8. 9.

El modelo de la TCT Concepto de fiabilidad. Medidas paralelas Factores que afectan a la fiabilidad. Procesamientos para calcular la fiabilidad. Consistencia interna. Acuerdo entre jueces. Test de velocidad y potencia. Consideraciones.

¿Qué debe tener un instrumento que mida bien en cualquier Ciencia? - Fiabilidad: que mida siempre lo mismo. Una báscula debe dar siempre la misma medida. - Validez: las inferencias sobre los atributos (rasgos) a partir de las observaciones medidas deben ser válidas. La teoría debe guiar la medida. - Protocolo de medida: se deben seguir las instrucciones para que el instrumento mida. -Rango de aplicación: Una báscula de cocina no es útil para pesar un coche.

1. EL MODELO DE LA TCT.

Las principales teorías que se han desarrollado para explicar las propiedades psicométricas se basa en test. Formulada por Charles E. Spearman (1904), psicólogo inglés que formula: -

-

TCT. Coeficiente de correlación por rangos. Teoría de la bifactorial de la Inteligencia (factor G y específicos). Es una teoría muy simple. En todos los modelos de vigentes de Inteligencia sigue el factor g utilizándose. El factor G es lo principal de la inteligencia humana. Desarrolló el Análisis Factorial.

Las principales teorías que se han desarrollado para explicar las propiedades psicométricas se basa en test.

Se compone de cinco supuestos. 

Primer supuesto: la puntuación observada (X) de una persona en una prueba es igual a la puntuación verdadera (V) más el error de la medida (E). X = V + E

A menor error mayor precisión de la medida. En Psicología hay error porque: -

No se da independencia si aplicamos varias veces una prueba a los mismos sujetos. No se pueden medir los rasgos directamente. Ej. No se puede ver la alegría, tristeza, etc. Se necesita inferir.

 -

Segundo supuesto: La puntuación verdadera será igual al valor esperado de la puntuación observada:

-

El valor esperado del error de medida es igual a cero:

-

Un errores son positivos y otros negativos.



Tercer supuesto: no hay relación entre la puntuación verdadera y el error:



Cuarto supuesto: No hay relación entre los errores de medida de un individuo en dos tests:

-

Existe un caso en el que estaría justificado establecer correlación entre los errores.



Quinto supuesto: No hay relación entre la puntuación verdadera de un test y el error de otro:

DEDUCCIONES. 



Primera: como E (Ei) = 0 , entonces E(Xi) = E (Vi) (El valor esperado de los errores es 0, de forma que el valor esperado de las X es igual al valor esperado de la puntuación verdadera). Segunda: La esperanza del error para una subpoblación con la misma puntuación verdadera será cero:



Tercera: debido a que

entonces



Cuarta: la covarianza entre X y V es igual a la varianza de V:

Con estas cuatro deducciones podemos obtener teóricamente: -

Índice de fiabilidad: la correlación entre X y V.

-

Coeficiente de fiabilidad: proporción de varianza de X explicada por V.

Toma valores entre

-

Proporción de varianza de los errores: la relación entre X y E.

Proporción de varianza explicada de X por E. Toma valores entre:

-

Coeficiente de fiabilidad:

-

A menor varianza error mayor fiabilidad:

2. CONCEPTO DE FIABILIDAD. Definición: hasta qué punto las conductas observadas reflejan con precisión el constructo (puntuación verdadera). [“proporción de la varianza de las puntuaciones del test que se debe a la varianza de las puntuaciones verdaderas”]. Consistencia: diferentes aplicaciones de una misma medida presentan: - Variaciones (error) - Consistencias (fiabilidad) Coeficiente de fiabilidad: proporción de varianza de X que es explicada por V.

3. MEDIDAS PARALELAS. Tests paralelos: se propusieron ante la imposibilidad de calcular empíricamente el coeficiente de fiabilidad. Definición: dos tests son paralelos cuando: -

Presentan la misma puntuación verdadera:

-

Las varianzas de los errores son iguales:

-

Consecuencia del paralelismo:

Factores que afectan a la fiabilidad 1. 2. 3. 4.

Variabilidad de la muestra Longitud del test Eliminar ítems problemáticos Mejorar la aplicación

Procedimientos para calcular la fiabilidad Modos de estimar el coeficiente de fiabilidad: 1. 2. 3. 4.

Formas paralelas Test-retest Aplicación única Fiabilidad interjueces

1. Formas paralelas Procedimiento: -

Construir dos formas paralelas: X y X´ Aplicar ambas formas a una muestra representativa Calcular la correlación entre ambas formas

Coeficiente: es una buena estimación de la fiabilidad si ambas formas son paralelas o equivalentes -

Permite estudiar si se repican los resultados con dos medidas paralelas

Problema: dificultad de conseguir dos medidas paralelas

2. Test-retest Procedimiento: -

Aplicar dos veces el mismo test a la misma muestra Calcular la correlación entre ambas aplicaciones

Coeficiente: es una buena estimación de la estabilidad temporal -

Comprueba si se obtienen las mismas medidas en diferentes momentos

Problemas: -

-

-

Periodos breves entre aplicaciones o Efecto de aprendizaje del test o Sobreestimación de la fiabilidad: mayor correlación entre medidas Periodos largos entre aplicaciones: o Cambio de las actitudes de los evaluados o Maduración: cambios a nivel madurativo o Infraestimación de la fiabilidad: menor correlación Periodos normales: entre dos semanas y dos meses

3. Aplicación única Procedimiento: -

Aplicar una sola vez un test a la misma muestra Dividir el test en partes equivalentes Calcular la correlación entre las partes del test

Coeficiente: es una buena estimación de la consistencia interna -

Hasta qué punto se obtiene lo mismo midiendo con diferentes partes de un test

Problemas: -

Dificultad en la división del test en partes iguales No se puede aplicar en test heterogéneos

4. Fiabilidad de los interjueces Procedimiento: -

Dos o más observadores evalúan la conducta de los sujetos Calcular el grado de acuerdo entre los jueces

Coeficiente: es una buena estimación del acuerdo entre evaluadores -

Hasta qué punto diferentes jueces estiman igual una conducta

Problema: -

Diferente criterio de los jueces al evaluar la conducta Hay que entrenar a los jueces

Consistencia interna Conceptualización: establece hasta qué punto se puede generalizar un conjunto especifico de ítems al dominio de contenidos -

Se emplea cuando se aplica una sola vez un test Requiere test homogéneos para poder dividirlos en dos partes semejantes Test de velocidad: no es adecuado, ya que la fiabilidad se sobreestima (hay muchos aciertos)

Métodos: -

-

División en dos mitades o Medidas paralelas: Spearman-Brown o Medidas equivalentes: Rulon y Guttman-Flanagan Covarianza entre ítems o Coeficiente Alpha de Cronbach (1951) o Coeficientes de Kuder-Richardson (1937) o Coeficientes lambda de Guttman (1945)

División en dos mitades -

Ítems pares-impares Según el nivel de dificultad de los ítems Formar dos partes aleatoriamente Según el contenido de los ítems

Cada forma de división obtiene diferentes valores de fiabilidad

Acuerdo entre jueces Utilidad: cuando dos o más jueces evalúan a un mismo grupo de sujetos. Se analiza el grado de acuerdo (coincidencia) entre los jueces Ejemplos: -

Ítems de respuesta abierta Escalas de observación

Estadísticos: -

Variables nominales y ordinales: Índice kappa de Cohen (1960) Variables continuas: o Correlación de Pearson o Coeficiente de concordancia o Coeficiente de correlación intra-clase

Test de velocidad y potencia Test de velocidad: formado por ítems fáciles y que cualquier sujeto puede contestar correctamente si no hubiera tiempo limite Test de potencia: formado por ítems difíciles y que no todos lo sujetos pueden contestar correctamente, aunque no haya tiempo limite La mayoría de los test no son de velocidad o potencia pura

Coeficiente de fiabilidad: En los Tests de velocidad no debe calcularse la fiabilidad mediante consistencia interna, si no con test-retest o formas paralelas En test de velocidad al acertarse casi todos los ítems con el procedimiento de consistencia interna la fiabilidad llega a ser casi perfecta sin que verdaderamente esa fiabilidad refleje una medida del rasgo Todas las respuestas son consistentes (todo el mundo acierta) pero puede que el test no mida lo que teóricamente mide

Problemas de la TCT:        

Los estadísticos del ítem dependen de la muestra con la que se calculan. Es decir, varían en cada muestra Los estadísticos del test dependen de la muestra Es difícil demostrar el paralelismo de las puntuaciones No se diferencia entre diferentes tipos de error: X=V+E La fiabilidad depende de los ítems que se empleen en el test La estimación de V depende de la muestra No proporciona un modelo teórico para las respuestas a los ítems Se asume que hay homocedasticidad de los errores en el rasgo...