CÁtedra A Resumen Segundo Parcial Psicometricas PDF

Preview

Summary

Este resumen abarca temas que se toman en el segundo parcial de la cátedra A de la materia tecnicas psicometricas, es corto, entendible y tiene todos los temas que entran. Muy util y recomendable!...

Description

TÉCNICAS PSICOMÉTRICAS CÁTEDRA "A" SEGUNDO PARCIAL UNIDAD 5

Capítulo 5: Validez Depuración de la definición de Validez La definición acostumbrada de validez es "el grado en que una prueba mide lo que pretende medir". Sin embargo vamos a refinar esta idea en dos formas. En primer lugar, es impreciso referirse a la validez de una prueba, resulta necesario establecer la validez de la puntuación de una prueba, cuando ésta se emplea para un determinado fin. De manera aún más precisa, debe hacerse referencia a la "interpretación de una puntuación para un determinado fin o uso". No es posible definir en abstracto la validez de la puntuación de una prueba, debe hacerse en función de un determinado uso. Por lo tanto, no hay que plantearse preguntas como: "¿Es válida la prueba de Rorschach?", o "¿Es válida la Scholastic Assessment Test (SAT; Prueba de Evaluación Académica). Por el contrario, es necesario formular preguntas como: "¿Es válido el Índice de Depresión del Rorschach, para identificar la gravedad de la depresión?", o "'La puntuación de la prueba Verbal del SAT es válida para pronosticar el promedio de calificación al final del primer año en la universidad?" En segundo lugar, se percibe que la validez es una cuestión de grado; no es un asunto de todo o nada. es decir, acá deberíamos mejorar un poco más los interrogantes anteriores como por ejemplo: "¿En qué grado es válido el Índice de Depresión del Rorschach para determinar la gravedad de la depresión?, o bien, "¿En qué medida es válida la puntuación en la prueba Verbal del SAT, para pronosticar la puntuación promedio de un estudiante de primer año en la universidad?"

Subrepresentación del constructo y varianza irrelevante del constructo Supóngase que tenemos por un lado el constructo que se desea medir y la prueba que se pretende que mida ese constructo. Puede ocurrir que la prueba no mida todo el constructo de interés, todos aquellos aspectos del constructo que no pueden ser medidos por la prueba se denomina "subrepresentación del constructo", y por otra parte la prueba puede calcular características diferentes a las deseadas y esto se denomina "varianza irrelevante del constructo". Por ejemplo esto suele pasar en las pruebas de autoinforme donde las personas pueden reflejar una cierta tendencia a dar respuesta socialmente deseables, ya sea de manera inconsciente o consciente, esto no es lo que se quiere medir. Este aspecto de las puntuaciones constituye la varianza irrelevante del constructo. A continuación un ejemplo de una superposición geométrica entre la prueba y el constructo que se pretende medir

2018

Ahora imagínese una prueba de razonamiento matemático y puede suceder que las consignas exigen un nivel muy elevado de capacidad de lectura y no se desea evaluar la lectura. Esa parte de las puntuaciones de la prueba, determinada por la capacidad de lectura y no por la de razonamiento matemático constituye la varianza irrelevante del constructo y para ser vulgar, supongamos que dentro del constructo se encuentren las variables suma, resta, multiplicación y división y si no hay preguntas de división, entonces son aspectos de la "subrepresentación del constructo" es decir, aspectos del constructo que no han sido evaluados. Para citar a la APA (1999) y termina la idea: "La subrepresentación del constructo alude, en términos de grado, a que una prueba no capta aspectos importantes del constructo [...] La varianza irrelevante del constructo se refiere al grado de influencia que los procesos ajenos al constructo buscado ejercen en las puntuaciones de la prueba..."

El aspecto de la VALIDEZ APARENTE: Cuando los psicólogos aluden a la validez de una prueba, se refieren a cierta demostración empírica de que una prueba mide lo que pretende medir y, de manera más concreta, a que las puntuaciones de la prueba se interpretan en forma significativa para un determinado fin. La validez aparente señala el hecho de que una prueba "parece" medir su constructo meta. Una prueba puede ser atractiva y decepcionante. La validez aparente nunca sustituirá a la validez empírica, no es posible tan sólo ver una prueba y saber si tiene algún grado de validez; no obstante, la validez aparente puede ser de utilidad. Si dos pruebas contienen una validez establecida en forma empírica, es preferible utilizar la que tiene una mejor validez aparente.

2018

VALIDEZ DE CONTENIDO: La validez de contenido tiene que ver con la relación entre el contenido de una prueba y cierto campo de conocimiento o comportamiento bien definido. Este tipo de validez tiene dos aplicaciones primordiales: las pruebas de aprovechamiento educativo y las laborales. Lo importante aquí es determinar el grado de correspondencia entre el contenido de una prueba y el contenido del ámbito educativo o laboral de interés

Aplicación a las Pruebas de Aprovechamiento: La validez de contenido se considera el tipo de validez más importante en las pruebas de aprovechamiento. El proceso comienza con la definición cuidadosa del contenido que se abarcará, lo cual genera un cuadro o programa de especificaciones. En muchos casos un área de contenido se representa mediante un cuadro bidireccional de especificaciones. El esquema mejor conocido para representar los procesos se conoce como taxonomía de Bloom, que consta de tres taxonomías o esquemas de clasificación: en los ámbitos cognitivo, afectivo y psicomotor Después de preparar un cuadro de especificaciones para un área de contenido, se fija la validez de contenido de una prueba haciendo que corresponda el contenido de la prueba con el cuadro de especificaciones; esto se realiza reactivo por reactivo. Este análisis debe mostrar: a) las áreas de contenido que no abarca la prueba y b) los reactivos de la prueba que no corresponden a las especificaciones de contenido. Estas dos áreas corresponden estrechamente a las nociones de subrepresentación del constructo y la varianza irrelevante del constructo Siempre la lógica es preparar los reactivos de la prueba para que correspondan al esquema de contenido.

Validez Instruccional: Una aplicación especial de la validez de contenido es la noción de validez instruccional, conocida también como validez curricular. Si bien la validez de contenido motiva la pregunta de si el contenido de una prueba corresponde a un conjunto de contenido debidamente definido, la validez instruccional, plantea la interrogante de si el contenido se ha enseñado en realidad. En el caso de una prueba que contara con una validez educativa, debe haber evidencias de que el contenido se abarcó de manera adecuada en un programa instruccional; en ocasiones se lo suele denominar "oportunidad para aprender" Este concepto se aplica sobre todo a las pruebas de aprovechamiento educativo. Pensemos por ejemplo, en las raíces cuadradas, es probable que figure en el plan de estudios de la escuela y en el libro de matemáticas que se emplea en la escuela. Sin embargo, puede suceder que ninguno de los maestros cubre nunca las raíces cuadradas en clase o en las tareas para hacer en casa. Entonces estos reactivos carecen de una buena validez educativa, no hubo "oportunidad de aprender" este tema. En efecto, la noción de validez instruccional se relaciona con lo que en realidad se enseña y no con lo que se supone que debe enseñarse

2018

Aplicación a las Pruebas de Empleo: Las nociones esenciales son las mismas que en las pruebas de aprovechamiento educativas, nada más que en las pruebas de empleo, el campo de contenido consiste en una lista de los conocimientos y las habilidades necesarias que se requieren para un determinado puesto laboral. El proceso de elaboración de dicha lista suele llamarse "análisis del puesto" Aunque hay muchas semejanzas en la aplicación de la validez de contenido con las pruebas de aprovechamiento y de empleo, existen dos diferencias interesantes: 1) En las pruebas de aprovechamiento, documentos impresos como los libros o las guías curriculares, suelen servir como base para las especificaciones de contenido. En cuanto a las pruebas de empleo, muy a menudo grupos de expertos elaboran las especificaciones 2) En las pruebas de aprovechamiento, pocas veces se utiliza una cifra de porcentaje de acuerdo. En cuanto a las pruebas de empleo, existe una metodología para expresar el porcentaje de contenido de la prueba que un grupo de expertos juzgó esencial para el desempeño laboral, lo que se denomina "razón de validez de contenido"

Validez de Contenido en otros ámbitos: Como ya se indicó, las principales aplicaciones de la validez de contenido se dan en los ámbitos de las pruebas de aprovechamiento educativas y las pruebas de empleo. Su uso en otros ámbitos como inteligencia y personalidad por ejemplo está limitado porque en general no tienen una especificación clara de los campos cubiertos y como usamos la terminología de los denominados "constructos" justamente su definición no está consensuada y el término alude a que se construye deliberadamente para definir al mismo, es decir, un constructo es algo de lo que se sabe que existe, pero cuya definición es difícil o controvertida, entonces, ¿Cuál es el esquema de contenido para la inteligencia o la extroversión? Aunque es posible tener definiciones simples de estos constructos, resulta difícil especificar un esquema detallado de lo que abarcan; por tanto, la validez de contenido no se aplica de manera perfecta a ellos.

Problemas con la Validez de Contenido: Dos fuentes de complicaciones: 1) Un claro problema es obtener una especificación clara del campo de contenido, con frecuencia resulta dificultoso 2) ¿Qué tan bien los reactivos de la prueba cubren los elementos de las especificaciones de contenido? Por ejemplo supóngase la categoría "hechos básicos de la multiplicación". ¿Todos estos ítems miden igual de bien esa variable? ¿Son todos apropiados?. Tal vez no jaja XD

2018

VALIDEZ RELACIONADA CON EL CRITERIO: La característica esencial de este tipo de evidencia consiste en establecer el vínculo entre el desempeño en la prueba y en algún otro criterio que se toma como indicador importante del constructo de interés Los dos contextos generales para la validez relacionada con el criterio son la validez predictiva y la validez concurrente. En la validez predictiva la prueba busca pronosticar la condición en algún criterio a la que se llegará en el futuro. Por ejemplo, en una prueba de ingreso a la universidad, que se lleva a cabo en el último año del bachillerato, se aplica para pronosticar el promedio de calificaciones al final del primer año en la universidad. O bien, se recurre a ella en un inventario de personalidad para pronosticar la probabilidad de intento de suicidio en algún momento futuro En la validez concurrente se revisa la concordancia entre el desempeño en la prueba y la condición actual en alguna otra variable. Por ejemplo, para determinar la relación entre el rendimiento en una prueba de aprovechamiento estandarizada y una elaborada por el maestro, donde ambas se administran casi al mismo tiempo. O para precisar el nexo entre la puntuación en una prueba de depresión y las calificaciones clínicas del nivel de depresión actual. En rigor, la diferencia entre la validez predictiva y la concurrente es de tiempo para la variable criterio. Desde todas las demás perspectivas, los dos conceptos son iguales Los tres empleos más comunes de la validez relacionada con el criterio suponen el uso de: a) Un criterio externo y realista que defina el constructo de interés b) Grupos de contraste c) Correlaciones con otras pruebas En esencia, estos 3 modelos se reducen a lo mismo, aunque poseen algunas diferencias prácticas

a) Criterio externo y realista: La validez de la prueba se expresa como coeficiente de correlación; con mucha frecuencia se utiliza el conocido coeficiente de correlación de Pearson, aunque pueden utilizarse otros. Cuando el coeficiente de correlación se usa de esta forma, se denomina coeficiente de validez. Debe tenerse en cuenta el concepto de error estándar, recuerden distinguir 3 tipos de error estándar: el error estándar de la media; utilizado con relación a las variabilidad del muestreo; el error estándar de medición; utilizado con la confiabilidad, y el error estándar de estimación (este nos interesa más en este punto)

2018

b) Grupos de contraste: Aquí, el criterio es la pertenencia al grupo, se quiere demostrar que la prueba diferencia a un grupo de otro Ejemplo1: El grupo A cuenta con 50 individuos a los que se les diagnosticó esquizofrenia con base en entrevistas exhaustivas con tres clínicos independientes. El grupo B incluye 50 individuos sin antecedentes de problemas psicológicos importantes y de quienes se sabe tienen un funcionamiento normal en su familia y entorno laboral. Se administra un inventario de personalidad a los 100 individuos. La idea es demostrar que la prueba distingue con claridad entre los dos grupos

c) Correlaciones con otras pruebas: Este tercer método consiste en demostrar la correlación entre la prueba que se validará y algún otro instrumento que se sabe o supone que es un indicador válido del constructo de interés, es decir la idea es recurrir a otra prueba para establecer la validez relacionada con el criterio. La correlación (por lo común de Pearson) entre la prueba que se intenta validar y la prueba criterio (otra prueba que mida el mismo constructo o relacionado). La mecánica y la correlación es la misma que la descrita en cuanto al uso de un criterio externo y realista

VALIDEZ CONVERGENTE Y DISCRIMINANTE: Dos conceptos útiles a tomarse en cuenta en la validez relacionada con el criterio, son la validez convergente y la discriminante. La validez convergente consiste en la correlación un tanto elevada entre la prueba y algún criterio que se considera que mide el mismo constructo que la prueba. Por ejemplo, para establecer la validez de una prueba de depresión, tal vez se desee demostrar que ésta tiene una correlación elevada con otra prueba, de la cual se sabe que es un buen indicador de depresión. La validez discriminante por el contrario la lógica es a la inversa, es decir conseguir una correlación relativamente baja con otra prueba pero que mida un constructo distinto Dice nuestra amiga la APA (1999): "Las relaciones entre las puntuaciones de la prueba y otros indicadores ideados para evaluar constructos similares, ofrecen evidencias convergentes, en tanto que las relaciones entre las puntuaciones de una prueba y los indicadores supuestamente de constructos diferentes ofrecen evidencia discriminante" Estos estudios de validez convergente-discriminante se utilizan preferentemente en inventarios de personalidad y no así en pruebas de capacidad y desempeño Una aplicación especial es la análisis de la Matriz Multirrasgo-Multimétodo

2018

Hasta el momento se ha hecho referencia a la validez relacionada con el criterio como el vínculo entre una sola prueba y un criterio, pero en algunos casos es posible que se desee utilizar varias pruebas para pronosticar la condición en un criterio. El método usual para abordar esta situación es la correlación múltiple (Análisis de Correlación Múltiple), técnica que sirve para expresar la relación entre una variable (el criterio) y la combinación óptima de otras dos o más variables (en este caso, varias pruebas). Por ejemplo, es posible que se intente pronosticar el promedio de calificaciones de los estudiantes de primer año en la universidad, a partir de la combinación de una prueba de ingreso a ésta, un rango de bachillerato y una prueba de motivación académica. El truco radica en obtener las ponderaciones óptimas de las otras variables, para maximizar la correlación con el criterio y la combinación de pruebas. Los procedimientos de correlación múltiple tienen principalmente dos finalidades: La primera es muy obvia, consiste en generar la mejor predicción posible de una variable dependiente, como sería el buen desempeño laboral o académico. La segunda finalidad radica en entender en términos teóricos qué variables contribuyen de manera eficaz a la predicción de una variable dependiente y cuáles son redundantes. El coeficiente de correlación múltiple se representa con una R (en mayúscula), se interpreta igual que la r de Pearson La correlación múltiple es una técnica crucial para determinar la validez incremental, ésta tiene que ver con cuánta información nueva y única aporta una prueba. Siempre se intenta determinar cuánta información nueva ofrece una prueba o procedimiento.

Comparación entre predicción estadística y clínica Se han realizado numerosos estudios que emplean diversos diseños y se ha concluido que las predicciones estadísticas al menos igualan y por común superan a los juicios clínicos Este hallazgo estremece a los clínicos y, por otra parte, aturde a quienes se dedican a la estadística. Meehl fue el primero en documentar la superioridad del pronóstico estadístico sobre el clínico en diversos estudios; otros informes confirman ampliamente el resultado. También existen situaciones en las que el juicio clínico orientado con firmeza por fórmulas estadísticas, resulta mejor que las fórmulas solas

2018

TEORÍA DE LA DECISIÓN: CONCEPTOS Y TÉRMINOS FUNDAMENTALES ACIERTOS, FALSOS POSITIVOS Y FALSOS NEGATIVOS: Acierto Positivo: Diagnosticar/Predecir que SI y en la situación real (Criterio) SI Superan las puntuaciones de corte de la prueba y aciertan en el criterio Acierto Negativo: Diagnosticar/Predecir que NO y en la situación real (Criterio) NO Se ubican por debajo de una puntuación de corte de la prueba y fallan en el criterio Falso Positivo: Diagnosticar/Predecir que SI y en la situación real (Criterio) NO Superan las puntuaciones de corte de la prueba, pero fallan en el criterio Falso Negativo: Diagnosticar/Predecir que NO y en la situación real (Criterio) SI Se ubican por debajo de la puntuación de corte de la prueba, pero que aciertan en el criterio

SELECTIVIDAD Y ESPECIFICIDAD: La selectividad de la prueba es la capacidad del instrumento para identificar al grupo criterio La especificidad de la prueba es la capacidad del instrumento para identificar al grupo contraste Para dejarlo clarísimo con el agua de una montaña jaja voy a poner ejemplos graciosos: Si un test de DEMENCIA es ALTO en selectividad y te diagnóstica POSITIVO, estás al horno! jaja es decir, tenés ALTAS CHANCES de efectivamente tener demencia (acierto positivo), en cambio si un test fuera bajo en selectividad y te diagnosticaran demencia, tal vez no la tengas, es decir, es posible que el diagnóstico falle (falso positivo) Si un test de DEMENCIA es ALTO en especificidad y te diagnóstica NEGATIVO, entonces safaste! jaja es decir, tenés ALTAS CHANCES de efectivamente NO tener demencia (acierto negativo), en cambio si un test fuera bajo en especificidad y te diagnosticaran demencia, tal vez no la tengas, el diagnóstico, puede fallar (falso negativo) En general, cuanto mayor sea el grado de separación entre los grupos, mejor serán tanto la selectividad como la especificidad, es decir, cuanto mejor discrimine la prueba entre los grupos, mejor será todo

2018

VALIDEZ DE CONSTRUCTO: Este tipo de validez, es en principio, la más difícil de comprender; básicamente se la describe de la siguiente manera: Una prueba intenta medir cierto constructo, éste puede no tener un conjunto de contenido muy bien definido o un criterio externo. La validez de constructo abarca todos los métodos, de hecho, es factible pensar en esta validez como algo que incluye la validez de contenido y la validez relacionada con el criterio. Cualquier evidencia que sustenten, en forma verosímil, la proposición de que la prueba mide su constructo meta, es pertinente a este tipo de validez

ESTRUCTURA INTERNA: Esta Estructura Interna la podemos dividir en dos subcategorías: a) la consistencia interna y b) en análisis factorial

Consistencia Interna: Un grado elevado de consistencia interna, por ejemplo, un elevado coeficiente KR-20 o alfa, denota que la prueba mide algo de manera consistente. Por tanto, la consistencia interna elevada sustenta la afirmación de que una prueba mide UN DETERMINADO...