Anahi Mastache. Evaluacion. El uso de las pruebas de seleccion multiple PDF

Preview

Summary

material para profesorado en ciencias jurídicas...

Description

Evaluación: el uso de las pruebas de selección múltiple Anahí Mastache1 Introducción En este texto me propongo hacer especial hincapié en el uso de las pruebas de selección de respuestas como uno de los instrumentos factibles de ser utilizados en la evaluación en las materias que componen el área de Derecho Internacional en las distintas Facultades. La idea de abordar esta temática para su presentación en un Taller en el Encuentro Nacional que se realizará en Córdoba los días 1 al 3 de octubre me la hizo llegar la Dra. Graciela Chalita, Profesora de Derecho Internacional Privado de la Universidad de Buenos Aires y Directora de la Sección Documentación, Metodología y Enseñanza del Derecho Internacional de la Asociación Argentina de Derecho Internacional. Agradezco a la Dra. Chalita no sólo su gentil invitación sino también su cuidadosa lectura de este texto. La justificación que me presentara la Dra. Chalita al proponerme este tema gira alrededor del poco uso de estos instrumentos por desconocimiento de sus posibilidades y limitaciones, pese a que resultan –a su juicio- sumamente útiles para evaluar algunos de los contenidos propuestos en los Programas de las asignaturas de Derecho Internacional. Ciertamente, coincido con sus apreciaciones sobre la utilidad de estas modalidades de evaluación para ser utilizadas en múltiples circunstancias, de manera independiente o en articulación con otras (combinando, por ejemplo, preguntas abiertas y de selección de respuestas). Las pruebas que exigen de los estudiantes elegir una respuesta entre un conjunto de respuestas posibles podrían ser empleadas con provecho para evaluar: •

Informaciones: conocimiento de Leyes, Tratados, Convenios, Convenciones.

•

Discriminación de conceptos dentro de un campo semántico dado

•

Relaciones entre conceptos, entre causas y consecuencias, o, en general, entre cualquier grupo de pares de cuestiones asociadas (tratados – países que lo firmaron; convenios- cuestiones que abarca; tipo de delito- modo de encararlo; organizaciones internacionales-propósitos).

•

Comprensión de textos, casos o situaciones: a partir de responder correctamente los ítems que refieran al mismo, puede constatarse si el estudiante comprende el encuadre jurídico de una situación dada, las acciones posibles que podrían encarar los distintos actores, las distintas leyes nacionales e internacionales involucradas, etcétera.

Este trabajo constituye un material de apoyo y anticipación de la actividad de octubre. El mismo trata de dar respuesta a un conjunto de preocupaciones e inquietudes vinculadas a un grupo particular de asignaturas del campo del Derecho. No obstante –y aun cuando la mayor parte de los ejemplos correspondan a contenidos  1

Doctora de la Universidad de Buenos Aires, área Educación. Profesora e investigadora de la Facultad de Filosofía y Letras (UBA).

1 

propios de estas asignaturas- esperamos que esta presentación pueda ser también de utilidad para los docentes de Derecho de otras materias.

El texto se compone básicamente de tres partes. Una primera sección más general, destinada a aclarar el concepto de evaluación y a presentar algunas cuestiones que consideramos importantes para tener en cuenta a la hora de evaluar –cualquiera sea el tipo de prueba elegida. En la segunda parte se presentan brevemente los distintos instrumentos de evaluación existentes y los criterios para su selección, y se consideran distintas maneras de analizar los resultados y de calificar a los estudiantes. La tercera parte se centra en las pruebas de selección de respuestas, haciendo especial referencia a los aspectos que permiten evaluar y a sus limitaciones, así como a las cuestiones que deben tenerse en cuenta en su construcción y aplicación.

PRIMERA PARTE: LA EVALUACIÓN ¿Qué evaluar? “La evaluación no es ni puede ser un apéndice de la enseñanza ni del aprendizaje; es parte de la enseñanza y del aprendizaje. En la medida en que un sujeto aprende, simultáneamente evalúa, discrimina, valora, critica, opina, razona, fundamenta, decide, enjuicia, opta… entre lo que considera que tiene un valor en sí y aquello que carece de él. Esta actitud evaluadora, que se aprende, es parte del proceso educativo que, como tal, es continuamente formativo.” (Álvarez Méndez, 1996) En el ámbito educativo, cuando se habla de “evaluación” lo más habitual es pensar que el “objeto” evaluado son los aprendizajes de los estudiantes. No obstante, y aun cuando en este texto nos centraremos en este aspecto, es importante recalcar que los aprendizajes de los alumnos no son lo único que puede y debe ser evaluado. Muchas otras cuestiones son evaluadas en distintos momentos y con distintos fines. Algunas de las más habituales son: •

• •

• • •



la institución educativa, a veces asociada con la evaluación de la calidad educativa de la institución, por ejemplo en los Programas de Autoevaluación Institucional, vinculados o no a las exigencias de la acreditación tal como plantea la CONEAU. proyectos específicos: un Programa de Formación y Desarrollo Docente, un Proyecto de Apoyo Académico para los estudiantes, etc. la organización de las cátedras: por ejemplo, al analizar su composición para decidir un llamado a concurso, o al evaluar los requerimientos de formación de sus integrantes. el desempeño docente, como cuando un Profesor debe decidir la continuidad de un docente interino el currículo, tal como sucede cuando se decide efectuar un cambio del plan de estudios el desarrollo de la clase, hecho habitual en muchos docentes que analizan lo sucedido en una clase (o en un conjunto de clases) para tomar decisiones sobre las clases futuras, sobre el tipo de estrategias docentes más adecuadas al grupo de estudiantes (por su número, conocimientos previos, grado de lectura, etc.), al tiempo disponible, a los contenidos que deben desarrollarse, 2

etc. De este modo, un profesor puede decidir no trabajar con un determinado caso porque presenta un grado de dificultad demasiado alto (o demasiado bajo) para sus estudiantes. Al centrarnos en la evaluación de uno de los aspectos –en este caso, el aprendizaje de los estudiantes- es necesario no olvidar que una buena evaluación de cualquier cuestión debe tener en cuenta su contexto. En consecuencia, al momento de evaluar el aprendizaje de los estudiantes es necesario considerar el desarrollo de las clases, la lógica institucional y la situación global en que acontece ese aprendizaje. Así, por ejemplo, el diseño de la evaluación podrá variar según la cantidad de clases que hayan podido dictarse, el grado de profundidad en que fue posible desarrollar los contenidos, etc.

Evaluar, calificar y acreditar: tres conceptos vinculados Evaluar significa “valuar, fijar valor a una cosa”. Cuando nos referimos a la evaluación de los aprendizajes de los estudiantes, estamos aludiendo al establecimiento de un juicio de valor sobre las conductas o respuestas que los alumnos han dado y que consideramos como “indicador” de lo aprendido. De este modo, podemos decir que el estudiante A ha aprendido determinado concepto jurídico (extradición, conciliación, mar territorial) porque ha sido capaz de enumerar sus principales características y/o de discriminarlo de conceptos ubicados en el mismo campo semántico; o que el alumno B ha aprendido la legislación que rige el espacio aéreo internacional, la nacionalidad de las personas o el asilo político porque recurrió a la norma adecuada en la resolución de un caso dado.

Antes de continuar conviene diferenciar el concepto de evaluación de los de calificación y acreditación, con los cuales suele confundirse. Calificar es ubicar en una escala, establecer una medición con relación a algún parámetro. Habitualmente, calificamos al poner una nota dentro de una determinada escala (normalmente de 0 a 10). Acreditar supone certificar que los estudiantes cuentan con los conocimientos exigidos por un determinado curso. Acreditar es, pues, promocionar, promover, aprobar. La acreditación puede ser el resultado de un acto único (propio de los exámenes libres) o consecuencia de un conjunto de evaluaciones y calificaciones (como en el sistema de promoción a partir de un determinado promedio en los exámenes parciales). En el sistema educativo formal, la acreditación constituye una exigencia institucional. En la Universidad, la acreditación de cada materia se vincula con la certificación profesional, en tanto la aprobación del conjunto de Cursos establecidos en el Plan de Estudios conlleva el otorgamiento de un título que habilita para el ejercicio profesional.

En consecuencia, es posible evaluar sin calificar ni acreditar; por ejemplo, cuando se corrige un borrador de un trabajo, o cuando se señalan errores en la resolución de un caso en un trabajo grupal en el aula. Se evalúa toda vez que el profesor efectúa un señalamiento sobre el desempeño o el trabajo de un estudiante, aun cuando ello no 3 

se traduzca en una calificación o nota. La evaluación puede estar asociada a la calificación (como en los parciales) o a la acreditación (claramente, en los finales), pero puede darse independientemente de ambas con el solo propósito de facilitar un aprendizaje o mejorar un desempeño. También suele vincularse la evaluación con el control, aun cuando el “control” no supone necesariamente un aspecto valorativo. No obstante, es indudable que el “poder de evaluar” otorga al docente una asimetría y un control sobre los estudiantes y su situación académica.

Dos modos básicos de pensar la evaluación La asociación habitual entre evaluación y calificación es propia del pensamiento didáctico tradicional basado en un paradigma cuantitativo. En este caso, evaluar se define como “medir” y se basa en algunos supuestos: que las respuestas del estudiante constituyen un indicador válido de su conocimiento o aprendizaje; que estas respuestas son hechos accesibles al evaluador, quien puede separar claramente los hechos de las valoraciones acerca de los mismos y, en consecuencia, puede ser imparcial. Desde otras perspectivas más cualitativas se cuestionan los supuestos previamente mencionados, lo cual lleva a re-definir la evaluación y a estar “advertidos” de sus dificultades y riesgos. Por un lado, el aprendizaje de los estudiantes no constituye un “hecho” al cual el docente pueda acceder directamente, sino que lo hace a través de su desempeño en una situación pautada (un trabajo práctico, un parcial, etc.); y estas respuestas no son un indicador incuestionable de su conocimiento, sino que las mismas se encuentran influidas por la situación (desde el estado de ánimo hasta las características físicas del ambiente). Es decir que la calificación de un desempeño dado puede distar de los conocimientos que efectivamente posee el estudiante. Esta afirmación constituye una “verdad” conocida por todos los docentes, quienes pueden reconocer que un alumno no rindió todo lo que podía porque se puso nervioso o que otro tuvo un desempeño superior a sus aprendizajes porque la “suerte” hizo que en el muestreo que supone todo examen le “tocaran” preguntas sólo de los temas que sabía. Por otro lado, es imposible ser un evaluador absolutamente imparcial. Esta constatación exige, como contraparte, una mayor especificación de los criterios de corrección (volveremos sobre esta idea más adelante).

Evaluación de procesos y de productos La evaluación del aprendizaje puede realizarse con dos grandes propósitos: el proceso de aprendizaje y el producto de ese proceso. La evaluación del proceso se propone analizar una situación para tomar decisiones que contribuyan a su mejora y, por consiguiente, constituye una instancia dentro de los procesos de enseñanza y de aprendizaje. Esta evaluación tiene principalmente en cuenta los procesos de construcción del conocimiento más que sus resultados y, habitualmente, no conlleva una nota, sino que da lugar a una retroalimentación al estudiante sobre sus logros y dificultades con el propósito de que encare las acciones 4 

necesarias para mejorar su desempeño. Casos típicos de evaluación del proceso son la corrección del borrador de un trabajo, la puesta en común de la resolución de un caso, las preguntas intercaladas en una exposición con el propósito de chequear la comprensión de lo explicado, etc. La evaluación de los productos del aprendizaje constituye, en cambio, una instancia final del proceso de aprendizaje que se propone controlar o verificar los resultados logrados por el estudiante. Normalmente, la evaluación de los productos del aprendizaje asume la forma de un examen y es calificada; incluso, muchas veces, incide en la acreditación.

Tipos de evaluaciones En la bibliografía especializada suelen reconocerse cuatro tipos de evaluaciones que cumplen propósitos diferentes: diagnóstica, formativa, sumativa y diferida o de seguimiento. Evaluación diagnóstica: suele administrarse al comienzo de un curso o de un tema con el propósito de precisar el nivel de conocimiento o el grado de desarrollo en que se encuentra un alumno o un curso antes del abordaje de un aprendizaje dado. La información que provee se utiliza para planificar las actividades de enseñanza y aprendizaje o para conformar grupos según su nivel. Puede también usarse como motivadora para los estudiantes, al proveerles información sobre sus limitaciones y posibilidades. Por ejemplo, antes de desarrollar las fuentes del Derecho Internacional, es posible evaluar qué saben los estudiantes al respecto. Evaluación formativa: se usa con el propósito de ayudar al crecimiento intelectual, afectivo, moral o social de un sujeto o grupo. Constituye un análisis de la producción o resultado y también del proceso seguido para llegar al mismo. En consecuencia, ofrece información útil tanto para que el estudiante encare las acciones necesarias para lograr los aprendizajes buscados como para que el docente pueda planificar actividades que faciliten dichos aprendizajes. En la práctica, se traduce en una actividad interactiva que aporta al estudiante informaciones pertinentes sobre su necesidad de corregir, profundizar, revisar o aclarar determinado concepto o tema. Toda evaluación realizada durante el proceso de aprendizaje que se utilice para decidir acciones futuras constituye una evaluación formativa. La misma puede o no ir acompañada de una nota o calificación. Evaluación sumativa, de resultados o de productos: permite conocer los resultados logrados y el nivel de logro. Se utiliza normalmente hacia el final de un proceso de aprendizaje con el propósito de calificar y/o acreditar. En general, los exámenes parciales y finales que se administran en la Universidad se ubican en esta categoría, en tanto buscan evaluar los conocimientos obtenidos con vistas a establecer una calificación. No obstante ello, los parciales pueden ser utilizados también como una instancia de aprendizaje para los estudiantes y adquirir, así, rasgos propios de la evaluación formativa. Evaluación diferida o de seguimiento: se usa tiempo después de finalizada la situación de enseñanza y aprendizaje con el propósito de evaluar el grado en que lo aprendido se mantiene en el tiempo. Su uso no es habitual en nuestro sistema educativo.

5 

En síntesis A modo de síntesis, transcribimos la conceptualización de evaluación que propone Gimeno Sacristán. “Evaluar hace referencia a cualquier proceso por medio del cual alguna o varias características de un alumno, de un grupo de estudiantes, de un ambiente educativo, de objetivos educativos, de materiales, profesores, programas, etc., reciben la atención del que evalúa, se analizan y se valoran sus características y condiciones en función de unos criterios o puntos de referencia para emitir un juicio que sea relevante para la educación.” En este sentido, la evaluación debe ser pensada como un proceso sistemático, continuo y planificado que acompaña a los procesos de enseñanza y aprendizaje para aportar información relevante que permita mejorar tanto los procesos de aprendizaje de los estudiantes, como la selección de contenidos o estrategias didácticas, con el propósito de contribuir al mejoramiento del rendimiento de los alumnos. De esta manera, la evaluación aporta información relevante para la calificación y la acreditación, aun cuando no se limite a ellas. Por otra parte, la evaluación tiene siempre una finalidad, no es un fin en sí misma, sino un medio para obtener información para la toma de decisiones; sea decisiones sobre la calificación o acreditación de los estudiantes, sea decisiones sobre las estrategias o metodologías de enseñanza.

La modalidad que adopte la evaluación, así como los instrumentos que se utilicen (a libro abierto, de respuesta estructurada, de selección múltiple), el tiempo disponible, las normas que rigen el proceso de evaluación y de corrección, deben ser anticipados a los estudiantes. Este acuerdo en el cual se explicitan las normas que regulan la evaluación se conoce como “contrato de evaluación” y forma parte del “contrato didáctico”. El contrato didáctico alude a los acuerdos sobre el encuadre general de trabajo: horarios, espacios, tipos de trabajos a realizar, derechos y obligaciones de profesores y estudiantes, etc. Ello supone que al comenzar el Curso, el docente haga saber al estudiante las distintas “normas” que regirán el cursado de la asignatura y su evaluación y calificación. La explicitación de estas reglas contribuye a dar razonabilidad y significatividad a la evaluación.

SEGUNDA PARTE: LOS INSTRUMENTOS DE EVALUACIÓN Y SU USO No existen instrumentos de evaluación “ideales”. Ninguno es mejor que otros de manera absoluta. Cada instrumento de evaluación resulta más o menos pertinente en relación con las cuestiones a evaluar, los sujetos a ser evaluados y la situación en que se produce la evaluación.

6 

Selección de instrumentos de evaluación Dado que los aprendizajes no pueden ser evaluados directamente, es necesario recurrir a instrumentos que permitan obtener información pertinente sobre el objeto evaluado. Los instrumentos de evaluación deben seleccionarse una vez que se ha definido qué se desea evaluar. Así, por ejemplo, se requieren diferentes instrumentos para evaluar el desempeño del estudiante en la atención de un cliente en la instancia de Práctica, la capacidad para encuadrar jurídicamente un caso presentado por escrito, el conocimiento de ciertas normas y leyes, etc. Cada uno de los instrumentos de evaluación es apropiado para evaluar determinados objetivos y resultados de aprendizaje e inapropiado para otros. Por consiguiente, al elegir un instrumento de evaluación, cabe preguntarse por su pertinencia. En otras palabras, la selección del instrumento de evaluación se realiza en un segundo momento, tras haber definido qué se quiere evaluar y con qué propósito. Analicemos brevemente este proceso.

Para poner en claro lo que se desea evaluar puede utilizarse una Tabla de especificaciones. La misma permite explicitar los contenidos que se espera que los estudiantes hayan aprendido y el nivel al cual se espera que lleguen. Además, como no todo lo que se incluye en las especificaciones tiene el mismo valor, suele establecerse en las celdas el peso relativo que tendrá cada aspecto, lo cual puede ponerse en porcentajes o asignando valor en una escala (por ejemplo: 1: muy importante, 2: medianamente importante, 3: poco importante). Nivel2 Contenido Fuentes del Derecho Internacional Personalidad Internac del Estado Espacios regulados por el DI Organizaciones Internacionales Las personas físicas y jurídicas en el DI

Conocer

Comprender

Aplicar

Analizar

Sintetizar

Evaluar

X (1) X (2) X (3) X (2) X (3)

Otra manera de especificar lo que se desea evaluar es a partir de la definición de los propósitos generales del curso. Esta modalidad es más genérica que la anterior, en tanto no apunta a un desagregado de contenidos y sus niveles de logro deseados, sino a cuestiones más complejas ...