Evaluacion DE Programas Sociales PDF

Preview

Summary

Resumen Briones. de programas sociales. 1: Naturaleza y de la En su corriente, el se utiliza para referirse al acto de juzgar o apreciar la importancia de un determinado objeto, o proceso en con ciertas funciones, criterios o valores que cumplirse En el desarrollo mismo de la evaluativa dirigida, en...

Description

Resumen Briones. Evaluación de programas sociales.

Capítulo 1: Naturaleza y Propósitos de la evaluación En su acepción corriente, el término evaluación se utiliza para referirse al acto de juzgar o apreciar la importancia de un determinado objeto, situación o proceso en relación con ciertas funciones, criterios o valores que deberían cumplirse En el desarrollo mismo de la investigación evaluativa dirigida, específicamente en los primeros momentos, en los que se evalúa exclusivamente el aprendizaje, es posible distinguir dos direcciones: 1) La evaluación concebida y practicada como medición 2) La evaluación definida y practicada como determinación de logros o resultados comparados con objetivos. Evaluación como Medición Equivale a un proceso de cuantificación que permite asignar números o puntajes a los objetos o personas evaluadas, lo que generó el desarrollo de múltiples técnicas cuantitativas de medición, cerciorándose de que los instrumentos utilizados cumpliesen con los criterios de validez y confiabilidad. Dentro de las desventajas de este enfoque se relaciona a que estrechó el campo de aplicación a aquellas propiedades que pudiesen ser medidas en puntajes; lo que deja de lado características importantes que no pueden ser medidas en puntajes, por lo que éstas se dejaron de lado considerándolas no relevantes. Otra desventaja consistió en limitar la medición a variables individuales, es decir a propiedades que se dan en personas, con lo que nos se tomaron en cuenta los aspectos de la estructura y funcionamiento de un programa. Evaluación como Determinación de Logos respecto a los Objetivos Determina los logros que alcanza un programa o curso de acción, en relación con los objetivos o metas del mismo, esto generó una serie de desventajas, ya que obligó a definir los objetivos en términos operacionales, medibles con la consiguiente pérdida de contenidos de aprendizaje que no pueden ser sometidos a esta forma de expresión cuantitativa. Además hizo que los términos de “evaluación” y “determinación de logros terminales” fuesen casi sinónimos, por el énfasis en l posible modificación final de la conducta la investigación evaluativa quedó confinada a analizar los resultados obtenidos. Las dos anteriores concepciones de evaluación expuestas arriba llevaron a privilegiar el uso de diseños experimentales para medir los efectos de recursos y metodologías en logro educativos de muy distinta naturaleza. Además, no hay dudas que tanto la definición como medición de variables, como el uso de objetivos operacionales, han sido superados desde el punto de vista conceptual y metodológico en los últimos años.

Una definición de trabajo “Entenderemos evaluación de un programa como un tipo de investigación que analiza la estructura, el funcionamiento y los resultados de un programa con el fin de proporcionar

información de la cual se deriven criterios útiles para la toma de decisiones en relación con su administración y desarrollo”. Es preciso tener en cuenta las siguientes especificaciones: 1. Que la evaluación sea una investigación significa que: a) debe existir una descripción del estado, situación o nivel de cada uno de los componentes de programa, especialmente en aquellos que constituyen foco de evaluación. b) Determinación de factores que faciliten o dificultes el funcionamiento del programa en cuanto a sus objetivos y la calidad de los mismos. c) Aplicación y desarrollo de esquemas explicativos o interpretativos referidos a las relaciones que se dan entre los factores y estados descritos o medidos en la evaluación. 2. Como investigación es conviene distinguir la evaluación de un mero ejercicio de juzgar subjetivamente la importancia o valor de un programa, sino que debe ser un proceso de análisis guiado por esquema conceptual adecuado al objeto de estudio, para así utilizar u conjunto de técnicas cualitativa y cuantitativas de evaluación para que sea más válido el contenido obtenido. 3. Es de naturaleza de la administración de un programa preguntarse si está trabajando bien o mal y por qué sucede esto. Esto significa que, en mayor o menor grado, la evaluación es una investigación explicativa. Estas preguntas obligan a estudiar la estructura, los recursos y el funcionamiento del programa como focos o áreas potenciales donde se ubican respuestas que dan cuenta de los resultados del programa. 4. La definición de evaluación proporcionada le asigna una finalidad práctica a la evaluación: la de proporcionar informaciones que ayuden a tomar decisiones en relación con la marcha general del programa o en relación con programas similares. Las características que conviene destacar de la evaluación como investigación aplicada son: a) La razón de ser de la evaluación es utilizar sus hallazgos, aplicar los resultados de la investigación evaluativa al programa. b) La investigación es también investigación interdisciplinaria que se apoya, según el caso, en la psicología, antropología, sociología, economía y otras ciencias, pero no es en sí misma una ciencia. c) En este proceso de investigación se establece una especial relación entre teoría y práctica de tal modo que más que la aplicación en abstracto de leyes y principios generales, se utilizan conceptos y experiencias específicas y apropiadas al problema o situación que se analiza. d) Otra característica que define a la investigación evaluativa como investigación aplicada es el límite que debe imponerse los evaluadores en la selección de información. Por lo ya dicho es claro que su cantidad y tipo se define en función directa de las áreas del programa sobre las cuales los administradores desean o deben actuar.

Propósitos de la evaluación Propósito principal: Proporcionar criterios para la toma de decisiones que relación con la estructura, el funcionamiento y el desarrollo del programa. Existen decisiones que tienen que ver con las operaciones diarias, ya sea en relación con los recursos utilizados, la metodología empleada, con el trato o interacción entre las personas o, en fin, con una más de las múltiples actividades que se desarrollan en los distintos nieles de programa. Los propósitos de la evaluación suelen ser en la práctica, de muy diferente índole e importancia, ya sea por la diversificación de toles, por el ambiente cambiante de las situaciones sobre las que se

actúa, las expectativas convergentes o divergentes del grupo técnico y las necesidades de información. Los propósitos que pueden perseguir en una investigación evaluativa son: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

Mejorar la efectividad cuantitativa del programa, es decir el logro de objetivos. Mejorar la calidad de los resultados, o sea, la efectividad cualitativa del programa. Aumentar la eficiencia interna del programa, o sea la relación entre insumos y resultados. Mejorar la eficiencia externa del programa o adecuación de resultados con objetivos externos. Someter a verificación la hipótesis que relaciona los componentes del programa con los resultados buscados. Redefinir la población objeto: reducirla, homogenizarla, etc. Modificar la estructura, el funcionamiento y la metodología. Tratar de cumplir las expectativas de la población objetivo del programa. Controlar la aparición de posibles prácticas o resultados no deseados. Tratar de homogeneizar los efectos, consecuencias e impactos del programa en diversos subgrupos de la población de referencia del programa.

Cualquiera sea el caso, estos propósitos surgen de algún indicio o sospecha de que algo anda mal en el programa. Estas indicaciones de sospecha, junto a otras fuentes de información permiten definir los objetivos de la evaluación y, en definitiva, a preparar el diseño metodológico que se empleará. Weiss (1975) señaló cuatro circunstancias en las cuales no valdría la pena realizar una evaluación 1. Cuando no hay nada que preguntar del programa 2. Cuando el programa carece de clara orientación 3. Cuando las personas que deberían saberlo no pueden ponerse de acuerdo en qué es lo que se está tratando de realizar en el programa. 4. Cuando no hay suficiente dinero ni personal lo bastante calificado para la evaluación, ya que es una tarea exigente que requiere de tiempo, dinero, imaginación, tenacidad y destreza. Es preciso señalar que las primeras tres circunstancias pueden surgir para impedir la realización de una evaluación. Por lo que Briones piensa que sí se debe hacer evaluación en las situaciones propuestas, precisamente para que los resultados ayuden a clarificar los objetivos de los programas y al mejoramiento de su estrategia.

Resistencias a la evaluación Existe diversas formas de oponerse a la evaluación, ya sea para impedir el estudio evaluativo o para disminuir la importancia que puedan tener sus hallazgos (Schuman, 1967), de tales razones el autor destaca las siguientes: 1. Los efectos del programa son a largo plazo, por lo tanto, las consecuencias no pueden medirse en el futuro inmediato. 2. Los efectos buscados son más bien de tipo generales que específicos. Por lo que no se puede utilizar un criterio único para evaluar el programa; por otro lado, aun cuando se utilizaran muchas medidas no se lograría llegar a las consecuencias complejas buscadas.

3. Los resultados con pequeños pero significativos; por lo mismo, no pueden ser medidos efectivamente ya que los instrumentos no son suficientemente sensitivos 4. Los efectos son sutiles y no hay posibilidades de usar instrumentos capaces de dar cuenta del cambio de las cualidades a las cuales se refiere el programa. Además, la medición perturbaría los procesos involucrados.

Niveles de Evaluación Lo desarrollado hasta ahora ha sido referirnos a estrategias de acción orientada a fines y que hemos denominado programas. Estos último en la práctica se diferencian bastante por su magnitud en términos de población atendida, distribución territorial, duración, etc. Reconocida esta dimensión de la evaluación, se pretende que al término programa pueda ser utilizado en la evaluación de las siguientes estructuras funcionales: 1. Sistemas y subsistemas institucionales (educación salud, agricultura, educación básica, vocacional, etc) 2. Organizaciones institucionales (escuela, hospitales, sindicatos, etc.) 3. Programas generales (ALFABETIZACIÓN, EDUCACION DE ADULTOS, ETC.) 4. Programas específicos (capacitación vocacional de la mujer campesina, drogadicción, etc.) Según el nivel del programa serán los diseños, tipos de información y técnicas de análisis que utilice la evaluación.

Capítulo 2: Tipos de Evaluación Por tipos de evaluación entendemos estudios evaluativos diferenciados según criterios funcionales, sin que ellos estén necesariamente determinados por algunos de los modelos que presentamos en el próximo capítulo u obliguen al uso de técnicas específicas de investigación.

Algunos tipos Evaluación intermedia- evaluación terminal La evaluación intermedia Busca información durante el desarrollo del programa con la finalidad de mejorarlos en los aspectos que sea necesario. Es una actividad de apoyo permanente que evalúa el desarrollo y comportamiento de los diversos componentes del programa. Una tarea principal dentro de esta evaluación consiste en establecer los factores que dificultan la marcha del programa o que la facilitan. Si bien la evaluación intermedia considera los resultados que va alcanzando el programa, su característica principal consiste en ser una evaluación de los procesos de desarrollo y aplicación de la metodología del programa. La evaluación terminal se realiza después que el programa ha terminado y se hace con el fin de establecer cuál fue su funcionamiento y cuáles son los resultados finales estimados. La información recogida permite formular juicios evaluativos sobre el programa y derivar conclusiones que pueden ser utilizadas en la puesta en marcha de programas similares.

La evaluación intermedia tiende a ser descriptiva y la evaluación terminal busca relaciones entre los componentes y variables del programa como también explicaciones de sus modalidades de funcionamiento y de los niveles y calidades de los resultados obtenidos

Evaluación formativa- Evaluación sumativa La evaluación formativa se realiza durante el proceso de elaboración del currículo y tiene como propósito proporcionar información de: retroalimentación que pueda utilizarse en el mejoramiento del mismo. La evaluación sumativa se realiza cuando el producto instruccional (programas, textos.) está elaborado con la finalidad de establecer su utilización en el aula, sus ventajas sobre otros materiales, los costos para su extensión, etc. Evaluaciones descriptivas y explicativas En general los modelos presentados en la anterior sección hacen descripciones de los distintos focos de evaluación o del programa como totalidad. Pero esta función es de las evaluaciones descriptivas, objetivo que se manifiesta en las técnicas de análisis de los datos que se utilizan: porcentajes globales o referidos a subgrupos de la población, medios aritméticos, etc. Todo sin prejuicio de descripciones de naturaleza cualitativa. Las evaluaciones explicativas utilizan esquemas teóricos para tratar de comprender situaciones de éxito y fracaso, sea con referencia a los procesos o a los objetivos instrumentales y finales del programa. Estas explicaciones están constituidas por generalizaciones incorporadas al cuerpo de las disciplinas en las cuales se apoya el programa o bien se formulan hipóteis explicativas ad-hoc que las nuevas evaluaciones podrán confirmar o desconfirmar. Por otro lado, las evaluaciones explicativas, en algunas ocasiones, parten de hipótesis que vinculan distintas características del programa por ejemplo: se supone que en el adulto alfabetizado más que en el adulto analfabeto, los proyectos para el porvenir de los hijos son más ambiciosos. Suchman dice que en la evaluación explicativa es necesario examinar la fundamentación racional que consiste en concebir una secuencia causal en la cual nuestro programa viene a ser sólo uno de muchas acciones o eventos posibles que pueden producir el efecto deseado. El que a su vez también tendrá otros efectos, lo que se puede ver en el siguiente diagrama:

Evaluación de Objetivos internos- Evaluación de objetivos externos Objetivos internos son situaciones a alcanzar en la población sobre la cual actúa directamente el programa, como nuevos conocimientos, valoraciones, etc. Por lo que la evaluación de objetivos internos se refiere al proceso destinado a verificar el logro de tales objetivos y la relación con la organización del programa, la calidad de los instructores, los recursos utilizados, etc. Si esta evaluación se realiza antes de la terminación del programa viene a ser similar a la evaluación intermedia. Los objetivos externos son situaciones o estados deseables de alcanzar fuera del ámbito del programa, cuando éste ya haya finalizado, sea en personas que estuvieron sometidos a él o en persona a quienes se transfirieron los resultados buscados. Por lo general estos resultados son de naturaleza económico, social y cultural, se espera que sean cumplidos en la comunidad o en la sociedad global. La evaluación de estos objetivos se preocupa del estudio de los factores que dan cuenta de sus distintas modalidades de cumplimiento y de los factores que explican el éxito o fracaso del mismo. Evaluación externa La evaluación realizada por personas externas asegura una mayor objetividad en cuento a la apreciación del funcionamiento y resultados del programa, comparad con la evaluación hecha por personas involucradas en él, ya que pueden dejar de ver aspectos que desde otra mirada son considerados importantes. Sin embargo, es difícil que una persona externa comprenda los objetivos, la metodología, la población, etc. Esto produce un conflicto potencial, ya que es difícil compatibilizar los puntos de vista de un evaluador externo con los puntos de vista del personal del programa. Por lo tanto, parece más conveniente que la evaluación sea realizada por personas que forman parte del equipo técnico o de la administración del programa. Pero en ciertos programas la solución es integrar un equipo mixto....