Esta sección es una adaptación del artículo “Marco de Trabajo Recomendado para la Evaluación de Programas en la Práctica de la Salud Pública”, por Bobby Milstein, Scott Wetterhall, y el Grupo de Trabajo de Evaluación CDC (Ver el apartado recursos al final de esta sección)
-
¿Por qué evaluar los programas de salud y desarrollo comunal?
-
¿Cómo puede usted evaluar un programa específico?
-
¿Cuáles son algunos estándares para la “buena” evaluación de programas?
-
Aplicación del marco de trabajo: Llevar a cabo evaluaciones óptimas
Alrededor del mundo, existen muchos programas e intervenciones diseñadas para mejorar las condiciones en comunidades locales. Las comunidades se unen para reducir el nivel de violencia que existe, para trabajar por un lugar seguro para vivir y accesible para todos, o para ayudar a que más estudiantes tengan éxito en la escuela, por dar unos cuantos ejemplos.
Pero ¿cómo sabemos si estos programas están realmente funcionando? Si no son efectivos, e incluso si lo son, ¿cómo podemos perfeccionarlos para que se desempeñen mejor en las comunidades locales? Y finalmente, ¿cómo puede una organización tomar decisiones inteligentes sobre cuáles programas prometedores funcionarán mejor en su comunidad?
A lo largo de los años anteriores, ha existido una creciente tendencia hacia el mejor uso de la evaluación para entender y mejorar la práctica. El uso sistemático de la evaluación ha resuelto muchos problemas y ha ayudado a incontables organizaciones comunales a llevar a cabo sus funciones de una mejor manera.
A pesar de un aumento en el entendimiento de la necesidad de – y el uso de – la evaluación, ha hecho falta un marco de trabajo básico y convenido. En 1997, científicos de los Centros de Control y Prevención de Enfermedades de Estados Unidos (CDC por sus siglas en inglés) reconocieron la necesidad de desarrollar dicho marco de trabajo. Como resultado de ello, el CDC ensambló un Grupo de Trabajo de Evaluación compuesto de expertos en los campos de salud pública y evaluación. A los miembros se les pidió desarrollar un marco de trabajo que resumiera y organizara los elementos básicos de la evaluación de programas. Esta sección de la Caja de Herramientas Comunitarias describe el marco de trabajo resultante de los esfuerzos de este Grupo de Trabajo.
Específicamente, en esta sección:
- Discutiremos las ventajas de evaluar programas específicos.
- Explicaremos como evaluar un programa específico.
- Ofreceremos estándares para la “buena” evaluación.
- Discutiremos cómo su grupo puede aplicar el marco de trabajo, y por lo tanto cómo los grupos pueden llevar a cabo evaluaciones óptimas.
Sin embargo, antes de empezar nos gustaría ofrecer algunas definiciones de términos que emplearemos a lo largo de esta sección.
Por evaluación nos referimos a la investigación sistemática del mérito, valor o significado de un objeto o esfuerzo. Las prácticas de evaluación han cambiado dramáticamente durante las tres últimas décadas – nuevos métodos y enfoques han sido desarrollados y ahora son empleadas para proyectos y audiencias cada vez más diversos.
A lo largo de esta sección, el término programa es utilizado para describir el objeto o esfuerzo que está siendo evaluado. Puede ser aplicado a cualquier acción que tenga como meta mejorar situaciones de comunidades completas, de sectores específicos de éstas (e.g. escuelas, lugares de trabajo), o de subgrupos (e.g. jóvenes, personas víctimas de violencia o con VIH /SIDA). Esta definición es muy amplia.
Ejemplos de diferentes tipos de programas son:
- Intervenciones de servicios directos (e.g., un programa que ofrece desayuno gratis para mejorar la nutrición de los niños en las escuelas)
- Esfuerzos de movilización de la comunidad (e.g., organizar a la comunidad para que no compren o consuman uvas de California para así mejorar el bienestar económico de los granjeros locales)
- Investigar iniciativas (e.g., un esfuerzo para determinar si pueden reducirse las desigualdades étnicas en los servicios de salud)
- Sistemas de vigilancia (e.g., determinar si la detección temprana de niños listos para la escuela mejora su desempeño académico)
- Trabajo de soporte de esfuerzos (e.g. una campaña para influenciar a los legisladores estatales a pasar leyes acerca del control del tabaco)
- Campañas de mercadeo social (e.g., una campaña en el Tercer Mundo que inste a las madres a alimentar a sus bebés con leche materna para reducir la mortalidad infantil)
- Proyectos de construcción de infraestructura (e.g., un programa para desarrollar la capacidad de las agencias estatales para apoyar las iniciativas de desarrollo comunal)
- Programas de entrenamiento (e.g., un programa de entrenamiento laboral para reducir el desempleo en vecindarios urbanos)
- Sistemas administrativos (e.g., un programa de incentivos para mejorar la eficiencia de los servicios de salud)
Evaluación de programas – el tipo de evaluación discutida en esta sección – es una práctica organizacional esencial para todo tipo de trabajos relacionados con salud comunitaria y desarrollo de la comunidad. Es una manera de evaluar las actividades y proyectos específicos en los cuales los grupos de la comunidad pueden participar, en vez de evaluar una organización completa o una iniciativa comunal más amplia.
El término interesados se refiere a aquellos que se preocupan por el programa o esfuerzo. Estos pueden incluir a los presuntos beneficiados (por ejemplo, niños y sus padres o encargados), a aquellos con una influencia particular (por ejemplo, oficiales electos o designados), y a aquellos que podrían apoyar el esfuerzo (i.e. aliados potenciales) o que se oponen a él (por ejemplo, oponentes potenciales). Algunas preguntas clave a la hora de pensar en interesados son: ¿A quién le interesa? ¿En qué exactamente están interesados?
Esta sección presenta un marco de trabajo que promueve un entendimiento general de la evaluación de programas. La meta general es hacer más fácil el evaluar sus esfuerzos a todos aquellos involucrados en trabajos de salud y desarrollo comunal.
¿Por qué evaluar los programas de salud y desarrollo comunales?
El tipo de evaluación al que nos referimos en esta sección puede ser parte de las operaciones que todos los días lleva a cabo un programa. Hacemos énfasis en la evaluación práctica y en marcha que involucra al personal del programa, a los miembros de la comunidad y a otros interesados, no solamente a expertos en evaluación. Este tipo de evaluación ofrece muchas ventajas para los profesionales del desarrollo y la salud de la comunidad.
Por ejemplo, complementa la administración de los programas ya que:
- Ayuda a aclarar los planes del programa
- Mejora la comunicación entre socios/compañeros
- Recolecta la información necesaria para mejorar y hacerse responsable de la efectividad del programa
Es importante recordar también que la evaluación no es una actividad nueva para aquellos de nosotros que trabajamos para mejorar nuestras comunidades. De hecho, evaluamos el mérito de nuestro trabajo todo el tiempo cuando hacemos preguntas, consultamos a nuestros socios, elaboramos juicios basados en la respuesta a nuestros esfuerzos y luego utilizamos dichos juicios para mejorar nuestro trabajo. Cuando los riesgos son pocos, este tipo de evaluación informal puede ser suficiente. Sin embargo, cuando se elevan los riesgos – cuando una cantidad considerable de tiempo y dinero es invertida, o cuando mucha gente puede ser afectada – aquí es cuando tiene sentido para su organización el emplear procedimientos de evaluación que sean más formales, visibles y justificables.
¿Cómo puede usted evaluar un programa específico?
Antes de que su organización inicie la evaluación de un programa, su grupo debe tener muy claras las respuestas a las siguientes preguntas.
Para aclarar el significado de cada una, vamos a observar las respuestas de Manejo Inteligente, un programa hipotético que pretende disminuir la cantidad de conductores ebrios.
- ¿Qué será evaluado?
- Manejo Inteligente, un programa enfocado en la reducción del manejo en estado de ebriedad a través de la educación e intervención pública.
- ¿Cuáles criterios serán utilizados para juzgar el desempeño del programa?
- El número de residentes de la comunidad que se hallan familiarizados con el programa y sus metas
- El número de personas que utiliza taxis voluntarios de “Viaje Seguro” para llegar a sus hogares
- El porcentaje de personas que reporta a aquellos que consumen alcohol y manejan
- El número reportado de choques nocturnos que involucran sólo a un automóvil (este es un método común de determinar si el número de personas que conducen ebrias está variando)
- ¿Qué estándares de desempeño en cuanto a los criterios deben alcanzarse para considerar exitoso al programa?
- Un 80% de los residentes de la comunidad tendrá conocimiento del programa y sus metas luego del primer año del programa.
- El número de personas que utiliza los taxis de “Viaje Seguro” aumentará en un 20% en el primer año.
- El porcentaje de personas que reporta a aquellos que consumen alcohol y manejan disminuirá en un 20% en el primer año.
- El número reportado de choques nocturnos que involucran sólo a un automóvil disminuirá un 10% en los primeros dos años del programa.
- ¿Qué evidencia indicará el desempeño en los criterios en relación a los estándares?
- Un sondeo telefónico aleatorio demostrará el conocimiento que poseen los residentes de la comunidad acerca del programa y los cambios en el comportamiento reportado.
- Los registros de “Viaje Seguro” dirán cuántas personas utilizan sus servicios.
- La información sobre los choques nocturnos que involucran sólo a un automóvil se obtendrá de los archivos de la policía.
- ¿Qué conclusiones acerca del desempeño del programa pueden justificarse basándose en la evidencia disponible?
- ¿Son los cambios que hemos visto a nivel de conductores ebrios producto de nuestros esfuerzos, o los ha provocado algo más? Ó (si el cambio en el comportamiento es insuficiente o del todo no existe)
- ¿Debería Manejo Inteligente cambiar su forma de hacer las cosas, o simplemente no hemos esperado lo suficiente como para observar resultados?
El siguiente marco de trabajo proporciona un enfoque organizado para contestar las preguntas anteriores.
Un marco de trabajo para la evaluación de programas
La evaluación de programas ofrece una forma de entender y mejorar las prácticas de salud y desarrollo comunal mediante métodos útiles, viables, convenientes y precisos. El marco de trabajo descrito a continuación es una herramienta práctica, no preceptiva que resume en un orden lógico los elementos importantes de la evaluación de programas.
El marco de trabajo contiene dos dimensiones interrelacionadas:
- Pasos de la práctica de evaluación, y
- Estándares para la “buena” evaluación.
Figura uno: Muestra el marco de trabajo:
Los seis pasos conectados del marco de trabajo son acciones que deben formar parte de cualquier evaluación. Aunque en la práctica los pasos pueden ser hallados en un orden distinto, generalmente es adecuado seguirlos en la secuencia recomendada. Esto porque los pasos iniciales proveen las bases para el progreso de los siguientes. Por lo tanto, las decisiones acerca de cómo llevar a cabo un paso dado no deben finalizar antes de que los pasos anteriores hayan sido cuidadosamente analizados.
Sin embargo, estos pasos están pensados para ser adaptables, no rígidos. La sensibilidad hacia el contexto único de cada programa (por ejemplo, la historia del programa y su clima organizacional) es esencial para una evaluación eficiente. Dichos pasos están dirigidos a servir como puntos de partida alrededor de los cuales las organizaciones comunales puedan construir una evaluación que satisfaga de la mejor manera sus necesidades.
- Reunir personas interesadas
- Describir el programa
- Concentrar el diseño de la evaluación
- Reunir evidencia confiable
- Justificar conclusiones
- Asegurar el uso y divulgación de lo aprendido
Entender y apegarse a estos seis pasos básicos hará que la mayoría de los esfuerzos de evaluación mejoren considerablemente.
La segunda parte del marco de trabajo es un conjunto básico de estándares que tienen como objetivo juzgar la calidad de las actividades de evaluación. Existen 30 estándares específicos, organizados en los siguientes cuatro grupos:
- Utilidad
- Viabilidad
- Decoro
- Precisión
Estos estándares ayudan a contestar la pregunta “¿Será esta evaluación una ‘buena’ evaluación?” Se recomiendan como criterios iniciales mediante los cuales juzgar la calidad de los esfuerzos del programa de evaluación.
Veamos primero los pasos específicos de la evaluación del programa. Más adelante en esta sección veremos los estándares específicos para una “buena” evaluación.
Pasos de la evaluación de programas
Reunir personas interesadas
Los interesados son personas u organizaciones que tienen algo que ganar o perder de lo que se aprenderá de una evaluación, y también de lo que se hará con este conocimiento. La evaluación no puede ser llevada a cabo en solitario. Casi todo lo que se hace en materia de salud y desarrollo comunal implica asociaciones – alianzas entre distintas organizaciones, miembros de consejo, aquellos afectados por el problema y otros. Por lo tanto, cualquier esfuerzo serio de evaluar un programa debe considerar los diferentes valores que poseen los colegas. Los interesados deben ser parte de la evaluación para asegurar que sus perspectivas únicas son comprendidas. Cuando los interesados no están involucrados apropiadamente, los hallazgos de la evaluación corren el riesgo de ser ignorados, criticados o de hallar oposición
Sin embargo, si ellos son parte del proceso, es muy probable que las personas sientan en buena medida que el proceso de evaluación y sus resultados son algo que les pertenece. Ellos probablemente querrán desarrollarlo, defenderlo y asegurarse de que la evaluación realmente funciona.
Esa es la razón por la cual el ciclo de evaluación inicia reuniendo a personas interesadas. Una vez involucradas, estas personas ayudarán a llevar a cabo cada uno de los pasos que siguen.
Es importante involucrar tres grupos principales de interesados.
- Aquellos relacionados con la operación del programa;
- Aquellos beneficiados o afectados por el programa; y
- Aquellos que se pretende sean los usuarios primarios de la evaluación.
Las personas u organizaciones involucradas en la operación del programa pueden incluir miembros de la comunidad, patrocinadores, colaboradores, socios de coaliciones, oficiales fundadores, administradores, gerentes y demás integrantes del cuerpo administrativo.
Las personas u organizaciones beneficiadas o afectadas por el programa pueden incluir clientes, familias, organizaciones vecinales, instituciones académicas, oficiales electos y designados, grupos de apoyo y residentes de la comunidad. Puede ser también importante involucrar a aquellos individuos que estén abiertamente escépticos o en posiciones de antagonismo hacia el programa. El abrir una evaluación hacia perspectivas opuestas, y reclutar la ayuda de oponentes potenciales al programa fortalecerá la credibilidad de la evaluación.
Así mismo, los individuos o grupos que pueden ser verse adversa o accidentalmente afectados por los cambios que surjan de la evaluación tienen derecho a ser involucrados. Por ejemplo, es importante incluir a aquellos que puedan ser afectados si los servicios del programa se expanden, alteran, limitan o son cancelados a causa de la evaluación.
Los presuntos usuarios primarios de la evaluación son los individuos específicos que se hallan en posición de decidir y/o hacer algo con respecto a los resultados. No deben ser confundidos con los presuntos usuarios primarios del programa, aunque algunos de ellos deben ser involucrados en este grupo. De hecho, los presuntos usuarios primarios deben ser un subconjunto del total de interesados que hayan sido identificados. Una evaluación exitosa designa a sus presuntos usuarios primarios; así como a su equipo de trabajo y fundadores, en etapas tempranas de su desarrollo, y mantiene una frecuente interacción con ellos para asegurarse de que la evaluación se enfoca específicamente en sus necesidades y valores.
El grado y el tipo de participación de los interesados serán distintos para la evaluación de cada programa. Por ejemplo, los interesados pueden estar involucrados directamente en el diseño y la conducción de la evaluación. Pueden mantenerse informados sobre el progreso de la evaluación a través de reuniones periódicas, reportes y otros medios de comunicación.
Puede ser de ayuda, al trabajar con un grupo como éste, el desarrollar un proceso explícito para compartir el poder y resolver conflictos. Esto puede ayudar a evitar dar énfasis excesivo a los valores de uno de los interesados. Capacitar para la resolución de conflictos puede ser de útil como guía para diseñar tal proceso.
Describir el Programa
Una descripción de un programa es un resumen de la intervención que está siendo evaluada. Debe explicar qué es lo que el programa propone lograr y cómo pretende generar esos cambios. La descripción también debe ilustrar los componentes y elementos centrales del programa, su habilidad para hacer cambios, su etapa de desarrollo, y cómo se ajusta este dentro del ambiente organizacional y comunal.
El cómo un programa es descrito proporciona el marco de referencia para las futuras decisiones sobre su evaluación. Por ejemplo, si un programa es descrito como “un esfuerzo para fortalecer las leyes existentes que impiden el consumo de licor a menores de edad”, la evaluación será muy diferente a la que se llevaría a cabo si se describe como “un programa para reducir la cantidad de adolescentes que toman y conducen”. Además, la descripción permite a los miembros del grupo comparar el programa con otros esfuerzos similares, y hace más fácil el darse cuenta cuáles partes del programa pueden traer un efecto específico.
Es más, los diferentes interesados pueden tener diferentes ideas sobre lo que el programa pretende llevar a cabo y por qué. Por ejemplo, un programa para reducir los embarazos en adolescentes puede tener algunos miembros que crean que pretende solamente aumentar el acceso a anticonceptivos, y otros que crean que pretende solo enfocarse en la abstinencia.
Las evaluaciones hechas sin un común acuerdo en cuanto a la definición del programa probablemente no serán útiles. En muchos casos, el proceso de trabajar con interesados para desarrollar una descripción lógica y clara del programa traerá beneficios incluso mucho antes de que estén disponibles los datos para medir su efectividad.
Aspectos específicos a incluir al describir un programa son:
- Necesidad
- Expectativas
- Actividades
- Recursos
- Etapa de desarrollo
- Contexto
- Modelo lógico
Una declaración de necesidad
Describe el problema, meta u oportunidad en que el programa está enfocado; además empieza a implicar lo que el programa hará en respuesta. Algunas características importantes que se deben tomar en cuenta con respecto a la necesidad de un programa son: la naturaleza del problema u objetivo, quién es afectado, qué tan grande es, y si está cambiando (y cómo).
Las expectativas
Son los resultados que se esperan obtener del programa. Describen qué debe lograr el programa para ser considerado exitoso. Para la mayoría de programas, los logros existen en un continuo (primero queremos lograr X… luego queremos hacer Y… y así sucesivamente). Por lo tanto, las expectativas deben ser organizadas por rango de tiempo desde consecuencias específicas (e inmediatas) a amplias (y de largo plazo). Por ejemplo, la visión, misión, metas y objetivos de un programa, representan niveles variados de especificidad acerca de las expectativas de un programa.
Las actividades
Son todo lo que el programa lleva a cabo para generar cambios. El describir los componentes y elementos del programa permite enumerar acciones y estrategias específicas en una secuencia lógica. Esto también muestra cómo las diferentes actividades de un programa, tales como educación y ejecución, se relacionan unas con otras. El describir las actividades del programa también da la oportunidad de distinguir las actividades que son responsabilidad directa del éste y las que son responsabilidad de programas relacionados u organizaciones aliadas. Aspectos fuera del programa que puedan afectar su éxito, tales como leyes más severas que castiguen a los negocios que venden alcohol a menores, pueden también ser mencionadas.
Los recursos
Incluyen el tiempo, talento, equipo, información, dinero, y otros aspectos disponibles para conducir las actividades del programa. Repasar los recursos que un programa posee dice mucho acerca de la cantidad e intensidad de sus servicios. Puede también señalar situaciones en donde exista desfase entre lo que el grupo quiere hacer y los recursos disponibles para llevar a cabo esas actividades. Entender los costos de un programa es una necesidad para determinar la relación costo-beneficio, que es parte de la evaluación.
La etapa de desarrollo
Un programa refleja su madurez. Todo programa de salud y desarrollo comunal madura y cambia con el tiempo. Las personas que conducen las evaluaciones, así como aquellos que utilizaran sus hallazgos, deben considerar la naturaleza dinámica de los programas. Por ejemplo, un nuevo programa que acaba de recibir su primera concesión puede ser diferente en muchos aspectos a otro que ha estado activo durante una década.
Por lo menos tres fases de desarrollo son comúnmente reconocidas: Planeación, implementación y efectos o resultados. En la etapa de planeación, las actividades del programa aún no han sido probadas, y la meta de la evaluación es refinar los planes tanto como se pueda. En la fase de implementación, las actividades del programa están siendo probadas en la comunidad y modificadas; la meta de la evaluación es ver qué sucede en el “mundo real” y mejorar las operaciones. En la etapa de efectos, ha pasado suficiente tiempo para que los efectos del programa emerjan; la meta de la evaluación es identificar y comprender los resultados del programa, incluyendo aquellos que fueron no intencionales.
Contexto
Una descripción del contexto del programa considera las características importantes del ambiente en el cual el programa opera. Esto implica comprender la historia, geografía, política y condiciones sociales y económicas del área, y además conocer lo que otras organizaciones han hecho. Una evaluación realista es sensible a un amplio rango de potenciales influencias al programa. Un entendimiento del contexto permite que los usuarios interpreten correctamente los hallazgos y evalúa su generalizabilidad. Por ejemplo, un programa para mejorar las viviendas en un barrio del centro de la ciudad puede haber sido un gran éxito, pero probablemente no funcionará en un pequeño pueblo al otro lado del país sin una adaptación significativa. Adaptar intervenciones comunitarias para diferentes culturas y comunidades profundiza más en esta área.
Un modelo lógico
Sintetiza los principales elementos del programa en una imagen de cómo se pretende que el programa funcione. Hace explícita la secuencia de eventos que se presume generarán el cambio. A menudo esta lógica se muestra en un diagrama de flujo, mapa o tabla para representar la secuencia de pasos que llevará a los resultados del programa. Nuestro modelo de práctica: Cómo capacitar para crear el cambio en la comunidad y los sistemas para un ejemplo de un modelo lógico para construir capacidad de cambio en comunidades y sistemas, desarrollado en la Universidad de Kansas.
El crear un modelo lógico permite a los interesados mejorar y enfocar la dirección del programa. Revela suposiciones sobre las condiciones para la efectividad del programa y provee un marco de referencia para una o más evaluaciones del programa. Un modelo lógico detallado puede también ser una base para estimar el efecto del programa en aspectos que no se miden directamente. Por ejemplo, es posible estimar la tasa de reducción de una enfermedad en un número conocido de personas que forman parte de la intervención si existe previo conocimiento de su efectividad.
La extensión y profundidad de la descripción de un programa varía para cada evaluación. Así, muchas actividades diferentes pueden ser parte del desarrollo de esta descripción. Por ejemplo, múltiples fuentes de información pueden ser puestas juntas para construir una buena descripción. La precisión de una descripción existente puede ser confirmada mediante su discusión con los interesados. Las descripciones de lo que está sucediendo pueden ser revisadas mediante observación directa de las actividades de campo. Una descripción estrecha puede ser completada atacando factores contextuales (como cambios de personal, recursos inadecuados, presiones políticas o participación comunal fuerte) que puedan afectar el desempeño del programa.
Concentrar el Diseño de la Evaluación
Al concentrar el diseño de la evaluación, se pretende avanzar planeando a dónde se dirigirá la evaluación, y qué pasos serán necesarios para llegar ahí. No es posible ni útil para una evaluación el intentar responder a todas las inquietudes de todos los interesados; debe existir un foco de atención. Un plan bien enfocado es una salvaguarda contra el uso ineficiente de tiempo y recursos.
Según lo que usted quiera aprender, algunos tipos de evaluación serán más apropiados que otros. Sin embargo, una vez que la recolección de datos inicia, puede ser difícil o imposible cambiar lo que se está haciendo, aún si empieza a ser obvio que otros métodos podían haber funcionado mejor. Un plan cuidadoso anticipa futuros usos y crea una estrategia de evaluación con la mayor probabilidad de ser útil, viable, apropiada, y precisa. Entre los puntos a considerar cuando se enfoca una evaluación están:
- Propósito
- Usuarios
- Usos
- Preguntas
- Métodos
- Acuerdos
El propósito
Se refiere a la intención general de la evaluación. Un propósito claro sirve como base para el diseño, métodos, y usos de la evaluación. Tomar tiempo para articular un propósito general hará que su organización no tome decisiones sin la información necesaria sobre cómo debe conducirse y usarse la evaluación.
Existen por lo menos cuatro propósitos generales para los cuales una comunidad o grupo puede llevar a cabo una evaluación:
- Para obtener ideas. Esto sucede, por ejemplo, al decidir si se debe utilizar un nuevo acercamiento al problema (p. ej., ¿funcionaría en nuestra comunidad un programa de vigilancia en los barrios?). El conocimiento de tal evaluación proporcionará información sobre qué tan práctica puede ser la solución. Para un programa en desarrollo, la información procedente de las evaluaciones de programas similares puede proveer las ideas necesarias para aclarar cómo deben ser diseñadas sus actividades.
- Para determinar cuáles son los esfuerzos del programa. Esto es apropiado en la etapa de implementación cuando un programa establecido trata de describir lo que ha hecho. La información puede usarse para describir los procesos del programa, para mejorar cómo opera el programa y para afinar la estrategia general. Las evaluaciones hechas para este propósito incluyen esfuerzos por mejorar la calidad, efectividad o eficiencia de las actividades del programa.
- Para determinar cuáles son los efectos del programa. Las evaluaciones hechas para este propósito examinan la relación entre las actividades del programa y las consecuencias observadas. Por ejemplo, ¿están más estudiantes terminando el colegio como resultado del programa? Los programas más apropiados para este tipo de evaluación son programas maduros que son capaces de definir claramente qué ha ocurrido y a quién le ha ocurrido. Tales evaluaciones deben proveer evidencia sobre cuál ha sido la contribución del programa para alcanzar metas a largo plazo como la disminución del abuso de menores o del crimen en el área. Este tipo de evaluación ayuda a establecer la confiabilidad, y por lo tanto, la credibilidad de un programa a sus fundadores y a la comunidad.
- Para influir en a aquellos que participan en ella. La lógica y reflexión requeridos de los participantes de la evaluación pueden ser por sí mismos catalíticos del cambio auto direccionado. Así, uno de los propósitos de evaluar un programa es que el proceso y los resultados tengan una influencia positiva. Tales influencias pueden:
- Dar confianza a los participantes del programa (por ejemplo, ser parte de una evaluación puede aumentar el sentido de control por parte de los miembros de la comunidad sobre el programa);
- Apoyar el programa (por ejemplo, usar un cuestionario complementario puede reforzar los principales mensajes del programa);
- Promover el desarrollo del personal (por ejemplo, enseñando al personal cómo recolectar, analizar e interpretar evidencia);
- Contribuir al crecimiento organizacional (por ejemplo, la evaluación puede aclarar cómo el programa se relaciona con la misión de la organización);
Los usuarios
Son los individuos específicos que recibirán los hallazgos de la evaluación. Experimentarán directamente las consecuencias de los inevitables trueques que sucederán a lo largo de la evaluación. Por ejemplo, un trueque puede ser efectuar una evaluación relativamente modesta para ajustarse al presupuesto con lo cual los resultados de la evaluación serán menos certeros en comparación a los de una evaluación a gran escala. Al ser afectados por estos trueques, los usuarios tienen derecho a participar escogiendo un enfoque para la evaluación. Una evaluación diseñada sin la adecuada participación del usuario en cuanto a la selección del enfoque, puede convertirse en un ejercicio mal dirigido e irrelevante. En contraste, cuando los usuarios son motivados a aclarar posibles usos, interrogantes prioritarias y métodos preferidos, la evaluación tiene mayores probabilidades de concentrarse en cosas que informarán (e influenciarán) futuras acciones.
Los usos
Describen qué será hecho con lo que se aprenderá de la evaluación. Existe un amplio rango de potenciales usos de la evaluación de un programa. Generalmente hablando, los usos caen en las mismas cuatro categorías que los propósitos citados anteriormente: obtener ideas, mejorar la forma en que se hacen las cosas, determinar cuáles son los efectos del programa e influir en sus participantes. La siguiente lista da ejemplos de usos en cada categoría.
Algunos ejemplos específicos de los usos de una evaluación.
Para obtener ideas:
- Evaluar necesidades y peticiones de los miembros de la comunidad.
- Identificar barreras para el uso del programa.
- Aprender cómo describir y medir de la mejor manera las actividades del programa.
Para mejorar la forma en que se hacen las cosas:
- Refinar planes para introducir una nueva práctica.
- Determinar hasta que grado se han implementado los planes.
- Mejorar el material educativo.
- Mejorar la competencia cultural.
- Verificar que los derechos de los participantes se encuentran protegidos.
- Asignar prioridades para el entrenamiento de personal.
- Efectuar ajustes en pleno curso de acción.
- Hacer más clara la comunicación.
- Determinar si la satisfacción de los clientes puede aumentarse.
- Comparar costos y beneficios.
- Hallar cuáles participantes se benefician más del programa.
- Movilizar soporte comunal para el programa.
Para determinar cuáles son los efectos del programa:
- Evaluar el desarrollo de destrezas de los participantes del programa.
- Comparar cambios en el comportamiento a lo largo del tiempo.
- Decidir dónde asignar nuevos recursos.
- Documentar el nivel de éxito en cuanto a logro de objetivos.
- Demostrar que los requerimientos de confiabilidad se cumplen.
- Utilizar información de múltiples evaluaciones para predecir los posibles efectos de programas similares.
Para influir en los participantes:
- Reforzar los mensajes del programa
- Estimular y aumentar la conciencia sobre los problemas de la comunidad
- Fortalecer el consenso entre socios sobre las metas del programa
- Enseñar habilidades de evaluación al personal y a otros interesados
- Recolectar historias de éxito
- Apoyar el cambio y mejora organizacional
Preguntas específicas
Luego, la evaluación requiere responder a preguntas específicas. El esbozar preguntas estimula a los interesados a revelar lo que ellos creen que la evaluación debe responder. Esto es, ¿qué preguntas son más importantes para los interesados? El proceso de desarrollo de preguntas de evaluación mejora aún más el enfoque de ésta.
Métodos
Los métodos disponibles para una evaluación son derivados de la ciencia del comportamiento y de la investigación y desarrollo social. Tres tipos de métodos son comúnmente reconocidos. Estos son experimental, cuasi-experimental y observacional (o diseño de estudio de casos). Los diseños experimentales emplean asignaciones aleatorias para comparar el efecto de una intervención entre grupos equivalentes (por ejemplo, comparar un grupo aleatoriamente asignado de estudiantes que toman parte de un programa de lectura después de la escuela con otros que no lo hacen). Los métodos cuasi-experimentales hacen comparaciones entre grupos que no son equivalentes (p.ej., participantes del programa versus otros en una lista de espera) o emplean comparaciones dentro de un mismo grupo a lo largo del tiempo, como una línea de tiempo ininterrumpida en la cual la intervención puede introducirse secuencialmente a través de diferentes individuos, grupos o contextos. Los métodos observacionales o de estudio de casos utilizan comparaciones dentro de un grupo para describir y explicar qué sucede (p.ej., estudios de casos comparativos con múltiples comunidades).
Ningún diseño es necesariamente mejor que otro. Los métodos de evaluación deben ser seleccionados porque proveen la información apropiada para responder a las inquietudes de los interesados, no porque sean familiares, fáciles o populares. La escogencia de métodos posee implicaciones en lo que será considerado evidencia, cómo esta evidencia será recolectada y qué clase de reclamos pueden hacerse. A causa de que cada opción de método tiene sus propias bases y limitaciones, las evaluaciones que mezclan métodos son por lo general más robustas.
A lo largo del curso de una evaluación, los métodos pueden necesitar ser revisados o modificados. Las circunstancias que hacen útil a un acercamiento en particular pueden cambiar. Por ejemplo, el uso que se pretende dar a una evaluación podría pasar de descubrir cómo mejorar el programa a ayudar a decidir si éste debe continuar o no. Por lo tanto, los métodos pueden requerir ser adaptados o rediseñados para mantener la evaluación activa.
Acuerdos
Los acuerdos resumen los procedimientos de evaluación y aclaran los roles y responsabilidades de todos. Un acuerdo describe cómo serán implementadas las actividades de la evaluación. Los elementos de un acuerdo incluyen declaraciones sobre lo que se pretende sean los propósitos, usuarios, usos y métodos, así como un resumen de los resultados, los responsables, una línea de tiempo y presupuesto.
La formalidad del acuerdo depende de las relaciones que existan entre los involucrados. Por ejemplo, puede tomar la forma de un contrato legal, un protocolo detallado o un simple memorando de entendimiento. Sin importar su formalidad, el crear un acuerdo explícito provee una oportunidad para verificar el entendimiento mutuo requerido para una evaluación exitosa. También proporciona una base para modificar procedimientos en caso de que esto fuese necesario.
Como usted puede observar, enfocar el diseño de la evaluación involucra muchas actividades. Por ejemplo, tanto los que apoyan el programa como aquellos que se manifiestan escépticos pueden ser consultados para asegurarse de que las inquietudes propuestas para la evaluación son políticamente viables. Un menú de potenciales usos de la evaluación apropiados para la etapa de desarrollo del programa puede circular entre los interesados para determinar cuál es la más apremiante. Entrevistas pueden ser efectuadas con personas que se pretende sean usuarios específicos, con el objetivo de comprender mejor sus necesidades de información y línea de tiempo de acción. Las necesidades de recursos pueden ser reducidas cuando los usuarios se hallan dispuestos a emplear métodos de evaluación más oportunos pero menos precisos.
Reunir Evidencia Confiable
La evidencia creíble es la materia prima de una buena evaluación. La información aprendida debe ser vista por los interesados como veraz, confiable y relevante para responder sus inquietudes. Esto requiere pensar ampliamente sobre lo que cuenta como “evidencia”. Tales decisiones son siempre situacionales; dependen de la inquietud que se está planteando y de los motivos para plantearla. Para algunas inquietudes, el estándar de credibilidad de un interesado puede demandar tener los resultados de un experimento aleatorio. Para otras, un juego de buenas observaciones sistemáticas tales como interacciones entre un trabajador de asistencia pública y los residentes de la comunidad, tendrá alta credibilidad. La diferencia depende de qué clase de información desean los interesados y la situación en la cual es recolectada.
¡El contexto es importante! En algunas situaciones, puede ser necesario consultar especialistas en evaluación. Esto es especialmente cierto si la importancia de la calidad de los datos es especialmente alta. En otras circunstancias, las personas de la localidad pueden ofrecer las ideas más profundas. Independientemente de su pericia, sin embargo, aquellos involucrados en una evaluación deben esforzarse por recolectar información que permita componer una imagen completa y creíble del programa y sus esfuerzos.
El poseer evidencia creíble fortalece los resultados de la evaluación así como las recomendaciones que se derivan de ellos. Aunque todos los tipos de datos poseen limitaciones, es posible mejorar la credibilidad general de una evaluación. Una manera de hacer esto es mediante el uso de múltiples procedimientos para recolectar, analizar e interpretar los datos. Incentivando la participación de los interesados puede también mejorar la credibilidad que se percibe. Cuando los interesados ayudan a definir las preguntas y a recolectar información, es más probable que acepten las conclusiones de la evaluación y actúen según sus recomendaciones.
Las siguientes características de la recolección de evidencia típicamente afectan qué tan creíble es:
- Indicadores
- Fuentes
- Calidad
- Cantidad
- Logística
Los indicadores
Traducen conceptos generales sobre el programa y sus efectos esperados a partes específicas y medibles.
Ejemplos de indicadores incluyen:
- La capacidad del programa para brindar servicios
- La tasa de participación
- El nivel de satisfacción del cliente
- La cantidad de exposición a la intervención (cuántas personas fueron expuestas al programa, y durante cuánto tiempo fueron expuestas)
- Cambios en el comportamiento de los participantes
- Cambios en las condiciones o normas de la comunidad
- Cambios en el ambiente (e.g., nuevos programas, políticas o prácticas)
- Cambios a largo plazo en el estado de salud de la comunidad (e,g., la tasa estimada de embarazos adolescentes en el país)
Los indicadores deben ajustarse al criterio que será usado para juzgar al programa. Esto es, reflejan los aspectos del programa que son más significativos monitorear. Algunos indicadores son requeridos frecuentemente para rastrear la implementación y los efectos de una intervención o programa complejo.
Una manera de desarrollar múltiples indicadores es creando una “tarjeta de resultados balanceados”, que contiene indicadores cuidadosamente seleccionados para complementarse unos a otros. De acuerdo a esta estrategia, los procesos y efectos del programa son vistos desde múltiples perspectivas utilizando pequeños grupos de indicadores relacionados. Por ejemplo, una tarjeta de resultados balanceados para un programa puede incluir indicadores sobre cómo se está distribuyendo el programa; qué piensan los participantes del programa; qué efectos se observan; qué metas se alcanzan; y qué cambios están ocurriendo en el ambiente alrededor del programa.
Otro acercamiento sobre el uso de múltiples indicadores se basa en un modelo lógico del programa, tal como lo hemos discutido anteriormente en esta sección. Un modelo lógico puede ser usado como una plataforma para definir un espectro completo de indicadores a lo largo del camino que va desde las actividades del programa hasta sus efectos esperados. Para cada paso del modelo, pueden ser desarrollados indicadores cuantitativos y/o cualitativos.
Los indicadores pueden tener una base más amplia y no necesitar enfocarse sólo en una meta a largo plazo del programa. Pueden también enfocarse en factores intermedios que influencien la efectividad del programa, incluyendo factores intangibles como calidad de servicio, capacidad de la comunidad, o relaciones interorganizacionales. Los indicadores para estos conceptos y otros similares pueden ser creados mediante la identificación sistemática y posterior rastreo de marcadores de qué es dicho o hecho cuando el concepto se expresa.
En el curso de una evaluación, los indicadores pueden requerir modificaciones o pueden adoptarse nuevos. Además, la medición del rendimiento del programa mediante indicadores de rastreo es solo una parte de la evaluación, y no debe ser confundida como la base de la toma de decisiones en sí. Existen peligros al utilizar indicadores de desempeño como un sustituto para completar el proceso de evaluación y alcanzar conclusiones ampliamente justificadas. Por ejemplo, un indicador, tal como una tasa de desempleo creciente, puede ser falsamente interpretada como un reflejo del fallo del programa, cuando en realidad puede deberse a condiciones ambientales cambiantes que se hallan fuera del alcance del mismo.
Fuentes de evidencia
Las fuentes de evidencia de una evaluación pueden ser personas, documentos u observaciones. Más de una fuente puede ser usada para recolectar evidencia para cada indicador. De hecho, seleccionar múltiples fuentes da oportunidad para incluir diferentes perspectivas acerca del programa y mejora la credibilidad de la evaluación. Por ejemplo, una perspectiva desde dentro puede ser reflejada mediante documentos internos y comentarios del personal o administradores del programa; mientras que los clientes y otros que no apoyan el programa pueden proporcionar perspectivas distintas pero igualmente relevantes. El mezclar estas y otras perspectivas proporciona una visión más completa del programa o intervención.
El criterio usado para seleccionar las fuentes debe ser claramente definido para que los usuarios y otros interesados puedan interpretar la evidencia con precisión y evaluar si se está parcializada. Además, algunas fuentes proveen información de forma narrativa (por ejemplo, la experiencia de una persona al tomar parte en el programa) y otras son numéricas (por ejemplo, cuántas personas fueron involucradas en el programa). La integración de información cuantitativa y cualitativa puede dar origen a evidencia más completa y útil, satisfaciendo las necesidades y expectativas de un rango más amplio de interesados.
Calidad
La calidad se refiere a lo apropiado e íntegro de la información recolectada en una evaluación. Los datos de alta calidad son confiables e informativos. Es más fácil de reunir si los indicadores han sido bien definidos. Otros factores que afectan la calidad pueden incluir el diseño de instrumentos, los procesos de recolección de datos, entrenamiento de aquellos involucrados en la recolección de datos, la selección de fuentes, la codificación, la administración de datos y las rutinas de revisión de errores. El obtener datos de calidad implica trueques (e.g. amplitud vs. profundidad); los interesados deben decidir juntos qué es más importante para ellos. Dado que todos los datos poseen limitaciones, el propósito de una evaluación práctica es esforzarse por alcanzar un nivel de calidad que satisfaga el umbral de credibilidad de los interesados.
La cantidad se refiere al monto de evidencia recolectada en una evaluación. Es necesario estimar previamente la cantidad de información que será necesaria y establecer un criterio para decidir cuándo dejar de recoger datos – para saber cuándo es más que suficiente. La cantidad afecta el nivel de confianza o precisión que los usuarios pueden tener – qué tan seguros estamos de que lo que hemos aprendido es verdad. También determina en parte si la evaluación será capaz de detectar efectos. Toda la evidencia recolectada debe tener un uso anticipado y claro.
Logística
Por logística, entendemos los métodos, coordinación e infraestructura física para la recolección y manejo de evidencia. Las personas y las organizaciones también poseen preferencias culturales que dictan las formas aceptables de hacer preguntas y recolectar información, incluyendo quién será percibido como una persona apropiada para hacer las preguntas. Por ejemplo, algunos participantes pueden no estar dispuestos a discutir con alguien que no conozcan. Por lo tanto, las técnicas de recolección de evidencia en una evaluación deben mantenerse dentro de las normas culturales de la comunidad. Los procesos de acumulación de datos deben también asegurar que la confidencialidad está protegida.
Justificar conclusiones
El proceso de justificar conclusiones reconoce que la evidencia en una evaluación no necesariamente habla por sí misma. La evidencia debe ser cuidadosamente considerada desde las distintas perspectivas de varios interesados para alcanzar conclusiones que estén bien sustanciadas y justificadas. Las conclusiones se vuelven justificadas cuando son vinculadas a la evidencia recolectada y juzgada contra valores determinados por común acuerdo entre los interesados. Estos deben aceptar que las conclusiones se hallan justificadas para utilizar los resultados de la evaluación con confianza.
Cinco elementos principales se hallan involucrados en la justificación de conclusiones basada en evidencias:
- Estándares
- Análisis y síntesis
- Interpretación
- Juicio
- Recomendaciones
Estándares
Los estándares reflejan los valores que poseen los interesados acerca del programa. Ellos proveen las bases para efectuar juicios sobre el programa. El uso de estándares explícitos para juzgar es fundamental para el éxito de la evaluación. En la práctica, cuando los interesados articulan y negocian sus valores, estos se convierten en los estándares para juzgar si el rendimiento dado del programa se considerará, por ejemplo, “exitoso”, “adecuado” o “no exitoso”.
Análisis y la síntesis
El análisis y la síntesis son métodos para descubrir y resumir los hallazgos de una evaluación. Están diseñados para detectar patrones en la evidencia, ya sea mediante aislamiento de hallazgos importantes (análisis) o combinando diferentes fuentes de información para alcanzar un entendimiento mayor (síntesis). Las evaluaciones que emplean una mezcla de métodos requieren el análisis por separado de cada elemento de evidencia, así como una síntesis de todas las fuentes para examinar patrones que emergen. El descifrar hechos a partir de un cuerpo de evidencia dado involucra decidir cómo organizar, clasificar, comparar y mostrar información. Estas decisiones son guiadas por las preguntas que se están planteando, los tipos de datos disponibles y especialmente por las ideas brindadas por los interesados y los presuntos usuarios primarios.
Interpretación
La interpretación es el esfuerzo para resolver cuál es el significado de los hallazgos. Revelar hechos sobre el rendimiento de un programa no es suficiente para hacer conclusiones. Los hechos deben ser interpretados para entender su significado práctico. Por ejemplo, decir que “15% de las personas en nuestra área atestiguaron un acto violento el año pasado” puede ser interpretado de forma diferente dependiendo de la situación. Es decir, si el 50% de los miembros de la comunidad habían observado un acto violento en el último año cuando fueron entrevistados cinco años atrás, el grupo puede sugerir que, aunque sigue existiendo un problema, las cosas están mejorando en la comunidad. Sin embargo, si hace cinco años solo un 7% de de los entrevistados dijo lo mismo, las organizaciones comunales pueden ver esto como un signo de que puede ser necesario cambiar lo que se está haciendo. En pocas palabras, las interpretaciones se sirven de la información y perspectivas que los interesados le dan a la evaluación. Éstas pueden ser fortalecidas a través de la participación o interacción activa con los datos y las explicaciones preliminares de lo que ha ocurrido.
Juicios
Los juicios son declaraciones sobre el mérito, valor o importancia del programa. Son formados mediante la comparación de los hallazgos y sus interpretaciones contra uno o más estándares seleccionados. Ya que múltiples estándares pueden ser aplicados a un programa dado, los interesados pueden alcanzar juicios distintos o incluso opuestos. Por ejemplo, un programa que aumenta su alcance en un 10% con relación al año anterior puede ser juzgado positivamente por los administradores de éste, basándose en estándares de mejora de desempeño con el tiempo. Los miembros de la comunidad sin embargo, pueden sentir que a pesar de las mejoras, el umbral mínimo de acceso a servicios no ha sido alcanzado aún. Su juicio, basado en estándares de equidad social, sería entonces negativo. Afirmaciones conflictivas acerca de la calidad, valor o importancia de un programa a menudo indican que los interesados están utilizando estándares o valores distintos a la hora de hacer juicios. Este tipo de desacuerdos puede ser un catalítico para la aclaración de valores y para negociar la base apropiada (o bases apropiadas) sobre la cual debe ser evaluado el programa.
Recomendaciones
Las recomendaciones son acciones a considerar como resultado de la evaluación. Elaborar recomendaciones requiere información más allá de solo lo necesario para hacer juicios. Por ejemplo, saber que un programa es capaz de aumentar los servicios disponibles a mujeres agredidas no necesariamente implica la recomendación de continuar ese esfuerzo, particularmente cuando existen prioridades que compiten con esta u otras alternativas efectivas. Por lo tanto, las recomendaciones sobre lo que se debe hacer con una intervención dada van más allá de los juicios sobre la efectividad de un programa específico.
Si las recomendaciones no son apoyadas por suficiente evidencia, o si no se hallan dentro de los valores de los interesados, son realmente capaces de debilitar la credibilidad de una evaluación. En contraste, una evaluación puede ser fortalecida mediante recomendaciones que anticipen y reaccionen ante lo que los usuarios querrán saber.
Tres cosas pueden aumentar las probabilidades de que las recomendaciones sean relevantes y bien recibidas:
- Compartir esbozos de recomendaciones
- Solicitar reacciones de múltiples interesados
- Presentar opciones en vez de consejos directivos
Justificar conclusiones en una evaluación es un proceso que involucra diferentes pasos posibles. Por ejemplo, las conclusiones pueden fortalecerse mediante la búsqueda de explicaciones alternativas a las que se han escogido, y luego al mostrar por qué no son apoyadas por la evidencia. Cuando existen conclusiones distintas pero con el mismo grado de apoyo, cada una puede ser presentada junto con un resumen de sus fortalezas y debilidades. Las técnicas para analizar, sinterizar e interpretar hallazgos pueden ser acordadas antes de que inicie la recolección de datos.
Asegurar el uso y divulgación de lo aprendido
Es ingenuo asumir que las lecciones aprendidas en una evaluación serán necesariamente empleadas en la toma de decisiones y en las posteriores acciones. Se requiere esfuerzo por parte de los evaluadores para asegurar que los hallazgos de la evaluación son usados apropiadamente. Prepararse para su uso involucra pensamiento estratégico y una vigilancia continua en la búsqueda de oportunidades para comunicar e influenciar. Ambas deben iniciar en las etapas más tempranas del proceso y continuar a lo largo de la evaluación.
Cinco elementos son de importancia clave para asegurarse de que las recomendaciones de la evaluación son utilizadas:
- Diseño
- Preparación
- Retroalimentación
- Seguimiento
- Diseminación
Diseño
Se refiere a cómo las preguntas, métodos y procesos en general de la evaluación son construidos. Como se discutió en el tercer paso de este marco de trabajo (enfocar el diseño de la evaluación), la evaluación debe ser organizada desde el inicio para alcanzar usos específicos comúnmente acordados. Tener un propósito claro que se enfoca en el uso de lo que se aprende ayuda a aquellos que llevarán a cabo la evaluación a saber quién hará qué con los hallazgos. Más aún, el proceso de crear un diseño claro señalará formas en las que los interesados, a través de sus diversas contribuciones, pueden mejorar la evaluación y facilitar el uso de sus resultados.
Preparación
Se refiere a los pasos tomados para estar listos para los futuros usos de los hallazgos de la evaluación. La habilidad de transformar un nuevo conocimiento en acciones apropiadas es una destreza que puede ser fortalecida con la práctica. De hecho, desarrollar esta habilidad puede en sí ser un beneficio útil de la evaluación. Es posible preparar a los interesados para el uso futuro de los resultados mediante la discusión de cómo pueden afectar los potenciales hallazgos la toma de decisiones.
Por ejemplo, se puede dar a los presuntos usuarios primarios y a otros interesados una serie de resultados hipotéticos y preguntarles qué decisiones o acciones harían ellos en base a este nuevo conocimiento. Si ellos indican que la evidencia presentada es incompleta o irrelevante y que no se puede efectuar ninguna acción, éste es entonces un signo de advertencia de que el planeamiento de la evaluación debe ser modificado. La preparación orientada a los usos también da a los interesados más tiempo para explorar tanto las implicaciones positivas como las negativas de los potenciales resultados y cómo identificar diferentes opciones para el desarrollo del programa.
La retroalimentación
Es la comunicación que ocurre entre cualquiera que se halle involucrado en la evaluación. Dar y recibir retroalimentación crea una atmósfera de confianza entre los interesados; mantiene a la evaluación en el camino adecuado al mantener a todos informados sobre cómo va progresando la evaluación. Los presuntos usuarios primarios y otros interesados tienen derecho a comentar las decisiones de la evaluación. Desde el punto de vista de asegurar su uso, la retroalimentación por parte de los interesados es una parte necesaria de cada paso de la evaluación. El obtener retroalimentación valiosa puede ser estimulado efectuando discusiones durante cada paso de la evaluación, y compartiendo rutinariamente los hallazgos e interpretaciones provisionales, y los esbozos de reportes.
Seguimiento
Se refiere al apoyo que muchos usuarios necesitan durante la evaluación y luego de que reciben los hallazgos de la evaluación. Debido a la cantidad de esfuerzo requerida, alcanzar conclusiones justificadas en una evaluación puede parecer como un fin por sí mismo. Pero no lo es. El seguimiento activo puede ser necesario para recordar a los usuarios los presuntos usos de lo que ha sido aprendido. El seguimiento puede además ser requerido para dejar de aprender las lecciones a raíz de hechos negativos, tales como perderse o ser ignorado en el proceso de tomar decisiones políticas complejas. Para resguardarse de tales descuidos, puede ser útil que alguien involucrado en la evaluación sirva como defensor de los hallazgos de ésta durante la fase de toma de decisiones.
El facilitar el uso de los hallazgos de la evaluación también trae consigo la responsabilidad de prevenir su mal uso. Los resultados de una evaluación se hallan siempre vinculados al contexto en el cual ésta fue conducida. Algunos interesados, sin embargo, pueden verse tentados a tomar resultados fuera de contexto o a usarlos para propósitos distintos que aquellos para los que fueron desarrollados. Por ejemplo, sobregeneralizar los resultados de un estudio de un único caso para tomar decisiones que afectarán todas las ubicaciones de un programa nacional es una muestra de mal uso de una evaluación de estudio de caso.
De forma similar, los oponentes del programa pueden dar un mal uso de los resultados sobreenfatizando hallazgos negativos sin dar crédito por el trabajo que se ha hecho. El seguimiento activo puede ayudar a prevenir éstas y otras formas de mala utilización, asegurando que la evidencia es aplicada únicamente a las inquietudes que fueron el foco central de la evaluación.
La diseminación
Es el proceso de comunicar los procedimientos o lecciones aprendidos de una evaluación a audiencias relevantes en una forma oportuna, imparcial y consistente. Al igual que otros elementos de la evaluación, la estrategia de reporte debe ser discutida previamente con los presuntos usuarios primarios y otros interesados. Planear comunicaciones efectivas también requiere considerar la coordinación, estilo, tono, fuente del mensaje, vehículo y formato de los productos informativos. Sin importar cómo se construyen las comunicaciones, la meta de la diseminación es alcanzar completa divulgación mediante reportes imparciales.
Junto con los usos de los hallazgos de la evaluación, existen también usos que nacen del proceso mismo de evaluar. Estos “usos del proceso” deben ser fomentados. Las personas que toman parte en una evaluación pueden experimentar profundos cambios en sus creencias y comportamiento. Es decir, una evaluación reta a los miembros del personal a actuar de forma diferente en lo que están haciendo, y cuestionar suposiciones que conectan actividades del programa con presuntos efectos.
La evaluación también incita al personal a aclarar su entendimiento de las metas del programa. Esta mayor claridad, a su vez, ayuda a los miembros del personal a funcionar mejor como un equipo enfocado en un fin común. En pocas palabras, la inmersión en la lógica, razonamiento y valores de una evaluación puede tener efectos muy positivos, tales como basar las decisiones en juicios sistemáticos en vez de en suposiciones infundadas.
Usos de procesos adicionales en una evaluación incluyen:
- Mediante la definición de indicadores, lo que realmente le preocupa a los interesados se hace claro.
- Ayuda a hacer que las consecuencias importen, cambiando los refuerzos conectados con alcanzar resultados positivos. Por ejemplo, un fundador puede ofrecer “bonos” o “dividendos de resultados” a un programa que haya mostrado una cantidad significativa de cambio y mejora de la comunidad.
Estándares para la “buena” evaluación
Existen estándares para determinar si todas las partes de una evaluación están bien diseñadas y funcionando a su máximo potencial. El Comité Unido para la Evaluación Educativa ha desarrollado los “Estándares de Evaluación de Programas” con este propósito. Estos estándares, diseñados para analizar evaluaciones de programas educativos, son también relevantes para programas e intervenciones relacionadas con salud y desarrollo comunal.
Los estándares de evaluación de programas hacen práctico el realizar evaluaciones exitosas y justas. Ofrecen principios bien fundados para seguir al enfrentarse a los momentos en que es necesario efectuar trueques o compromisos. Prestar atención a los estándares es una protección contra la evaluación no balanceada, tal como una que sea precisa y viable, pero que no sea muy útil o sensible al contexto. Otro ejemplo de una evaluación no balanceada es aquella que puede ser genuinamente útil, pero es imposible de llevar a cabo.
Los siguientes estándares pueden ser aplicados al desarrollar el diseño de una evaluación y a través del curso de su implementación. Recuerde, los estándares están escritos como principios guía, no como reglas rígidas que deben ser seguidas en todas las situaciones.
Los 30 estándares más específicos están agrupados en cuatro categorías. Estas son:
- Utilidad
- Viabilidad
- Decoro
- Precisión
Estándares de Utilidad
Los estándares de utilidad sirven para asegurar que la evaluación es realmente exitosa – es decir, que resuelve las inquietudes que los usuarios finales necesitan (y quieren) saber.
Estos siete estándares de utilidad son:
- Identificación de interesados: Las personas que están involucradas en (o serán afectadas por) la evaluación deben ser identificadas, para que sus necesidades sean tomadas en cuenta.
- Credibilidad del Evaluador: Las personas que llevan a cabo la evaluación deben ser tanto confiables como competentes, para que la evaluación sea aceptada mayormente como creíble.
- Selección y Enfoque de la Información: La información recolectada debe enfocarse en inquietudes pertinentes acerca del programa, y debe ser sensible a las necesidades e intereses de los clientes y otros interesados específicos.
- Identificación de Valores: Las perspectivas, procedimientos y razonamientos empleados para interpretar los hallazgos deben ser claramente descritos, para que las bases de los juicios de mérito y valor sean claras.
- Claridad de Reporte: Los reportes de la evaluación deben describir claramente el programa que se está evaluando, incluyendo su contexto, y los propósitos, procedimientos y hallazgos de la evaluación. Esto ayudará a asegurar que la información esencial es suministrada y fácilmente entendible.
- Puntualidad y Diseminación del Reporte: Datos importantes hallados en medio del proceso, así como los reportes de la evaluación deben ser compartidos con los presuntos usuarios para que puedan ser usados de forma coordinada.
- Impacto de la Evaluación: Las evaluaciones deben ser planeadas, realizadas y reportadas en formas que incentiven su seguimiento por parte de los interesados, de manera que puedan ser usadas.
Estándares de Viabilidad
Los estándares de viabilidad aseguran que la evaluación tiene sentido – que los pasos que se planean son tanto viables como pragmáticos. Estos son:
- Procedimientos Prácticos: Los procedimientos de evaluación deben ser prácticos, para mantener las perturbaciones de las actividades diarias en un mínimo mientras se obtiene la información requerida.
- Viabilidad Política: La evaluación debe ser planeada y llevada a cabo con anticipación de las distintas posiciones e intereses de varios grupos. Esto debe ayudar a obtener su cooperación para que los posibles intentos de estos grupos de reducir las operaciones de evaluación o dar mal uso a los resultados sean evitados o contraatacados.
- Efectividad de Costo: La evaluación debe ser eficiente y producir suficiente información valiosa para que los recursos empleados se justifiquen.
Estándares de Decoro
Los estándares de decoro aseguran que la evaluación es ética, y que se lleva a cabo tomando en cuenta los derechos e intereses de los involucrados.
Los ocho estándares de decoro son:
- Orientación de Servicios: Las evaluaciones deben ser diseñadas para ayudar a las organizaciones a servir adecuadamente según las necesidades de todos los participantes.
- Acuerdos Formales: Las responsabilidades en una evaluación (qué se debe hacer, cómo, por quién, cuándo) deben ser acordadas por escrito, para que aquellos involucrados se vean obligados a seguir todas las condiciones del acuerdo, o a renegociarlo formalmente.
- Temas de Derechos Humanos: La evaluación debe ser diseñada o realizada para respetar y proteger los derechos y el bienestar de todos los que participan en el estudio.
- Interacciones Humanas: Los evaluadores deben respetar la dignidad y valor humano al trabajar con otras personas en una evaluación, para que los participantes no se sientan amenazados o violentados.
- Juicios Completos y Justos: La evaluación debe ser completa y justa en su examinación, registrando tanto las fortalezas como las debilidades del programa que está siendo evaluado. Esto permite seguir construyendo fortalezas, y atacar áreas problemáticas.
- Divulgación de Hallazgos: Las personas que trabajan en la evaluación deben asegurarse de que todos los hallazgos de la evaluación, así como sus limitaciones, sean accesibles a todos los que ésta afecta, y a cualquier otro que posea derechos legales a recibir los resultados.
- Conflictos de Intereses: Estos conflictos deben tratarse abierta y honestamente, para que los procesos y resultados de la evaluación no se vean comprometidos.
- Responsabilidad Fiscal: El uso de los recursos por parte del evaluador debe reflejar procedimientos adecuados y efectivos, y ser prudente y éticamente responsable para que los gastos efectuados sean justificados y apropiados.
Estándares de Precisión
Los estándares de precisión aseguran que los hallazgos de la evaluación son considerados correctos.
Existen 12 estándares de precisión:
- Documentación del Programa: El programa debe ser descrito y documentado claramente y con precisión, de manera que se pueda identificar fácilmente lo evaluado.
- Análisis Contextual: El contexto en el cual el programa existe debe ser cuidadosamente examinado para que las posibles influencias que puedan actuar sobre el programa sean identificadas.
- Propósitos y Procedimientos Descritos: Los propósitos y procedimientos de una evaluación deben ser monitoreados y descritos con suficiente detalle para que puedan identificarse y juzgarse.
- Fuentes de Información Defendibles: Las fuentes de información utilizadas en una evaluación de un programa deben ser descritas con suficiente detalle para que pueda ser juzgado cuán adecuadas son éstas.
- Información Válida: Los procedimientos de recolección de información deben ser elegidos o desarrollados y luego implementados de manera tal que aseguren que la interpretación a la que se llega mediante ellos es válida.
- Información Confiable: Los procedimientos de recolección de información deben ser elegidos o desarrollados y luego implementados con el objetivo de asegurar que la información que se obtiene es lo suficientemente confiable.
- Información Sistemática: La información de una evaluación debe ser revisada sistemáticamente y cualquier error hallado debe ser corregido.
- Análisis de la Información Cuantitativa: La información cuantitativa – los datos de observaciones y sondeos – en una evaluación debe ser analizada apropiada y sistemáticamente para que las inquietudes de la evaluación sean resueltas con efectividad.
- Análisis de la Información Cualitativa: La información cualitativa – información descriptiva de entrevistas y otras fuentes – de una evaluación debe ser apropiada y sistemáticamente analizada para que las inquietudes de la evaluación sean resueltas con efectividad.
- Conclusiones Justificadas: Las conclusiones alcanzadas en una evaluación deben ser justificadas explícitamente, para que los interesados puedan entender su valor.
- Reporte Imparcial: Los procedimientos de reporte deben proteger contra la distorsión causada por los sentimientos e inclinaciones personales de los involucrados en la evaluación, para que sus reportes reflejen con justicia los datos hallados.
- Metaevaluación: La evaluación en sí debe ser evaluada contra estos y otros estándares pertinentes, de manera que sea guiada apropiadamente y, al ser completada, los interesados puedan examinar de cerca sus fortalezas y debilidades.
Aplicar el Marco de Trabajo: Llevar a cabo Evaluaciones Óptimas
Existe una aceptación constantemente creciente acerca del valor de la evaluación; de hecho, hacerlo es a menudo un requisito exigido por los fundadores y otros integrantes de un programa. Es así que los profesionales en salud y desarrollo comunal no pueden ahora cuestionarse si evaluar o no sus programas. Más bien, las preguntas más apropiadas que deben hacerse son:
- ¿Cuál es la mejor forma de evaluar?
- ¿Qué aprenderemos de la evaluación?
- ¿Cómo utilizaremos lo que aprendamos para llegar a ser más efectivos?
El marco de trabajo de evaluación de programas ayuda a responder estas preguntas, guiando a los usuarios a seleccionar estrategias de evaluación que son útiles, viables, adecuadas y precisas.
Utilizar este marco de trabajo requiere cierta cantidad de habilidades de evaluación de programas. En muchos casos hay múltiples interesados a considerar, el contexto político puede ser divisivo, los pasos no siempre seguirán un orden lógico, y limitaciones de recursos pueden hacer difícil tomar un curso de acción preferido. El reto ante el que se halla el evaluador es el de idear una estrategia óptima, dadas las condiciones bajo las que se halla trabajando. Una estrategia óptima es aquella que realiza cada paso en el marco de trabajo en una forma que toma en cuenta el contexto del programa y es capaz de alcanzar o sobrepasar los estándares relevantes.
Este marco de trabajo también hace posible responder a preocupaciones comunes acerca de la evaluación del programa. Por ejemplo, muchas evaluaciones no son llevadas a cabo porque son vistas como demasiado caras. El costo de una evaluación, sin embargo, es relativo; depende de la inquietud planteada y del nivel de certeza deseado para su respuesta. Una evaluación simple, de bajo costo puede distribuir información valiosa y útil en cuanto a su comprensión y mejoras.
Más que descontar evaluaciones como alternativas que consumen tiempo, el marco de trabajo estimula a efectuar evaluaciones coordinadas estratégicamente para proveer la retroalimentación necesaria. Esto hace posible efectuar evaluaciones estrechamente relacionadas con las prácticas cotidianas.
Otra preocupación se centra en las demandas técnicas que pueden ser percibidas, en relación al diseño y realización de la evaluación. Sin embargo, el acercamiento práctico empleado por este marco de trabajo se enfoca en inquietudes que pueden mejorar el programa. Adicionalmente, vínculos a información en otros lugares de la Caja de Herramientas Comunitarias,pueden brindar apoyo para el uso de este marco de trabajo.
Finalmente, la perspectiva de una evaluación preocupa a muchos miembros del personal pues ellos pueden ver los métodos de evaluación como “castigadores” (“Ellos solo quieren ver lo que estamos haciendo mal”), excluyentes (“¿Por qué no somos parte de la evaluación? Nosotros somos los que sabemos lo que sucede”), o generadoras de oposición (“Somos nosotros contra ellos”). Por el contrario, el marco de trabajo estimula a tomar un enfoque de evaluación que esté diseñado para ser de ayuda y que involucre a todos los interesados en un proceso que tome en cuenta su participación.
En resumen
La evaluación es una estrategia poderosa para distinguir programas e intervenciones que hacen la diferencia, de aquellos que no. Es una fuerza que impulsa al desarrollo y adaptación de estrategias eficaces, a mejorar programas existentes, y a demostrar los resultados de inversiones de tiempo y otros recursos. También ayuda a determinar si lo que se está haciendo está de acuerdo a su costo.
Este marco de trabajo recomendado para la evaluación de programas es tanto una síntesis de las mejores prácticas existentes como una serie de estándares para un futuro desarrollo. Apoya un método de evaluación práctico basado en pasos y estándares que pueden ser aplicados en casi cualquier contexto. Ya que el marco de trabajo ha sido diseñado intencionalmente de una forma muy general, proporciona una guía estable para diseñar y llevar a cabo un amplio rango de esfuerzos de evaluación en una variedad de áreas específicas de programas. El marco de trabajo puede ser usado como una plataforma para crear planes de evaluación útiles que contribuyan al desarrollo y el entendimiento.
