Tabla de Contenido >
Capítulo 36. Introducción a la evaluación >
Sección 1. Un marco para la evaluación de programas: Una introducción a las herramientas >
Un marco para la evaluación de programas: Una introducción a las herramientas |
Herramientas y Listas de Verificación | Contribución de Bobby Milstein, Scott Wetterhall, and the CDC Evaluation Working Group Editado por Jenette Nagy and Stephen B. Fawcett Traducido por Fabio Achí Castro
Revisado en español por Dafne Vargas Hernández |
Herramientas
Herramienta #1: Herramientas Relacionadas al Marco de Trabajo Recomendado
Haciendo clic en los pasos de evaluación de programas que aparecen a continuación, usted hallará la sección de la Caja de Herramientas Comunitaria están relacionadas a cada paso.
1. Reunir Personas Interesadas
Ver las siguientes secciones de la Caja e Herramientas Comunitarias:
Para ayudarle a comprender quiénes son los interesados, ver:
Para aprender cómo involucrarlos, ver:
Para trabajar en conjunto con un grupo diverso, ver:
2. Descripción del Programa
Ver las siguientes secciones de la Caja de Herramientas Comunitarias:
Para comprender totalmente la necesidad, problema o meta en que se enfoca el programa, ver:
Para explicar mejor las actividades, componentes y elementos del programa, ver:
Para describir los recursos y ventajas del programa, ver:
Para dar ejemplos de modelos lógicos, ver:
Para dar una mirada amplia a su programa y su contexto, ver:
Para modificar el programa y ajustarlo al contexto local, ver:
Para aprender a explicar el programa a otros (y que ellos puedan ver desde su punto de vista), ver:
3. Concentrar el Diseño de la Evaluación
Para aclarar el propósito, ver:
Para identificar potenciales usuarios y usos, ver:
Para aclarar las inquietudes de la evaluación, ver:
Para ver preguntas de evaluación ilustrativas, ver:
Para ayuda en la identificación de métodos de evaluación específicos, ver:
Para guía sobre cómo realizar acuerdos, ver:
4. Recolección de Evidencia Creíble
Para apoyo en implementación de métodos de evaluación específicos, ver:
5. Justificación de Conclusiones
Para ver un proceso ilustrativo de consideración de evidencia, ver:
6. Garantizando el Uso y Divulgación de las lo Aprendido
Ver las siguientes secciones de la Caja de Herramientas Comunitarias:
Para promover el uso de lo que su organización ha aprendido, ver:
Para saber cómo compartir lo que usted ha aprendido con diversos grupos, ver:
Herramienta #2: Lista de Verificación Para Asegurar Reportes de Evaluación Efectivos
El reporte debe…
___Proveer reportes provisionales y finales a los presuntos usuarios a tiempo para los usos planeados
___Ajustar el contenido, formato y estilo del reporte para la audiencia (o audiencias) involucrando a miembros de la misma
___Incluir un resumen ejecutivo
___Hacer un resumen de las personas interesadas y cómo fueron incluidas
___Describir características esenciales del programa (puede ser en apéndices)
___Explicar el enfoque de la evaluación y sus limitaciones
___Incluir un resumen adecuado del plan y procedimientos de evaluación
___Proveer toda la información técnica necesaria (puede ser en apéndices)
___Especificar los estándares y criterios empleados en los juicios evaluativos
___Explicar los juicios evaluativos y cómo estos son apoyados por la evidencia
___Enumerar tanto las fortalezas como las debilidades de la evaluación
___Discutir recomendaciones de acción junto con sus ventajas y desventajas
___Asegurar protección a clientes/participantes del programa y otros interesados
___Anticipar cómo las personas u organizaciones pueden verse afectadas por los hallazgos
___Presentar opiniones o reacciones minoritarias cuando es necesario
___Verificar que el reporte es preciso e imparcial
___Organizar el reporte lógicamente e incluir un nivel de detalle apropiado
___Evitar el uso de términos muy técnicos
___Usar ejemplos, ilustraciones, gráficos e historias
* Adaptado de: Worthen, BR, Sanders, JR, Fitzpatrick, JL. Program evaluation: alternative approaches and practical guidelines. 2nd edition. Addison, Wesley Logman, Inc. New York. 1997.
Herramienta #3: Pasos de una Evaluación y los Estándares Más Relevantes
| Pasos | Estándares Mas Relevantes* |
| Reunir personas interesadas | Metaevaluación (D12)
Identificación de interesados (U1)
Credibilidad del evaluador (U2)
Acuerdos formales (D2)
Derechos humanos (D3)
Interacciones humanas (D4)
Conflictos de interés (D7) |
| Describir el programa | Evaluación justa y completa (D5)
Documentación del programa (P1)
Análisis de contexto (P2) |
| Enfocar el diseño de la evaluación | Impacto de la evaluación (U7)
Procedimientos prácticos (V1)
Viabilidad política (V2)
Efectividad de costo (V3)
Orientación de servicios (D1)
Evaluación justa y completa (D5)
Responsabilidad fiscal (D8)
Procedimientos y propósitos descritos (P3) |
| Recolectar evidencia creíble | Rango y selección de información (U3)
Fuentes de información defendibles (P4)
Información válida (P5)
Información confiable (P6)
Información sistemática (P7) |
| Justificar conclusiones | Identificación de valores (U4)
Análisis de información cuantitativa (P8)
Análisis de información cualitativa (P9)
Conclusiones justificadas (P10) |
| Asegurar el uso y divulgación de las lecciones aprendidas | Credibilidad del evaluador (U2)
Claridad del reporte (U5)
Puntualidad y diseminación del reporte (U6)
Impacto de la evaluación (U7)
Divulgación de hallazgos (D6)
Reporte imparcial (P11) |
* Los códigos al lado de cada estándar designan el grupo conceptual y el número del estándar.
U = Utilidad; V = Viabilidad; D = Decoro; P = Precisión.
Herramienta #4: Lista de Verificación de Estándares
Utilice esta página para determinar si su evaluación cumple los “buenos” estándares de evaluación.
| Lista de Verificación de Estándares de Evaluación |
| Estándar | ¿La evaluación cumplió este estándar? (S/N) | Comentarios |
| Estándares de Utilidad | | |
| 1. Identificación de Interesados | | |
| 2. Credibilidad del Evaluador | | |
| 3. Selección y Enfoque de la Información | | |
| 4. Identificación de Valores | | |
| 5. Claridad de Reporte | | |
| 6. Puntualidad y Diseminación del Reporte | | |
| 7. Impacto de la Evaluación | | |
| Estándares de Viabilidad | | |
| 1. Procedimientos Prácticos | | |
| 2. Viabilidad Política | | |
| 3. Efectividad de Costo | | |
| Estándares de Decoro | | |
| 1. Orientación de Servicios | | |
| 2. Acuerdos Formales | | |
| 3. Derechos Humanos | | |
| 4. Interacciones Humanas | | |
| 5. Evaluación Completa y Justa | | |
| 6. Divulgación de Hallazgos | | |
| 7. Conflictos de Interés | | |
| 8. Responsabilidad Fiscal | | |
| Estándares de Precisión | | |
| 1. Documentación del Programa | | |
| 2. Análisis de Contexto | | |
| 3. Propósitos y Procedimientos Descritos | | |
| 4. Fuentes de Información Defendibles | | |
| 5. Información Válida | | |
| 6. Información Confiable | | |
| 7. Información Sistemática | | |
| 8. Análisis de Información Cuantitativa | | |
| 9. Análisis de información Cualitativa | | |
| 10. Conclusiones Justificadas | | |
| 11. Reporte Imparcial | | |
| 12. Metaevaluación | | |
Lista de Verificación
A continuación encontrará una lista que resume los puntos más importantes de esta sección.
___ Usted comprende que evaluación es la investigación sistemática del mérito, valor o significado de un objeto o esfuerzo.
___ Usted comprende que un programa es usado para describir el objeto o esfuerzo que se está evaluando.
___ Usted entiende que la evaluación de programas es una forma de evaluar los proyectos y actividades específicos en los cuales los grupos comunales pueden participar.
___ Usted entiende que los interesados son aquellos que se preocupan por el programa o esfuerzo.
Usted entiende que la evaluación de programas:
___ Ayuda a aclarar los planes de un programa.
___ Mejora la comunicación entre socios/colegas.
___ Reúne la retroalimentación necesaria para mejorar y justificar la efectividad de un programa.
Usted sabe cómo evaluar un programa específico:
___ Usted sabe qué será evaluado.
___ Usted ha decidido qué criterio será usado para juzgar el desempeño del programa.
___ Usted ha decidido qué estándares de desempeño deben ser alcanzados para que el programa sea considerado exitoso.
___ Usted sabe qué tipo de evidencia será indicadora del desempeño.
___ Usted conoce cuáles conclusiones sobre el desempeño del programa están justificadas basándose en la evidencia disponible.
___ Usted ha involucrado a personas interesadas.
___ Usted ha descrito el programa.
___ Usted ha enfocado el diseño de la evaluación.
___ Usted comprende que posibles enfoques son: para obtener ideas, para mejorar la manera en que se hacen las cosas, para determinar cuáles son los efectos del programa, y para influir en aquellos que participan en él.
___ Usted ha reunido evidencia creíble.
___ Usted ha justificado sus conclusiones.
___ Usted comprende cómo asegurar el uso de la información y cómo compartir las lecciones aprendidas.
___ Usted sabe que existen cuatro categorías de estándares de evaluación: utilidad, factibilidad, decoro y precisión.
___ Usted comprende los estándares en cada categoría.
___ Usted comprende cuáles estándares son más aplicables a cada paso de la práctica de evaluación.