Guía para evaluar iniciativas
- Identificar a los interesados claves y en qué se interesan (ej., personas u organizaciones que tienen algo que ganar o perder de la evaluación). Incluya:
- Aquellos implicados en las operaciones de la iniciativa o programa (ej., personal, miembros de la comunidad, patrocinadores y colaboradores)
- Aquellos prioritariamente servidos o afectados por el esfuerzo (ej., aquellos que experimentan el problema, funcionarios públicos)
- Usuarios principales deseados de la evaluación (ej., personal de la iniciativa o programa, miembros de la comunidad, investigadores externos, financiadores)
- Describa el marco de trabajo o modelo lógico del programa o iniciativa (ej., qué está tratando de alcanzar el programa o esfuerzo y cómo está haciéndolo). Incluya información sobre:
- Propósito o misión (ej., el problema o meta que trata el programa, esfuerzo o iniciativa)
- Contexto o condiciones (ej., la situación en la cuál el esfuerzo tomará lugar; factores que podrían afectar los resultados)
- Aportes: Recurso y barreras (ej., los recursos pueden incluir tiempo, talento, equipo, información, dinero, etc.). Las barreras pueden incluir historia de conflicto, factores ambientales, condiciones económicas, etc.
- Actividades o intervenciones (ej., ¿qué hará la iniciativa para generar cambio y mejora) (ej., proveer información y aumentar las habilidades; aumentar los servicios y apoyo; modificar los accesos, barreras y oportunidades; cambiar las consecuencias, modificar las políticas y ampliar los sistemas)
- Salidas/Resultados (ej., evidencia directa de haber desarrollado las actividades) (ej., número de servicios prestados)
- Efectos o resultados planeados
- Corto plazo (ej., aumentar el conocimiento o habilidades)
- Intermedio (ej., cambios en los programas, políticas o prácticas de la comunidad)
- Largo plazo (ej., cambios resultados a nivel de comportamiento o poblacionales)
- Enfoque el diseño de evaluación. Qué desea alcanzar la evaluación, cómo hará esto y cómo serán utilizados los hallazgos. Incluya una descripción de:
- Propósito o usos: ¿Qué busca lograr la evaluación? Los propósitos pueden incluir: 1) Ganar comprensión sobre que funciona, 2) Mejorar cómo se han hecho las cosas, 3) Determinar los efectos del programa o iniciativa en la comunidad.
- Preguntas de evaluación: Indicar que preguntas son importantes para las personas interesadas, incluyendo aquellas relacionadas con:
- Medidas del Proceso
- Planear e Implementar Asuntos: ¿Qué tan bien se ha planeado e implementado la iniciativa? ¿contribuyeron aquellos más afectados en el planeamiento, implementación y evaluación del esfuerzo? ¿Qué tan satisfechos están los participantes con el programa?
- Medidas de los Resultados
- Alcance de los objetivos (ej., ¿En qué medida ha respondido bien el programa/iniciativa a sus objetivos formulados?
- Impacto en los participantes (ej., ¿Cuánta diferencia y de qué tipo ha producido el programa/iniciativa para sus grupos prioritarios?
- Impacto en la comunidad (ej., ¿Cuánta diferencia y de qué tipo ha producido el programa/iniciativa en la comunidad? ¿Existieron algunas consecuencias no buscadas, ya sean positivas o negativas?)
- Métodos - ¿Qué tipo de mediciones y diseño de estudio deberá ser utilizado para evaluar los efectos del programa o iniciativa? Diseños típicos incluyen estudio de casos y experimentos mas controlados. ¿Por medio de que métodos se reunirá los datos para ayudar a responder las preguntas de evaluación? Algunos métodos apropiados incluyen:
- Encuestas de satisfacción e importancia de la iniciativa
- Informes de alcance de metas
- Encuestas de comportamientos
- Entrevistas con participantes clave
- Documentos de archivos
- Observación de condiciones de comportamiento y del medio ambiento
- Reportes por parte de la misma persona, blogs o diarios
- Sistemas de documentación y análisis de contribuciones de la iniciativa
- Indicadores de impacto de nivel comunitario (ej., tasas de VIH)
- Estudios de casos y experimentos
- Obtenga evidencia creíble - Decida qué es evidencia y qué atributos afectan a la credibilidad de la evidencia, incluya:
- Indicadores de éxito- criterios específicos utilizados para juzgar el éxito del programa o iniciativa. Tradúzcalo en medidas o indicadores de éxito, incluyendo:
- Capacidad para prestar servicios
- Tasas de participación
- Niveles de satisfacción
- Cambios en conducta
- Cambio en los sistemas o comunitarios (ej., nuevos programas, políticas y prácticas)
- Mejoras en indicadores de nivel comunitario
- Fuentes de evidencia (ej., entrevistas, encuestas, observación directa, revisión de documentos). Indique cómo será recolectada la evidencia de su éxito.
- Calidad - estime lo que es apropiado e integridad de la información obtenida, su exactitud (fiabilidad) y sensibilidad (validez). Indique cómo se medirá la calidad de las mediciones.
- Cantidad - estime qué cantidad de datos (o tiempo) se requiere para evaluar la efectividad.
- Logística - identifique quién, para cuándo, a partir de qué recursos y qué precauciones y permisos serán necesarios para reunir la información.
- Esquematice e implemente un plan de evaluación. Indique como usted:
- Involucrará a los interesados claves (ej., miembros de grupos prioritarios, implementadores de programas, proveedores de fondos) en identificar indicadores de éxito, documentar evidencia de éxito y dar sentido a los efectos de la iniciativa en general y cómo ésta puede ser mejorada.
- Rastreará la implementación de los componentes de las intervenciones de la iniciativa
- Evaluará la exposición a la iniciativa
- Evaluará los cambios continuos en objetivos de comportamiento específicos
- Calculará los cambios continuos en resultados basados en la comunidad específicos
- Examinará la contribución de componentes de la intervención (ej., un programa o política) y posibles mejoras en comportamientos y resultados al nivel de toda la comunidad o población.
- Considerará las implicaciones éticas de la iniciativa (ej., ¿sobrepasan los beneficios esperados los riesgos potenciales?)
- Haga que los datos tengan sentido y justifique las conclusiones. Indique cómo cada aspecto se alcanzará cada aspecto de la evaluación.
- Estándares - los valores sostenidos por los interesados y cómo serán asegurados. Indique cómo cada estándar clave será alcanzado:
- Estándares de utilidad: para asegurar que la evaluación es útil y responde las preguntas que son importantes para los interesados, incluyendo:
- Alcance de la información y selección: la información recolectada deberá tratar preguntas pertinentes al programa y debe ser sensible a las necesidades e intereses de clientes y otros interesados.
- Reporte de claridad: la evaluación de reportes debe describir claramente el programa siendo evaluado, incluyendo su contexto y sus propósitos, sus procesos y hallazgos de la evaluación.
- Evaluación del impacto: la evaluación debe ser planeada, conducida y reportada por medios que animen el seguimiento por parte de los interesados, de modo que la evaluación de los hallazgos pueda ser utilizada.
- Viabilidad de estándares: para asegurar que la evaluación tenga sentido y sus pasos sean viables y pragmáticos, incluyendo:
- Procedimientos prácticos: los procedimientos de evaluación beberán ser prácticos para mantener las interrupciones de las actividades diarias en un mínimo mientras la información necesaria es obtenida.
- Viabilidad política: la evaluación debe ser planeada y conducida con anticipación de las diferentes posiciones o intereses de varios grupos.
- Costo-efectividad: la evaluación debe ser eficiente y producir suficiente información valiosa de forma que los recursos puedan ser justificados.
- Estándares de propiedad: para asegurar que la evaluación es ética y que es conducida contemplando los derechos e intereses de aquellos involucrados, incluyendo:
- Servicios de orientación: las evaluaciones deben ser diseñadas para ayudar efectivamente a organizaciones que atienden las necesidades de todos los participantes.
- Acuerdos formales: las responsabilidades en una evaluación (qué se hará, cómo, por quién, cuándo) deben ser acordadas por escrito, de manera que aquellos involucrados estén obligados a seguir o negociar todas las condiciones del acuerdo.
- Derechos de los participantes: la evaluación debe ser diseñada y conducida hacia respetar y proteger los derechos y el bienestar de todos los participantes en el estudio.
- Evaluación completa y justa: la evaluación debe ser completa y justa en su revisión, registrando tanto las fortalezas como las debilidades del programa que está siendo evaluado.
- Conflictos de intereses: los conflictos de intereses deben ser tratados abierta y honestamente, de modo que no comprometan la evaluación de procesos y resultados.
- Estándares de precisión: para asegurar que los hallazgos de la evaluación sean considerados correctos. Indique cómo los estándares de precisión serán alcanzados, incluyendo:
- Programa de documentación: la intervención debe ser clara y precisamente descrita y documentada, de modo que los que está siendo evaluado sea claramente identificado.
- Análisis de contexto: el contexto en el cual se desarrolla la iniciativa debe ser examinado a fondo para que las posibles influencias sobre los efectos del programa puedan ser identificadas.
- Información válida: los procesos para reunir la información deben ser seleccionados o desarrollados y luego implementados de manera que aseguren que la interpretación a la obtenida sea valida.
- Información confiable: los procesos para reunir la información deben ser seleccionados o desarrollados y luego implementados de manera que aseguren que la información obtenida es suficientemente confiable.
- Análisis de información cualitativa y cuantitativa: información cuantitativa (ej., datos de observaciones o encuestas) e información cualitativa (ej., de entrevistas) debe ser apropiada y sistemáticamente analizada de modo que las preguntas de evaluación sean efectivamente respondidas.
- Conclusiones justificadas: las conclusiones alcanzadas en una evaluación deben ser justificadas explícitamente, de modo que los interesados puedan entender su función.
- Análisis y síntesis - Indique cómo el reporte de evaluación analizará y resumirá los hallazgos.
- Dar sentido e interpretar - ¿Cómo el reporte de la evaluación comunicará lo que los hallazgos significan? ¿Cómo los interesados usarán la información para ayudar a responder las preguntas de evaluación? ¿Cómo el grupo comunicará lo que los hallazgos sugieren?
- Juicios - declaraciones de valor o mérito al comparar con los estándares seleccionados. ¿Cómo el grupo comunicará lo que los hallazgos sugieren sobre el valor agregado por el esfuerzo?
- Recomendaciones - ¿Cómo el grupo identificará recomendaciones basadas en los resultados de la evaluación?
- Utilice la información para celebrar, hacer ajustes y comunicar las lecciones aprendidas. Tome las medidas para asegurar que los hallazgos serán usados apropiadamente; incluya:
- Diseño - comunique cómo las preguntas, métodos y hallazgos son construidos para dirigir asuntos acordados
- Preparación - anticipe usos futuros de sus hallazgos; cómo traducir el conocimiento en práctica
- Retroalimentación y hacer que las cosas tengan sentido - cómo la comunicación y el intercambio de interpretaciones será facilitado entre todos los usuarios
- Seguimiento - apoye las necesidades de los usuarios durante la evaluación y tras recibir los hallazgos, incluya celebrar los logros y hacer ajustes
- Diseminación - comunique las lecciones aprendidas a todas las audiencias relevantes de modo oportuno