الفصل 39: استخدام التقييم في فهم المبادرة وتحسينها | Community Tool Box

Un Centro Comunitario de Salud realizó una evaluación de su programa para promover la actividad física entre personas con mayor riesgo de enfermedad cardíaca. La evaluación mostró resultados mixtos. Un pequeño número de participantes (15%) obtuvo resultados muy positivos. Presentaron aumentos significativos en la actividad física y mejoraron su alimentación. Su condición física mejoró y perdieron peso. Como se había previsto, su presión arterial disminuyó, su frecuencia cardíaca bajó y reportaron sentirse con más energía. También informaron altos niveles de satisfacción con el programa y sus resultados.

Una gran mayoría del grupo original (70%) hizo ejercicio, pero no con la regularidad esperada. Los beneficios para la salud en este grupo variaron: varios lograron reducir al menos ligeramente su presión arterial, mientras que el resto mantuvo los niveles con los que había iniciado el programa.

Un último grupo (15%) estuvo compuesto por personas que abandonaron el programa –varias se retiraron en poco tiempo– y otras que simplemente nunca lograron ejercitarse con regularidad. Prácticamente no hubo cambios en su peso, presión arterial ni en su sensación de bienestar… excepto en un pequeño número que obtuvo resultados relativamente positivos.

¿Qué podría hacer el Centro Comunitario de Salud con estos resultados? Sabía que, aunque la intervención aparentemente funcionaba cuando las personas se mantenían en el programa, este solo había tenido un éxito parcial. ¿Cómo podría utilizar la evaluación para mejorar el programa y, de ese modo, mejorar la salud de las personas a las que servía?

Hasta ahora, este capítulo ha abordado los elementos para llevar a cabo una evaluación basada en la investigación. Pero la evaluación en sí misma es solo un medio para un fin: una herramienta que le permite comprender qué está sucediendo para que usted pueda mejorar la efectividad de su trabajo. En esta sección, examinaremos cómo puede utilizar su investigación –los resultados de su evaluación– para lograr precisamente eso.

¿Qué entendemos por perfeccionar la intervención?

Los datos le permiten a usted y a los demás miembros de su grupo reflexionar de manera crítica sobre su trabajo y buscar oportunidades de mejora.

Algunas preguntas clave de reflexión que usted y su grupo podrían considerar son:

• ¿Qué estamos observando? (por ejemplo, cantidad y tipo de actividades implementadas; resultados obtenidos –aumentos, disminuciones, tendencias).
• ¿Qué significa esto? (por ejemplo, si la implementación de la intervención estuvo asociada con cambios).
• ¿Cuáles son las implicaciones para la mejora? (por ejemplo, si los resultados sugieren que la intervención debe mantenerse, modificarse o suspenderse; qué cambios se proponen).

Las preguntas de reflexión que usted formule dependerán de la naturaleza de su intervención, pero el conjunto anterior constituye un buen punto de partida. Considere realizar una reunión o un breve retiro en el que se presenten los resultados de la evaluación mediante gráficos y tablas, y se discutan las preguntas clave. Esta reunión podría beneficiarse de la participación de una persona facilitadora con experiencia que ayude a orientar el proceso hacia el consenso sobre recomendaciones específicas para mejorar.

Perfeccionar la intervención es el proceso de hacer su trabajo más efectivo utilizando los datos recopilados en su evaluación.

Dependiendo de lo que haya aprendido a partir de estos datos, usted podría:

• Incrementar o fortalecer su intervención en ciertas áreas o con determinados grupos.
• Modificar o eliminar elementos de la intervención que no hayan funcionado bien.
• Ajustar su intervención a condiciones o necesidades cambiantes en la comunidad.

Será importante que usted se reúna con otros miembros de su grupo para revisar los datos, identificar áreas clave de mejora, generar ideas y alcanzar un consenso sobre cómo abordar los problemas planteados. Prestar atención cuidadosa a los resultados de su evaluación puede ayudarle a determinar qué acciones debe tomar para fortalecer sus esfuerzos.

Para continuar con el ejemplo anterior, el personal del Centro Comunitario de Salud y algunos participantes seleccionados se reunieron para revisar los resultados. Consideraron que la evaluación había demostrado que, si las personas hacían ejercicio con regularidad, podían reducir su presión arterial, perder peso y mejorar su salud en general.

Una implicación clave de los hallazgos fue cómo ayudar a las personas a establecer y mantener una rutina de ejercicio.

El diálogo posterior sobre los resultados de la evaluación dejó al Centro Comunitario de Salud con preguntas adicionales:

• ¿Cómo podemos aumentar el número de participantes que realmente adopten y mantengan el ejercicio regular y otros comportamientos saludables?
• ¿Por qué algunas personas que no hicieron ejercicio con regularidad lograron reducir su presión arterial, y deberíamos añadir otro componente (por ejemplo, alimentación saludable) a nuestro programa?
• ¿Qué otros factores, si los hay, además del ejercicio, parecen ayudar a los participantes a ejercitarse regularmente y reducir su presión arterial (por ejemplo, un grupo de bienestar, medicación)?

Al centrarse en las preguntas clave de reflexión –¿Qué estamos observando? ¿Qué significa? ¿Cuáles son las implicaciones para la mejora?-- el centro debería poder perfeccionar su programa para obtener resultados aún mejores para un mayor número de participantes.

¿Por qué debería utilizar su investigación de evaluación para perfeccionar la intervención?

Perfeccionar la intervención es el propósito principal de una evaluación. Si descubre que su intervención no fue efectiva, tiene tres opciones: puede abandonarla; puede intentar a ciegas otro enfoque; o puede utilizar los resultados de su evaluación para orientarse hacia una intervención más eficaz.

Utilizar los resultados de la evaluación es fundamental: le indica la dirección que su investigación señala como más prometedora. Emplear la investigación para decidir el curso de acción también le posiciona como una organización creíble y práctica, comprometida con lo que realmente funciona. Ese tipo de reputación probablemente aumente sus oportunidades de obtener financiamiento y otros recursos, así como de ganar y mantener el apoyo de la comunidad. Lo más importante es que ayuda al grupo a tener éxito en la atención de los problemas o metas importantes de su comunidad.

¿Cuándo debería perfeccionar la intervención?

La respuesta corta a esta pregunta es: constantemente. El monitoreo y la evaluación deben llevarse a cabo durante toda la vida del programa o proyecto, y deben utilizarse para adaptar y ajustar lo que usted hace de manera continua. En términos prácticos, es recomendable reevaluar su trabajo con regularidad –una vez al año es lo más común– y realizar en ese momento los cambios importantes que sean necesarios.
Por supuesto, usted puede y debe hacer ajustes menores a lo largo del año, basándose en el monitoreo y en la retroalimentación de los participantes, del personal y de otras personas que implementan o experimentan la intervención.

Además, hay momentos específicos en los que ajustar su trabajo puede ser especialmente útil:

• Cuando lo que está haciendo no está funcionando. Si es evidente que su trabajo no está produciendo el efecto deseado, es momento de considerar qué necesita cambiar.

Asegúrese de permitir suficiente tiempo para que un programa o intervención tenga efecto antes de concluir que no está funcionando. Nada ocurre de la noche a la mañana y, cuanto más complejo sea el problema que usted está abordando, más tiempo probablemente se necesitará para influir en los resultados esperados. Usted debe encontrar un equilibrio entre suspender un programa antes de que haya tenido la oportunidad de demostrar resultados y permitir que continúe aun cuando ya haya mostrado ser ineficaz.

• Cuando los participantes abandonan el programa en una proporción alta. ¿Qué está haciendo usted –o qué factores externos existen– que podrían estar provocando que las personas se retiren del programa? ¿Cómo puede modificar la intervención para asegurarse de que los participantes permanezcan el tiempo suficiente para beneficiarse?
• Entre sesiones de un programa de duración limitada o secuencial. Algunos programas –como el programa de ejercicio utilizado como ejemplo– están diseñados para funcionar solo durante un período determinado, pero pueden repetirse varias veces con nuevos participantes. Si un programa de este tipo se evalúa de manera continua, usted obtendrá –y debería utilizar– información en cada ciclo que le ayudará a mejorar la siguiente implementación.
• Cuando los financiadores o los participantes le piden que ajuste algún aspecto de su programa. Su investigación de evaluación puede ser de gran ayuda para determinar cómo responder a las solicitudes de los financiadores o de los participantes.
• Cuando se reducen los fondos u otros recursos. Usted puede verse en la situación de tener que eliminar partes del programa, reducir el número de participantes u optar por otras decisiones difíciles. Su investigación de evaluación puede ayudarle a encontrar la mejor manera de hacer recortes sin perder efectividad, manteniendo los elementos del programa que generan mayor impacto.
• Cuando cambian el problema o la meta. A veces se produce un cambio en las prioridades de la comunidad, por ejemplo, tras un aumento del desempleo o de la violencia. Su investigación puede indicarle que esto está ocurriendo y sugerirle formas de responder a las nuevas condiciones.

¿Quiénes deberían participar en el perfeccionamiento de la intervención?

El mejor plan es involucrar a varios grupos de interés, dependiendo en parte de quiénes hayan participado en la planificación y evaluación del esfuerzo.

Algunas personas que definitivamente deberían participar son:

• Los participantes. Son quienes experimentan tanto la intervención como sus efectos, y es probable que tengan ideas sobre cómo mejorarla, hacerla más accesible o más relevante para ellos. Los participantes deben ser sus aliados en el perfeccionamiento de programas e intervenciones, ya que cuentan con una perspectiva interna sobre si realmente están funcionando.
• El personal, remunerado o voluntario. Al igual que los participantes, el personal tiene una perspectiva única sobre la intervención. No solo observa diariamente cómo funciona, sino que también deberá implementar cualquier cambio. Si puede apropiarse de esos cambios al participar en el proceso de planificación, será mucho más probable que los comprenda adecuadamente y esté comprometido en hacer que funcionen.
• Personas que apoyan el trabajo directa o indirectamente. Dependiendo de la naturaleza del problema, podrían incluir educadores, funcionarios gubernamentales, profesionales de la salud, empleadores, financiadores u otras personas. Dado que su contribución puede ser necesaria para que los cambios tengan éxito, es importante que aporten su opinión en la planificación. Necesitarán comprender y respaldar los ajustes para que la intervención modificada funcione adecuadamente.
• Quienes lideraron y participaron en la evaluación. Estas personas comprenderán bien lo que mostró la evaluación y tendrán claridad sobre qué podría necesitar cambios y de qué manera.

Por ejemplo, el Centro Comunitario de Salud conformó un equipo para analizar los resultados de la evaluación y formular recomendaciones para realizar cambios en el programa. El equipo incluyó a diversos participantes que habían experimentado distintos resultados, un profesional de la salud, un miembro de la junta directiva del Centro y un miembro del personal de la universidad que llevó a cabo la evaluación. Revisaron parte de la investigación que el Centro había utilizado para desarrollar el programa y estudiaron cuidadosamente las entrevistas a los participantes y otros materiales de evaluación, así como los registros mantenidos por el personal del programa.

¿Cómo se perfecciona una intervención con base en la investigación?

Los cambios en las intervenciones deben centrarse en uno o más de los tres aspectos de la evaluación: proceso (tanto su proceso –actividades implementadas, cumplimiento de lo planificado, etc. – como el proceso de los participantes –qué hicieron realmente), impacto y resultados. Es necesario examinar cada uno por separado y, finalmente, integrarlos para decidir qué ajustes deben realizarse en la intervención.

Cada aspecto de la evaluación se construye sobre el anterior. Para lograr el impacto deseado, usted debe diseñar y ejecutar bien su programa, y eso es una cuestión de proceso. Si el proceso no se llevó a cabo adecuadamente, entonces en realidad no se implementó el programa tal como se había planificado. Si no se obtuvo el impacto esperado, puede deberse simplemente a que no se hizo lo que se había previsto, y los primeros ajustes deberían centrarse en el proceso, para garantizar que la intervención se implemente según lo diseñado.

De manera similar, para alcanzar los resultados deseados, el programa debe tener un impacto sobre los factores de riesgo y de protección pertinentes u otras condiciones del entorno. Si el programa logró el impacto previsto, pero no los resultados esperados, entonces los ajustes deben realizarse en el nivel del impacto, quizá en los factores de riesgo y protección y/o en las condiciones que influyen en los resultados.

Proceso

Una evaluación del proceso de su esfuerzo compara lo que usted planeó hacer con lo que realmente hizo.

El proceso tiene varios elementos a los que puede aplicarse la evaluación. Estos abarcan tanto la logística (el manejo de detalles, como conseguir un espacio o adquirir materiales) como la implementación del programa (los métodos, la estructura del programa, etc.).

Estos elementos pueden incluir:

• Participación comunitaria. ¿Pudo involucrar a los miembros y sectores de la comunidad que tenía previsto? ¿Logró establecer buenos contactos y relaciones dentro de la población prioritaria?
• Evaluación de la comunidad. ¿Realizó una evaluación de la situación de la manera en que lo había planificado? ¿Le proporcionó la información que necesitaba?
• Planificación del programa. ¿La planificación fue participativa? ¿Incluyó investigación sobre mejores prácticas e intervenciones exitosas? ¿Resultó en un enfoque que todos consideraron que funcionaría?
• Contratación de personal y/o reclutamiento de voluntarios. ¿Contrató personal y/o reclutó voluntarios que fueran las personas adecuadas para los puestos?
• Capacitación del personal y/o voluntarios. ¿El personal y/o los voluntarios recibieron orientación y capacitación antes de comenzar, para saber qué debían hacer cuando iniciaran su trabajo? ¿Hubo capacitación continua?
• Divulgación y reclutamiento de posibles participantes. ¿Las actividades de alcance comunitario lograron involucrar a las personas de los grupos previstos? ¿Pudo reclutar el número y tipo de participantes que había planeado?
• Estrategia de implementación. Aquí se analiza tanto lo que usted realmente hizo al implementar el programa como lo que los participantes realmente hicieron. ¿Estructuró el programa como estaba previsto? ¿Utilizó los métodos que tenía intención de usar? ¿Organizó la cantidad e intensidad de los servicios, otras actividades o condiciones según lo planificado? ¿Obtuvo y utilizó los materiales y equipos que esperaba? ¿Se desarrollaron las relaciones como se había previsto? ¿Los participantes realmente hicieron o experimentaron lo que usted había planeado?
• Estrategia de evaluación. ¿Realizó la evaluación como lo había planificado? ¿Recopiló datos relacionados con el proceso, el impacto y los resultados?
• Cronogramas y puntos de referencia. ¿Completó o inició cada uno de estos elementos en el tiempo que había previsto? ¿Logró los hitos o avances clave según lo planificado?

Si todas o la mayoría de las cosas ocurrieron según lo planificado, y cualquier desviación fue trivial, entonces básicamente usted hizo lo que se había propuesto. Si no fue así, existen varias posibles razones por las que el proceso previsto pudo haber cambiado:

• Tomó más tiempo del esperado completar una o más tareas importantes (por ejemplo, encontrar y contratar personal clave).
• Fue más difícil de lo previsto realizar una tarea en particular. Esto puede deberse al tiempo requerido, pero también puede significar que no contaba con las habilidades o el personal necesario para hacerlo.
• Algo que tenía buenas razones para esperar no ocurrió (por ejemplo, financiamiento o apoyo que esperaba no se concretó).
• Una persona u organización de la que dependía no cumplió con lo esperado (por ejemplo, un miembro del personal contratado se enfermó y no terminó el trabajo a tiempo).
• Más participantes abandonaron el programa de lo que usted había previsto.
• Participaron más personas de lo que había anticipado.
• A mitad del proceso descubrió que los métodos que había planificado no funcionaban bien y tuvo que hacer ajustes.
• Un financiador o un consejo asesor de la comunidad le pidió cambiar parte de lo que estaba haciendo.
• A mitad del proceso conoció un nuevo método que parecía muy eficaz y decidió implementarlo.
• Descubrió una forma más exitosa de hacer las cosas durante el trabajo y decidió adoptarla.
• Subestimó los recursos necesarios para llevar a cabo el plan original y tuvo que reducirlo (o buscar más financiamiento, voluntarios, espacio u otro tipo de apoyo).
• Enfrentó oposición.
• Enfrentó dificultades inesperadas (por ejemplo, alguien renunció o los materiales/equipos no estaban disponibles con el proveedor).
• Enfrentó un desastre (por ejemplo, el lugar se incendió, el coordinador del programa se enfermó, un miembro del personal fue arrestado o hizo un uso indebido de los fondos).
• Simplemente no prestó suficiente atención a seguir el plan y/o la organización no cumplió adecuadamente con su trabajo.

La desviación respecto a su plan puede haber tenido muy poca diferencia o puede haber marcado una gran diferencia. Algunos cambios pueden incluso ser positivos– por ejemplo, un retraso podría permitir encontrar una fuente de financiamiento más estable, o un cambio en el método podría dar lugar a un programa más efectivo– pero siguen siendo cambios. Vale la pena comprender qué fue lo que cambió para poder interpretar adecuadamente los resultados de la evaluación y realizar los ajustes que sean necesarios.

Quizás usted implementó el proceso según lo planeado y su programa se desarrolló como estaba previsto. Por el contrario, también puede ser que el proceso haya estado lleno de dificultades –oposición, falta de apoyo comunitario, problemas para reclutar participantes o plazos incumplidos–. ¿Significa eso que todo el trabajo que usted dedicó a la planificación fue innecesario?

Es probable que la respuesta sea justamente la contraria. Si usted logró implementar el programa a pesar de que sus planes se vieron alterados, es muy probable que la visión clara de lo que quería hacer le haya ayudado a mantenerse en el camino correcto.

Analizar cuidadosamente cómo logró superar los obstáculos que encontró le ayudará a entender cómo evitarlos en el futuro. (Evitar todos los obstáculos es poco común en el trabajo comunitario. La clave es aprender a anticiparlos y superarlos).

También es posible que el proceso previo al programa se haya desarrollado según lo planeado, pero que la implementación no haya resultado como se esperaba. En ese caso, probablemente el problema haya estado en el plan.

Algunos posibles problemas pueden ser:

• No evaluó adecuadamente la situación o no tomó en cuenta algunos aspectos importantes de la preparación.
• No comprendió correctamente algún aspecto de lo que debía hacerse para tener éxito.
• No comunicó adecuadamente algunos aspectos de lo que debía hacerse al personal, a los participantes, a los financiadores o a la comunidad.
• Subestimó la cantidad de dinero u otros recursos necesarios.
• No tuvo un control financiero adecuado.
• Ignoró algo importante (por ejemplo, tratar a los participantes con respeto).
• No involucró lo suficiente a la comunidad.
• No consideró suficiente tiempo para algunos aspectos de lo que debía hacerse (es decir, planificó un período determinado y lo cumplió, pero resultó ser demasiado corto).
• No proporcionó algún apoyo importante para los participantes (transporte, cuidado de niños, un estipendio), y como resultado un gran número abandonó el programa.

Descubrir por qué su plan no produjo la intervención que usted esperaba puede ser muy útil. Comprender qué necesita planificar y cómo hacerlo puede hacer que su trabajo futuro sea tanto más eficiente como más efectivo.

Impacto

El impacto de su programa o iniciativa es el efecto que tuvo sobre las condiciones del entorno, los eventos o los comportamientos que buscaba cambiar (aumentar, disminuir o mantener).

En la mayoría de los casos –aunque no en todos– el impacto inmediato del programa no es el mismo que los resultados finales que se esperan. Generalmente, un programa busca influir únicamente en uno o más comportamientos o condiciones específicos –factores de riesgo o de protección–. La suposición es que esa influencia conducirá posteriormente a un cambio a más largo plazo, que constituye el objetivo final del programa.

El impacto previsto del programa de ejercicio del Centro de Salud, por ejemplo, es que los participantes adopten el ejercicio regular, un factor protector que reduce el riesgo de enfermedades crónicas. Sin embargo, los objetivos del programa son en realidad mejorar la salud del corazón y, en última instancia, lograr una vida más larga y de mayor calidad. El impacto es el paso intermedio: la influencia que usted tiene sobre un comportamiento u otro factor que, a su vez, conducirá a los resultados deseados.

Su proceso pudo haber funcionado perfectamente –usted pudo haber hecho exactamente lo que se propuso– y aun así no haber tenido ningún impacto en los factores de riesgo o de protección que buscaba cambiar. Del mismo modo, puede que haya terminado implementando un programa bastante diferente al que había planificado y aun así haber logrado el impacto que esperaba. Los resultados de la evaluación del proceso le indicarán qué tan fielmente siguió su plan al establecer y ejecutar el programa. Los resultados de la evaluación del impacto le mostrarán si su programa logró producir los cambios o resultados previstos.

Su programa funcionó como se planeó si los comportamientos y los factores de riesgo y/o de protección cambiaron de la manera que usted esperaba. La gran pregunta que queda en ese caso es si los cambios que su programa logró influir condujeron a los resultados finales que usted buscaba. Consideraremos esto cuando analicemos los resultados más adelante en esta sección.

En todos estos casos, la evaluación debería incluir retroalimentación tanto de los participantes que obtuvieron buenos resultados como de aquellos que no los obtuvieron. ¿Qué funcionó particularmente bien para quienes tuvieron éxito? ¿Qué barreras existieron para quienes el programa no funcionó tan bien? No siempre es fácil lograr que los participantes describan los aspectos positivos y negativos, pero es la mejor manera de descubrirlo.

Si su programa realmente tuvo un impacto negativo en los comportamientos o en los factores de riesgo y/o de protección que se pretendía cambiar –por ejemplo, si la intervención buscaba aumentar la vacunación infantil y, en cambio, menos niños fueron vacunados– es importante analizar con mayor profundidad qué está ocurriendo.

Algunas posibles explicaciones pueden ser:

• No logró comunicar su mensaje o la importancia del mismo.
• Subestimó o ignoró influencias culturales lo suficientemente fuertes como para que sus métodos no pudieran superarlas.
• No tomó en cuenta factores culturales en la vida de los participantes que dificultaban lograr los resultados previstos. Estos factores pueden incluir la pobreza o demandas de tiempo que compiten entre sí, entre muchos otros.
• La falta de competencia cultural de la organización o de algunos miembros del personal trabajó en contra de sus objetivos.
• La estructura y/o los métodos del programa generaron consecuencias negativas que no se habían previsto.
• Los participantes percibieron el programa como algo que se les estaba imponiendo y sobre lo cual tenían poca influencia en su diseño o implementación.

Así como puede ocurrir que el proceso se haya desarrollado bien y aun así el programa no haya influido en los factores de riesgo y protección como se esperaba, también es posible que usted haya logrado exactamente los cambios que buscaba en esos factores y que, aun así, el programa no haya alcanzado los resultados finales previstos. Analizaremos esa situación cuando hablemos de los resultados.

Resultados

Los resultados de una intervención son los cambios que realmente ocurrieron como consecuencia de ella. El objetivo de una intervención generalmente no es solo cambiar un comportamiento o una circunstancia, sino lograr cambios en la salud y el desarrollo de la comunidad que se producen a partir de ese cambio inmediato. Por ejemplo, un programa de control del tabaco busca ayudar a los participantes a evitar o dejar de fumar: ese es su impacto. Sus verdaderos objetivos –los resultados esperados del programa– son reducir las tasas de enfermedades cardíacas, cáncer de pulmón y otras enfermedades relacionadas con el tabaquismo entre los participantes y sus familiares.

Los resultados finales pueden tardar años en evaluarse, pero otros –como los objetivos de presión arterial del programa de ejercicio del Centro de Salud o los resultados de un curso de capacitación laboral– pueden determinarse al finalizar la intervención o poco después.
Los resultados son la verdadera medida del éxito de la intervención, porque son la razón por la cual se llevó a cabo en primer lugar. Sin embargo, el impacto logrado –como cambios en programas o políticas comunitarias– también puede ser un resultado intermedio importante, ya que pueden pasar años antes de observar cambios en los resultados a largo plazo.

El programa produjo los resultados previstos

Si el programa produjo los resultados que usted esperaba, felicitaciones: ha logrado los objetivos de su esfuerzo. Sin embargo, este no es el momento de considerar su trabajo terminado. Ahora la pregunta es: ¿cómo puede hacer que la intervención sea aún mejor y más efectiva?

• ¿Puede ampliar o fortalecer las partes del programa que funcionaron particularmente bien?
• ¿Existen métodos basados en evidencia o mejores prácticas que puedan hacer su trabajo aún más efectivo?
• ¿Apuntar a más comportamientos o a diferentes factores de riesgo y de protección podría generar un mayor éxito?
• ¿Cómo puede llegar a las personas que abandonaron el programa temprano o que no se beneficiaron realmente de su trabajo?
• ¿Cómo puede mejorar su alcance comunitario? ¿Hay grupos marginados u otros grupos a los que no está llegando?
• ¿Puede añadir servicios –ya sea directamente relacionados con los resultados del programa o servicios complementarios como transporte– que mejoren los resultados para los participantes?
• ¿Puede mejorar la eficiencia de su proceso, ahorrando tiempo y/o dinero sin comprometer la efectividad ni sacrificar elementos importantes del programa?

Las buenas intervenciones son dinámicas: continúan cambiando y experimentando, siempre buscando algo mejor. Los programas siempre pueden mejorarse.

El programa solo produjo algunos de los resultados previstos

Si la intervención produjo solo algunos de los resultados deseados, o los produjo en un nivel menor al esperado, es posible que usted esté avanzando en la dirección correcta. También es posible que el programa tenga efectos mayores a largo plazo, a medida que los participantes integren los cambios que han realizado en su vida cotidiana.

Algunas posibles razones por las cuales el efecto del programa no fue tan grande como se planeó:

• No se abordaron suficientes factores de riesgo y/o de protección.
• El mensaje del programa no llegó a los participantes o no fue lo suficientemente impactante para ellos.
• Existieron factores intermedios –como la asistencia irregular o la falta de servicios de apoyo– que hicieron que el programa fuera menos efectivo de lo que podría haber sido.
• Algunas partes del programa no funcionaron bien.
• Algunas partes del programa no se implementaron adecuadamente.
• Se sobreestimó lo que era posible lograr en el tiempo disponible.
• El programa no se acercó a los participantes de la manera adecuada –fue demasiado formal, el lenguaje utilizado generó barreras para algunos, etc.
• El programa no estaba adaptado culturalmente a la población.
• Hubo conflictos entre participantes o entre los participantes y el personal.

Por ejemplo, supongamos que el programa de ejercicio del Centro de Salud no fue en absoluto un fracaso, pero tuvo un éxito solo moderado. ¿Cómo podría el Centro usar la información de su evaluación para mejorar los resultados de los participantes del programa?

Primero, el Centro podría examinar lo que los participantes dijeron sobre el programa. ¿Qué permitió que los miembros del grupo más exitoso lograran hacer ejercicio regularmente? ¿Por qué los miembros del grupo mucho más grande no pudieron establecer rutinas de ejercicio efectivas y constantes? Y para los miembros del tercer grupo —aquellos que no hicieron ejercicio en absoluto o abandonaron rápidamente—, ¿qué podría haberlos motivado más?

Tal vez los del primer grupo asistieron a todas las sesiones y encontraron compañeros de ejercicio que se motivaban mutuamente a esforzarse un poco más (o a comer un poco mejor). Quizá los de los otros grupos no lograron encontrar compañeros.

Basándose en la evaluación, los diseñadores del programa decidieron que deberían organizar compañeros o grupos de ejercicio para todos. Según la evaluación, tanto la situación social como el desafío que representaba ejercitarse con otros hacían que el ejercicio fuera más probable, más divertido y promoviera un entrenamiento más vigoroso. También decidieron desarrollar un componente de nutrición mucho más formal dentro del programa e incorporar un sistema de compañeros en ese componente, con la esperanza de que los participantes pudieran ayudarse mutuamente a desarrollar recetas y mantener un plan de alimentación razonable.

El programa no produjo resultados

Si el programa no produjo ningún resultado, es posible que tenga que realizar cambios importantes.

Puede ser muy difícil admitir que ha estado tomando la dirección equivocada, especialmente después de haber invertido mucho tiempo y esfuerzo en planificar e implementar un programa. Es tentador creer que, si simplemente trabaja más, recluta a otros participantes o utiliza mejores materiales, obtendrá los resultados que desea. Se necesita valor para concluir que los resultados requieren un rediseño importante del esfuerzo.

El programa puede haber producido resultados no previstos, ya sean positivos o negativos. Si son positivos, quizás desee entender cómo surgieron para poder seguir generándolos. Si son negativos, probablemente querrá investigar más para poder eliminarlos. La mayoría de las razones que provocan resultados no previstos son similares a las de la falta de resultados.

Un resultado no previsto positivo en un programa de prevención de la violencia juvenil, por ejemplo, podría ser una mejoría en el rendimiento escolar; un ejemplo negativo en el mismo programa podría ser un aumento en la deserción escolar. Los adolescentes en el programa podrían mejorar su rendimiento escolar porque admiran a un miembro del personal con educación universitaria y quieren ser como él o impresionarlo. O pueden ver la universidad y escapar del vecindario como la mejor manera de salir del ciclo de violencia.

Quienes abandonan la escuela como resultado del programa también podrían hacerlo porque ven esto como una forma de evitar la violencia: la escuela –o el trayecto hacia y desde ella– puede ser especialmente peligrosa debido a la presencia de jóvenes de otros vecindarios o pandillas rivales. Por otro lado, podrían considerar que abandonar la escuela a favor del trabajo es una vía no violenta hacia el éxito financiero, en lugar de involucrarse en la venta de drogas u otras actividades propensas a la violencia.

Dado todo esto, ¿cómo debe abordar su investigación de evaluación para decidir qué necesita refinar y cómo hacerlo? Un buen enfoque general es trabajar hacia atrás desde los resultados, preguntándose “¿pero por qué?” respecto a por qué cada fase anterior no produjo los resultados que esperaba.

Usando el método del “¿Pero por qué?” para examinar los resultados

• Examine los resultados. Si su intervención logró los resultados previstos, ha cumplido su objetivo. Ahora puede considerar cómo mantener estos efectos o refinar su programa (ver arriba). Aun así, debe examinar los resultados en términos de proceso e impacto, y realizar cambios donde pueda ganar mayor efectividad o eficiencia. Pero lo más probable es que el programa no necesite cambios importantes, a menos que quiera ampliar sus objetivos o haya encontrado un enfoque alternativo que pueda generar resultados aún más impresionantes.
• Examine el impacto. Si su investigación de evaluación muestra ningún resultado o resultados que no alcanzan lo que esperaba, el siguiente aspecto a examinar es el impacto de su programa sobre los comportamientos y factores de riesgo/protección que se pretendían influir.

Si el programa tuvo el impacto que esperaba, pero no produjo resultados, quizá haya elegido los comportamientos o factores incorrectos para abordar, y necesite replantear su análisis del problema y la intervención relacionada. Existen otras explicaciones posibles: su intervención no se mantuvo el tiempo suficiente, los efectos se retrasan, sus medidas no son lo suficientemente sensibles para detectar lo que se está logrando, etc.

• Examine el proceso. El siguiente paso es entender qué tan bien planificó, preparó e implementó su intervención. Si el razonamiento y las suposiciones detrás de su planificación fueron correctos, y si organizó e implementó su programa basándose en ellas, debería haber logrado el impacto que buscaba, y ese impacto debería conducir a los resultados que pretendía. Si su programa no se desarrolló como se planeó, eso podría explicar, en buena parte –si no totalmente–, la falta de resultados. Su evaluación del proceso puede mostrarle dónde necesita ajustar y mejorar la implementación para tener una mejor oportunidad de lograr los resultados previstos.

Si su programa se desarrolló según lo planeado –cumplió con los plazos y realizó lo que se proponía de la manera prevista– y aun así no logró alcanzar sus objetivos, hay una buena probabilidad de que el problema haya estado en la planificación. Es posible que haya apuntado a factores de riesgo y/o de protección insuficientes, como se mencionó anteriormente, o que haya elegido métodos ineficaces para influir en los correctos, o ambos. Existen otras posibilidades que también podrían detectarse mediante una evaluación del proceso, muchas de las cuales ya se han sugerido: trato a los participantes, problemas de lenguaje u otra comunicación, falta de competencia cultural, etc. Identificar y corregir estos problemas puede ayudar a que un programa alcance el éxito.

• Siga haciendo ajustes. Realice sus ajustes y refinamientos, ejecute y evalúe la intervención, y luego haga nuevos ajustes y refinamientos para mejorar su trabajo. Este debe ser un ciclo continuo durante toda la vida de su programa.

En resumen

El propósito de una evaluación y la investigación que conlleva no es solo decirle si su intervención ha sido un éxito o no. El verdadero valor de la investigación de evaluación radica en su capacidad para ayudarle a identificar y corregir problemas, así como para celebrar los avances. La evaluación puede señalar las fortalezas de su programa, y ayudarle a proteger y potenciar esas fortalezas y hacerlas aún más fuertes.

Al examinar los tres elementos de una intervención –proceso, impacto y resultados– su evaluación puede decirle si hizo lo que había planeado; si lo que hizo tuvo la influencia esperada sobre los comportamientos y factores que pretendía impactar; y si los cambios en esos factores condujeron a los resultados previstos. Ese conocimiento puede mostrarle qué podría cambiar para mejorar su programa, así como la efectividad general de la intervención. Y la información puede usarse para celebrar los logros que va obteniendo en el camino.

What do we mean by refining the intervention?

___Refining the intervention is the process of making your work more effective by using evaluation information

___Key reflection questions include:

• What are we seeing?
• What does it mean?
• What are the implications for improvement?

Why should you use your evaluation research to refine the intervention?

___Understanding and improving your work is one of the main purposes of evaluation

When should you refine the intervention?

___Throughout the life of an intervention or program

___When it’s clear that what you’re doing isn’t working

___When participants are dropping out at a high rate

___Between sessions of a time-limited or sequential program

___When funders or participants ask you to adjust some aspect(s) of your program

___When funding or other resources are reduced

___When the goal or issue changes character

Who should be involved in refining the intervention?

___Participants

___Staff members, paid or volunteer

___People who are directly or indirectly involved in implementing or supporting your work

___Those who led and participated in the evaluation

How do you refine an intervention based on research?

___Determine whether your process – the planning, set-up and implementation of the program – went as planned

___Determine whether your program had the desired impact on the behaviors and risk and protective factors you targeted

___If there was no impact, or only a partial impact (or a negative impact), that could affect the program’s outcomes

___Determine whether your program achieved its desired outcomes

___If the program achieved its desired outcomes, consider how you can expand and strengthen the areas that worked well, and make the program more efficient and effective

___If the program failed to achieve the desired outcomes, work backwards – “but why” – to find where the problems lie

___If the program failed to have the intended impact on the targeted behaviors and risk and protective factors, that could explain the fact that you didn’t meet your outcome goals

___If the program had the intended impact on the targeted behaviors and factors, but failed to achieve the desired outcomes, you may have targeted the wrong behaviors or factors

___If some or all of the process was different from what was planned, that might affect the program’s impact on the targeted factors

___If the planning process or reasoning was faulty, it could result in targeting the wrong factors, or in using ineffective methods that target the right factors

___Once you’ve determined where and how to make adjustments and done it, repeat the evaluation and refinement cycle for the life of the intervention

If you’re reading this section, the chances are you already know how important evaluation is to your effort. It can help you in a number of ways – in improving your methods, in appealing to funders, in supporting staff – but none is more important than understanding and improving the effort.

Often, evaluations fail to examine whether efforts are responsible for, or related to, changes and improvements in the community. They may examine the process or output (e.g., number of people trained), but they often fail to tell a story about whether conditions changed and whether this led to more distant outcomes.

It’s obviously important to know whether your methods are successful, and whether your intervention or initiative accomplished what it set out to do. In addition, however, you can evaluate whether your work changed community conditions, and whether it seems to be leading toward changes in the community or system. In this section, we’ll discuss how an evaluation can help you make those determinations.

What do we mean by answering evaluation questions?

Evaluation questions refer to what stakeholders – the community and funders, for instance – want to know about the functioning of the program or initiative. Here are some illustrative evaluation questions:

• Are participants satisfied with the program? (Process and implementation issue)
• How well is the initiative meeting its stated objectives? (Attainment of objectives)
• How much and what kind of difference did it make for the participants? (Impact on participants)
• How much and what kind of difference did the initiative make on the community? (Impact on the community)

So what’s a key evaluation question? That depends on what you set out to do (mission and objectives) and how you plan to get there (the logic of how the process and activities will produce immediate and longer-term outcomes). The path from here to there – from assessment to change in the environment to longer-term outcomes – is known as a logic model. Key evaluation questions focus on critical aspects of the logic model; for instance, “Is the initiative bringing about change in the environment?” or “Is that change in the community (the intervention) associated with improvement in outcomes for people in the community?

A note here: The Center for Community Health and Development at the University of Kansas, the source of the Community Tool Box, consults on evaluation, and has developed a Community Check Box system to support participatory research and evaluation of community health and development efforts. Much of the material in this section comes from the thinking that underlies this monitoring and evaluation system.

The documentation system makes it possible to answer key evaluation questions that get at the heart of an effort’s overall effectiveness. We’ll use this monitoring and evaluation system to illustrate how to address evaluation questions.

Regardless of your aims, your work can be considered on two levels. The first is whether, how, and why you’ve been able to accomplish the specific goals you’ve set for your effort – successful advocacy for the passage of a new regulation, the improved delivery of services, a change in people’s behavior, improvement in environmental conditions, etc. The second is the wider influence that your work has in the community or system, and how conditions have changed.

A decent comprehensive evaluation might examine how you planned and implemented your effort (process), whether you actually took the specific actions you set out to take, such as serving the number of people you expected in the ways you planned to (impact), and whether your actions had the results you hoped for (outcomes.)

A typical evaluation may measure ultimate outcomes but may fail to document changes in the community resulting from your work such as other similar programs starting, more funding becoming available for your issue, or more media attention. Furthermore, a specific effort may give rise to more general and sweeping changes even when it doesn’t initially attempt to. A campaign to reduce youth violence may achieve its immediate purpose, for instance, but may also change community programs and resources available to address the needs of adolescents and result in significant changes in the ways that community members engage youth. Sometimes, even an apparently unsuccessful effort can have a broader community effect by increasing awareness and understanding of a community problem or strength, or by changing the behavior of key community members or leaders. These broader effects can be harder to track than the more immediate achievement of the specific goals and objectives of an effort.

Some definitions before we start the next phase of discussion:

We usually think of a community as a group of people who live in one place – a city, a neighborhood, a town, a village, a rural area. We also use the term, however, to refer to a group of people with one or more common characteristic and common interest. Using that definition, we speak of the business community, the Latino community, or the school community. In this section, the word is generally used to mean community of place, because that’s the community in which organizations generally try to create longer-term change.

System refers to the arrangements or infrastructure that supports key functions – for instance, the public health system, the legislative system, the education system, or the legal system. The essential features of a system – preparation of the workforce, capacity to monitor and diagnose problems – also affect the conditions under which people live their lives.

At both the specific and general levels, it’s important to know whether any changes in the community or system you’re concerned with are actually taking place, what they are, and whether and how your work has influenced them (and vice versa).

Figure 1 below displays a framework (or logic model) for collaborative action, as well as evaluation questions that reflect potential associations along the logic model’s pathway.

For the logic of collaborative action, Fawcett and Schultz (2008) recommend four key evaluation questions:

1. Is your effort serving as a catalyst for community change related to its mission? In chemistry, a catalyst is a substance that, while remaining unchanged itself, changes the speed, intensity, or nature of a reaction. Is your effort, while doing its intended job, setting in motion other forces in the community (new or modified programs, policies, and practices) that lead to longer-term change related to the issue you’re concerned with?
2. What factors or processes are associated with the rate of community or system change? What encourages or gets in the way of change? Can you identify specific community events, actions by individuals or by your or another organization, or other factors that accelerate or impede the process of change in a community or system?
3. How are community or system changes contributing to efforts to promote community health and development or other mission-related goals? Are the changes you observe in the community in fact helping to bring about the realization of your goals – or related ones – or are they having little or no effect (or even a negative effect)?
4. Are community or system changes associated with improvements in population-level outcomes? Can you see connections between changes in the community (programs or policies for instance) and the kinds of positive changes in measuring success (e.g., fewer youth violence arrests, reductions in cigarette sales, fewer teens killed or injured in driving accidents) that you hope your effort will bring about?

Figure 1. Framework for collaborative community action and related evaluation questions (Source: Fawcett and Schultz 2008; Institute of Medicine, 2003).

Note (in Figure 1) that we can overlay evaluation questions on this logic model to address key (presumed) relationships along the path (see Fawcett and Schultz, 2008, in print resources).

Source: Adapted from the Institute of Medicine’s framework for collaborative public health action in communities (2003).

Answering these questions sets your effort in the context of the community and shows you whether it’s actually having the effects you want in a broader sphere, or whether it’s only influencing individual successful participants. Questions like these are not always easy to answer. Later in the section, we’ll discuss them more fully, as well as how an evaluation can be structured to answer them.

Why answer these questions?

In many cases, organizations are funded for several years at a time at best. This requires focus on fulfilling the conditions of the grant or contract, which often hinge on relatively short-term goals. There are, however, a number of compelling reasons for answering evaluation questions:

• To improve your work. The foremost reason for any evaluation is to make your effort more effective. By understanding exactly what affects progress on your issue, and the interaction between your actions and community system change (an intermediate outcome), you can see how to adjust your work to get the longer-term results you seek.
• To understand what affects the work in what ways. What actions or events seem to slow down the pace of change (e.g., loss of leadership), and what speeds it up (e.g., action planning)? What effects do small and large changes in the organization and the community have on your work?
• To see how to accelerate results. Once you understand what makes change move more quickly, you can take steps to make sure that those change-accelerating processes, events, or conditions become an integral part of your work.
• To understand specifically how broader actions, events, or conditions – a crisis or concentrated poverty – affect the work. Identifying and understanding these factors that affect the success or failure of an effort is critical – for the work underway and for future efforts.
• To understand what works to bring about community change, and adjust accordingly. The chances are you’re doing your work in order to permanently change some condition in the community or to improve the quality of life for a particular group or for the community as a whole. You hope that, eventually, the goals you’re working toward – the elimination of domestic violence, reductions in pollution, a decrease the incidence of diabetes, better schools for all children – become the community norms.
  
  Using an evaluation to answer key questions will provide information both about which small changes seem to lead to larger ones and about how to generate those and larger changes as well. That, again, will allow you to adjust your effort in order to make it more effective.
• To understand how to address specific events and changes within your organization or effort so they will have the most positive or least negative effect. The loss of a competent leader, an increase or decrease in funding, the end of one phase of an effort and the beginning of another – all of these and many other factors can affect the rate and direction of change in the community. Knowing the results of events can help you determine how to best manage them.
• To show the community the value of your work. If you can show that your work has a positive influence on the community, you have a better chance of gaining broad support. That support, in turn, can lead to funding and in-kind help, volunteers, and community participation in ongoing social change.

Who should be involved in answering these questions?

The ideal is to engage in a participatory evaluation that draws in members of all stakeholder groups. This not only leads to buy-in and support on the parts of many sectors, but also provides multiple perspectives on such issues as how participants are treated, how the effort is viewed in the community, how non-participants’ lives are affected by your work, whether there are changes in the social climate, etc. You may want to conduct the evaluation as a participatory action research project, or you may simply want to involve as many individuals and sectors as possible in providing information and being kept current about the findings of the evaluation. Among the possible stakeholders:

• Participants in or beneficiaries of the effort. They may have a great deal to offer, both in terms of identifying the real needs of the population and/or the community and in reaching other members of the population of concern.
• Residents of a focused geographic area, whether or not they’re members of the population of concern. If your focus is on a neighborhood, a small rural community, or other limited area, you may want to involve all residents. Such involvement is likely to bring with it support for your effort and may increase understanding about the issue and serve to improve relations among these residents and the group you’re working with.
• Professionals and volunteers carrying out the work. The more deeply involved these people are, the better equipped and the more eager they’ll be to do their jobs well.
• Those whose jobs or relationships bring them into contact and involvement with the population and/or issue with which you’re concerned. These might include health care providers, teachers, family members of substance users, etc. Since these people may have to help in carrying out the effort, and since they may be asked to change their behavior as a result, it’s both important to the success of the effort and a matter of fairness to include them
• Funders and local officials. Funders have a vested interest in information about the effort, and their participation can also serve to help them understand the real impact of your work. Including local officials in an evaluation can forestall problems and help to gain community support. It can also lead to changes in official policy over the longer term.

​When should you set up and use an evaluation system to answer key questions about the effort?

As we’ve discussed throughout the Community Tool Box chapters on evaluation (Chapters 36-39), it should be planned and embarked upon at the beginning of the effort. This is especially true for the kind of evaluation we’ll describe in this section, because its purpose is to monitor and evaluate what is changing – organizational and community changes, longer-term outcomes, and to examine the interactions among them. If you don’t start the evaluation at the very beginning of the effort with community assessment and planning, and instead wait until the implementation phase, you’re at risk of missing something important.

Once you’ve started the evaluation, you should be collecting information constantly, recording not only what happens but when it happens, so that you can make connections. For this type of evaluation to be truly useful, those connections have to be made frequently, not just once or twice a year. The point here is to see what is happening, reflect on its meaning, and use the information to strengthen and speed up positive change, or to address and prevent negative consequences. In either case, acting swiftly can be important. You can do that if you have the information in hand.

How do you use the evaluation system to answer key questions about the effort?

Once you’ve assembled a participatory team to gather and analyze data, you’re faced with some important questions: What kinds of information do you need in order to answer the key questions that relate to your logic model, and how do you get it? Equally important, once you have the information, how do you sift through it to extract the answers you’re looking for? There is a general method of examining the data that should be useful even as you analyze each of your questions individually.

An important element to using your evaluation well is setting up the data so you can best see patterns and relationships. A particularly good way to record the data is on a graph, as in the illustration below. This graph shows the total number of community changes – new programs (e.g., an after-school program for youth) or new policies (e.g., a policy change that improves ways to health services) – related to the group’s mission over a five-year period. Some changes might be relatively minor – a single business changes its practice for protecting coworkers – while others might be as important as a new law or a drastic change in policy that completely alters the way the community addresses the issue. [Note: with a cumulative graph, each change is added to the prior one; so a flat line shows no change; and the steeper the line, the higher the rate of change.]

Figure 2. Cumulative number of community changes (new or modified programs and policies) brought about by the South Side Youth Development. Initiative from 2008-2014. [Source: Example graph from the KU Center for Community Health and Development's Community Check Box]

Other information – specific inputs or events – could be pinpointed on the graph in order to give a clearer view of potential influences on the rate of changes, as in the graph below. Here, added to a graph showing information similar to that in the one above, are the points in time at which various events in the progress of the effort took place.

From left to right, these are:

• The forming of a planning team
• The hiring of a new director for the effort
• The implementation of a social marketing action plan
• The hiring of new staff
• Action planning for the initiative
• A loss of leadership (probably when the director left to take another position.)

These events, singly or in combination, might have contributed to the sustained high rate of change or to decreased rates.

Figure 3. Cumulative number of community/system changes – and associated events – brought about by the Lincoln Coalition for Healthy living from 1999-2006.

By comparing the progress of the effort, as indicated by the total number and rate of community changes to the timing of recorded inputs and events, you can see that most of the events seem to have some connection with a speed-up or slow-down in the rate and number of community changes. There was, for example, a dramatic increase in the rate of changes when new staff members were hired and an equally dramatic decrease in that rate when the effort lost its leadership. This is the kind of information seldom captured by a typical evaluation, and yet it’s extremely important in understanding how to adjust your work for greater effectiveness and how to correct problems.

Other elements that might be recorded on a graph – individually or together – include statistics for population-level outcomes, rates or levels of change for different populations or neighborhoods, or for different approaches, statistics for comparison communities not involved in the effort, etc. The particular measures depend on your logic model, related research/evaluation questions, and indicators of success.

To get the information you need, you’ll have to decide what’s important to measure. Then, once you have obtained the data – not always an easy task– the next step is to analyze it, looking for patterns and connections. Let’s look at each of the key questions considered for the logic model in Figure 1 and discuss what kinds of data will help you examine it. The overriding question is how to adjust your work to make it more effective. Answering key questions for your logic model is really a way to ask the larger question: “What can we do to make our effort work as well as possible to accomplish our goals and realize our vision?”

What follows is an illustration of how evaluation questions can be answered with data, asking those key questions identified is the logic model often used by the Center for Community Health and Development (see Figure 1).

1. Is the initiative serving as a catalyst for community/system change related to its mission? Has your group’s effort brought about changes in the community or systems (e.g., public health, public safety, welfare, environmental protection, etc.) related to the mission? What specific changes related to the issue have taken place in the community, and when?

Some types of changes related to your work that you might want to document include:

• New or modified programs. These might be programs meant to address aspects of your issue or related issues; workshops or public awareness programs on the topic; community-wide events such as marches against violence or vaccination fairs; citizen initiatives, etc. They could be the product of formal bodies – the Chamber of Commerce, health or human service organizations – or of informal parents’ groups, neighbors, “friends of...” groups, and the like.
• New or modified practices. These refer to changes in how people do their work or deliver services. For instance, the clinic might change its hours to assure better access or the community might start a new partnership to address discrimination against immigrants.
• New or modified policies. New laws or regulations, changes in agency or corporate policies, etc. Other policy changes may be more informal; for instance, increased city services or store openings in previously underserved neighborhood, or changes in the way police or city officials respond to intimate partner violence.

Of course, depending on the project, other valued events may be tracked – these might include organizational changes, media coverage, resources generated, measures of outcome (addressed in later questions) and other key events.

Keeping track of the timing of changes is very important here, because it may indicate when those changes are associated with activities you’re doing, and when they result from other factors, such as a change in leadership (see Figure 3). Marked increases or decreases in the rate or amount of change that occur just after key events in the effort may point toward the effectiveness or ineffectiveness of these activities.

Changes often take time to show their effects or have to build to a certain level before their effects can be felt. Where there’s a trend toward change in a particular direction, even if it doesn’t appear to have any great immediate effect, it might be wise to track it over time to see whether its different changes in the environment – taken together – eventually influence indicators of success.

Another consideration is the presence or absence of patterns in the rate and type of change. Are there patterns in community or system changes that correspond with the work of the initiative (e.g., action planning), or with other identifiable factors (e.g., funding to hire a community mobilizer)? Recognizing these patterns allows you to adjust your work.

It wouldn’t be surprising, for instance, to find a more common pattern of community change in community health initiatives; for instance, lower rates during planning, higher and sustained rates after action plans and staff are in place; and lower rates near the end of funding as the project focuses on sustainability. Community groups take time to understand how to bring about change and integrate it into the efforts. Rapid change might require a period of support and relative stability. Once that has taken place, the community may focus on sustaining more important programs and policies.

As change levels off, you might be tempted to step up activity to counter that trend. That might include additional action planning or bringing on staff responsible for change efforts.

Other questions to ask here are whether the changes in the community or system are actually likely to improve outcomes (Are they great enough to have an effect? Is that effect likely to change the situation for the better?), and how you can obtain more accurate or more nearly complete data about what is occurring.

2. What factors or processes are associated with the existence and/or the rate of community or system change? There are a number of potential factors that you may want to monitor and analyze.

• The processes by which you conduct the assessment, planning, implementation, and evaluation aspects of the effort. The particular focus should be on use of evidence-based processes for community change and improvement (e.g., developing and using action plans; arranging for community mobilization; documentation and feedback.) That also includes examining who’s involved (Does adding certain people or sectors have an effect, for instance?), whether everyone fulfills her responsibilities, whether deadlines are met, how people are involved, whether the effort plays out as planned, etc. It also includes examining how everyone involved – staff, administrators, volunteers, planning team, board – fits into and advances or impedes the process. (See “Promising Approaches” for promoting community health and development.)
• People served or benefited. Here you might examine whether the people affected by the effort were those you planned for; whether you served or benefited the number of people you expected to; the amount of service or benefit that each participant received (if that’s possible to determine); how many participants dropped out, and why (and whether there were patterns to be found there.) (See the “Solve a Problem” troubleshooting guide for “There is not enough community participation.”)
• Significant program events. These might include:
  • Changes in leadership.
  • Staffing changes.
  • Changes in method or direction, such as a shift in mission to address a newly-stated community need. This kind of event can also include unintentional changes that result from staff turnover, loss of focus, lack of staff engagement, or failure to do the work properly.
  • Milestones of the effort: the completion or revision of an action plan; the beginning, revamping, or completion of a program; the arrival of a new group of participants; the completion of staff or volunteer training; the accomplishment of a particular objective, etc.
  • Increases or cuts in funding.
  • Unforeseen circumstances, such as safety or security problems; financial changes (a cut or increase in funding, difficulty in managing money); measures taken to respond to financial changes (layoffs, shifts in hours or location of services, changes in the number or qualifications of participants).
  • Changes in broad conditions – This might include natural disasters, epidemics, etc.
  • Community events, such as:
    • A change of local political leadership or government administration.
    • Racial or ethnic conflict.
    • An economic windfall (a corporation sets up a new facility in town, creating new jobs and a huge boost to the tax base).
    • An economic downturn (the town’s biggest employer moves all its business to another country).
    • A community tragedy or celebration (recent deaths due to violence; honoring of community heroes).

It also might consist of changes in how state and local governments conduct business, the priorities of key funders, or other aspects of the broader system that might have positive or negative effects on your work.

As noted in Figure 3, combining graphs and comparing the timing of the process and events with patterns of community and system changes can reveal connections among them. These connections, in turn, can suggest processes or activities you might take that could advance positive change or prevent negative consequences.

3. How are community/system changes contributing to efforts to promote community health and development? What kinds of effects are community and system changes – whether caused by your effort or not – having on the issue you’re concerned with and on community indicators of health and development in general?

One way to find out is to examine those changes in relation to various dimensions or aspects of your work. How are community changes distributed among and within different aspects of your effort? Do changes cluster around one or more particular aspects; for instance, in one section of the community new program (e.g., mostly in schools). Are most of the changes you see in the community related to population (e.g., Latinos) for instance? Are most of the changes related to particular goals (e.g., preventing violence, increasing childhood immunizations)? Should you make adjustments in your work to alter the situation in such cases, and, if so, what should the adjustments be? You can ask these questions in each case to examine the relationship of documented change to particular dimensions of your work, including:

• Group your goals or aims. These are the longer-term goals and objectives of your effort. If your program has the mission of promoting heart health in the community, for example, young groups’ goals might include promoting physical activity, reducing tobacco use, increasing healthy nutrition, and assuring access to health screening.
• The strategies of intervention you’re using. These might take such forms as providing information, enhancing services or support, or encouraging policy change.
• Risk and protective factors. These are the personal, social, and environmental factors that make it more or less likely that individuals and groups might engage in various types of behavior or experience a specific problem or condition. Belonging to a close and loving family might be a protective factor against youth violence, for example; an alcoholic parent might be a risk factor for substance use.
• The expected duration of change. Is your effort a one-time event, such as a one-day health fair? Or is it ongoing, such as a problem change or extension of health services to reach a specific population? How long do you expect the change in program or policy to be in place?
• The populations benefited. Depending on the nature of your effort, the populations might range from a small number of individuals from a specific group (Latino women at risk for diabetes) to most of the residents of a diverse community (families with children in school).
• The sectors addressed. These might include government (in the case of advocacy for changes in laws, regulations, or official policy), health organizations (if you’re addressing health promotion or access to health care), education (school improvement, school policy change), labor (creating more trade apprenticeships for particular underrepresented groups), business (workplace and environmental concerns), etc.
• The ecological level addressed. This refers to whether your effort focuses on individuals (as in an adult literacy program), relationships (an anti-discrimination initiative), the community as a whole (enhancing overall community quality of life and health – working to establish community-wide bike lanes, for example, or promoting an ongoing series of free concerts), or the broader society (national health care policy).
• Place. This might be a particular neighborhood, city or town, county, or rural area.

How are the community or system changes you’ve tracked related to each of these aspects of your effort? What are you seeing in the distribution of community/system changes related to particular goals, strategies, populations, places, etc.? What meaning do you give to those patterns – e.g., they reflect opportunities, barriers, key partner’s interests, etc. What are the implications for adjustment (if any)?

Figure 4. Distribution of community accomplishments (N = 125) brought about by the initiative by primary sector of the community in which the change occurred.

This pie chart makes it easier to see what pattern of change is occurring, to reflect on what it means (e.g., we encountered opposition from some sections) and to make adjustments. (See the “Solve a Problem” troubleshooting guides for supports for making adjustments to common problems in the work.)

4. Are community/system changes related to improvements in population-level outcomes that reflect the objectives of your effort? Community-level indicators of an issue, as we discussed earlier, are markers of success at the level of the community as a whole, rather than for particular individuals. Some of those indicators can be found through checking available statistical information, including, among many others:

• Census data (e.g., percentage of population with different levels of education).
• Public health statistics (e.g., rates of infant mortality, percentage of children immunizations).
• Records of health and human service organizations. Although most of these organizations shield individual participants with confidentiality, their general records – number of people served, units of service, general outcomes, etc. – are often open to scrutiny.
• Statewide data and data from other communities (for comparison purposes).
• Police and court files (e.g., number of motor vehicle accidents).
• Educational data – standardized test averages, truancy, dropouts, primary or secondary school completion rates, incidence of school violence.
• Environmental statistics – pollution rates, bad air days, amount of open space, water quality, etc.

In addition to archival data, other sources of information can be used; including from observation, surveys, and other typical data-collection methods. Are there differences in reports by youth from one data-gathering period to the next of the prevalence of alcohol and drug use, smoking, or unprotected sex? Do observations show that there are more people, from one period to the next, using a public park, or out on the street at night? Are teachers seeing fewer incidents of violence in the schoolyard or in school in general? Are doctors seeing more or fewer cases of diabetes or TB?

The population-level indicators that tell you what you want to know aren’t always obvious. If you’re concerned about teenage drinking, for instance, you will probably want to examine statistics about traffic violations and nighttime single-vehicle crashes even where alcohol isn’t specifically mentioned as a factor.

Once again, by graphing your information, you can see relationships between population-level outcomes and community changes (the unfolding of the intervention.)

Figure 5 below provides an illustration. It displays the relationship between community changes (the unfolding of the intervention) to prevent child sexual abuse and the associated improvement in reported cases of child sexual abuse in a state (the population-level indicator of success).

Figure 5. An observed association between the unfolding of community changes (the intervention) and a decrease in reported cases of child sexual abuse in Minnesota.

Here, there is definitely a trend toward fewer child sexual abuse cases – a 28% drop in four years – as the number of community changes (the intervention) unfolds. Of course, this is simply an association; without suitable comparisons it does not demonstrate a cause-and-effect relationship, but this observed pattern is suggestive of a promising approach.

It’s possible that the number of cases will continue to fall even if the number of changes doesn’t continue to grow. The community may have reached a tipping point, where the changes in the environment lead to a combination of increased vigilance, by bystanders, increased reporting and follow-up, certain arrest and prosecution for perpetrators, and child-molester registration, all resulting in a decline in cases. Whether the community has reached this point can only be determined by tracking the potential relationship between changes and reported cases over time.

5. Did the effort lead to improvements in population-level outcomes?

To determine whether your initiative brought about community changes that had a positive influence on community-level indicators, you’ll need a graph similar to that in Figure 5.

You may use multiple graphs, one for each community-level indicator you’re concerned with (e.g., number of drunk driving deaths, incidents of youth violence, number of teen pregnancies, percentage of children entering school with all vaccinations, etc.) Each of these will compare the statistics for that indicator over time with the documented unfolding of your intervention. Once again, where improvements in the indicator coincide with or follow closely that implementation it’s possible that your work has had the desired effect.

You’ll also have to take into consideration whether there are other plausible causes for improvements in outcomes. Sometimes a significant community event unrelated to your initiative – another program, a major policy change, widespread media coverage – can influence the outcomes. The action may be independent of anything your effort is doing, even if it occurs at the same time. Thus, major community events and broader incidents should be tracked and graphed along with changes and the progress of your effort, so you can see whether you’ve actually had the influence you hope for. In addition, experiential designs can be used – such as interrupted time series designs across different communities – to try to rule out other plausible explanations of observed effects on outcomes.

Begin early and keep at it indefinitely

If evaluations that address the key questions are to be useful, they must begin early and be sustained. Collecting, recording, and analyzing data has to go on all the time, starting before the planning and implementation of the effort and continuing for as long as the effort itself continues. A case can be made that evaluation research should continue even after the effort has ended, in order to judge its lasting effects in the community. Whether that’s possible or not, understanding the real results of your work and continually adjusting it to be more effective is an important part of any successful initiative.

To sum up

There are some key questions that can help you understand the relationship between what your initiative does (process and activities), charges in community and systems (intermediate outcomes), and (longer-term) outcomes.

We recommend several key evaluation questions:

• Is the initiative serving as a catalyst for community/system change related to its mission?
• What factors or processes are associated with the rate of community/system change?
• How are community/system changes contributing to efforts to promote community health and development?
• Are community/system changes related to improvements in population-level outcomes that reflect the objectives of your effort?
• Did the effort lead to improvements in population-level outcomes?

Answering these questions involves careful thinking about what data will be useful, and then careful collection, recording, and analysis of those data. Graphing what you’ve recorded and comparing or combining graphs can often make analysis easier. The results should give you a great deal of information about exactly what works and what doesn’t, where you need to make adjustments, and what kinds of changes you should be trying to bring about in the community to address the issue.

We encourage the reproduction of this material, but ask that you credit the Community Tool Box: /.

Here you will find a checklist summarizing the important points of the section:

What do we mean by answering evaluation questions?

__ Evaluation questions refer to what stakeholders – the community and funders, for example – want to know about the functioning of the program or initiative.

Some illustrative evaluation questions:

__ Are participants satisfied with the program? (Process and Implementation Issue)

__ How well is the initiative meeting its stated objectives? (Attainment of Objectives)

__ How much and what kind of difference did it make for participants? (Impact on Participants)

__ How much and what kind of difference did it make on the community? (Impact on the Community)

Why answer the key questions?

__ To improve your work.     

__ To understand what affects the work in what ways.

__ To see how to accelerate results.

__ To understand specifically how broader actions, events, or conditions – e.g., a crisis or concentrated poverty – affect the work.

__ To understand what works to bring about community change, and adjust accordingly.

__ To understand how to address specific events and changes within your organization or effort so they will have the most positive or least negative effects.

__ To show the community the value of your work.

Who should be involved in answering these questions?

__ This type of evaluation works best as a participatory effort.

Those who might be involved include:

__ Participants in or beneficiaries of the effort.

__ Residents of a geographic area you’re focused on.

__ Professionals and volunteers carrying out the work.

__ Those whose jobs or relationships bring them into contact and involvement with the population and/or issue you’re concerned with.

__ Funders and local officials.

When should you set up and use an evaluation system to answer key questions about the effort?

__ Start at the very beginning of the effort, so you can record the whole of your process – outreach, planning, implementation, and evaluation.

__ Continue gathering, recording, analyzing, and using data throughout the course of the effort.

How do you use an evaluation system to answer key questions about the effort?

__ Decide what information you need to answer each question.

__ Decide how to gather that information.

__ Devise a method for recording and setting up your data that makes it easy to analyze.

__ Graphing is particularly good because it allows you to easily compare different sets of data.

__ Consider each question separately:

Is the initiative serving as a catalyst for community/system change related to its mission?

Changes to look for include:

__ New or modified programs.

__ New or modified practices.

__ New or modified policies.

What factors or processes are associated with the rate of community or system change?

__ The processes by which you conduct the assessment, planning, implementation, and evaluation aspects of the effort.

__ People served or benefited.

__ Significant program events. These might include:

• Changes in leadership.
• Staffing changes.
• Changes in method or direction.
• Milestones of the effort.
• Increases or cuts in funding.
• Unforeseen circumstances.

__ Community events, such as:

• A change of local political leadership or government administration.
• Racial or ethnic conflict.
• An economic windfall.
• An economic downturn.
• A community tragedy or celebration.

__ Changes in broader conditions.

How are community/system changes contributing to efforts to promote community health and development?

__ Examine community changes in relation to various aspects of your work.

• Group goals or aims.
• The strategies of intervention you’re using.
• Risk and protective factors.
• The expected duration of change.
• The populations benefited.
• The sectors addressed.
• The ecological level addressed.
• Place.

Are community/system changes related to improvements in population-level outcomes that reflect the objectives of your effort?

__ Community-level indicators of an issue are markers of success at the level of the community as a whole, rather than for particular individuals.

__ Population-level outcomes can be found or inferred by consulting publicly available statistics and records, including:

• Census data.
• Public health statistics.
• Records of health and human service organizations. Although most of these organizations shield individual participants with confidentiality, their general records – number of people served, units of service, general outcomes, etc. – are often open to scrutiny.
• Statewide data and data from other communities (for comparison purposes).
• Police and court files.
• Educational data – standardized test averages, truancy, dropouts, high school completion rates, incidence of school violence.
• Environmental statistics – pollution rates, bad air days, amount of open space, water quality, etc.

__ You can also collect other sources of data, using observation, surveys, and other methods.

__ Graphing and comparing sets of data on community-level indicators can show connections among them.

Did the effort lead to improvements in population-level outcomes?

__ The effort may have led to improvements by influencing changes in the community or system (intermediate outcome) and (more distant) community-level indicators of success. that brought them about.

__ Comparing data on population-level outcomes, community changes, and the timing of various phases and events of your effort can help you understand the connections among them.

__ Begin early and continue to gather, record, analyze, and use data indefinitely to understand how to adjust your effort for greatest effectiveness.

يستند هذا القسم إلى مقالةٍ يتضمّنها دليل التقييم الخاص بمجموعة العمل: تقييم ودعم المبادرات المجتمعية للصحّة والتنمية.

• ما هو توفير المردود؟
• لماذا نوفّر المردود؟
• متى يجب أن نوفّر المردود؟
• كيف نوفّر المردود
• إرشادات عامة

ما هو توفير المردود؟

عندما نتكلّم عن توفير المردود (الأثر المردود أو المرتَجع) من خلال التقييم، نعني بذلك تقديم البيانات المتعلّقة بالإنجازات التي نحصل عليها من تقييمنا، إلى المعنيين بالمبادرة – الموظّفين والمتطوّعين- فضلاً عن الإداريين وأعضاء مجلس الإدارة. وبحسب طرق التقييم ونوع البيانات، فقد نقدّم جزءاً من المردود ضمن جداول ورسوم بيانية، وجزءاً ثانياً بصيغةٍ سردية، وجزءاً ثالثاً ربّما على شكل ملفٍّ، أو حتّى كشريطٍ صوتي أو شريط فيديو.

ويجب أن يكون المردود في الاتّجاهَين. فالأشخاص المعنيون بالعمليات اليومية للمنظّمة وبرامجها قد يستفيدون من معرفة ما يبدو ناجحاً وما لا يبدو كذلك، ومن فهم ما الذي يجب تغييره من أجل تحسين النتائج. وفي الوقت نفسه، يحتاج الإداريون وأعضاء مجلس الإدارة إلى أن يفهموا ما في المنظّمة من نقاط ضعفٍ تمنع الموظّفين والمتطوّعين من أن يكونوا فعّالين قدر الإمكان.

هل يوجد دعمٌ كافٍ؟ وهل توجد تجهيزات كافية؟ وهل التمويل كافٍ لإنجاز العمل؟ وهل يسود الاحترام المتبادل البيئة التنظيمية، الأمر الذي يسمح للموظّفين والمتطوّعين بأن يقوموا بأفضل ما في وسعهم، وللمشاركين بأن يشعروا بالترحيب والدعم؟ إنّها أسئلة يستطيع الموظّفون والمتطوّعون – والمشاركون – الإجابة عنها، في الوقت الذي تهتمّ فيه المنظّمة بنتائج الرصد. إذاً، لكي يكون المردود مفيداً بالفعل، يجب أن يسير في الاتّجاهَين.

وينبغي توفير المردود بشكلٍ مستمرّ، حتّى يبقى الجميع على اطّلاع على ما ينجحون فيه وما يحتمل التحسين. كذلك، يمكن توفير المردود في نهاية التقييم (ولكن ليس حصراً).

في هذا القسم، سوف نناقش بشكلٍ أساسي كيفية متابعة الأنشطة والإنجازات التي قد تؤدّي إلى مُخرَجاتٍ على المدى الأبعد، أي ما يُعرَف عادةً بالرصد.

لماذا نوفّر المردود؟

في ما يلي بعض الأسباب التي تدفعنا إلى توفير المردود من وقتٍ إلى آخر:

• مساعدة قيادة المجتمع المحلّي على تقدير التقدّم المُحرَز نحو تلبية غايات المبادرة
• المساعدة على رؤية النواحي التي قد يتوجّب على أعضاء المبادرة بذل المزيد من الطاقة فيها
• المساعدة على تحديد الطاقة الفائضة المبذولة أو الجهد الفائض المبذول في نواحٍ أقلّ أهميةً بالنسبة إلى الرسالة
• توفير فرصة الاحتفال بالإنجازات الصغيرة
• مساعدة المبادرة على التركيز على "الصورة الإجمالية" من خلال رؤية الإنجازات المتراكمة مع الوقت
• تزويد المُموِّلين بفرصة المساعدة على إعادة توجيه المبادرة نحو الأنشطة الأكثر ارتباطاً بالرسالة بشكلٍ مباشر
• تزويد المُموِّلين بفرصة رؤية إنجازات المبادرة ومكافأتها

متى يجب أن نوفّر المردود؟

يجب أن يحصل موظّفونا على المردود باستمرار، لا سيّما في المراحل الأولى من تطوير المبادرة، لكي يتمكّنوا من تعديل جهودهم بشكلٍ متواصل من أجل تحسين نتائج المبادرة. في السنة الأولى، قد نجري جلسات توفير المردود مرّةً واحدة في الشهر، ثمّ نجريها فصلياً (أربع مرّات في السنة) في ما بعد. فإعطاء المردود غالباً يقدّم للناس فرصة رؤية التغييرات التي نتجت عن التعديلات التي قاموا بها بعد الجلسة السابقة لتوفير المردود، حتّى نتمكّن جميعنا من العمل معاً بهدف تحسين جهودنا بصورة دائمة.

كيف نوفّر المردود

نبدأ ببيانٍ عام يلخّص مدى نجاح المبادرة: يجب أن يكون هذا البيان إيجابياً (لا يجدر بنا أن نبدأ أوّلاً بالنواحي التي تحتاج إلى التحسين) ومُحدَّداً جداً في ما يتعلّق بالأمور الناجحة. على سبيل المثال، "لقد تلقّينا 35 رسالة من الأهالي يشيدون فيها بعمل لجنة السلامة المدرسية في مدرسة أبتاون المتوسّطة"، هو بيانٌ مُحدَّد أكثر بكثير من البيان التالي: " كثرٌ من الأهالي راضون عن لجنة السلامة المدرسية."

وقد تشير البيانات التي جمعناها إلى أنّ كلّ ما قامت به مجموعتنا مثالي. في هذه الحالة، سيكون تقديم المردود من جانب مجموعتنا سهلاً جداً ربّما. ولكنَّ الأرجح أنّه سوف يكون لدينا على الأقلّ بعض النواحي التي تحتاج إلى التحسين، أو حتّى الكثير منها – ونأمل العكس. فصحيحٌ أنّنا نريد أن يفهم المعنيون بمبادرتنا ما الذي يمكنهم تحسينه، ولكن علينا في الوقت نفسه أن نحرص أشدّ الحرص على ألا يشعر هؤلاء بالإحباط، أو الغضب من أنفسهم، أو الامتعاض، أو الإهانة بسبب المردود غير الممتاز. فكيف نقوم بذلك؟

نقدّم البيانات للمجموعة كأمرٍ جيّد: حتّى لو لم يكن المردود إيجابياً في الواقع – فنحن نعطيهم في النهاية معلوماتٍ سوف تساعدهم على القيام بعملٍ أفضل. فلنحاول إبراز قيمة المجموعة التي ترغب فعلاً في معرفة مدى نجاحها. ولنُظهِر لهم كيف أنّ استخدام البيانات التي جمعناها من خلال تقييمنا من شأنه أن يساعدنا على القيام بذلك. علينا أن نوفّر رؤيةً مشتركة عن المبادرة كمُحفِّزٍ للتغيير: "نستطيع أن نُحدِث فرقاً، وسوف نُحدِث فرقاً، وإليكم السبيل لقيامنا بذلك!" إذاً، من المهمّ جداً أن نعبّر عن تفاؤلنا بأنّ المجموعة سوف تنجح في نهاية المطاف في ترك أثرٍ ما. بعبارةٍ أخرى، علينا أن نبدأ بالأخبار السارة، ثمّ نقدّم الأخبار السيّئة بطريقةٍ تشجّع الجميع على العمل بجهدٍ لتغييرها.

نقدّم الرسوم البيانية:

 نقترح القيام بذلك وفقاً للترتيب التالي:

• قياسات العملية – عدد الأشخاص المشتركين في البرنامج، ورضى الأعضاء، ومقدار الأنشطة الرامية إلى إحداث التغييرات في المجتمع المحلّي بما يتوافق مع غايات المجموعة
• المُخرَجات المتوسّطة – عدد التغييرات في المجتمع المحلّي (مثلاً: البرامج، والسياسات، والممارسات الجديدة أو المُعدَّلة)، والمعلومات حول سياق المبادرة والأحداث الحرجة
• المُخرَجات النهائية/بيانات الأثر – البيانات المستمدّة من مسوح التغيير السلوكي لدى الأشخاص المُستهدَفين من خلال التدخّل، وبيانات الأثر على مستوى المجتمع المحلّي.

تتوافر بعض الأمثلة عن هذه الأنواع من المردود في الـ أمثلة الخاصة بهذا القسم.

نُظهِر المواد غير التصويرية: كما ذكرنا سابقاً، ثمّة الكثير من المواد – الصيغ السردية، والأمثلة عن عمل المشاركين أو عن تعلّمهم، وتعليقات المشاركين – التي لا تشكّل الرسوم البيانية أفضل طريقةٍ لطرحها. فهذا النوع من المواد يحتاج أيضاً إلى أن يُناقَش بطريقةٍ مختلفة، لأنّ ما يبرزه قد لا يبدو واضحاً كالبيانات المُقدَّمة في الرسوم البيانية.

وكما البيانات التصويرية، يمكن دراسة البيانات غير التصويرية من منظار العملية، والمُخرَجات المتوسّطة، والأثر على المدى البعيد. وخلافاً للبيانات التصويرية، إنّ فهم التوجّهات أو الخلاصات التي يُظهِرها هذا النوع من البيانات قد يتطلّب بعض الإبداع. (التوجّه هو حركةٌ في اتّجاهٍ مُعيَّن ليست مؤكّدةً بعد أو ليست بعيدة المدى بما يكفي ليُقال بشكلٍ قاطع إنّها بلغت غايةً ما أو فشلت في بلوغها.)

وتجدر الإشارة إلى أنّ المناقشة هي الطريقة الفضلى لفهم الكثير من هذه البيانات. فما هي الأعمال، أو الطرق، أو الظروف المُحدَّدة التي تشير إليها تعليقات المشاركين، وكيف يمكن تغييرها، إذا لزم الأمر؟ وما الذي يُظهِره عمل المشاركين حول فعالية عملنا؟ وما الذي تبيّنه الروايات من تحدّياتٍ وأمورٍ ينبغي تعديلها أو إزالتها؟

إنّ غالبية هذه البيانات هي بياناتٌ نوعية، أي إنّها بيانات لا يمكن أو لا يجب التعبير عنها بواسطة الأرقام (لأنّها قد تفقد دقّة ما قد تشير إليه). للمزيد عن البيانات النوعية، راجعوا الفصل 3، القسم 15: الطرق النوعية في تقدير المسائل المجتمعية.

نقدّم المعلومات: في ما يلي بعض الإرشادات حول كيفية القيام بذلك:

• نبدأ بالمعلومات الإيجابية.
• نسأل المجموعة أوّلاً عن كيفية تحليلهم للبيانات: فإذا كان تحليلنا مختلفاً، أو إذا اختلفت الأفكار في ما بين أعضاء المجموعة، نناقش سبب ذلك، وكيفية حلّ الاختلافات.
• نعطي مثالاً مُفصَّلاً أكثر من الإنجازات التي حصلت مؤخّراً – ضمن الأشهر القليلة الماضية، إذا أمكن ذلك.
• نشير إلى ما هو إيجابي في البيانات.
• نناقش مع المجموعة التوجّهات في البيانات، وما الذي تعنيه هذه التوجّهات.
• نناقش أيّ اقتراحات لإعادة توجيه الجهود.
• نراجع الأمثلة الواردة على الرسم البياني أو في المعلومات النوعية.
• ندعم المبادرة من خلال الإشارة إلى أدلّة التقدّم.
• نناقش أيّ تعليقات أو أسئلة لدى أعضاء المجموعة.

إذا لم يُظهِر القياس نمواً حديثاً:

• نطلب من المجموعة أن تناقش سبب ذلك برأيهم، من خلال البيانات.
• نشير إلى الفترات السابقة التي شهدت نمواً، حتّى لا يشعر الأشخاص بالإحباط. وسوف يكون الكثير من هذه القياسات دورية بطبيعتها – فالموارد التي يتمّ توليدها مثلاً، غالباً ما تُسجَّل على دفعاتٍ مرتبطة بمُهل التمويل. فإذا بدا أنّه من الملائم الإشارة إلى هذا الأمر، فلنفعل ذلك.
• نطلب من المجموعة إعطاء أفكارٍ حول كيفية تعديل العمل من أجل مخاطبة المسألة، إذا كان علينا أن نخاطبها.
• نسأل عمّا إذا كانت قد جرت أنشطةٌ إضافية غير مُسجَّلة. فإذا عدّدنا البنود التي سُجِّلت طوال مدّة المبادرة، فقد نجد أموراً لم تُسجَّل، وقد يُحدِث هذا الأمر فرقاً كبيراً في النتائج.

نلخّص البيانات عبر مناقشة نقاط قوّة المبادرة: فليكن الختام إيجابياً! فنحن نريد أن يخرج الموظّفون والمتطوّعون بعد هذا العرض بعزمٍ على العمل الجاد من أجل تحسين المبادرة، كما أنّنا نريد تعزيز ثقتهم بقدرتهم على إنجاز ذلك. لذلك، لا يجدر بنا أن ندعهم يغادرون وهم يشعرون بالاستياء من الجهود التي بذلوها حتّى الآن. نراجع الرسوم البيانية، ونحرص على إظهار الرسم البياني الأكثر صلةً برسالة المشروع بشكلٍ مباشر (وهو الرسم البياني الخاص بالتغيير المجتمعي في معظم الأحيان).

إرشادات عامة

نلخّص النقاط الأساسية التي يجب أن نتذكّرها لدى تحضير المردود للعاملين:

• نقدّم هذه البيانات بصورة جيّدة، ونُخبِر سامعينا عن أداء المبادرة.
• نركّز على الحسنات – فلنكن إيجابيين!
• ننقل التفاؤل حول احتمالات النجاح (إذا كان ذلك ملائماً).
• ننقل الحاجة إلى التغييرات أو التعديل (إذا كان ذلك ملائماً).
• ننقل رؤيةً مشتركة للمبادرة كمُحفِّزٍ فعّال للتغيير.

ويجب ألاّ ننسى أنّه علينا الحفاظ على النبرة الإيجابية، وتوجيه الكثير من التشجيعات للأشخاص الذي يعملون في المبادرة. فالهدف من جلسات توفير المردود يكمن في حثّ الموظّفينن والمتطوّعين على العمل بجهدٍ أكبر وتحسين المبادرة، وليس إثباط عزيمتهم. حظًّا موفّقاً!

نفهم أنّ ...

__ توفير المردود من خلال تقييمنا يعني تقديم البيانات المتعلّقة بالإنجازات التي نحصل عليها من تقييمنا، إلى المعنيين بالمبادرة – بموظّفينا ومتطوّعينا.

__ معظم هذه المعلومات تُقدَّم عادةً، ضمن رسوم بيانية، ولكن ليس دائماً.

__ توفير المردود ينبغي أن يتمّ بشكلٍ مستمرّ، حتّى يبقى موظّفونا ومتطوّعونا على اطّلاع على ما ينجحون فيه وما يحتمل التحسين.

__ توفير المردود يمكن أن يتمّ كذلك في نهاية التقييم (ولكن ليس حصراً).

__ موظّفونا يجب أن يحصلوا على المردود باستمرار، لا سيّما في المراحل الأولى من تطوير المبادرة، حتّى يتمكّنوا من تعديل جهودهم بشكلٍ متواصل من أجل تحسين نتائج المبادرة.

نفهم بعض الأسباب التي تدفعنا إلى توفير المردود من وقتٍ إلى آخر:

__ مساعدة قيادة المجتمع المحلّي على تقدير التقدّم المُحرَز نحو تلبية غايات المبادرة

__ المساعدة على رؤية النواحي التي قد يتوجّب على أعضاء المبادرة بذل المزيد من الطاقة فيها

__ المساعدة على تحديد الطاقة الفائضة المبذولة أو الجهد الفائض المبذول في نواحٍ أقلّ أهميةً بالنسبة إلى الرسالة

__ توفير فرصة الاحتفال بالإنجازات الصغيرة

__ مساعدة المبادرة على التركيز على "الصورة الإجمالية" من خلال رؤية الإنجازات المتراكمة مع الوقت

__ تزويد المُموِّلين بفرصة المساعدة على إعادة توجيه المبادرة نحو الأنشطة الأكثر ارتباطاً بالرسالة بشكلٍ مباشر

__ تزويد المُموِّلين بفرصة لرؤية إنجازات المبادرة ومكافأتها.

كيف نوفّر المردود

__ لقد بدأنا ببيانٍ عام إيجابي ومُحدَّد يلخّص مدى نجاح المبادرة.

__ لقد قدّمنا البيانات للمجموعة كأمرٍ جيّد، حتّى لو لم يكن المردود إيجابياً في الواقع.

__ لقد حاولنا إبراز قيمة المجموعة التي ترغب فعلاً في معرفة مدى نجاحها، ووفّرنا رؤيةً مشتركة عن المبادرة كمُحفِّزٍ للتغيير.

__ لقد قدّمنا الرسوم البيانية والمواد النوعية وفقاً للترتيب التالي:

• قياسات العملية
• المُخرَجات المتوسّطة
• المُخرَجات النهائية/بيانات الأثر

تقديم المعلومات:

__ لقد سألنا المجموعة عن كيفية تحليلهم للبيانات

 __ لقد مهّدنا للمعلومات، ووفّرنا تعريفاً مختصراً، ومثالاً، وشرحاً لسبب أهميتها

__ لقد أعطينا مثالاً مُفصَّلاً أكثر، من الإنجازات التي حصلت مؤخّراً -- ضمن الأشهر القليلة الماضية، إذا أمكن ذلك

__ لقد أشرنا إلى ما هو إيجابي في البيانات

__ لقد ألقينا الضوء على التوجّهات في البيانات، وما الذي تعنيه هذه التوجّهات

__ لقد ناقشنا أيّ اقتراحات لإعادة توجيه الجهود

__ لقد راجعنا الأمثلة الواردة على الرسم البياني

__ لقد دعمنا المبادرة من خلال الإشارة إلى أدلّة التقدّم

__ لقد سألنا المجموعة عن أيّ تعليقات أو أسئلة

إذا لم يُظهِر القياس نمواً حديثاً:

__ نسأل المجموعة عن أفكارها حول سبب ذلك.

__ نشير إلى الفترات السابقة التي شهدت نمواً، حتّى لا يشعر الأشخاص بالإحباط.

__ إذا كانت القياسات دورية بطبيعتها، وبدا ذلك ملائماً، فلقد أشرنا إلى هذا الأمر.

__ لدى الاجتماع مع قيادة المبادرة، لقد سألنا عمّا إذا كانت قد جرت أنشطةٌ إضافية غير مُسجَّلة، وذكّرنا القادة بالتعريف، وعدّدنا البنود التي سُجِّلت طوال مدّة المبادرة.

__ لقد لخّصنا البيانات عبر مناقشة نقاط قوّة المبادرة.

Example 1: Sharing Information through Participatory Evaluation—Enroll Wyandotte: A Community Mobilization Effort for the Affordable Care Act

Background

The passage of the Affordable Care Act (ACA) created for the first time the opportunity for Americans to receive health insurance that previously could not afford it. Healthcare insurance marketplaces were established to ensure healthcare access to those in need. State-level support for ACA marketplace enrollment varied considerably from the development of state-managed health exchanges to erecting barriers to impede marketplace access. In Kansas, local efforts were required to assure access to healthcare through community mobilization and partnerships. Wyandotte County (Kansas City), Kansas (pop. 160,384) is a low-income and culturally diverse area that ranks 96 out of 98 in the county health rankings. One in four residents are without health insurance, a rate twice that of the national average, with an equal number of residents below the national poverty level.

Context

Enroll Wyandotte, a local ACA exchange navigation effort, engaged multiple partnerships across a different sectors to support enrollment. Collaborative partnerships included government health organizations, public institutions, hospitals and health organizations, community and cultural organizations, community health coalitions, and universities.

Efforts of the Initiative

The initiative employed a community mobilization approach to assist Wyandotte County residents with obtaining health insurance through the ACA marketplace exchanges. This effort consisted of four broad components: a) Providing information and enhancing skills (eg, one-on-one education through the walk-in enrollment center, door-to-door education referral campaign to identify eligible community residents); b) Modifying access, barriers, exposures, and opportunities (eg, one-on-one enrollment assistance through the walk-in enrollment center, conducted community enrollment events in collaboration with community partners); c) Enhancing services and support (eg, hired a full-time navigator/project coordinator, trained a workforce of university volunteers as Certified Application Assistors); and d) Modifying policies and broader systems (eg, established collaborative partnerships with community organizations, provided testimony to senate committees on legislation that would have required expensive certification of volunteers trained as Certified Application Assistors).

Participatory Evaluation

A participatory evaluation involved the leadership of the Enroll Wyandotte effort and staff of the Center for Community Health and Development at the University of Kansas. The partners developed a monitoring and evaluation plan that identified some key indicators for success: a) Community/organizational changes (ie, new or modified programs, policies, or practices to facilitate enrollment in the ACA; eg, expanded enrollment hours at the health department; new sites at local public libraries, community organizations); b) Services provided (eg, media communications to promote awareness, direct assistance in enrollment sites); and c) Created accounts (the total number of family accounts created within the ACA website at three enrollment sites).

Measurement and Results

The KU Center for Community Health and Development designed an online documentation and support system (the Community Check Box) that included prompts and supports to: a) Capture instances of community/organizational changes and services provided (ie, what was done when and by whom toward what goal; b) Code by type of activity (ie, using definitions of community/organizational change and services provided); c) Characterize the activity (eg, by goal, strategy used, sector in which implemented); and d) Communicate progress (eg, graphs of the unfolding of community/organizational changes over time). The results showed that activities that created lasting changes in the environment (eg, programs, policies, and practices) and services provided were associated with increased enrollment. More than 500 new accounts were created as a result of the work of the initiative.

Providing Feedback through Participatory Sensemaking

Staff from the KU Center for Community Health and Development reviewed documented activities captured using the Community Check Box to assure data quality and to provide feedback on a monthly basis. The Check Box also supported participatory sensemaking by pairing graphs of activities/outcomes with reflection questions: a) What are we seeing? b) What does it mean? and c) What are the implications for adjustment? Enroll Wyandotte and KU Center for Community Health and Development staff met on two occasions to review the data and apply these questions. Participatory sensemaking provided an opportunity to evaluate data patterns to check for data completeness and identify key events (eg, when grants were received, when essential community/organizational changes occurred) that were essential to implementation of the marketplace navigation initiative. For example, the illustrating the unfolding of services provided over time showed a marked increase at the end of December, 2013. Enroll Wyandotte staff identified that this was associated with the hiring of a project coordinator made possible by community foundation funding and collaboration with community partners. Additionally, the use of sensemaking included the leveraging of additional funding from grantmakers and community partners through the use of data from the evaluation. In this initiative, providing feedback through participatory sensemaking helped guide systematic reflection of the data to make adjustments for continuous improvement and to communicate an objective story to community partners, grantmakers, and other stakeholders.

This example is based on the following article:

Fawcett, S. B., Sepers, C. E., Jr., Jones, J., Jones, L., & McKain, W. (Submitted for publication) Participatory evaluation of a community mobilization effort to enroll residents of Wyandotte County, Kansas through the Affordable Care Act.

عرض تقديمي ل PowerPoint تلخيص النقاط الرئيسية في هذا الباب.

چرا باید نتایج ارزیابی‌هایمان را به دیگران هم در میان بگذاریم؟

دلایل زیادی برای این کار وجود دارد. یکی از آن‌ها این است که شما می‌خواهید نام و هدف ائتلاف یا ابتکار عملتان در میان افراد باهمستان شناخته شود و  آن‌ها نظر مثبتی درباره شما داشته باشند. انتشار نتایج ارزیابی کارهایتان نه تنها نشان می‌دهد که شما هستید بلکه کارهایی را که انجام می‌دهید هم به باهمستان معرفی می‌کند. اگر نتایج ارزیابی‌هایتان مثبت باشد بیانگر این امر است که شما کارتان را درست و اصولی انجام داده‌اید و دارید در مسیر درست پیش می‌روید. اگر نتایج چندان دلخواه نباشد هم می‌توانید از باهمستان بخواهید که شما را در راه رسیدن با نتایج مطلوبتان کمک کنند. اطلاع‌رسانی در مورد نتایج ارزیابی‌ها باعث می‌شود که افراد درباره مشکلی که دارید روی آن کار می‌کنید، حرف بزنند، نظر بدهند و انتقاد کنند. دلیل اصلی منتشر کردن و به اشتراک گذاشتن نتایج ارزیابی این است که به مردم نشان بدهید که مشکلاتی وجود دارد و آن‌ها باید دست به کار شوند. 

عموم مردم (کسانی که باید نتایج را با آن‌ها درمیان بگذارید) چند دسته‌اند، مردم محلی، مردم منطقه، شهر یا شهرستان و تمامی افراد کشور. دلایلی که باید نتایج ارزیابی‌ها را با هر کدام از این دسته‌ها به اشتراک بگذارید، از این قرارند:

این اطلاعات را با افراد در سطح محلی به اشتراک بگذارید:

• تا سطح آگاهی را درباره مشکل مربوطه افزایش دهید.
• برای جذب داوطلب یا کمک‌های نقدی و غیرنقدی از افراد و موسسات.
• برای ارتقاء آگاهی از تلاش‌های داوطلبان و همکاران.
• برای لابی کردن برای تغییر آیین‌نامه‌ها یا برنامه‌های محلی تا این برنامه‌ها بتوانند مشکلات و یا نگرانی‌های شما را نیز نشان دهند.
• برای پاسخگو بودن در قبال جامعه، معتمدین و حامیان مالی.

دلایلی که باید این اطلاعات را با افراد در سطح منطقه، شهر یا شهرستان به اشتراک بگذارید:

• برای این‌که اعتبار لازم را در سطح آن محدوده جغرافیایی به دست بیاورید تا بتوانید بعدا از منابع بیشتری در جهت بهتر شدن وضعیت باهمستان استفاده کنید. 
• تا بتوانید شبکه‌ای از افراد و موسساتی را که با شما هدف مشترکی دارند، راه‌اندازی کنید.
• تا بتوانید برای تغییر سیاست‌ها در حوزه مورد نظرتان لابی کنید.
• تا بتوانید منابع مالی منطقه‌ای و دولتی را شناسایی و جذب کنید.

دلایلی که باید این اطلاعات را با افراد در سطح کشور به اشتراک بگذارید:

• برای این‌که در سطح ملی قابل اعتماد باشید تا بتوانید حمایت‌های بیشتری را در جهت تغییری که برای باهمستان در نظر دارید جلب کنید.
• تا بتوانید با شبکه‌ای از افراد و موسساتی که با شما هدف مشترکی دارند، در سطح کشوری آشنا شوید.
• تا بتوانید برای تغییر سیاست‌ها در حوزه مورد نظرتان لابی کنید.
• تا بتوانید حمایت‌های مالی و دولتی را در جهت بهبود وضعیت باهمستان همراه کنید.

سه نکته برای اطمینان یافتن از این‌که دستاوردهایتان فراموش نمی‌شود:

• خودتان را به فعالان و افراد مرتبط با حوزه کاریتان معرفی کنید.
• به مشکلاتی اشاره کنید که برای این افراد هم مهم است.
• مطمئن شوید که اطلاعات در زمان مناسب و به شیوه‌ای مناسب ارائه شود تا درست فهمیده شود. 

مخاطبان کلیدی شما برای ارائه داده‌ها و اطلاعات چه کسانی هستند؟

این داده‌ها را باید با همکاران، داوطلبان، اعضای باهمستان، حامیان مالی و تمام کسانی که در این راه شما را حمایت کرده‌اند، به اشتراک بگذارید. شما هم‌چنین باید نتایج ارزیابی‌هایتان را با ذی‌نفعان خود و گروه‌هایی که قصد کمک به آن‌ها را دارید هم به اشتراک بگذارید. 

گرو‌های کلیدی که باید نتایج ارزیابی را با آن‌ها به اشتراک بگذارید:

در سطح محلی

• نهاد‌های مدنی
• گروه‌های تجاری
• سازمان‌های جامعه محلی
• مدارس
• انجمن‌های اولیا و مربیان
• نهادهای مذهبی
• روزنامه‌های محلی
• نهادهای بهداشتی 
• مقامات انتخابی و انتصابی محلی
• کمک‌کنندگان مالی

در سطح شهر، استان و کشور 

• کنفرانس‌های تخصصی دولتی و منطقه‌ای
• کارگاه‌های آموزشی تخصصی منطقه‌ای
• نهادهای ترویج گری و جامعه محلی
• همایش‌های مذهبی
• حامیان مالی

با مخاطبان سخت‌گیر چه کنیم؟

• سوالات، نگرانی‌ها و مخالفت‌هایشان را پیش‌بینی کنید. پیشاپیش به این فکر کنید که این مخاطبان ممکن است از چه چیز برنامه‌ها و پروژه‌های شما خوششان نیاید و خودتان را برای پاسخ دادن به سوالات و نگرانی‌ها و مخالفت‌هایشان آماده کنید.
• از یکی از چهره‌های اصلی بخواهید که داده‌ها را ارائه کند. اگر یک چهره شناخته‌شده از سازمان‌تان داده‌ها را ارائه کند، قدرت تاثیرگذاری و مقبولیت ارائه صد چندان می‌شود. 
• از یک نفر دیگر بخواهید که اطلاعات را ارائه کند. زمانی که با مخالفان و مخاطبان سخت‌گیر و سرسخت طرف می‌شوید، خوب است که از کسی بیرون از سازمان و یا حتی از میان خود مخالفان بخواهید که داده‌های حاصل از نظرسنجی را ارائه دهد. 
• داده‌ها را به طور مستمر به روز نگه‌دارید. 
• خونسردی خودتان را حفظ کنید. 

ارائه نتایج نظرسنجی به مطبوعات 

• با مطبوعات صادق باشید. بسیار ضروری است که اطلاعاتی که به مطبوعات می‌دهید دقیق و درست باشد، چون اگر اعتماد آن‌ها را از دست بدهید، دیگر با شما همکاری نخواهند کرد و مخاطبان زیادی را از دست خواهید داد. 
• اطلاعیه‌های مطبوعاتی‌تان را خودتان بنویسید. از آن‌جایی که این شمایید که بهتر از هر کسی با کاری که می‌کنید و نتایجی که گرفته‌اید، آشنایید، بهتر است خودتان اطلاعیه‌های مطبوعاتی‌تان را بنویسید.
• خبرنگاران را آموزش دهید. اگر اطلاعاتی که قرار است منتشر کنید، داده‌‌های آماری زیادی را دربر می‌گیرد، روزنامه‌نگاران را دعوت کنید و به آن‌ها آموزش دهید که این اطلاعات چیست. چطور باید این جداول و نمودارها را خواند و چطور باید آن‌ها را گزارش کرد. 

چطور نتایج نظرسنجی را به اشتراک بگذاریم؟

می‌توانید از روش‌های زیر برای این‌کار استفاده کنید:

• نقل قول شفاهی در جلسات و نشست‌های رسمی و غیررسمی
• گزارش‌دهی و ارائه آمار و داده‌ها
• انتشار نتایج در روزنامه‌ها و خبرنامه‌ها
• تبلیغ در رادیو
• تبلیغ در تلویزیون
• مجلات تخصصی

چرا باید از روش‌های گوناگون برای ارائه نتایج نظرسنجی‌ استفاده کنیم؟

از آن‌جایی که مخاطب‌هایمان متنوع‌ هستند، خوب است که شیوه‌های متنوعی را هم برای نظرسنجی استفاده کنیم. برای برخی شاید تحلیل داده‌های آماری جذاب نباشد و فقط بخواهند از نتایج و داده‌های نهایی گزارش ما باخبر شوند. درحالی‌که حامیان مالی، هیئت امنا، کارمندان و ذی‌نفعان ما برایشان مهم است که از جزئیات کار باخبر باشند. از همین رو بهتر است از شیوه‌های مختلفی برای گزارش‌دهی و اطلاع‌ٰسانی استفاده کنیم تا بتوانیم پاسخ‌گوی نیازهای عده‌ بیشتری از مخاطبانمان باشیم. 

Herramienta #1: Esquema de Reporte de Evaluación

La portada debe incluir:

• Título del programa y ubicación
• Nombre(s) del (los) evaluador (es)
• Período cubierto en el reporte
• Fecha del reporte

Diseñe la portada ordenadamente y de manera que se vea agradable, la portada es lo primero que ve la audiencia y da una impresión importante.

Sección I -- Resumen (o Resumen Ejecutivo)

Este presenta una visión general breve (dos o tres páginas) de los principales hallazgos y recomendaciones de la evaluación. Algunas personas pueden estar muy ocupadas para leer más allá del resumen, así que asegúrese que es lo más completo y claro posible.

El resumen debe incluir:

• ¿Qué fue evaluado?
• ¿Por qué se hizo la evaluación?
• ¿Cuáles son los principales hallazgos y recomendaciones?

Y, si el espacio lo permite:

• ¿A cuál audiencia está dirigido el reporte?
• ¿Cuáles decisiones, si es que las hay, se han tomado o tienen que tomarse basadas en los resultados de la evaluación?
• ¿Para quiénes más podría ser de interés o importancia el reporte?

Sección II – Información sobre los antecedentes del programa

Es de suponer que la mayoría de la gente que leerá el reporte de su evaluación tendrá al menos alguna familiaridad con el programa, pero este no necesariamente es el caso.  Y aún las personas que tienen familiaridad con el programa pueden tener algunos conceptos equivocados, así que tómese su tiempo para dejar claras sus metas, plan estratégico, estructura organizacional y otros elementos esenciales del programa.

Típicamente, esta sección debe incluir:

• Orígenes del programa
• Metas del programa
• Clientes relacionados con el programa
• Estructura administrativa / organizacional
• Actividades y servicios del programa
• Materiales utilizados y producidos por el programa
• Equipo del programa

Sección III – Descripción de la Información

Esta parte explica por qué la evaluación fue hecha y lo que se espera aprender de ella. También debe explicar cualquier cosa que la evaluación no pretendía hacer.

Aquí hay algunas preguntas que se deben responder en esta sección:

• ¿Quién solicitó la evaluación?
• ¿Pretendía la evaluación satisfacer a alguna audiencia particular, y de ser así cuál (es)?
• ¿Hubo restricciones en la evaluación en términos de dinero, tiempo o recursos?
• ¿Se utilizó algún tipo de diseño de evaluación, y de ser así, cuál?
• ¿Cuál fue el tiempo de recolección de datos?
• Para cada medida, ¿qué tipo de datos se recolectaron?
• ¿Qué tipo de métodos se utilizaron para recolectar datos, y por qué se escogieron estos métodos en particular?
• ¿Cómo aseguraron los evaluadores la exactitud?

Sección IV – Resultados de la Evaluación

Esta parte explica en detalle cuáles son los hallazgos.

Esto puede incluir:

• Todos los datos recolectados, analizados, registrados y organizados de manera entendible (cuadros, tablas, gráficos, etc.)
• Selecciones de entrevistas
• Testimonios de clientes y participantes
• Resultados de cuestionarios
• Resultados de evaluaciones
• Evidencia anecdótica

Sección V – Discusión de Resultados

Aquí tendrá oportunidad de entrar en más detalle; el porqué de los resultados de la evaluación.

Esta parte debe responder las siguientes preguntas:

• ¿Qué tan seguro está de que su programa o iniciativa causó estos resultados?
• ¿Hubo factores que pudieran haber contribuido con los resultados?
• ¿En qué manera se diferencian los resultados de lo que hubieran sido si el programa no hubiese existido?
• ¿Cuáles sienten los evaluadores que son las fortalezas y debilidades del programa?

Sección VI -- Costos y Beneficios

Esta parte del reporte es opcional; si decide incluirla, le da una oportunidad de justificar el presupuesto y las decisiones financieras del programa.

Si lo incluye, le sugerimos que incluya:

• Costos asociados con la iniciativa (no solo costos financieros, pero costos en términos de recursos, energía, resultados y horas de trabajo de equipo / voluntarios)
• Métodos utilizados para determinar el presupuesto
• Beneficios del programa (tanto financieros como no financieros)

Sección VII -- Conclusiones

Después de escribir todo esto, puede ser tentador esbozar una conclusión rápida para el reporte, pero ¡evite esta tentación!

Esta es una parte muy importante pues es aquí donde se hacen las recomendaciones:

• ¿Cuáles son las conclusiones principales a las que se puede llegar como resultado de esta evaluación?
• ¿Siente que hay algo que no deba ser juzgado en este momento, y de ser así, qué?
• Basado en la evaluación de resultados, ¿qué recomendaciones pueden hacerse para el programa?
• Si la evaluación le da una idea acerca de lo que el futuro le depara a la iniciativa, ¿cuál sería?
• ¿Qué funcionó bien en la evaluación? ¿Qué no funcionó tan bien?
• ¿Qué recomendaciones tiene para quienes hagan futuras evaluaciones con el programa?

Comprende algunas de las razones por las cuales debe intentar dar conocer su iniciativa a otros:

___Para que el público conozca que existen

___Para que el público conozca lo que han estado haciendo para ayudar a su comunidad

___Para impulsar el interés público

___Para exponer el problema y motivar al público a tomar acciones

Comprende las siguientes razones para informar al público a nivel local:

___Para ayudar a crear conciencia acerca del problema

___Para ayudar a atraer voluntarios, patrocinadores, y recursos en especies de ciudadanos y agencias locales preocupadas

___Para promover el registro de esfuerzos de voluntarios y colaboradores

___Para ayudar a hacer presión sobre reglamentos locales o cambios de programas que tratan asuntos de preocupación o interés

___Para demostrar responsabilidad a la comunidad, fiduciarios y patrocinadores

Comprende las siguientes razones para informar al público a nivel estatal:

___Para crear un nombre para la iniciativa en el estado, lo que la hace más competitiva al buscar recursos estatales

___Para ayudar a establecer una red estatal de personas y agencias con metas similares

___Para ayudar a presionar cambios legislativos que tratan asuntos de preocupación o interés

___Para ayudar a la iniciativa a cosechar reconocimiento y recursos del estado y la región

Comprende las siguientes razones para informar al público a nivel nacional:

___Para crear un nombre para la iniciativa a nivel nacional, lo que la hace más competitiva al buscar recursos estatales o federales o de fundaciones privadas grandes

___Para ayudar a intervenir en redes nacionales de personas y agencias con metas similares y amplia experiencia

___Para ayudar a la iniciativa a cosechar reconocimiento y recursos de todo el país

___Para motivar alianzas comunitarias a trabajar en el problema o asunto

Comprende las tres recomendaciones para asegurarse de que no ignoren los hallazgos:

___Dar la información a la gente adecuada

___Abordar los asuntos que esas personas piensen son importantes

___Asegurarse de que la información se presente a tiempo para que sea útil y de manera que se entienda claramente

¿Ha compartido datos con las siguientes audiencias clave (si es apropiado)?

 ___miembros

___voluntarios

___partidarios en la comunidad

___patrocinadores

___su población meta

___el público en general

Ha compartido los datos con las siguientes audiencias locales (si es apropiado): 

___organizaciones cívicas

___grupos de negocios

___organizaciones de base local

___juntas escolares

___grupos de padres de familia y profesores

___organizaciones eclesiásticas

___prensa local (editores, juntas editoriales, o periodistas que normalmente cubren la iniciativa de su grupo)

___organizaciones de salud

___oficiales gubernamentales elegidos y nombrados

___otorgadores de becas o subvenciones

Ha compartido los datos con las siguientes audiencias estatales / regionales (si es apropiado): 

___conferencias profesionales estatales y regionales

___talleres regionales de entrenamiento profesional

___organizaciones de base local y organizaciones de apoyo

___conferencias eclesiásticas

___otorgadores de becas

Ha compartido los datos con las siguientes audiencias nacionales (si es apropiado): 

___conferencias profesionales

___talleres de entrenamiento profesional

___organizaciones de base local y organizaciones de apoyo

___conferencias eclesiásticas

___otorgadores de becas

Si está lidiando con audiencias difíciles:

___Ha anticipado sus preguntas, preocupaciones y objeciones. Trate de anticipar lo que a esta audiencia en particular no le agrada respecto a lo que tengan que decir, y busque respuestas calmadas, mesuradas, lógicas y profundas para darles.  Si es posible, siéntense con alguien que conoce a la audiencia bien para obtener retroalimentación acerca de las preguntas o consultas que puedan hacer y de cómo podrían reaccionar con las respuestas.  Esto le evitará ponerse nervioso o defensivo durante la presentación.

___Si es apropiado, solicite a una figura primaria de la iniciativa presentar los hallazgos

___Solicite a otra persona presentar la información

___Refuerce los datos repetidamente

___Mantenga la calma

Al hablar con la prensa acerca de los hallazgos de su información, ha hecho lo siguiente:

___Ser honesto con los periodistas

___Escribir sus propios comunicados de prensa

___Entrenar a sus periodistas

Al desarrollar un formato general de presentación, ha incluido lo siguiente:

___Los asuntos de preocupación o interés

___Las metas y estrategias de la iniciativa y los métodos para alcanzar esas metas

___Datos de las actividades (por ejemplo servicios provistos)

___Datos de los logros (por ejemplo cambios comunitarios)

___Datos de los resultados (por ejemplo medidas de comportamiento e indicadores de nivel comunitario)

___Ha mantenido las ayudas visuales simples para evitar los problemas de interpretación de datos

Ha identificado diferentes vías para dar a conocer los resultados de la evaluación, incluyendo:

___boca a boca

___presentaciones

___periódicos y boletines

___radio (tanto servicios públicos de anuncios como noticias locales o programas de llamadas)

___cobertura televisiva

___revistas profesionales

Comprende los diferentes formatos para presentar los resultados de evaluación y cuándo puede ser apropiado utilizarlos:

___Reportes técnicos

___Resumen ejecutivo

___Documento técnico profesional

___Artículo profesional

___Comunicado de prensa y/o conferencia de prensa

___Reunión pública

___Aparición en los medios

___Talleres para el personal de trabajo

___Boletines / afiches

___Memorando

___Discusión personal

Ha considerado las siguientes posibles metas para su presentación:

___Dinero y recursos en especie para la iniciativa

___Voluntarios para las actividades del proyecto

___Influencia para cambiar un programa, política o práctica

___Contribuciones sobre cómo hacer la iniciativa más receptiva

___Superar la resistencia a la iniciativa

___Ideas sobre como la iniciativa puede hacerse más efectiva

Ha seguido los siguientes pasos para desarrollar su presentación:

___Comprende a los usuarios primarios y a las audiencias.

___Ha revisado los resultados de la evaluación con el equipo del programa antes de escribir el reporte de la evaluación.

___Ha tomado tiempo para informar a las figuras políticas importantes antes de mostrar el reporte al público.

___Conoce que el reporte final puede ser un pequeño documento que resuma los hallazgos de la evaluación con un apéndice técnico para los interesados.

___Si ha decidido hacer una presentación oral, hizo una pequeña cantidad de cuadros y tablas que ilustran los hallazgos más importantes.

___Su reporte inicia con las razones por las que se hizo la evaluación, cuáles preguntas se hicieron y por qué se escogieron esas preguntas.

___Ha explicado lo que su grupo o coalición quiso aprender de la evaluación y cuáles métodos se utilizaron para conducir la evaluación.

___Ha explicado qué tipo de implicaciones tienen los resultados en su grupo o iniciativa.

Una presentación en PowerPoint que resume los puntos principales de la sección.