Sección 5. Crear un plan de evaluación

• ¿Por qué se debería tener un plan de evaluación?

• ¿Cuándo debería desarrollarse un plan de evaluación?

• ¿Quiénes son los diversos tipos de interesados y cuáles son sus intereses en la evaluación?

• ¿Cómo se puede desarrollar un plan de evaluación?

• ¿Cómo se establece un cronograma para las actividades de evaluación?

• ¿Qué clase de productos debería esperarse obtener de la evaluación?

• ¿Qué clase de normas se deberían seguir?

¿Por qué se debería tener un plan de evaluación?

Después de varias noches de trabajar duro hasta tarde, más reuniones de planeamiento de las que querría acordarse, y muchas tazas de café, su iniciativa ha comenzado a levantar vuelo. ¡Felicitaciones! Usted tiene todas las razones para sentirse orgulloso y probablemente se tome un respiro para evitar el desgaste excesivo. Sin embargo, no se siente sobre los laureles por mucho tiempo –su próximo paso es monitorear el progreso de la iniciativa. Si ella está funcionando perfectamente en todos los sentidos, Usted se merece la satisfacción de saberlo. Si se deben hacer ajustes para garantizar su éxito, usted querrá saber acerca de ello para tomar acción y evitar que su duro trabajo se vaya a la basura. Y, en el peor de los casos, Usted querrá saber si es un problema sin remedio para poder pensar en la mejor manera de disminuir las pérdidas. Por estas razones, la evaluación es sumamente importante.

Hay tanta información acerca de evaluaciones, que es muy fácil para los grupos comunitarios caer en la tentación de simplemente comprar un manual sobre evaluación y seguirlo al pie de la letra. A primera vista, esto podría parecer la mejor forma de ocuparse del tema –la evaluación es un tema inmenso y puede ser bastante intimidante. Desafortunadamente, si usted recurre a la aproximación tipo “libro de cocina” para la evaluación, Usted podría terminar juntando un montón de información que usted analizará y terminará por archivar sin ser vista o usada nunca más.

En lugar de ello, tómese un tiempo para pensar qué es exactamente lo que quiere saber acerca de la iniciativa. Su sistema de evaluación debería hacer preguntas simples que son importantes para su comunidad, su equipo, y por último y no menos importante, sus socios patrocinadores. Trate de pensar acerca de las cuestiones financieras y prácticas al preguntarse sobre qué clase de preguntas desea tener respuestas. La mejor manera de asegurarse de que tenga una evaluación lo más productiva posible es elaborar un plan de evaluación.

He aquí algunas razones del porque usted debería desarrollar un plan de evaluación:

• Le guía a través de cada paso del proceso de evaluación
• Le ayuda a decidir qué clase de información realmente necesitan Usted y los demás involucrados
• Le evita perder tiempo reuniendo información que no se necesita
• Le ayuda a identificar los mejores métodos y estrategias posibles para conseguir la información que se necesita
• Le ayuda a establecer un cronograma razonable y realista para la evaluación
• Sobretodo, ¡le ayudará a mejorar su iniciativa!

¿Cuándo debería desarrollarse un plan de evaluación?

¡Tan pronto como sea posible! El mejor momento para hacerlo es antes de implementar la iniciativa. Después de eso, puede hacerlo en cualquier momento, pero cuanto antes lo desarrolle y comience a implementarlo, mejor será su iniciativa, y serán mayores los  resultados al final.
Recuerde, la evaluación es algo más que simplemente saber si usted hizo bien su trabajo. Es importante utilizar la información de la evaluación  para mejorar la iniciativa durante su desarrollo.

¿Quiénes son los diversos tipos de interesados y cuáles son sus intereses en la evaluación?

Todos querríamos creer que todo el mundo está tan interesado como nosotros en nuestra iniciativa o proyecto, pero desafortunadamente este no es el caso. En el caso de grupos de salud comunitarios, hay básicamente tres grupos de personas que podrían ser identificados como interesados (aquellos que están involucrados y han invertido en el proyecto o iniciativa de alguna manera): grupos comunitarios, donantes y patrocinadores, e investigadores universitarios.Tómese algún tiempo para hacer una lista de los interesados en su iniciativa así como en cuál categoría se encuentran.

He aquí una descripción más detallada de cada tipo:

• Grupos Comunitarios: ¡Atención, usted es uno! Tal vez esta es la categoría más obvia de interesados, ya que incluye al equipo y/o los voluntarios involucrados en su iniciativa o proyecto. También incluye a la gente directamente afectada por el mismo –su público meta y agentes de cambio.
• Donantes y Patrocinadores: ¡No se olvide de la gente que paga las cuentas! La mayoría de los donantes y patrocinadores quieren saber cómo se está gastando su dinero, así que usted encontrará que frecuentemente tienen requerimientos específicos acerca de las cosas que quieren evaluar. Cerciórese de cuáles son sus patrocinadores actuales  para ver qué clase de información quieren que recolecte. Mejor aún, encuentre la clase de información que necesitará tener para las futuras solicitudes de donación que realice. ¡Eso no hará ningún daño!
• Investigadores universitarios: Esto incluye a los investigadores y evaluadores que su asociación o iniciativa pueda escoger como consultores o socios. Esos investigadores pueden ser especialistas en la promoción de la salud pública, epidemiólogos, científicos del comportamiento, especialistas evaluación o cualquier otro campo académico. Por supuesto, no todos los grupos comunitarios van a trabajar con investigadores universitarios en sus proyectos, pero si usted escoge hacerlo, ellos deberían tener sus propias preocupaciones, ideas y preguntas para la evaluación. Si usted no llega a comprender cabalmente porqué debe incluir a estas personas en su proceso de evaluación, trate de pensar en ellos como mecánicos de automóvil –si usted quiere que le ayuden para que su auto funcione mejor, por supuesto que los incluiría en su proceso de diagnóstico. Si usted fuera a un mecánico y comenzara a darle órdenes acerca de cómo arreglar su auto sin dejarle examinar su auto primero, probablemente se enojaría bastante con usted. Lo mismo pasa con sus investigadores y evaluadores. Es importante incluirlos en el proceso de desarrollo de la evaluación si realmente quiere le ayuden a mejorar su iniciativa.

Cada interesado tendrá una perspectiva diferente sobre su organización y lo que desea aprender de la evaluación. Cada grupo es único y usted puede encontrar que hay otro tipo de interesados en su organización. Tómese un tiempo para pensar acerca de quiénes son los interesados en su proyecto antes de comenzar a hacer su plan de evaluación.

¿Qué es lo que quieren ellos saber de su evaluación?

Mientras que alguna información proveniente de la evaluación será útil para los tres grupos de interesados, otra sólo será necesaria para uno o dos de ellos. Los donantes y patrocinadores por ejemplo, querrán saber cuántas personas fueron alcanzadas y beneficiadas con la iniciativa, así como también si la iniciativa tuvo el impacto a nivel comunitario que pretendía tener. Los grupos comunitarios pueden querer utilizar los resultados como guía en las decisiones acerca de sus programas, y en donde enfocar sus esfuerzos. Los investigadores universitarios probablemente van a estar interesados en probar si las mejoras en la salud comunitaria fueron efectivamente causadas por sus programas o iniciativas; también pueden además querer estudiar la estructura general de su grupo o iniciativa para identificar las condiciones bajo las cuales se puede obtener éxito.

¿Qué decisiones necesitan hacer? ¿Cómo usarán los datos para informar acerca de las decisiones?

Usted y los interesados probablemente estarán tomando decisiones que afectan su programa o iniciativa basados en los resultados de su evaluación, así que necesita considerar cuales serán esas decisiones. Su evaluación debería  redituar resultados honestos y precisos para usted y sus interesados.  Usted deberá cuidarse de no armarla de tal manera que exagere su éxito, y debe ser realmente cuidadoso de no armarla de tal manera que ¡minimice su éxito!

Considere qué clase de decisiones usted y los interesados estarán tomando. Los grupos comunitarios probablemente querrán utilizar los resultados de la evaluación para encontrar maneras de modificar y mejorar su programa o iniciativa. Es lo más probable que los donantes y patrocinadores estarán tomando decisiones acerca de qué cantidad de fondos darle en el futuro, o hasta si continúan financiando su programa (o cualquier programa relacionado).  Hasta pueden pensar acerca de imponerle ciertos requisitos (por ejemplo, un donante le dice que los fondos para su programa pueden verse recortados a menos que usted muestre un aumento de los servicios en un área determinada). Los investigadores universitarios necesitarán decidir cuál será la mejor forma de asistirlo con el desarrollo del plan e informes de datos.

También querrá considerar de qué manera usted y los interesados planean equilibrar los costos y los beneficios. La evaluación debería abarcar alrededor del 10-15% de su presupuesto total.  Eso puede parecer mucho, pero recuerde  que la evaluación es una herramienta esencial para mejorar su iniciativa. Al considerar cómo equilibrar los costos y los beneficios, hágase las siguientes preguntas:

• ¿Qué necesita saber?
• ¿Qué requiere la comunidad?
• ¿Qué requieren los patrocinadores?

¿Cómo se puede desarrollar un plan de evaluación?

Hay cuatro pasos principales para desarrollar un plan de evaluación:

• Ponga en claro los objetivos y metas del programa
• Desarrolle las preguntas de evaluación
• Desarrolle métodos de evaluación
• Establezca un cronograma para las actividades de evaluación

Ponga en claro los objetivos y metas del programa

El primer paso es dejar en claro los objetivos y metas de su iniciativa. ¿Cuáles son las cosas más importantes que usted quiere conseguir, y como se ha preparado para conseguirlas?  Poner en claro estas cosas le ayudará a identificar los componentes más importantes que deberán ser evaluados.  Una forma de hacerlo es hacer una tabla de componentes y elementos del programa.

Desarrolle preguntas de evaluación 

Hay cuatro categorías principales de preguntas de evaluación para nuestros propósitos. Veamos algunos ejemplos de preguntas posibles y métodos sugeridos para responder a esas preguntas. Más adelante le contaremos un poco más acerca de estos métodos y cómo funcionan.

• Temas de planeamiento e implementación: ¿Qué tan bien fue planeada la iniciativa y qué tan bien fue puesto en práctica el plan?
  • Preguntas posibles: ¿Quién participa? ¿Existe diversidad entre los participantes? ¿Por qué los participantes entran y salen de sus programas? ¿Hay una variedad de actividades y se generan actividades alternativas? ¿Reciben servicios aquellos con mayor necesidad de ayuda? ¿Están los miembros de la comunidad satisfechos con el cumplimiento de objetivos del programa?
  • Métodos posibles para contestar estas preguntas: a. un sistema de monitoreo que rastrea las acciones y  los logros relacionados al llevar a cabo la misión de la iniciativa, b. encuesta entre los miembros del equipo sobre la satisfacción con las metas, c. encuesta a los miembros sobre la satisfacción con los resultados.
• Evaluación de objetivos: ¿Qué tan bien ha conseguido el programa conseguir los objetivos establecidos?
  • Preguntas posibles: ¿Cuánta gente participa? ¿Cuántas horas están involucrados los participantes?
  • Métodos posibles para contestar estas preguntas: sistema de monitoreo (vea arriba), encuesta entre  los miembros del equipo acerca de satisfacción con los resultados, escala de logro de metas.
• Impacto en los participantes: ¿Qué diferencias y de qué tipo ha realizado el programa o la iniciativa en sus objetivos de cambio?
  • Preguntas posibles: ¿Cómo ha cambiado el comportamiento como resultado de la participación en el programa? ¿Están los participantes satisfechos con la experiencia? ¿Hubo algún resultado negativo como consecuencia de haber participado en el programa
  • Métodos posibles para contestar estas preguntas: encuesta de satisfacción entre los miembros acerca de metas, encuesta de satisfacción sobre  resultados, encuestas conductuales (de comportamiento), entrevistas con participantes clave.
• Impacto en la comunidad: ¿Qué diferencia y de qué clase ha marcado  el programa o la iniciativa en la comunidad como un todo?
  • Preguntas posibles. ¿Cuál fue el resultado del programa? ¿Hubo algún resultado negativo a causa del programa?  ¿Son mayores los beneficios que los costos del programa?
  • Métodos posibles para contestar estas preguntas: Encuestas de comportamiento, entrevistas con informantes clave, indicadores de nivel de la comunidad.

Desarrollo de métodos de evaluación

Una vez que ha encontrado las preguntas que quiere contestar en su evaluación, su próximo paso es decidir los métodos que  contestarán  mejor esas preguntas.  He aquí una breve reseña de métodos de evaluación  y para qué funcionan mejor, así como referencias a otras secciones de la Caja de Herramientas Comunitarias  donde usted podrá encontrar información más detallada acerca de ellos.

Sistema de monitoreo y retroalimentación

Este método de evaluación tiene tres elementos principales:

• Medidas del Proceso: ellas le dicen  lo que usted hizo para implementar su iniciativa.
• Medidas de resultados: ellas le dirán cuales fueron los resultados.
• Sistema de observación: esto se refiere a lo que usted hace para rastrear la iniciativa mientras está funcionando.

Encuesta con los miembros acerca de la iniciativa

Cuando Ed Koch era alcalde de la Ciudad de Nueva York, su marca registrada “¿Como lo estoy haciendo? era conocida en todo el país. Puede parecer una aproximación demasiado simple, pero a veces  lo mejor que se puede hacer para saber si usted está haciendo un buen trabajo es preguntarle a su equipo.

Esto puede hacerse mejor a través de encuestas entre los miembros.

Hay tres clases de encuestas para miembros que  probablemente usted necesitará hacer en determinado momento:

• Encuesta a los miembros sobre metas: hecha antes de que comience la iniciativa – ¿qué piensan los miembros acerca de lo que usted va a hacer?
• Encuesta a los miembros sobre el proceso: hecha mientras dura la iniciativa -- ¿cómo le está yendo hasta ahora?
• Encuesta a los miembros sobre resultados: hecha después de finalizada la iniciativa --¿cómo le fue? Para saber más acerca de la encuesta sobre resultados.

Informe de obtención de metas

Si desea saber si los cambios en la comunidad propuestos por usted fueron realmente alcanzados --y asumimos que sí-- su mejor apuesta podría ser hacer un informe de obtención de metas. Haga que su equipo tome nota cada vez que ocurre uno de los cambios mencionados en su plan de acción. Luego alguien podrá compilar esta información por ejemplo, “De un total de cinco metas, tres fueron obtenidas a finales de 1997.  ”

Encuestas conductuales

Las encuestas de comportamiento le ayudan a determinar el tipo de comportamientos de riesgo en los que está involucrada la gente y el nivel al que han llegado. Por ejemplo, si su grupo está trabajando en una iniciativa para reducir los accidentes automovilísticos en su área, un comportamiento de riesgo a encuestar será el manejo en estado de ebriedad.

Entrevistas con participantes clave

Los participantes clave –líderes de su comunidad, gente de su equipo, etc. - tienen percepciones de las que usted puede hacer uso. Entrevistarlos a fin de obtener sus puntos de vista acerca de los puntos críticos en el historial de su iniciativa, puede ayudarle a saber más acerca de la calidad de su iniciativa, a identificar los factores que afectaron el éxito o el fracaso  de determinados sucesos, a proveerle de una historia de su iniciativa, y a darle una visión que puede usar  en esfuerzos de planeamiento y renovación. 

Indicadores de impacto a nivel de la comunidad

Estos son comprobados marcadores que le permiten evaluar el resultado final de su iniciativa. Para coaliciones de abuso de drogas, por ejemplo, el U.S. Center for Substance Abuse Prevention (CSAP), y la Regional Drug Initiative de Oregón, recomiendan varios indicadores comprobados (por ejemplo, choques nocturnos de un sólo automóvil, traslados de emergencia relacionados con el alcohol) que ayudan a las coaliciones a calcular la extensión del abuso de sustancias en sus comunidades. El estudio de los indicadores a nivel de la comunidad le ayuda a tener evidencias sólidas de la efectividad de su iniciativa y a determinar cuan exitosos han sido los componentes clave. 

¿Cómo se establece un cronograma para las actividades de evaluación?

¿Cuándo necesita comenzar la evaluación?

¡Ya! ¡O por lo menos al comienzo de la iniciativa! La evaluación no es algo en lo que usted se pone a pensar luego de que todo lo demás ha sido hecho. Para tener una visión exacta y clara de lo que su grupo y usted lo han estado haciendo, es importante comenzar a prestar atención a la evaluación desde el principio. Si usted está ya parcialmente encaminado en su iniciativa, sin embargo, no descarte del todo la idea de la evaluación. Aunque comience tarde, aún puede recoger información que puede llegar a ser muy útil para mejorar su iniciativa.      

Esboce preguntas para cada etapa de desarrollo de la iniciativa

Miremos nuevamente los tipos de preguntas de evaluación mencionados anteriormente  en la sección “¿Cómo se planifica una evaluación?”

• Temas de planificación e implementación
• Evaluación de objetivos             
• Impacto en los participantes    
• Impacto en la comunidad    

Sugerimos completar una tabla enumerando:   

• Preguntas de evaluación claves (las cinco categorías enumeradas arriba, con preguntas más específicas dentro de cada categoría)                                                                               
• El tipo de medidas de evaluación a ser usadas para contestarlas (por ejemplo: ¿qué clase de datos necesitará para contestar las preguntas?                                                                                   
• La forma de recolección de datos (por ejemplo: qué métodos de evaluación usará para recoger estos datos); y 
• Diseño experimental (una forma de eliminar amenazas a la validez – por ejemplo: credibilidad—de sus datos. Esto incluiría comparar la información recogida por usted con la de un grupo similar que no está haciendo las cosas de la manera en que usted las está haciendo.

Con esta tabla, se puede tener un buen panorama  acerca de la clase de cosas que tendrá que hacer para conseguir la información  que necesita. Un ejemplo de la tabla aparece al final de esta sección.

¿Cuándo se deben suministrar los informes y la retroalimentación?

Cuando lo crea apropiado.Por supuesto que usted suministrará informes y retroalimentación al finalizar la evaluación, pero debería también suministrar periódicamente  informes y retroalimentación, durante todo el transcurso del proyecto o iniciativa. En particular, ya que suministrará retroalimentación e informes en las reuniones de su comité directivo o de toda la coalición, averigüe de antemano cada cuanto tiempo les gustaría tener avances del proceso. Los patrocinadores también querrán saber qué tal va la evaluación.

¿Cuándo debería finalizar la evaluación?         

Poco después del final del proyecto –usualmente cuando deba entregarse el informe final. No espere demasiado tiempo después de que el proyecto haya finalizado para terminar su evaluación – es mejor hacerlo mientras todo se encuentra aún fresco en su cabeza y usted tenga acceso a cualquier información que pueda necesitar.

Una muestra de cronograma aparece con los otros ejemplos al final de esta sección.     

¿Qué clase de productos debería esperarse obtener de la evaluación?  

El principal producto que usted querrá obtener es un informe que pueda compartir con todos los involucrados. ¿Que debería incluir ese reporte?            

• Los efectos esperados por los patrocinadores: Descubra lo que las personas clave quieren saber. ¡Asegúrese de tener cualquier información que usted sepa que ellos van a querer escuchar!
• Las diferencias en el comportamiento de individuos clave: Descubra de qué manera los esfuerzos de su coalición han cambiado el comportamiento de su público meta y sus agentes de cambio. ¿Alguna de sus estrategias ha hecho que la gente haya reducido sus comportamientos de riesgo o aumentado comportamientos que les protegen de los riesgos? ¿Hay personas clave de la comunidad cooperando con sus esfuerzos?
• Diferencias en las condiciones de la comunidad. Descubra qué ha cambiado. ¿Está al tanto el público de los esfuerzos de su coalición o grupo? ¿Le apoyan? ¿Qué pasos han tomado para ayudarle a conseguir sus metas? ¿Han producido algún cambio sus esfuerzos en las leyes o prácticas locales?

Usted probablemente incluirá herramientas específicas (por ejemplo: informes breves resumiendo datos), informes anuales, cuatrimestrales o mensuales provenientes del sistema de monitoreo, y cualquier otra cosa mutuamente acordada entre la organización y el equipo evaluador.

¿Qué clase de normas se deberían seguir?

Ahora que usted ha decidido que va a hacer una evaluación y ha comenzado a trabajar en su plan, probablemente también le habrán surgido algunas preguntas  acerca de como asegurarse de que la evaluación va a ser tan honesta, exacta y efectiva como sea posible. Después de todo, la evaluación es una gran área así que querrá hacerla bien. ¿Qué normas debería usted seguir para estar seguro de hacer la mejor evaluación posible? En 1994 el Comité Unificado de Normas de Evaluación Educacional publicó una lista de normas para programas de evaluación que es utilizada ampliamente para regular las evaluaciones de programas educacionales y de salud pública. Las normas delineadas por el comité son para utilidad, viabilidad, decoro y exactitud. Considere usar las normas de evaluación para estar seguro de hacer la mejor evaluación posible de su iniciativa.