Sección 3. Perfeccionamiento del programa o la intervención con base en la investigación de evaluación

Un Centro Comunitario de Salud realizó una evaluación de su programa para promover la actividad física entre personas con mayor riesgo de enfermedad cardíaca. La evaluación mostró resultados mixtos. Un pequeño número de participantes (15%) obtuvo resultados muy positivos. Presentaron aumentos significativos en la actividad física y mejoraron su alimentación. Su condición física mejoró y perdieron peso. Como se había previsto, su presión arterial disminuyó, su frecuencia cardíaca bajó y reportaron sentirse con más energía. También informaron altos niveles de satisfacción con el programa y sus resultados.

Una gran mayoría del grupo original (70%) hizo ejercicio, pero no con la regularidad esperada. Los beneficios para la salud en este grupo variaron: varios lograron reducir al menos ligeramente su presión arterial, mientras que el resto mantuvo los niveles con los que había iniciado el programa.

Un último grupo (15%) estuvo compuesto por personas que abandonaron el programa –varias se retiraron en poco tiempo– y otras que simplemente nunca lograron ejercitarse con regularidad. Prácticamente no hubo cambios en su peso, presión arterial ni en su sensación de bienestar… excepto en un pequeño número que obtuvo resultados relativamente positivos.

¿Qué podría hacer el Centro Comunitario de Salud con estos resultados? Sabía que, aunque la intervención aparentemente funcionaba cuando las personas se mantenían en el programa, este solo había tenido un éxito parcial. ¿Cómo podría utilizar la evaluación para mejorar el programa y, de ese modo, mejorar la salud de las personas a las que servía?

Hasta ahora, este capítulo ha abordado los elementos para llevar a cabo una evaluación basada en la investigación. Pero la evaluación en sí misma es solo un medio para un fin: una herramienta que le permite comprender qué está sucediendo para que usted pueda mejorar la efectividad de su trabajo. En esta sección, examinaremos cómo puede utilizar su investigación –los resultados de su evaluación– para lograr precisamente eso.

¿Qué entendemos por perfeccionar la intervención?

Los datos le permiten a usted y a los demás miembros de su grupo reflexionar de manera crítica sobre su trabajo y buscar oportunidades de mejora.

Algunas preguntas clave de reflexión que usted y su grupo podrían considerar son:

• ¿Qué estamos observando? (por ejemplo, cantidad y tipo de actividades implementadas; resultados obtenidos –aumentos, disminuciones, tendencias).
• ¿Qué significa esto? (por ejemplo, si la implementación de la intervención estuvo asociada con cambios).
• ¿Cuáles son las implicaciones para la mejora? (por ejemplo, si los resultados sugieren que la intervención debe mantenerse, modificarse o suspenderse; qué cambios se proponen).

Las preguntas de reflexión que usted formule dependerán de la naturaleza de su intervención, pero el conjunto anterior constituye un buen punto de partida. Considere realizar una reunión o un breve retiro en el que se presenten los resultados de la evaluación mediante gráficos y tablas, y se discutan las preguntas clave. Esta reunión podría beneficiarse de la participación de una persona facilitadora con experiencia que ayude a orientar el proceso hacia el consenso sobre recomendaciones específicas para mejorar.

Perfeccionar la intervención es el proceso de hacer su trabajo más efectivo utilizando los datos recopilados en su evaluación.

Dependiendo de lo que haya aprendido a partir de estos datos, usted podría:

• Incrementar o fortalecer su intervención en ciertas áreas o con determinados grupos.
• Modificar o eliminar elementos de la intervención que no hayan funcionado bien.
• Ajustar su intervención a condiciones o necesidades cambiantes en la comunidad.

Será importante que usted se reúna con otros miembros de su grupo para revisar los datos, identificar áreas clave de mejora, generar ideas y alcanzar un consenso sobre cómo abordar los problemas planteados. Prestar atención cuidadosa a los resultados de su evaluación puede ayudarle a determinar qué acciones debe tomar para fortalecer sus esfuerzos.

Para continuar con el ejemplo anterior, el personal del Centro Comunitario de Salud y algunos participantes seleccionados se reunieron para revisar los resultados. Consideraron que la evaluación había demostrado que, si las personas hacían ejercicio con regularidad, podían reducir su presión arterial, perder peso y mejorar su salud en general.

Una implicación clave de los hallazgos fue cómo ayudar a las personas a establecer y mantener una rutina de ejercicio.

El diálogo posterior sobre los resultados de la evaluación dejó al Centro Comunitario de Salud con preguntas adicionales:

• ¿Cómo podemos aumentar el número de participantes que realmente adopten y mantengan el ejercicio regular y otros comportamientos saludables?
• ¿Por qué algunas personas que no hicieron ejercicio con regularidad lograron reducir su presión arterial, y deberíamos añadir otro componente (por ejemplo, alimentación saludable) a nuestro programa?
• ¿Qué otros factores, si los hay, además del ejercicio, parecen ayudar a los participantes a ejercitarse regularmente y reducir su presión arterial (por ejemplo, un grupo de bienestar, medicación)?

Al centrarse en las preguntas clave de reflexión –¿Qué estamos observando? ¿Qué significa? ¿Cuáles son las implicaciones para la mejora?-- el centro debería poder perfeccionar su programa para obtener resultados aún mejores para un mayor número de participantes.

¿Por qué debería utilizar su investigación de evaluación para perfeccionar la intervención?

Perfeccionar la intervención es el propósito principal de una evaluación. Si descubre que su intervención no fue efectiva, tiene tres opciones: puede abandonarla; puede intentar a ciegas otro enfoque; o puede utilizar los resultados de su evaluación para orientarse hacia una intervención más eficaz.

Utilizar los resultados de la evaluación es fundamental: le indica la dirección que su investigación señala como más prometedora. Emplear la investigación para decidir el curso de acción también le posiciona como una organización creíble y práctica, comprometida con lo que realmente funciona. Ese tipo de reputación probablemente aumente sus oportunidades de obtener financiamiento y otros recursos, así como de ganar y mantener el apoyo de la comunidad. Lo más importante es que ayuda al grupo a tener éxito en la atención de los problemas o metas importantes de su comunidad.

¿Cuándo debería perfeccionar la intervención?

La respuesta corta a esta pregunta es: constantemente. El monitoreo y la evaluación deben llevarse a cabo durante toda la vida del programa o proyecto, y deben utilizarse para adaptar y ajustar lo que usted hace de manera continua. En términos prácticos, es recomendable reevaluar su trabajo con regularidad –una vez al año es lo más común– y realizar en ese momento los cambios importantes que sean necesarios.
Por supuesto, usted puede y debe hacer ajustes menores a lo largo del año, basándose en el monitoreo y en la retroalimentación de los participantes, del personal y de otras personas que implementan o experimentan la intervención.

Además, hay momentos específicos en los que ajustar su trabajo puede ser especialmente útil:

• Cuando lo que está haciendo no está funcionando. Si es evidente que su trabajo no está produciendo el efecto deseado, es momento de considerar qué necesita cambiar.

Asegúrese de permitir suficiente tiempo para que un programa o intervención tenga efecto antes de concluir que no está funcionando. Nada ocurre de la noche a la mañana y, cuanto más complejo sea el problema que usted está abordando, más tiempo probablemente se necesitará para influir en los resultados esperados. Usted debe encontrar un equilibrio entre suspender un programa antes de que haya tenido la oportunidad de demostrar resultados y permitir que continúe aun cuando ya haya mostrado ser ineficaz.

• Cuando los participantes abandonan el programa en una proporción alta. ¿Qué está haciendo usted –o qué factores externos existen– que podrían estar provocando que las personas se retiren del programa? ¿Cómo puede modificar la intervención para asegurarse de que los participantes permanezcan el tiempo suficiente para beneficiarse?
• Entre sesiones de un programa de duración limitada o secuencial. Algunos programas –como el programa de ejercicio utilizado como ejemplo– están diseñados para funcionar solo durante un período determinado, pero pueden repetirse varias veces con nuevos participantes. Si un programa de este tipo se evalúa de manera continua, usted obtendrá –y debería utilizar– información en cada ciclo que le ayudará a mejorar la siguiente implementación.
• Cuando los financiadores o los participantes le piden que ajuste algún aspecto de su programa. Su investigación de evaluación puede ser de gran ayuda para determinar cómo responder a las solicitudes de los financiadores o de los participantes.
• Cuando se reducen los fondos u otros recursos. Usted puede verse en la situación de tener que eliminar partes del programa, reducir el número de participantes u optar por otras decisiones difíciles. Su investigación de evaluación puede ayudarle a encontrar la mejor manera de hacer recortes sin perder efectividad, manteniendo los elementos del programa que generan mayor impacto.
• Cuando cambian el problema o la meta. A veces se produce un cambio en las prioridades de la comunidad, por ejemplo, tras un aumento del desempleo o de la violencia. Su investigación puede indicarle que esto está ocurriendo y sugerirle formas de responder a las nuevas condiciones.

¿Quiénes deberían participar en el perfeccionamiento de la intervención?

El mejor plan es involucrar a varios grupos de interés, dependiendo en parte de quiénes hayan participado en la planificación y evaluación del esfuerzo.

Algunas personas que definitivamente deberían participar son:

• Los participantes. Son quienes experimentan tanto la intervención como sus efectos, y es probable que tengan ideas sobre cómo mejorarla, hacerla más accesible o más relevante para ellos. Los participantes deben ser sus aliados en el perfeccionamiento de programas e intervenciones, ya que cuentan con una perspectiva interna sobre si realmente están funcionando.
• El personal, remunerado o voluntario. Al igual que los participantes, el personal tiene una perspectiva única sobre la intervención. No solo observa diariamente cómo funciona, sino que también deberá implementar cualquier cambio. Si puede apropiarse de esos cambios al participar en el proceso de planificación, será mucho más probable que los comprenda adecuadamente y esté comprometido en hacer que funcionen.
• Personas que apoyan el trabajo directa o indirectamente. Dependiendo de la naturaleza del problema, podrían incluir educadores, funcionarios gubernamentales, profesionales de la salud, empleadores, financiadores u otras personas. Dado que su contribución puede ser necesaria para que los cambios tengan éxito, es importante que aporten su opinión en la planificación. Necesitarán comprender y respaldar los ajustes para que la intervención modificada funcione adecuadamente.
• Quienes lideraron y participaron en la evaluación. Estas personas comprenderán bien lo que mostró la evaluación y tendrán claridad sobre qué podría necesitar cambios y de qué manera.

Por ejemplo, el Centro Comunitario de Salud conformó un equipo para analizar los resultados de la evaluación y formular recomendaciones para realizar cambios en el programa. El equipo incluyó a diversos participantes que habían experimentado distintos resultados, un profesional de la salud, un miembro de la junta directiva del Centro y un miembro del personal de la universidad que llevó a cabo la evaluación. Revisaron parte de la investigación que el Centro había utilizado para desarrollar el programa y estudiaron cuidadosamente las entrevistas a los participantes y otros materiales de evaluación, así como los registros mantenidos por el personal del programa.

¿Cómo se perfecciona una intervención con base en la investigación?

Los cambios en las intervenciones deben centrarse en uno o más de los tres aspectos de la evaluación: proceso (tanto su proceso –actividades implementadas, cumplimiento de lo planificado, etc. – como el proceso de los participantes –qué hicieron realmente), impacto y resultados. Es necesario examinar cada uno por separado y, finalmente, integrarlos para decidir qué ajustes deben realizarse en la intervención.

Cada aspecto de la evaluación se construye sobre el anterior. Para lograr el impacto deseado, usted debe diseñar y ejecutar bien su programa, y eso es una cuestión de proceso. Si el proceso no se llevó a cabo adecuadamente, entonces en realidad no se implementó el programa tal como se había planificado. Si no se obtuvo el impacto esperado, puede deberse simplemente a que no se hizo lo que se había previsto, y los primeros ajustes deberían centrarse en el proceso, para garantizar que la intervención se implemente según lo diseñado.

De manera similar, para alcanzar los resultados deseados, el programa debe tener un impacto sobre los factores de riesgo y de protección pertinentes u otras condiciones del entorno. Si el programa logró el impacto previsto, pero no los resultados esperados, entonces los ajustes deben realizarse en el nivel del impacto, quizá en los factores de riesgo y protección y/o en las condiciones que influyen en los resultados.

Proceso

Una evaluación del proceso de su esfuerzo compara lo que usted planeó hacer con lo que realmente hizo.

El proceso tiene varios elementos a los que puede aplicarse la evaluación. Estos abarcan tanto la logística (el manejo de detalles, como conseguir un espacio o adquirir materiales) como la implementación del programa (los métodos, la estructura del programa, etc.).

Estos elementos pueden incluir:

• Participación comunitaria. ¿Pudo involucrar a los miembros y sectores de la comunidad que tenía previsto? ¿Logró establecer buenos contactos y relaciones dentro de la población prioritaria?
• Evaluación de la comunidad. ¿Realizó una evaluación de la situación de la manera en que lo había planificado? ¿Le proporcionó la información que necesitaba?
• Planificación del programa. ¿La planificación fue participativa? ¿Incluyó investigación sobre mejores prácticas e intervenciones exitosas? ¿Resultó en un enfoque que todos consideraron que funcionaría?
• Contratación de personal y/o reclutamiento de voluntarios. ¿Contrató personal y/o reclutó voluntarios que fueran las personas adecuadas para los puestos?
• Capacitación del personal y/o voluntarios. ¿El personal y/o los voluntarios recibieron orientación y capacitación antes de comenzar, para saber qué debían hacer cuando iniciaran su trabajo? ¿Hubo capacitación continua?
• Divulgación y reclutamiento de posibles participantes. ¿Las actividades de alcance comunitario lograron involucrar a las personas de los grupos previstos? ¿Pudo reclutar el número y tipo de participantes que había planeado?
• Estrategia de implementación. Aquí se analiza tanto lo que usted realmente hizo al implementar el programa como lo que los participantes realmente hicieron. ¿Estructuró el programa como estaba previsto? ¿Utilizó los métodos que tenía intención de usar? ¿Organizó la cantidad e intensidad de los servicios, otras actividades o condiciones según lo planificado? ¿Obtuvo y utilizó los materiales y equipos que esperaba? ¿Se desarrollaron las relaciones como se había previsto? ¿Los participantes realmente hicieron o experimentaron lo que usted había planeado?
• Estrategia de evaluación. ¿Realizó la evaluación como lo había planificado? ¿Recopiló datos relacionados con el proceso, el impacto y los resultados?
• Cronogramas y puntos de referencia. ¿Completó o inició cada uno de estos elementos en el tiempo que había previsto? ¿Logró los hitos o avances clave según lo planificado?

Si todas o la mayoría de las cosas ocurrieron según lo planificado, y cualquier desviación fue trivial, entonces básicamente usted hizo lo que se había propuesto. Si no fue así, existen varias posibles razones por las que el proceso previsto pudo haber cambiado:

• Tomó más tiempo del esperado completar una o más tareas importantes (por ejemplo, encontrar y contratar personal clave).
• Fue más difícil de lo previsto realizar una tarea en particular. Esto puede deberse al tiempo requerido, pero también puede significar que no contaba con las habilidades o el personal necesario para hacerlo.
• Algo que tenía buenas razones para esperar no ocurrió (por ejemplo, financiamiento o apoyo que esperaba no se concretó).
• Una persona u organización de la que dependía no cumplió con lo esperado (por ejemplo, un miembro del personal contratado se enfermó y no terminó el trabajo a tiempo).
• Más participantes abandonaron el programa de lo que usted había previsto.
• Participaron más personas de lo que había anticipado.
• A mitad del proceso descubrió que los métodos que había planificado no funcionaban bien y tuvo que hacer ajustes.
• Un financiador o un consejo asesor de la comunidad le pidió cambiar parte de lo que estaba haciendo.
• A mitad del proceso conoció un nuevo método que parecía muy eficaz y decidió implementarlo.
• Descubrió una forma más exitosa de hacer las cosas durante el trabajo y decidió adoptarla.
• Subestimó los recursos necesarios para llevar a cabo el plan original y tuvo que reducirlo (o buscar más financiamiento, voluntarios, espacio u otro tipo de apoyo).
• Enfrentó oposición.
• Enfrentó dificultades inesperadas (por ejemplo, alguien renunció o los materiales/equipos no estaban disponibles con el proveedor).
• Enfrentó un desastre (por ejemplo, el lugar se incendió, el coordinador del programa se enfermó, un miembro del personal fue arrestado o hizo un uso indebido de los fondos).
• Simplemente no prestó suficiente atención a seguir el plan y/o la organización no cumplió adecuadamente con su trabajo.

La desviación respecto a su plan puede haber tenido muy poca diferencia o puede haber marcado una gran diferencia. Algunos cambios pueden incluso ser positivos– por ejemplo, un retraso podría permitir encontrar una fuente de financiamiento más estable, o un cambio en el método podría dar lugar a un programa más efectivo– pero siguen siendo cambios. Vale la pena comprender qué fue lo que cambió para poder interpretar adecuadamente los resultados de la evaluación y realizar los ajustes que sean necesarios.

Quizás usted implementó el proceso según lo planeado y su programa se desarrolló como estaba previsto. Por el contrario, también puede ser que el proceso haya estado lleno de dificultades –oposición, falta de apoyo comunitario, problemas para reclutar participantes o plazos incumplidos–. ¿Significa eso que todo el trabajo que usted dedicó a la planificación fue innecesario?

Es probable que la respuesta sea justamente la contraria. Si usted logró implementar el programa a pesar de que sus planes se vieron alterados, es muy probable que la visión clara de lo que quería hacer le haya ayudado a mantenerse en el camino correcto.

Analizar cuidadosamente cómo logró superar los obstáculos que encontró le ayudará a entender cómo evitarlos en el futuro. (Evitar todos los obstáculos es poco común en el trabajo comunitario. La clave es aprender a anticiparlos y superarlos).

También es posible que el proceso previo al programa se haya desarrollado según lo planeado, pero que la implementación no haya resultado como se esperaba. En ese caso, probablemente el problema haya estado en el plan.

Algunos posibles problemas pueden ser:

• No evaluó adecuadamente la situación o no tomó en cuenta algunos aspectos importantes de la preparación.
• No comprendió correctamente algún aspecto de lo que debía hacerse para tener éxito.
• No comunicó adecuadamente algunos aspectos de lo que debía hacerse al personal, a los participantes, a los financiadores o a la comunidad.
• Subestimó la cantidad de dinero u otros recursos necesarios.
• No tuvo un control financiero adecuado.
• Ignoró algo importante (por ejemplo, tratar a los participantes con respeto).
• No involucró lo suficiente a la comunidad.
• No consideró suficiente tiempo para algunos aspectos de lo que debía hacerse (es decir, planificó un período determinado y lo cumplió, pero resultó ser demasiado corto).
• No proporcionó algún apoyo importante para los participantes (transporte, cuidado de niños, un estipendio), y como resultado un gran número abandonó el programa.

Descubrir por qué su plan no produjo la intervención que usted esperaba puede ser muy útil. Comprender qué necesita planificar y cómo hacerlo puede hacer que su trabajo futuro sea tanto más eficiente como más efectivo.

Impacto

El impacto de su programa o iniciativa es el efecto que tuvo sobre las condiciones del entorno, los eventos o los comportamientos que buscaba cambiar (aumentar, disminuir o mantener).

En la mayoría de los casos –aunque no en todos– el impacto inmediato del programa no es el mismo que los resultados finales que se esperan. Generalmente, un programa busca influir únicamente en uno o más comportamientos o condiciones específicos –factores de riesgo o de protección–. La suposición es que esa influencia conducirá posteriormente a un cambio a más largo plazo, que constituye el objetivo final del programa.

El impacto previsto del programa de ejercicio del Centro de Salud, por ejemplo, es que los participantes adopten el ejercicio regular, un factor protector que reduce el riesgo de enfermedades crónicas. Sin embargo, los objetivos del programa son en realidad mejorar la salud del corazón y, en última instancia, lograr una vida más larga y de mayor calidad. El impacto es el paso intermedio: la influencia que usted tiene sobre un comportamiento u otro factor que, a su vez, conducirá a los resultados deseados.

Su proceso pudo haber funcionado perfectamente –usted pudo haber hecho exactamente lo que se propuso– y aun así no haber tenido ningún impacto en los factores de riesgo o de protección que buscaba cambiar. Del mismo modo, puede que haya terminado implementando un programa bastante diferente al que había planificado y aun así haber logrado el impacto que esperaba. Los resultados de la evaluación del proceso le indicarán qué tan fielmente siguió su plan al establecer y ejecutar el programa. Los resultados de la evaluación del impacto le mostrarán si su programa logró producir los cambios o resultados previstos.

Su programa funcionó como se planeó si los comportamientos y los factores de riesgo y/o de protección cambiaron de la manera que usted esperaba. La gran pregunta que queda en ese caso es si los cambios que su programa logró influir condujeron a los resultados finales que usted buscaba. Consideraremos esto cuando analicemos los resultados más adelante en esta sección.

En todos estos casos, la evaluación debería incluir retroalimentación tanto de los participantes que obtuvieron buenos resultados como de aquellos que no los obtuvieron. ¿Qué funcionó particularmente bien para quienes tuvieron éxito? ¿Qué barreras existieron para quienes el programa no funcionó tan bien? No siempre es fácil lograr que los participantes describan los aspectos positivos y negativos, pero es la mejor manera de descubrirlo.

Si su programa realmente tuvo un impacto negativo en los comportamientos o en los factores de riesgo y/o de protección que se pretendía cambiar –por ejemplo, si la intervención buscaba aumentar la vacunación infantil y, en cambio, menos niños fueron vacunados– es importante analizar con mayor profundidad qué está ocurriendo.

Algunas posibles explicaciones pueden ser:

• No logró comunicar su mensaje o la importancia del mismo.
• Subestimó o ignoró influencias culturales lo suficientemente fuertes como para que sus métodos no pudieran superarlas.
• No tomó en cuenta factores culturales en la vida de los participantes que dificultaban lograr los resultados previstos. Estos factores pueden incluir la pobreza o demandas de tiempo que compiten entre sí, entre muchos otros.
• La falta de competencia cultural de la organización o de algunos miembros del personal trabajó en contra de sus objetivos.
• La estructura y/o los métodos del programa generaron consecuencias negativas que no se habían previsto.
• Los participantes percibieron el programa como algo que se les estaba imponiendo y sobre lo cual tenían poca influencia en su diseño o implementación.

Así como puede ocurrir que el proceso se haya desarrollado bien y aun así el programa no haya influido en los factores de riesgo y protección como se esperaba, también es posible que usted haya logrado exactamente los cambios que buscaba en esos factores y que, aun así, el programa no haya alcanzado los resultados finales previstos. Analizaremos esa situación cuando hablemos de los resultados.

Resultados

Los resultados de una intervención son los cambios que realmente ocurrieron como consecuencia de ella. El objetivo de una intervención generalmente no es solo cambiar un comportamiento o una circunstancia, sino lograr cambios en la salud y el desarrollo de la comunidad que se producen a partir de ese cambio inmediato. Por ejemplo, un programa de control del tabaco busca ayudar a los participantes a evitar o dejar de fumar: ese es su impacto. Sus verdaderos objetivos –los resultados esperados del programa– son reducir las tasas de enfermedades cardíacas, cáncer de pulmón y otras enfermedades relacionadas con el tabaquismo entre los participantes y sus familiares.

Los resultados finales pueden tardar años en evaluarse, pero otros –como los objetivos de presión arterial del programa de ejercicio del Centro de Salud o los resultados de un curso de capacitación laboral– pueden determinarse al finalizar la intervención o poco después.
Los resultados son la verdadera medida del éxito de la intervención, porque son la razón por la cual se llevó a cabo en primer lugar. Sin embargo, el impacto logrado –como cambios en programas o políticas comunitarias– también puede ser un resultado intermedio importante, ya que pueden pasar años antes de observar cambios en los resultados a largo plazo.

El programa produjo los resultados previstos

Si el programa produjo los resultados que usted esperaba, felicitaciones: ha logrado los objetivos de su esfuerzo. Sin embargo, este no es el momento de considerar su trabajo terminado. Ahora la pregunta es: ¿cómo puede hacer que la intervención sea aún mejor y más efectiva?

• ¿Puede ampliar o fortalecer las partes del programa que funcionaron particularmente bien?
• ¿Existen métodos basados en evidencia o mejores prácticas que puedan hacer su trabajo aún más efectivo?
• ¿Apuntar a más comportamientos o a diferentes factores de riesgo y de protección podría generar un mayor éxito?
• ¿Cómo puede llegar a las personas que abandonaron el programa temprano o que no se beneficiaron realmente de su trabajo?
• ¿Cómo puede mejorar su alcance comunitario? ¿Hay grupos marginados u otros grupos a los que no está llegando?
• ¿Puede añadir servicios –ya sea directamente relacionados con los resultados del programa o servicios complementarios como transporte– que mejoren los resultados para los participantes?
• ¿Puede mejorar la eficiencia de su proceso, ahorrando tiempo y/o dinero sin comprometer la efectividad ni sacrificar elementos importantes del programa?

Las buenas intervenciones son dinámicas: continúan cambiando y experimentando, siempre buscando algo mejor. Los programas siempre pueden mejorarse.

El programa solo produjo algunos de los resultados previstos

Si la intervención produjo solo algunos de los resultados deseados, o los produjo en un nivel menor al esperado, es posible que usted esté avanzando en la dirección correcta. También es posible que el programa tenga efectos mayores a largo plazo, a medida que los participantes integren los cambios que han realizado en su vida cotidiana.

Algunas posibles razones por las cuales el efecto del programa no fue tan grande como se planeó:

• No se abordaron suficientes factores de riesgo y/o de protección.
• El mensaje del programa no llegó a los participantes o no fue lo suficientemente impactante para ellos.
• Existieron factores intermedios –como la asistencia irregular o la falta de servicios de apoyo– que hicieron que el programa fuera menos efectivo de lo que podría haber sido.
• Algunas partes del programa no funcionaron bien.
• Algunas partes del programa no se implementaron adecuadamente.
• Se sobreestimó lo que era posible lograr en el tiempo disponible.
• El programa no se acercó a los participantes de la manera adecuada –fue demasiado formal, el lenguaje utilizado generó barreras para algunos, etc.
• El programa no estaba adaptado culturalmente a la población.
• Hubo conflictos entre participantes o entre los participantes y el personal.

Por ejemplo, supongamos que el programa de ejercicio del Centro de Salud no fue en absoluto un fracaso, pero tuvo un éxito solo moderado. ¿Cómo podría el Centro usar la información de su evaluación para mejorar los resultados de los participantes del programa?

Primero, el Centro podría examinar lo que los participantes dijeron sobre el programa. ¿Qué permitió que los miembros del grupo más exitoso lograran hacer ejercicio regularmente? ¿Por qué los miembros del grupo mucho más grande no pudieron establecer rutinas de ejercicio efectivas y constantes? Y para los miembros del tercer grupo —aquellos que no hicieron ejercicio en absoluto o abandonaron rápidamente—, ¿qué podría haberlos motivado más?

Tal vez los del primer grupo asistieron a todas las sesiones y encontraron compañeros de ejercicio que se motivaban mutuamente a esforzarse un poco más (o a comer un poco mejor). Quizá los de los otros grupos no lograron encontrar compañeros.

Basándose en la evaluación, los diseñadores del programa decidieron que deberían organizar compañeros o grupos de ejercicio para todos. Según la evaluación, tanto la situación social como el desafío que representaba ejercitarse con otros hacían que el ejercicio fuera más probable, más divertido y promoviera un entrenamiento más vigoroso. También decidieron desarrollar un componente de nutrición mucho más formal dentro del programa e incorporar un sistema de compañeros en ese componente, con la esperanza de que los participantes pudieran ayudarse mutuamente a desarrollar recetas y mantener un plan de alimentación razonable.

El programa no produjo resultados

Si el programa no produjo ningún resultado, es posible que tenga que realizar cambios importantes.

Puede ser muy difícil admitir que ha estado tomando la dirección equivocada, especialmente después de haber invertido mucho tiempo y esfuerzo en planificar e implementar un programa. Es tentador creer que, si simplemente trabaja más, recluta a otros participantes o utiliza mejores materiales, obtendrá los resultados que desea. Se necesita valor para concluir que los resultados requieren un rediseño importante del esfuerzo.

El programa puede haber producido resultados no previstos, ya sean positivos o negativos. Si son positivos, quizás desee entender cómo surgieron para poder seguir generándolos. Si son negativos, probablemente querrá investigar más para poder eliminarlos. La mayoría de las razones que provocan resultados no previstos son similares a las de la falta de resultados.

Un resultado no previsto positivo en un programa de prevención de la violencia juvenil, por ejemplo, podría ser una mejoría en el rendimiento escolar; un ejemplo negativo en el mismo programa podría ser un aumento en la deserción escolar. Los adolescentes en el programa podrían mejorar su rendimiento escolar porque admiran a un miembro del personal con educación universitaria y quieren ser como él o impresionarlo. O pueden ver la universidad y escapar del vecindario como la mejor manera de salir del ciclo de violencia.

Quienes abandonan la escuela como resultado del programa también podrían hacerlo porque ven esto como una forma de evitar la violencia: la escuela –o el trayecto hacia y desde ella– puede ser especialmente peligrosa debido a la presencia de jóvenes de otros vecindarios o pandillas rivales. Por otro lado, podrían considerar que abandonar la escuela a favor del trabajo es una vía no violenta hacia el éxito financiero, en lugar de involucrarse en la venta de drogas u otras actividades propensas a la violencia.

Dado todo esto, ¿cómo debe abordar su investigación de evaluación para decidir qué necesita refinar y cómo hacerlo? Un buen enfoque general es trabajar hacia atrás desde los resultados, preguntándose “¿pero por qué?” respecto a por qué cada fase anterior no produjo los resultados que esperaba.

Usando el método del “¿Pero por qué?” para examinar los resultados

• Examine los resultados. Si su intervención logró los resultados previstos, ha cumplido su objetivo. Ahora puede considerar cómo mantener estos efectos o refinar su programa (ver arriba). Aun así, debe examinar los resultados en términos de proceso e impacto, y realizar cambios donde pueda ganar mayor efectividad o eficiencia. Pero lo más probable es que el programa no necesite cambios importantes, a menos que quiera ampliar sus objetivos o haya encontrado un enfoque alternativo que pueda generar resultados aún más impresionantes.
• Examine el impacto. Si su investigación de evaluación muestra ningún resultado o resultados que no alcanzan lo que esperaba, el siguiente aspecto a examinar es el impacto de su programa sobre los comportamientos y factores de riesgo/protección que se pretendían influir.

Si el programa tuvo el impacto que esperaba, pero no produjo resultados, quizá haya elegido los comportamientos o factores incorrectos para abordar, y necesite replantear su análisis del problema y la intervención relacionada. Existen otras explicaciones posibles: su intervención no se mantuvo el tiempo suficiente, los efectos se retrasan, sus medidas no son lo suficientemente sensibles para detectar lo que se está logrando, etc.

• Examine el proceso. El siguiente paso es entender qué tan bien planificó, preparó e implementó su intervención. Si el razonamiento y las suposiciones detrás de su planificación fueron correctos, y si organizó e implementó su programa basándose en ellas, debería haber logrado el impacto que buscaba, y ese impacto debería conducir a los resultados que pretendía. Si su programa no se desarrolló como se planeó, eso podría explicar, en buena parte –si no totalmente–, la falta de resultados. Su evaluación del proceso puede mostrarle dónde necesita ajustar y mejorar la implementación para tener una mejor oportunidad de lograr los resultados previstos.

Si su programa se desarrolló según lo planeado –cumplió con los plazos y realizó lo que se proponía de la manera prevista– y aun así no logró alcanzar sus objetivos, hay una buena probabilidad de que el problema haya estado en la planificación. Es posible que haya apuntado a factores de riesgo y/o de protección insuficientes, como se mencionó anteriormente, o que haya elegido métodos ineficaces para influir en los correctos, o ambos. Existen otras posibilidades que también podrían detectarse mediante una evaluación del proceso, muchas de las cuales ya se han sugerido: trato a los participantes, problemas de lenguaje u otra comunicación, falta de competencia cultural, etc. Identificar y corregir estos problemas puede ayudar a que un programa alcance el éxito.

• Siga haciendo ajustes. Realice sus ajustes y refinamientos, ejecute y evalúe la intervención, y luego haga nuevos ajustes y refinamientos para mejorar su trabajo. Este debe ser un ciclo continuo durante toda la vida de su programa.

En resumen

El propósito de una evaluación y la investigación que conlleva no es solo decirle si su intervención ha sido un éxito o no. El verdadero valor de la investigación de evaluación radica en su capacidad para ayudarle a identificar y corregir problemas, así como para celebrar los avances. La evaluación puede señalar las fortalezas de su programa, y ayudarle a proteger y potenciar esas fortalezas y hacerlas aún más fuertes.

Al examinar los tres elementos de una intervención –proceso, impacto y resultados– su evaluación puede decirle si hizo lo que había planeado; si lo que hizo tuvo la influencia esperada sobre los comportamientos y factores que pretendía impactar; y si los cambios en esos factores condujeron a los resultados previstos. Ese conocimiento puede mostrarle qué podría cambiar para mejorar su programa, así como la efectividad general de la intervención. Y la información puede usarse para celebrar los logros que va obteniendo en el camino.