| Community Tool Box

Esta sección es una adaptación del artículo “Marco de Trabajo Recomendado para la Evaluación de Programas en la Práctica de la Salud Pública”, por  Bobby Milstein, Scott Wetterhall, y el Grupo de Trabajo de Evaluación CDC (Ver el apartado recursos al final de esta sección)

• ¿Por qué evaluar los programas de salud y desarrollo comunal?

• ¿Cómo puede usted evaluar un programa específico?

• ¿Cuáles son algunos estándares para la “buena” evaluación de programas?

• Aplicación del marco de trabajo: Llevar a cabo evaluaciones óptimas

Alrededor del mundo, existen muchos programas e intervenciones diseñadas para mejorar las condiciones en comunidades locales. Las comunidades se unen para reducir el nivel de violencia que existe, para trabajar por un lugar seguro para vivir y accesible para todos, o para ayudar a que más estudiantes tengan éxito en la escuela, por dar unos cuantos ejemplos.

Pero ¿cómo  sabemos si estos programas están realmente funcionando? Si no son efectivos, e incluso si lo son, ¿cómo podemos perfeccionarlos para que se desempeñen mejor en las comunidades locales? Y finalmente, ¿cómo puede una organización tomar decisiones inteligentes sobre cuáles programas prometedores funcionarán mejor en su comunidad?

A lo largo de los años anteriores, ha existido una creciente tendencia hacia el mejor uso de la evaluación para entender y mejorar la práctica. El uso sistemático de la evaluación ha resuelto muchos problemas y ha ayudado a incontables organizaciones comunales a llevar a cabo sus funciones de una mejor manera.

A pesar de un aumento en el entendimiento de la necesidad de – y el uso de – la evaluación, ha hecho falta un marco de trabajo básico y convenido. En 1997, científicos de los Centros de Control y Prevención de Enfermedades de Estados Unidos (CDC por sus siglas en inglés) reconocieron la necesidad de desarrollar dicho marco de trabajo. Como resultado de ello, el CDC ensambló un Grupo de Trabajo de Evaluación compuesto de expertos en los campos de salud pública y evaluación. A los miembros se les pidió desarrollar un marco de trabajo que resumiera y organizara los elementos básicos de la evaluación de programas. Esta sección de la Caja de Herramientas Comunitarias describe el marco de trabajo resultante de los esfuerzos de este Grupo de Trabajo.

Específicamente, en esta sección:

• Discutiremos las ventajas de evaluar programas específicos.
• Explicaremos como evaluar un programa específico.
• Ofreceremos estándares para la “buena” evaluación.
• Discutiremos cómo su grupo puede aplicar el marco de trabajo, y por lo tanto cómo los grupos pueden llevar a cabo evaluaciones óptimas.

Sin embargo, antes de empezar nos gustaría ofrecer algunas definiciones de términos que emplearemos a lo largo de esta sección.

Por evaluación nos referimos a la investigación sistemática del mérito, valor o significado de un objeto o esfuerzo. Las prácticas de evaluación han cambiado dramáticamente durante las tres últimas décadas – nuevos métodos y enfoques han sido desarrollados y ahora son empleadas para proyectos y audiencias cada vez más diversos.

A lo largo de esta sección, el término programa es utilizado para describir el objeto o esfuerzo que está siendo evaluado. Puede ser aplicado a cualquier acción que tenga como meta mejorar situaciones de comunidades completas, de sectores específicos de éstas (e.g. escuelas, lugares de trabajo), o de subgrupos (e.g. jóvenes, personas víctimas de violencia o con VIH /SIDA). Esta definición es muy amplia.

Ejemplos de diferentes tipos de programas son:

• Intervenciones de servicios directos (e.g., un programa que ofrece desayuno gratis para mejorar la nutrición de los niños en las escuelas)
• Esfuerzos de movilización de la comunidad (e.g., organizar a la comunidad para que no compren o consuman uvas de California para así mejorar el bienestar económico de los granjeros locales)
• Investigar iniciativas (e.g., un esfuerzo para determinar si pueden reducirse las desigualdades étnicas en los servicios de salud)
• Sistemas de vigilancia (e.g., determinar si la detección temprana de niños listos para la escuela mejora su desempeño académico)
• Trabajo de soporte de esfuerzos (e.g. una campaña para influenciar a los legisladores estatales a pasar leyes acerca del control del tabaco)
• Campañas de mercadeo social (e.g., una campaña en el Tercer Mundo que inste a las madres a alimentar a sus bebés con leche materna para reducir la mortalidad infantil)
• Proyectos de construcción de infraestructura (e.g., un programa para desarrollar la capacidad de las agencias estatales para apoyar las iniciativas de desarrollo comunal)
• Programas de entrenamiento (e.g., un programa de entrenamiento laboral para reducir el desempleo en vecindarios urbanos)
• Sistemas administrativos (e.g., un programa de incentivos para mejorar la eficiencia de los servicios de salud)

Evaluación de programas – el tipo de evaluación discutida en esta sección – es una práctica organizacional esencial para todo tipo de trabajos relacionados con salud comunitaria y desarrollo de la comunidad. Es una manera de evaluar las actividades y proyectos específicos en los cuales los grupos de la comunidad pueden participar, en vez de evaluar una organización completa o una iniciativa comunal más amplia.

El término interesados se refiere a aquellos que se preocupan por el programa o esfuerzo. Estos pueden incluir a los presuntos beneficiados (por ejemplo, niños y sus padres o encargados), a aquellos con una influencia particular (por ejemplo, oficiales electos o designados), y a aquellos que podrían apoyar el esfuerzo (i.e. aliados potenciales) o que se oponen a él (por ejemplo, oponentes potenciales). Algunas preguntas clave a la hora de pensar en interesados son: ¿A quién le interesa? ¿En qué exactamente están interesados?

Esta sección presenta un marco de trabajo que promueve un entendimiento general de la evaluación de programas. La meta general es hacer más fácil el evaluar sus esfuerzos a todos aquellos involucrados en trabajos de salud y desarrollo comunal.

¿Por qué evaluar los programas de salud y desarrollo comunales?

El tipo de evaluación al que nos referimos en esta sección puede ser parte de las operaciones que todos los días lleva a cabo un programa. Hacemos énfasis en la evaluación práctica y en marcha que involucra al personal del programa, a los miembros de la comunidad y a otros interesados, no solamente a expertos en evaluación. Este tipo de evaluación ofrece muchas ventajas para los profesionales del desarrollo y la salud de la comunidad.

Por ejemplo, complementa la administración de los programas ya que:

• Ayuda a aclarar los planes del programa
• Mejora la comunicación entre socios/compañeros
• Recolecta la información necesaria para mejorar y hacerse responsable de la efectividad del programa

Es importante recordar también que la evaluación no es una actividad nueva para aquellos de nosotros que trabajamos para mejorar nuestras comunidades. De hecho,  evaluamos el mérito de nuestro trabajo todo el tiempo cuando hacemos preguntas, consultamos a nuestros socios, elaboramos juicios basados en la respuesta a nuestros esfuerzos y luego utilizamos dichos juicios para mejorar nuestro trabajo. Cuando los riesgos son pocos, este tipo de evaluación informal puede ser suficiente. Sin embargo, cuando se elevan los riesgos – cuando una cantidad considerable de tiempo y dinero es invertida, o cuando mucha gente puede ser afectada – aquí es cuando tiene sentido para su organización el emplear procedimientos de evaluación que sean más formales, visibles y justificables.

¿Cómo puede usted evaluar un programa específico?

Antes de que su organización inicie la evaluación de un programa, su grupo debe tener muy claras las respuestas a las siguientes preguntas.

Para aclarar el significado de cada una, vamos a observar las respuestas de Manejo Inteligente, un programa hipotético que pretende disminuir la cantidad de conductores ebrios.

• ¿Qué será evaluado?
  • Manejo Inteligente, un programa enfocado en la reducción del manejo en estado de ebriedad a través de la educación e intervención pública.
• ¿Cuáles criterios serán utilizados para juzgar el desempeño del programa?
  • El número de residentes de la comunidad que se hallan familiarizados con el programa y sus metas
  • El número de personas que utiliza taxis voluntarios de “Viaje Seguro” para llegar a sus hogares
  • El porcentaje de personas que reporta a aquellos que consumen alcohol y manejan
  • El número reportado de choques  nocturnos que involucran sólo a un automóvil (este es un método común de determinar si el número de personas que conducen ebrias está variando)
• ¿Qué estándares de desempeño en cuanto a los criterios deben alcanzarse para considerar exitoso al programa?
  • Un 80% de los residentes de la comunidad tendrá conocimiento del programa y sus metas luego del primer año del programa.
  • El número de personas que utiliza los taxis de “Viaje Seguro” aumentará en un 20% en el primer año.
  • El porcentaje de personas que reporta a aquellos que consumen alcohol y manejan disminuirá en un 20% en el primer año.
  • El número reportado de choques  nocturnos que involucran sólo a un automóvil disminuirá un 10% en los primeros dos años del programa.
• ¿Qué evidencia indicará el desempeño en los criterios en relación a los estándares?
  • Un sondeo telefónico aleatorio demostrará el conocimiento que poseen los residentes de la comunidad acerca del programa y los cambios en el comportamiento reportado.
  • Los registros de “Viaje Seguro” dirán cuántas personas utilizan sus servicios.
  • La información sobre los choques nocturnos que involucran sólo a un automóvil se obtendrá de los archivos de la policía.
• ¿Qué conclusiones acerca del desempeño del programa pueden justificarse basándose en la evidencia disponible?
  • ¿Son los cambios que hemos visto a nivel de conductores ebrios producto de nuestros esfuerzos, o los ha provocado algo más? Ó (si el cambio en el comportamiento es insuficiente o del todo no existe)
  • ¿Debería Manejo Inteligente cambiar su forma de hacer las cosas, o simplemente no hemos esperado lo suficiente como para observar resultados?

El siguiente marco de trabajo proporciona un enfoque organizado para contestar las preguntas anteriores.

Un marco de trabajo para la evaluación de programas

La evaluación de programas ofrece una forma de entender y mejorar las prácticas de salud y desarrollo comunal mediante métodos útiles, viables, convenientes y precisos. El marco de trabajo descrito a continuación es una herramienta práctica, no preceptiva que resume en un orden lógico los elementos importantes de la evaluación de programas.

El marco de trabajo contiene dos dimensiones interrelacionadas:

• Pasos de la práctica de evaluación, y
• Estándares para la “buena” evaluación.

Figura uno: Muestra el marco de trabajo:

Los seis pasos conectados del marco de trabajo son acciones que deben formar parte de cualquier evaluación. Aunque en la práctica los pasos pueden ser hallados en un orden distinto, generalmente es adecuado seguirlos en la secuencia recomendada. Esto porque los pasos iniciales proveen las bases para el progreso de los siguientes. Por lo tanto, las decisiones acerca de cómo llevar a cabo un paso dado no deben finalizar antes de que los pasos anteriores hayan sido cuidadosamente analizados.

Sin embargo, estos pasos están pensados para ser adaptables, no rígidos. La sensibilidad hacia el contexto único de cada programa (por ejemplo, la historia del programa y su clima organizacional) es esencial para una evaluación eficiente. Dichos pasos están dirigidos a servir como puntos de partida alrededor de los cuales las organizaciones comunales puedan construir una evaluación que satisfaga de la mejor manera sus necesidades.

• Reunir personas interesadas
• Describir el programa
• Concentrar el diseño de la evaluación
• Reunir evidencia confiable
• Justificar conclusiones
• Asegurar el uso y divulgación de lo aprendido

Entender y apegarse a estos seis pasos básicos hará que la mayoría de los esfuerzos de evaluación mejoren considerablemente.

La segunda parte del marco de trabajo es un conjunto básico de estándares que tienen como objetivo juzgar la calidad de las actividades de evaluación. Existen 30 estándares específicos, organizados en los siguientes cuatro grupos:

• Utilidad
• Viabilidad
• Decoro
• Precisión

Estos estándares ayudan a contestar la pregunta “¿Será esta evaluación una ‘buena’ evaluación?” Se recomiendan como criterios iniciales mediante los cuales juzgar la calidad de los esfuerzos del programa de evaluación.

Veamos primero los pasos específicos de la evaluación del programa. Más adelante en esta sección veremos los estándares específicos para una “buena” evaluación.

Pasos de la evaluación de programas

Reunir personas interesadas

Los interesados son personas u organizaciones que tienen algo que ganar o perder de lo que se aprenderá de una evaluación, y también de lo que se hará con este conocimiento. La evaluación no puede ser llevada a cabo en solitario. Casi todo lo que se hace en materia de salud y desarrollo comunal implica asociaciones – alianzas entre distintas organizaciones, miembros de consejo, aquellos afectados por el problema y otros. Por lo tanto, cualquier esfuerzo serio de evaluar un programa debe considerar los diferentes valores que poseen los colegas. Los interesados deben ser parte de la evaluación para asegurar que sus perspectivas únicas son comprendidas. Cuando los interesados no están involucrados apropiadamente, los hallazgos de la evaluación corren el riesgo de ser ignorados, criticados o de hallar oposición

Sin embargo, si ellos son parte del proceso, es muy probable que las personas sientan en buena medida que el proceso de evaluación y sus resultados son algo que les pertenece. Ellos probablemente querrán desarrollarlo, defenderlo y asegurarse de que la evaluación realmente funciona.

Esa es la razón por la cual el ciclo de evaluación inicia reuniendo a personas interesadas.  Una vez involucradas, estas personas ayudarán a llevar a cabo cada uno de los pasos que siguen.

Es importante involucrar tres grupos principales de interesados.

• Aquellos relacionados con la operación del programa;
• Aquellos beneficiados o afectados por el programa; y
• Aquellos que se pretende sean los usuarios primarios de la evaluación.

Las personas u organizaciones involucradas en la operación del programa pueden incluir miembros de la comunidad, patrocinadores, colaboradores, socios de coaliciones, oficiales fundadores, administradores, gerentes y demás integrantes del cuerpo administrativo.

Las personas u organizaciones beneficiadas o afectadas por el programa pueden incluir clientes, familias, organizaciones vecinales, instituciones académicas, oficiales electos y designados, grupos de apoyo y residentes de la comunidad. Puede ser también importante  involucrar a aquellos individuos que estén abiertamente escépticos o en posiciones de antagonismo hacia el programa. El abrir una evaluación hacia perspectivas opuestas, y reclutar la ayuda de oponentes potenciales al programa fortalecerá la credibilidad de la evaluación.

Así mismo, los individuos o grupos que pueden ser verse adversa o accidentalmente afectados por los cambios que surjan de la evaluación tienen derecho a ser involucrados. Por ejemplo, es importante incluir a aquellos que puedan ser afectados si los servicios del programa se expanden, alteran, limitan o son cancelados a causa de la evaluación.

Los presuntos usuarios primarios de la evaluación son los individuos específicos que se hallan en posición de decidir y/o hacer algo con respecto a los resultados. No deben ser confundidos con los presuntos usuarios primarios del programa, aunque algunos de ellos deben ser involucrados en este grupo. De hecho, los presuntos usuarios primarios deben ser un subconjunto del total de interesados que hayan sido identificados. Una evaluación exitosa designa a sus presuntos usuarios primarios; así como a su equipo de trabajo y fundadores, en etapas tempranas de su desarrollo, y mantiene una frecuente interacción con ellos para asegurarse de que la evaluación se enfoca específicamente en sus necesidades y valores.

El grado y el tipo de participación de los interesados serán distintos para la evaluación de cada programa. Por ejemplo, los interesados pueden estar involucrados directamente en el diseño y la conducción de la evaluación. Pueden mantenerse informados sobre el progreso de la evaluación a través de reuniones periódicas, reportes y otros medios de comunicación.

Puede ser de ayuda, al trabajar con un grupo como éste, el desarrollar un proceso explícito para compartir el poder y resolver conflictos. Esto puede ayudar a evitar dar énfasis excesivo a los valores de uno de los interesados. Capacitar para la  resolución de conflictos puede ser de útil como guía para diseñar tal proceso.

Describir el Programa

Una descripción de un programa es un resumen de la intervención que está siendo evaluada. Debe explicar qué es lo que el programa propone lograr y cómo pretende generar esos cambios. La descripción también debe ilustrar los componentes y elementos centrales del programa, su habilidad para hacer cambios, su etapa de desarrollo, y cómo se ajusta este dentro del ambiente organizacional y comunal.

El cómo un programa es descrito proporciona el marco de referencia para las futuras decisiones sobre su evaluación. Por ejemplo, si un programa es descrito como “un esfuerzo para fortalecer las leyes existentes que impiden el consumo de licor a menores de edad”,  la evaluación será muy diferente a la que se llevaría a cabo si se describe como “un programa para reducir la cantidad de adolescentes que toman y conducen”. Además, la descripción permite a los miembros del grupo comparar el programa con otros esfuerzos similares, y hace más fácil el darse cuenta cuáles partes del programa pueden traer un efecto específico.

Es más, los diferentes interesados pueden tener diferentes ideas sobre lo que el programa pretende llevar a cabo y por qué. Por ejemplo, un programa para reducir los embarazos en adolescentes puede tener algunos miembros que crean que pretende solamente aumentar el acceso a anticonceptivos, y otros que crean que pretende solo enfocarse en la abstinencia.

Las evaluaciones hechas sin un común acuerdo en cuanto a la definición del programa probablemente no serán útiles. En muchos casos, el proceso de trabajar con interesados para desarrollar una descripción lógica y clara del programa traerá beneficios incluso mucho antes de que estén disponibles los datos para medir su efectividad.

Aspectos específicos a incluir al describir un programa son:

• Necesidad
• Expectativas
• Actividades
• Recursos
• Etapa de desarrollo
• Contexto
• Modelo lógico

Una declaración de necesidad

Describe el problema, meta u oportunidad en que el programa está enfocado; además empieza a implicar lo que el programa hará en respuesta. Algunas características importantes que se deben tomar en cuenta con respecto a la necesidad de un programa son: la naturaleza del problema u objetivo, quién es afectado, qué tan grande es, y si está cambiando (y cómo).

Las expectativas

Son los resultados que se esperan obtener del programa. Describen qué debe lograr el programa para ser considerado exitoso. Para la mayoría de programas, los logros existen en un continuo (primero queremos lograr X… luego queremos hacer Y… y así sucesivamente). Por lo tanto, las expectativas deben ser organizadas por rango de tiempo desde consecuencias específicas (e inmediatas) a amplias (y de largo plazo). Por ejemplo, la visión, misión, metas y objetivos de un programa, representan niveles variados de especificidad acerca de las expectativas de un programa.

Las actividades

Son todo lo que el programa lleva a cabo para generar cambios. El describir los componentes y elementos del programa permite enumerar acciones y estrategias específicas en una secuencia lógica. Esto también muestra cómo las diferentes actividades de un programa, tales como educación y ejecución, se relacionan unas con otras. El describir las actividades del programa también da la oportunidad de distinguir las actividades que son responsabilidad directa del éste y las que son responsabilidad de programas relacionados u organizaciones aliadas. Aspectos fuera del programa que puedan afectar su éxito, tales como leyes más severas que castiguen a los negocios que venden alcohol a menores, pueden también ser mencionadas.

Los recursos

Incluyen el tiempo, talento, equipo, información, dinero, y otros aspectos disponibles para conducir las actividades del programa. Repasar los recursos que un programa posee dice mucho acerca de la cantidad e intensidad de sus servicios. Puede también señalar situaciones en donde exista desfase entre lo que el grupo quiere hacer y los recursos disponibles para llevar a cabo esas actividades. Entender los costos de un programa es una necesidad para determinar la relación costo-beneficio, que es parte de la evaluación.

La etapa de desarrollo

Un programa refleja su madurez. Todo programa de salud y desarrollo comunal madura y cambia con el tiempo. Las personas que conducen las evaluaciones, así como aquellos que utilizaran sus hallazgos, deben considerar la naturaleza dinámica de los programas. Por ejemplo, un nuevo programa que acaba de recibir su primera concesión puede ser diferente en muchos aspectos a otro que ha estado activo durante una década.

Por lo menos tres fases de desarrollo son comúnmente reconocidas: Planeación, implementación y efectos o resultados. En la etapa de planeación, las actividades del programa aún no han sido probadas, y la meta de la evaluación es refinar los planes tanto como se pueda. En la fase de implementación, las actividades del programa están siendo probadas en la comunidad y modificadas; la meta de la evaluación es ver qué sucede en el “mundo real” y mejorar las operaciones. En la etapa de efectos, ha pasado suficiente tiempo para que los efectos del programa emerjan; la meta de la evaluación es identificar y comprender los resultados del programa, incluyendo aquellos que fueron no intencionales.

Contexto

Una descripción del contexto del programa considera las características importantes del ambiente en el cual el programa opera. Esto implica comprender la historia, geografía, política y condiciones sociales y económicas del área, y además conocer lo que otras organizaciones han hecho. Una evaluación realista es sensible a un amplio rango de potenciales influencias al programa. Un entendimiento del contexto permite que los usuarios interpreten correctamente los hallazgos y evalúa su generalizabilidad. Por ejemplo, un programa para mejorar las viviendas en un barrio del centro de la ciudad puede haber sido un gran éxito, pero probablemente no funcionará en un pequeño pueblo al otro lado del país sin una adaptación significativa. Adaptar intervenciones comunitarias para diferentes culturas y comunidades profundiza más en esta área.

Un modelo lógico

Sintetiza los principales elementos del programa en una imagen de cómo se pretende que el programa funcione. Hace explícita la secuencia de eventos que se presume generarán el cambio. A menudo esta lógica se muestra en un diagrama de flujo, mapa o tabla para representar la secuencia de pasos que llevará a los resultados del programa. Nuestro modelo de práctica: Cómo capacitar para crear el cambio en la comunidad y los sistemas para un ejemplo de un modelo lógico para construir capacidad de cambio en comunidades y sistemas, desarrollado en la Universidad de Kansas.

El crear un modelo lógico permite a los interesados mejorar y enfocar la dirección del programa. Revela suposiciones sobre las condiciones para la efectividad del programa y provee un marco de referencia para una o más evaluaciones del programa. Un modelo lógico detallado puede también ser una base para estimar el efecto del programa en aspectos que no se miden directamente. Por ejemplo, es posible estimar la tasa de reducción de una enfermedad en un número conocido de personas que forman parte de la intervención si existe previo conocimiento de su efectividad.

La extensión y profundidad de la descripción de un programa varía para cada evaluación. Así, muchas actividades diferentes pueden ser parte del desarrollo de esta descripción. Por ejemplo, múltiples fuentes de información pueden ser puestas juntas para construir una buena descripción. La precisión de una descripción existente puede ser confirmada mediante su discusión con los interesados. Las descripciones de lo que está sucediendo pueden ser revisadas mediante observación directa de las actividades de campo. Una descripción estrecha puede ser completada atacando factores contextuales (como cambios de personal, recursos inadecuados, presiones políticas o participación comunal fuerte) que puedan afectar el desempeño del programa.

Concentrar el Diseño de la Evaluación

Al concentrar el diseño de la evaluación, se pretende avanzar planeando a dónde se dirigirá la evaluación, y qué pasos serán necesarios para llegar ahí. No es posible ni útil para una evaluación el intentar responder a todas las inquietudes de todos los interesados; debe existir un foco de atención. Un plan bien enfocado es una salvaguarda contra el uso ineficiente de tiempo y recursos.

Según lo que usted quiera aprender, algunos tipos de evaluación serán más apropiados que otros. Sin embargo, una vez que la recolección de datos inicia, puede ser difícil o imposible cambiar lo que se está haciendo, aún si empieza a ser obvio que otros métodos podían haber funcionado mejor. Un plan cuidadoso anticipa futuros usos y crea una estrategia de evaluación con la mayor probabilidad de ser útil, viable, apropiada, y precisa. Entre los puntos a considerar cuando se enfoca una evaluación están:

• Propósito
• Usuarios
• Usos
• Preguntas
• Métodos
• Acuerdos

El propósito

 Se refiere a la intención general de la evaluación. Un propósito claro sirve como base para el diseño, métodos, y usos de la evaluación. Tomar tiempo para articular un propósito general hará que su organización no tome decisiones sin la información necesaria sobre cómo debe conducirse y usarse la evaluación.

Existen por lo menos cuatro propósitos generales para los cuales una comunidad o grupo puede llevar a cabo una evaluación:

• Para obtener ideas. Esto sucede, por ejemplo, al decidir si se debe utilizar un nuevo acercamiento al problema (p. ej., ¿funcionaría en nuestra comunidad un programa de vigilancia en los barrios?).  El conocimiento de tal evaluación proporcionará información sobre qué tan práctica puede ser la solución. Para un programa en desarrollo, la información procedente de las evaluaciones de programas similares puede proveer las ideas necesarias para aclarar cómo deben ser diseñadas sus actividades.
• Para determinar cuáles son los esfuerzos del programa. Esto es apropiado en la etapa de implementación cuando un programa establecido trata de describir lo que ha hecho. La información puede usarse para describir los procesos del programa, para mejorar cómo opera el programa y para afinar la estrategia general. Las evaluaciones hechas para este propósito incluyen esfuerzos por mejorar la calidad, efectividad o eficiencia de las actividades del programa.
• Para determinar cuáles son los efectos del programa. Las evaluaciones hechas para este propósito examinan la relación entre las actividades del programa y las consecuencias observadas. Por ejemplo, ¿están más estudiantes terminando el colegio como resultado del programa? Los programas más apropiados para este tipo de evaluación son programas maduros que son capaces de definir claramente qué ha ocurrido y a quién le ha ocurrido. Tales evaluaciones deben proveer evidencia sobre cuál ha sido la contribución del programa para alcanzar metas a largo plazo como la disminución del abuso de menores o del crimen en el área. Este tipo de evaluación ayuda a establecer la confiabilidad, y por lo tanto, la credibilidad de un programa a sus fundadores y a la comunidad.
• Para influir en a aquellos que participan en ella. La lógica y reflexión requeridos de los participantes de la evaluación pueden ser por sí mismos catalíticos del cambio auto direccionado. Así, uno de los propósitos de evaluar un programa es que el proceso y los resultados tengan una influencia positiva. Tales influencias pueden:
  • Dar confianza a los participantes del programa (por ejemplo, ser parte de una evaluación puede aumentar el sentido de control por parte de los miembros de la comunidad sobre el programa);
  • Apoyar el programa  (por ejemplo, usar un cuestionario complementario puede reforzar los principales mensajes del programa);
  • Promover el desarrollo del personal (por ejemplo, enseñando al personal cómo recolectar, analizar e interpretar evidencia);
  • Contribuir al crecimiento organizacional (por ejemplo, la evaluación puede aclarar cómo el programa se relaciona con la misión de la organización);

Los usuarios

Son los individuos específicos que recibirán los hallazgos de la evaluación. Experimentarán directamente las consecuencias de los inevitables trueques que sucederán a lo largo de la evaluación. Por ejemplo, un trueque puede ser efectuar una evaluación relativamente modesta para ajustarse al presupuesto con lo cual los resultados de la evaluación serán menos certeros en comparación a los de una evaluación a gran escala. Al ser afectados por estos trueques, los usuarios tienen derecho a participar escogiendo un enfoque para la evaluación. Una evaluación diseñada sin la adecuada participación del usuario en cuanto a la selección del enfoque, puede convertirse en un ejercicio mal dirigido e irrelevante. En contraste, cuando los usuarios son motivados a aclarar posibles usos, interrogantes prioritarias y métodos preferidos, la evaluación tiene mayores probabilidades de concentrarse en cosas que informarán (e influenciarán) futuras acciones.

Los usos

Describen qué será hecho con lo que se aprenderá de la evaluación. Existe un amplio rango de potenciales usos de la evaluación de un programa. Generalmente hablando, los usos caen en las mismas cuatro categorías que los propósitos citados anteriormente: obtener ideas, mejorar la forma en que se hacen las cosas, determinar cuáles son los efectos del programa e influir en sus participantes. La siguiente lista da ejemplos de usos en cada categoría.

Algunos ejemplos específicos de los usos de una evaluación.

Para obtener ideas:

• Evaluar necesidades y peticiones de los miembros de la comunidad.
• Identificar barreras para el uso del programa.
• Aprender cómo describir y medir de la mejor manera las actividades del programa.

Para mejorar la forma en que se hacen las cosas:

• Refinar planes para introducir una nueva práctica.
• Determinar hasta que grado se han implementado los planes.
• Mejorar el material educativo.
• Mejorar la competencia cultural.
• Verificar que los derechos de los participantes se encuentran protegidos.
• Asignar prioridades para el entrenamiento de personal.
• Efectuar ajustes en pleno curso de acción.
• Hacer más clara la comunicación.
• Determinar si la satisfacción de los clientes puede aumentarse.
• Comparar costos y beneficios.
• Hallar cuáles participantes se benefician más del programa.
• Movilizar soporte comunal para el programa.

Para determinar cuáles son los efectos del programa:

• Evaluar el desarrollo de destrezas de los participantes del programa.
• Comparar cambios en el comportamiento a lo largo del tiempo.
• Decidir dónde asignar nuevos recursos.
• Documentar el nivel de éxito en cuanto a logro de objetivos.
• Demostrar que los requerimientos de confiabilidad se cumplen.
• Utilizar información de múltiples evaluaciones para predecir los posibles efectos de programas similares.

Para influir en los participantes:

• Reforzar los mensajes del programa
• Estimular y aumentar la conciencia sobre los problemas de la comunidad
• Fortalecer el consenso entre socios sobre las metas del programa
• Enseñar habilidades de evaluación al personal y a otros interesados
• Recolectar historias de éxito
• Apoyar el cambio y mejora organizacional

Preguntas específicas

Luego, la evaluación requiere responder a preguntas específicas. El esbozar preguntas estimula a los interesados a revelar lo que ellos creen que la evaluación debe responder. Esto es, ¿qué preguntas son más importantes para los interesados? El proceso de desarrollo de preguntas de evaluación mejora aún más el enfoque de ésta.

 Métodos 

Los métodos disponibles para una evaluación son derivados de la ciencia del comportamiento y de la investigación y desarrollo social. Tres tipos de métodos son comúnmente reconocidos. Estos son experimental, cuasi-experimental y observacional (o diseño de estudio de casos).  Los diseños experimentales emplean asignaciones aleatorias para comparar el efecto de una intervención entre grupos equivalentes (por ejemplo, comparar un grupo aleatoriamente asignado de estudiantes que toman parte de un programa de lectura después de la escuela con otros que no lo hacen). Los métodos cuasi-experimentales hacen comparaciones entre grupos que no son equivalentes (p.ej., participantes del programa versus otros en una lista de espera) o emplean comparaciones dentro de un mismo grupo a lo largo del tiempo, como una línea de tiempo ininterrumpida en la cual la intervención puede introducirse secuencialmente a través de diferentes individuos, grupos o contextos.  Los métodos observacionales o de estudio de casos utilizan comparaciones dentro de un grupo para describir y explicar qué sucede (p.ej., estudios de casos comparativos con múltiples comunidades).

Ningún diseño es necesariamente mejor que otro. Los métodos de evaluación deben ser seleccionados porque proveen la información apropiada para responder a las inquietudes de los interesados, no porque sean familiares, fáciles o populares. La escogencia de métodos posee implicaciones en lo que será considerado evidencia, cómo esta evidencia será recolectada y qué clase de reclamos pueden hacerse. A causa de que cada opción de método tiene sus propias bases y limitaciones, las evaluaciones que mezclan métodos son por lo general más robustas.

A lo largo del curso de una evaluación, los métodos pueden necesitar ser revisados o modificados. Las circunstancias que hacen útil a un acercamiento en particular pueden cambiar. Por ejemplo, el uso que se pretende dar a una evaluación podría pasar de descubrir cómo mejorar el programa a ayudar a decidir si éste debe continuar o no. Por lo tanto, los métodos pueden requerir ser adaptados o rediseñados para mantener la evaluación activa.

Acuerdos

Los acuerdos resumen los procedimientos de evaluación y aclaran los roles y responsabilidades de todos. Un acuerdo describe cómo serán implementadas las actividades de la evaluación. Los elementos de un acuerdo incluyen declaraciones sobre lo que se pretende sean los propósitos, usuarios, usos y métodos, así como un resumen de los resultados, los responsables, una línea de tiempo y presupuesto.

La formalidad del acuerdo depende de las relaciones que existan entre los involucrados. Por ejemplo, puede tomar la forma de un contrato legal, un protocolo detallado o un simple memorando de entendimiento. Sin importar su formalidad, el crear un acuerdo explícito provee una oportunidad para verificar el entendimiento mutuo requerido para una evaluación exitosa. También proporciona una base para modificar procedimientos en caso de que esto fuese necesario.

Como usted puede observar, enfocar el diseño de la evaluación involucra muchas actividades. Por ejemplo, tanto los que apoyan el programa como aquellos que se manifiestan escépticos pueden ser consultados para asegurarse de que las inquietudes propuestas para la evaluación son políticamente viables. Un menú de potenciales usos de la evaluación apropiados para la etapa de desarrollo del programa puede circular entre los interesados para determinar cuál es la más apremiante. Entrevistas pueden ser efectuadas con personas que se pretende sean usuarios específicos, con el objetivo de comprender mejor sus necesidades de información y línea de tiempo de acción. Las necesidades de recursos pueden ser reducidas cuando los usuarios se hallan dispuestos a emplear métodos de evaluación más oportunos pero menos precisos.

Reunir Evidencia Confiable

La evidencia creíble es la materia prima de una buena evaluación. La información aprendida debe ser vista por los interesados como veraz, confiable y relevante para responder sus inquietudes. Esto requiere pensar ampliamente sobre lo que cuenta como “evidencia”. Tales decisiones son siempre situacionales; dependen de la inquietud que se está planteando y de los motivos para plantearla. Para algunas inquietudes, el estándar de credibilidad de un interesado puede demandar tener los resultados de un experimento aleatorio. Para otras, un juego de buenas observaciones sistemáticas tales como interacciones entre un trabajador de asistencia pública y los residentes de la comunidad, tendrá alta credibilidad. La diferencia depende de qué clase de información desean los interesados y la situación en la cual es recolectada.

¡El contexto es importante! En algunas situaciones, puede ser necesario consultar especialistas en evaluación. Esto es especialmente cierto si la importancia de la calidad de los datos es especialmente alta. En otras circunstancias, las personas de la localidad pueden ofrecer las ideas más profundas. Independientemente de su pericia, sin embargo, aquellos involucrados en una evaluación deben esforzarse  por recolectar información que permita componer una imagen completa y creíble del programa y sus esfuerzos.

El poseer evidencia creíble fortalece los resultados de la evaluación así como las recomendaciones que se derivan de ellos. Aunque todos los tipos de datos poseen limitaciones, es posible mejorar la credibilidad general de una evaluación. Una manera de hacer esto es mediante el uso de múltiples procedimientos para recolectar, analizar e interpretar los datos. Incentivando la participación de los interesados puede también mejorar la credibilidad que se percibe. Cuando los interesados ayudan a definir las preguntas y a recolectar información, es más probable que acepten las conclusiones de la evaluación y actúen según sus recomendaciones.

Las siguientes características de la recolección de evidencia típicamente afectan qué tan creíble es:

• Indicadores
• Fuentes
• Calidad
• Cantidad
• Logística

Los indicadores

Traducen conceptos generales sobre el programa y sus efectos esperados a partes específicas y medibles.

Ejemplos de indicadores incluyen:

• La capacidad del programa para brindar servicios
• La tasa de participación
• El nivel de satisfacción del cliente
• La cantidad de exposición a la intervención (cuántas personas fueron expuestas al programa, y durante cuánto tiempo fueron expuestas)
• Cambios en el comportamiento de los participantes
• Cambios en las condiciones o normas de la comunidad
• Cambios en el ambiente (e.g., nuevos programas, políticas o prácticas)
• Cambios a largo plazo en el estado de salud de la comunidad (e,g., la tasa estimada de embarazos adolescentes en el país)

Los indicadores deben ajustarse al criterio que será usado para juzgar al programa. Esto es, reflejan los aspectos del programa que son más significativos monitorear. Algunos indicadores son requeridos frecuentemente para rastrear la implementación y los efectos de una intervención o programa complejo.

Una manera de desarrollar múltiples indicadores es creando una “tarjeta de resultados balanceados”, que contiene indicadores cuidadosamente seleccionados para complementarse unos a otros. De acuerdo a esta estrategia, los procesos y efectos del programa son vistos desde múltiples perspectivas utilizando pequeños grupos de indicadores relacionados. Por ejemplo, una tarjeta de resultados balanceados para un programa puede incluir indicadores sobre cómo se está distribuyendo el programa; qué piensan los participantes del programa; qué efectos se observan; qué metas se alcanzan; y qué cambios están ocurriendo en el ambiente alrededor del programa.

Otro acercamiento sobre el uso de múltiples indicadores se basa en un modelo lógico del programa, tal como lo hemos discutido anteriormente en esta sección. Un modelo lógico puede ser usado como una plataforma para definir un espectro completo de indicadores a lo largo del camino que va desde las actividades del programa hasta sus efectos esperados. Para cada paso del modelo, pueden ser desarrollados indicadores cuantitativos y/o cualitativos.

Los indicadores pueden tener una base más amplia y no necesitar enfocarse sólo en una meta a largo plazo del programa. Pueden también enfocarse en factores intermedios que influencien la efectividad del programa, incluyendo factores intangibles como calidad de servicio, capacidad de la comunidad, o relaciones interorganizacionales. Los indicadores para estos conceptos y otros similares pueden ser creados mediante la identificación sistemática y posterior rastreo de marcadores de qué es dicho o hecho cuando el concepto se expresa.

En el curso de una evaluación, los indicadores pueden requerir modificaciones o pueden adoptarse nuevos. Además, la medición del rendimiento del programa mediante indicadores de rastreo es solo una parte de la evaluación, y no debe ser confundida como la base de la toma de decisiones en sí. Existen peligros al utilizar indicadores de desempeño como un sustituto para completar el proceso de evaluación y alcanzar conclusiones ampliamente justificadas. Por ejemplo, un indicador, tal como una tasa de desempleo creciente, puede ser falsamente interpretada como un reflejo del fallo del programa, cuando en realidad puede deberse a condiciones ambientales cambiantes que se hallan fuera del alcance del mismo.

Fuentes de evidencia

Las fuentes de evidencia de una evaluación pueden ser personas, documentos u observaciones. Más de una fuente puede ser usada para recolectar evidencia para cada indicador. De hecho, seleccionar múltiples fuentes da oportunidad para incluir diferentes  perspectivas acerca del programa y mejora la credibilidad de la evaluación. Por ejemplo, una perspectiva desde dentro puede ser reflejada mediante documentos internos y comentarios del personal o administradores del programa; mientras que los clientes y otros que no apoyan el programa pueden proporcionar perspectivas distintas pero igualmente relevantes. El mezclar estas y otras perspectivas proporciona una visión más completa del programa o intervención.

El criterio usado para seleccionar las fuentes debe ser claramente definido para que los usuarios y otros interesados puedan interpretar la evidencia con precisión y evaluar si se está parcializada. Además, algunas fuentes proveen información de forma narrativa (por ejemplo, la experiencia de una persona al tomar parte en el programa) y otras son numéricas (por ejemplo, cuántas personas fueron involucradas en el programa). La integración de información cuantitativa y cualitativa puede dar origen a evidencia más completa y útil, satisfaciendo las necesidades y expectativas de un rango más amplio de interesados.

Calidad

La calidad se refiere a lo apropiado e íntegro de la información recolectada en una evaluación. Los datos de alta calidad son confiables e informativos. Es más fácil de reunir si los indicadores han sido bien definidos. Otros factores que afectan la calidad pueden incluir el diseño de instrumentos, los procesos de recolección de datos, entrenamiento de aquellos involucrados en la recolección de datos, la selección de fuentes, la codificación, la administración de datos y las rutinas de revisión de errores. El obtener datos de calidad implica trueques (e.g. amplitud vs. profundidad); los interesados deben decidir juntos qué es más importante para ellos. Dado que todos los datos poseen limitaciones, el propósito de una evaluación práctica es esforzarse por alcanzar un nivel de calidad que satisfaga el umbral de credibilidad de los interesados.

La cantidad se refiere al monto de evidencia recolectada en una evaluación. Es necesario estimar previamente la cantidad de información que será necesaria y establecer un criterio para decidir cuándo dejar de recoger datos – para saber cuándo es más que suficiente. La cantidad afecta el nivel de confianza o precisión que los usuarios pueden tener – qué tan seguros estamos de que lo que hemos aprendido es verdad. También determina en parte si la evaluación será capaz de detectar efectos. Toda la evidencia recolectada debe tener un uso anticipado y claro.

 Logística

Por logística, entendemos los métodos, coordinación e infraestructura física para la recolección y manejo de evidencia. Las personas y las organizaciones también poseen preferencias culturales que dictan las formas aceptables de hacer preguntas y recolectar información, incluyendo quién será percibido como una persona apropiada para hacer las preguntas. Por ejemplo, algunos participantes pueden no estar dispuestos a discutir con alguien que no conozcan. Por lo tanto, las técnicas de recolección de evidencia en una evaluación deben mantenerse dentro de las normas culturales de la comunidad. Los procesos de acumulación de datos deben también asegurar que la confidencialidad está protegida.

Justificar conclusiones

El proceso de justificar conclusiones reconoce que la evidencia en una evaluación no necesariamente habla por sí misma. La evidencia debe ser cuidadosamente considerada desde las distintas perspectivas de varios interesados para alcanzar conclusiones que estén bien sustanciadas y justificadas. Las conclusiones se vuelven justificadas cuando son vinculadas a la evidencia recolectada y juzgada contra valores determinados por común acuerdo entre los interesados. Estos deben aceptar que las conclusiones se hallan justificadas para utilizar los resultados de la evaluación con confianza.

Cinco elementos principales se hallan involucrados en la justificación de conclusiones basada en evidencias:

• Estándares
• Análisis y síntesis
• Interpretación
• Juicio
• Recomendaciones

Estándares

Los estándares reflejan los valores que poseen los interesados acerca del programa. Ellos proveen las bases para efectuar juicios sobre el programa. El uso de estándares explícitos para juzgar es fundamental para el éxito de la evaluación. En la práctica, cuando los interesados articulan y negocian sus valores, estos se convierten en los estándares para juzgar si el rendimiento dado del programa se considerará, por ejemplo, “exitoso”, “adecuado” o “no exitoso”.

Análisis y la síntesis

El análisis y la síntesis son métodos para descubrir y resumir los hallazgos de una evaluación. Están diseñados para detectar patrones en la evidencia, ya sea mediante aislamiento de hallazgos importantes (análisis) o combinando diferentes fuentes de información para alcanzar un entendimiento mayor (síntesis). Las evaluaciones que emplean una mezcla de métodos requieren el análisis por separado de cada elemento de evidencia, así como una síntesis de todas las fuentes para examinar patrones que emergen. El descifrar hechos a partir de un cuerpo de evidencia dado involucra decidir cómo organizar, clasificar, comparar y mostrar información. Estas decisiones son guiadas por las preguntas que se están planteando, los tipos de datos disponibles y especialmente por las ideas brindadas por los interesados y los presuntos usuarios primarios.

Interpretación

La interpretación es el esfuerzo para resolver cuál es el significado de los hallazgos. Revelar hechos sobre el rendimiento de un programa no es suficiente para hacer conclusiones. Los hechos deben ser interpretados para entender su significado práctico. Por ejemplo, decir que “15% de las personas en nuestra área atestiguaron un acto violento el año pasado” puede ser interpretado de forma diferente dependiendo de la situación. Es decir, si el 50% de los miembros de la comunidad habían observado un acto violento en el último año cuando fueron entrevistados cinco años atrás, el grupo puede sugerir que, aunque sigue existiendo un problema, las cosas están mejorando en la comunidad. Sin embargo, si hace cinco años solo un 7% de de los entrevistados dijo lo mismo, las organizaciones comunales pueden ver esto como un signo de que puede ser necesario cambiar lo que se está haciendo. En pocas palabras, las interpretaciones se sirven de la información y perspectivas que los interesados le dan a la evaluación. Éstas pueden ser fortalecidas a través de la participación o interacción activa con los datos y las explicaciones preliminares de lo que ha ocurrido.

Juicios

Los juicios son declaraciones sobre el mérito, valor o importancia del programa. Son formados mediante la comparación de los hallazgos y sus interpretaciones contra uno o más estándares seleccionados. Ya que múltiples estándares pueden ser aplicados a un programa dado, los interesados pueden alcanzar juicios distintos o incluso opuestos. Por ejemplo, un programa que aumenta su alcance en un 10% con relación al año anterior puede ser juzgado positivamente por los administradores de éste, basándose en estándares de mejora de desempeño con el tiempo. Los miembros de la comunidad sin embargo, pueden sentir que a pesar de las mejoras, el umbral mínimo de acceso a servicios no ha sido alcanzado aún. Su juicio, basado en estándares de equidad social, sería entonces negativo. Afirmaciones conflictivas acerca de la calidad, valor o importancia de un programa a menudo indican que los interesados están utilizando estándares o valores distintos a la hora de hacer juicios. Este tipo de desacuerdos puede ser un catalítico para la aclaración de valores y para negociar la base apropiada (o bases apropiadas) sobre la cual debe ser evaluado el programa.

Recomendaciones

Las recomendaciones son acciones a considerar como resultado de la evaluación. Elaborar recomendaciones requiere información más allá de solo lo necesario para hacer juicios. Por ejemplo, saber que un programa es capaz de aumentar los servicios disponibles a mujeres agredidas no necesariamente implica la recomendación de continuar ese esfuerzo, particularmente cuando existen prioridades que compiten con esta u otras alternativas efectivas. Por lo tanto, las recomendaciones sobre lo que se debe hacer con una intervención dada van más allá de los juicios sobre la efectividad de un programa específico.

Si las recomendaciones no son apoyadas por suficiente evidencia, o si no se hallan dentro de los valores de los interesados, son realmente capaces de debilitar la credibilidad de una evaluación. En contraste, una evaluación puede ser fortalecida mediante recomendaciones que anticipen y reaccionen ante lo que los usuarios querrán saber.

Tres cosas pueden aumentar las probabilidades de que las recomendaciones sean relevantes y bien recibidas:

• Compartir esbozos de recomendaciones
• Solicitar reacciones de múltiples interesados
• Presentar opciones en vez de consejos directivos

Justificar conclusiones en una evaluación es un proceso que involucra diferentes pasos posibles. Por ejemplo, las conclusiones pueden fortalecerse mediante la búsqueda de explicaciones alternativas a las que se han escogido, y luego al mostrar por qué no son apoyadas por la evidencia. Cuando existen conclusiones distintas pero con el mismo grado de apoyo, cada una puede ser presentada junto con un resumen de sus fortalezas y debilidades.  Las técnicas para analizar, sinterizar e interpretar hallazgos pueden ser acordadas antes de que inicie la recolección de datos.

Asegurar el uso y divulgación de lo aprendido

Es ingenuo asumir que las lecciones aprendidas en una evaluación serán necesariamente empleadas en la toma de decisiones y en las posteriores acciones. Se requiere esfuerzo por parte de los evaluadores para asegurar que los hallazgos de la evaluación son usados apropiadamente.  Prepararse para su uso involucra pensamiento estratégico y una vigilancia continua en la búsqueda de oportunidades para comunicar e influenciar. Ambas deben iniciar en las etapas más tempranas del proceso y continuar a lo largo de la evaluación.

Cinco elementos son de importancia clave para asegurarse de que las recomendaciones de la evaluación son utilizadas:

• Diseño
• Preparación
• Retroalimentación
• Seguimiento
• Diseminación

Diseño

Se refiere a cómo las preguntas, métodos y procesos en general de la evaluación son construidos. Como se discutió en el tercer paso de este marco de trabajo (enfocar el diseño de la evaluación), la evaluación debe ser organizada desde el inicio para alcanzar usos específicos comúnmente acordados. Tener un propósito claro que se enfoca en el uso de lo que se aprende ayuda a aquellos que llevarán a cabo la evaluación a saber quién hará qué con los hallazgos. Más aún, el proceso de crear un diseño claro señalará formas en las que los interesados, a través de sus diversas contribuciones, pueden mejorar la evaluación y facilitar el uso de sus resultados.

Preparación

Se refiere a los pasos tomados para estar listos para los futuros usos de los hallazgos de la evaluación. La habilidad de transformar un nuevo conocimiento en acciones apropiadas es una destreza que puede ser fortalecida con la práctica. De hecho, desarrollar esta habilidad puede en sí ser un beneficio útil de la evaluación. Es posible preparar a los interesados para el uso futuro de los resultados mediante la discusión de cómo pueden afectar los potenciales hallazgos la toma de decisiones.

Por ejemplo, se puede dar a los presuntos usuarios primarios y a otros interesados una serie de resultados hipotéticos y preguntarles qué decisiones o acciones harían ellos en base a este nuevo conocimiento. Si ellos indican que la evidencia presentada es incompleta o irrelevante y que no se puede efectuar ninguna acción, éste es entonces un signo de advertencia de que el planeamiento de la evaluación debe ser modificado. La preparación orientada a los usos también da a los interesados más tiempo para explorar tanto las implicaciones positivas como las negativas de los potenciales resultados y cómo identificar diferentes opciones para el desarrollo del programa.

La retroalimentación

Es la comunicación que ocurre entre cualquiera que se halle involucrado en la evaluación. Dar y recibir retroalimentación crea una atmósfera de confianza entre los interesados; mantiene a la evaluación en el camino adecuado al mantener a todos informados sobre cómo va progresando la evaluación. Los presuntos usuarios primarios y otros interesados tienen derecho a comentar las decisiones de la evaluación. Desde el punto de vista de asegurar su uso, la retroalimentación por parte de los interesados es una parte necesaria de cada paso de la evaluación. El obtener retroalimentación valiosa puede ser estimulado efectuando discusiones durante cada paso de la evaluación, y compartiendo rutinariamente los hallazgos e interpretaciones provisionales, y los esbozos de reportes.

Seguimiento

Se refiere al apoyo que muchos usuarios necesitan durante la evaluación y luego de que reciben los hallazgos de la evaluación. Debido a la cantidad de esfuerzo requerida, alcanzar conclusiones justificadas en una evaluación puede parecer como un fin por sí mismo. Pero no lo es. El seguimiento activo puede ser necesario para recordar a los usuarios los presuntos usos de lo que ha sido aprendido. El seguimiento puede además ser requerido para dejar de aprender las lecciones a raíz de hechos negativos, tales como perderse o ser ignorado en el proceso de tomar decisiones políticas complejas. Para resguardarse de tales descuidos, puede ser útil que alguien involucrado en la evaluación sirva como defensor de los hallazgos de ésta durante la fase de toma de decisiones.

El facilitar el uso de los hallazgos de la evaluación también trae consigo la responsabilidad de prevenir su mal uso. Los resultados de una evaluación se hallan siempre vinculados al contexto en el cual ésta fue conducida. Algunos interesados, sin embargo, pueden verse tentados a tomar resultados fuera de contexto o a usarlos para propósitos distintos que aquellos para los que fueron desarrollados. Por ejemplo, sobregeneralizar los resultados de un estudio de un único caso para tomar decisiones que afectarán todas las ubicaciones de un programa nacional es una muestra de mal uso de una evaluación de estudio de caso.

De forma similar, los oponentes del programa pueden dar un mal uso de los resultados sobreenfatizando hallazgos negativos sin dar crédito por el trabajo que se ha hecho. El seguimiento activo puede ayudar a prevenir éstas y otras formas de mala utilización, asegurando que la evidencia es aplicada únicamente a las inquietudes que fueron el foco central de la evaluación.

La  diseminación

Es el proceso de comunicar los procedimientos o lecciones aprendidos de una evaluación a audiencias relevantes en una forma oportuna, imparcial y consistente. Al igual que otros elementos de la evaluación, la estrategia de reporte debe ser discutida previamente con los presuntos usuarios primarios y otros interesados. Planear comunicaciones efectivas también requiere considerar la coordinación, estilo, tono, fuente del mensaje, vehículo y formato de los productos informativos. Sin importar cómo se construyen las comunicaciones, la meta de la diseminación es alcanzar completa divulgación mediante reportes imparciales.

Junto con los usos de los hallazgos de la evaluación, existen también usos que nacen del proceso mismo de evaluar. Estos “usos del proceso” deben ser fomentados. Las personas que toman parte en una evaluación pueden experimentar profundos cambios en sus creencias y comportamiento. Es decir, una evaluación reta a los miembros del personal a actuar de forma diferente en lo que están haciendo, y cuestionar suposiciones que conectan actividades del programa con presuntos efectos.

La evaluación también incita al personal a aclarar su entendimiento de las metas del programa. Esta mayor claridad, a su vez, ayuda a los miembros del personal a funcionar mejor como un equipo enfocado en un fin común. En pocas palabras, la inmersión en la lógica, razonamiento y valores de una evaluación puede tener efectos muy positivos, tales como basar las decisiones en juicios sistemáticos en vez de en suposiciones infundadas.

Usos de procesos adicionales en una evaluación incluyen:

• Mediante la definición de indicadores, lo que realmente le preocupa a los interesados se hace claro.
• Ayuda a hacer que las consecuencias importen, cambiando los refuerzos conectados con alcanzar resultados positivos. Por ejemplo, un fundador puede ofrecer “bonos” o “dividendos de resultados” a un programa que haya mostrado una cantidad significativa de cambio y mejora de la comunidad.

Estándares para la “buena” evaluación

Existen estándares para determinar si todas las partes de una evaluación están bien diseñadas y funcionando a su máximo potencial. El Comité Unido para la Evaluación Educativa ha desarrollado los “Estándares de Evaluación de Programas” con este propósito. Estos estándares, diseñados para analizar evaluaciones de programas educativos, son también relevantes para programas e intervenciones relacionadas con salud y desarrollo comunal.

Los estándares de evaluación de programas hacen práctico el realizar evaluaciones exitosas y justas. Ofrecen principios bien fundados para seguir al enfrentarse a los momentos en que es necesario efectuar trueques o compromisos. Prestar atención a los estándares es una protección contra la evaluación no balanceada, tal como una que sea precisa y viable, pero que no sea muy útil o sensible al contexto. Otro ejemplo de una evaluación no balanceada es aquella que puede ser genuinamente útil, pero es imposible de llevar a cabo.

Los siguientes estándares pueden ser aplicados al desarrollar el diseño de una evaluación y a través del curso de su implementación. Recuerde, los estándares están escritos como principios guía, no como reglas rígidas que deben ser seguidas en todas las situaciones.

Los 30 estándares más específicos están agrupados en cuatro categorías. Estas son:

• Utilidad
• Viabilidad
• Decoro
• Precisión

Estándares de Utilidad

Los estándares de utilidad sirven para asegurar que la evaluación es realmente exitosa – es decir, que resuelve las inquietudes que los usuarios finales necesitan (y quieren) saber.

Estos siete estándares de utilidad son:

•  Identificación de interesados: Las personas que están involucradas en (o serán afectadas por) la evaluación deben ser identificadas, para que sus necesidades sean tomadas en cuenta.
• Credibilidad del Evaluador: Las personas que llevan a cabo la evaluación deben ser tanto confiables como competentes, para que la evaluación sea aceptada mayormente como creíble.
• Selección y Enfoque de la Información: La información recolectada debe enfocarse en inquietudes pertinentes acerca del programa, y debe ser sensible a las necesidades e intereses de los clientes y otros interesados específicos.
• Identificación de Valores: Las perspectivas, procedimientos y razonamientos empleados para interpretar los hallazgos deben ser claramente descritos, para que las bases de los juicios de mérito y valor sean claras.
• Claridad de Reporte: Los reportes de la evaluación deben describir claramente el programa que se está evaluando, incluyendo su contexto, y los propósitos, procedimientos y hallazgos de la evaluación. Esto ayudará a asegurar que la información esencial es suministrada y fácilmente entendible.
• Puntualidad y Diseminación del Reporte: Datos importantes hallados en medio del proceso, así como los reportes de la evaluación deben ser compartidos con los presuntos usuarios para que puedan ser usados de forma coordinada.
• Impacto de la Evaluación: Las evaluaciones deben ser planeadas, realizadas y reportadas en formas que incentiven su seguimiento por parte de los interesados, de manera que puedan ser usadas.

Estándares de Viabilidad

Los estándares de viabilidad aseguran que la evaluación tiene sentido – que los pasos que se planean son tanto viables como pragmáticos. Estos son:

• Procedimientos Prácticos: Los procedimientos de evaluación deben ser prácticos, para mantener las perturbaciones de las actividades diarias en un mínimo mientras se obtiene la información requerida.
• Viabilidad Política: La evaluación debe ser planeada y llevada a cabo con anticipación de las distintas posiciones e intereses de varios grupos. Esto debe ayudar a obtener su cooperación para que los posibles intentos de estos grupos de reducir las operaciones de evaluación o dar mal uso a los resultados sean evitados o contraatacados.
• Efectividad de Costo: La evaluación debe ser eficiente y producir suficiente información valiosa para que los recursos empleados se justifiquen.

Estándares de Decoro

Los estándares de decoro aseguran que la evaluación es ética, y que se lleva a cabo tomando en cuenta los derechos e intereses de los involucrados.

Los ocho estándares de decoro son:

• Orientación de Servicios: Las evaluaciones deben ser diseñadas para ayudar a las organizaciones a servir adecuadamente según las necesidades de todos los participantes.
• Acuerdos Formales: Las responsabilidades en una evaluación (qué se debe hacer, cómo, por quién, cuándo) deben ser acordadas por escrito, para que aquellos involucrados se vean obligados a seguir todas las condiciones del acuerdo, o a renegociarlo formalmente.
• Temas de Derechos Humanos: La evaluación debe ser diseñada o realizada para respetar y proteger los derechos y el bienestar de todos los que participan en el estudio.
•  Interacciones Humanas: Los evaluadores deben respetar la dignidad y valor humano al trabajar con otras personas en una evaluación, para que los participantes no se sientan amenazados o violentados.
• Juicios Completos y Justos: La evaluación debe ser completa y justa en su examinación, registrando tanto las fortalezas como las debilidades del programa que está siendo evaluado. Esto permite seguir construyendo fortalezas, y atacar áreas problemáticas.
• Divulgación de Hallazgos: Las personas que trabajan en la evaluación deben asegurarse de que todos los hallazgos de la evaluación, así como sus limitaciones, sean accesibles a todos los que ésta afecta, y a cualquier otro que posea derechos legales a recibir los resultados.
• Conflictos de Intereses: Estos conflictos deben tratarse abierta y honestamente, para que los procesos y resultados de la evaluación no se vean comprometidos.
• Responsabilidad Fiscal: El uso de los recursos por parte del evaluador debe reflejar procedimientos adecuados y efectivos, y ser prudente y éticamente responsable para que los gastos efectuados sean justificados y apropiados.

Estándares de Precisión

Los estándares de precisión aseguran que los hallazgos de la evaluación son considerados correctos.

Existen 12 estándares de precisión:

• Documentación del Programa: El programa debe ser descrito y documentado claramente y con precisión, de manera que se pueda identificar fácilmente lo evaluado.
• Análisis Contextual: El contexto en el cual el programa existe debe ser cuidadosamente examinado para que las posibles influencias que puedan actuar sobre el programa sean identificadas.
• Propósitos y Procedimientos Descritos: Los propósitos y procedimientos de una evaluación deben ser monitoreados y descritos con suficiente detalle para que puedan identificarse y juzgarse.
• Fuentes de Información Defendibles: Las fuentes de información utilizadas en una evaluación de un programa deben ser descritas con suficiente detalle para que pueda ser juzgado cuán adecuadas son éstas.
• Información Válida: Los procedimientos de recolección de información deben ser elegidos o desarrollados y luego implementados de manera tal que aseguren que la interpretación a la que se llega mediante ellos es válida.
• Información Confiable: Los procedimientos de recolección de información deben ser elegidos o desarrollados y luego implementados con el objetivo de asegurar que la información que se obtiene es lo suficientemente confiable.
• Información Sistemática: La información de una evaluación debe ser revisada sistemáticamente y cualquier error hallado debe ser corregido.
• Análisis de la Información Cuantitativa: La información cuantitativa – los datos de observaciones y sondeos – en una evaluación debe ser analizada apropiada y sistemáticamente para que las inquietudes de la evaluación sean resueltas con efectividad.
• Análisis de la Información Cualitativa: La información cualitativa – información descriptiva de entrevistas y otras fuentes – de una evaluación debe ser apropiada y sistemáticamente analizada para que las inquietudes de la evaluación sean resueltas con efectividad.
• Conclusiones Justificadas: Las conclusiones alcanzadas en una evaluación deben ser justificadas explícitamente, para que los interesados puedan entender su valor.
• Reporte Imparcial: Los procedimientos de reporte deben proteger contra la distorsión causada por los sentimientos e inclinaciones personales de los involucrados en la evaluación, para que sus reportes reflejen con justicia los datos hallados.
• Metaevaluación: La evaluación en sí debe ser evaluada contra estos y otros estándares pertinentes, de manera que sea guiada apropiadamente y, al ser completada, los interesados puedan examinar de cerca sus fortalezas y debilidades.

Aplicar el Marco de Trabajo: Llevar a cabo Evaluaciones Óptimas

Existe una aceptación constantemente creciente acerca del valor de la evaluación; de hecho, hacerlo es a menudo un requisito exigido por los fundadores y otros integrantes de un programa. Es así que los profesionales en salud y desarrollo comunal no pueden ahora cuestionarse si evaluar o no sus programas. Más bien, las preguntas más apropiadas que deben hacerse son:

•  ¿Cuál es la mejor forma de evaluar?
•  ¿Qué aprenderemos de la evaluación?
•  ¿Cómo utilizaremos lo que aprendamos para llegar a ser más efectivos?

El marco de trabajo de evaluación de programas ayuda a responder estas preguntas, guiando a los usuarios a seleccionar estrategias de evaluación que son útiles, viables, adecuadas y precisas.

Utilizar este marco de trabajo requiere cierta cantidad de habilidades de evaluación de programas. En muchos casos hay múltiples interesados a considerar, el contexto político puede ser divisivo, los pasos no siempre seguirán un orden lógico, y limitaciones de recursos pueden hacer difícil tomar un curso de acción preferido. El reto ante el que se halla el evaluador es el de idear una estrategia óptima, dadas las condiciones bajo las que se halla trabajando. Una estrategia óptima es aquella que realiza cada paso en el marco de trabajo en una forma que toma en cuenta el contexto del programa y es capaz de alcanzar o sobrepasar los estándares relevantes.

Este marco de trabajo también hace posible responder a preocupaciones comunes acerca de la evaluación del programa. Por ejemplo, muchas evaluaciones no son llevadas a cabo porque son vistas como demasiado caras. El costo de una evaluación, sin embargo, es relativo; depende de la inquietud planteada y del nivel de certeza deseado para su respuesta. Una evaluación simple, de bajo costo puede distribuir información valiosa y útil en cuanto a su comprensión y mejoras.

Más que descontar evaluaciones como alternativas que consumen tiempo, el marco de trabajo estimula a efectuar evaluaciones coordinadas estratégicamente para proveer la retroalimentación necesaria. Esto hace posible efectuar evaluaciones estrechamente relacionadas con las prácticas cotidianas.

Otra preocupación se centra en las demandas técnicas que pueden ser percibidas, en relación al diseño y realización de la evaluación. Sin embargo, el acercamiento práctico empleado por este marco de trabajo se enfoca en inquietudes que pueden mejorar el programa. Adicionalmente, vínculos a información en otros lugares de la Caja de Herramientas Comunitarias,pueden brindar apoyo para el uso de este marco de trabajo.

Finalmente, la perspectiva de una evaluación preocupa a muchos miembros del personal pues ellos pueden ver los métodos de evaluación como “castigadores” (“Ellos solo quieren ver lo que estamos haciendo mal”), excluyentes (“¿Por qué no somos parte de la evaluación? Nosotros somos los que sabemos lo que sucede”), o generadoras de oposición (“Somos nosotros contra ellos”). Por el contrario, el marco de trabajo estimula a tomar un enfoque de evaluación que esté diseñado para ser de ayuda y que involucre a todos los interesados en un proceso que tome en cuenta su participación.

En resumen

La evaluación es una estrategia poderosa para distinguir programas e intervenciones que hacen la diferencia, de aquellos que no. Es una fuerza que impulsa al desarrollo y adaptación de estrategias eficaces, a mejorar programas existentes, y a demostrar los resultados de inversiones de tiempo y otros recursos. También ayuda a determinar si lo que se está haciendo está de acuerdo a su costo.

Este marco de trabajo recomendado para la evaluación de programas es tanto una síntesis de las mejores prácticas existentes como una serie de estándares para un futuro desarrollo. Apoya un método de evaluación práctico basado en pasos y estándares que pueden ser aplicados en casi cualquier contexto. Ya que el marco de trabajo ha sido diseñado intencionalmente de una forma muy general, proporciona una guía estable para diseñar y llevar a cabo un amplio rango de esfuerzos de evaluación en una variedad de áreas específicas de programas. El marco de trabajo puede ser usado como una plataforma para crear planes de evaluación útiles que contribuyan al desarrollo y el entendimiento.

___Usted comprende que evaluación es la investigación sistemática del mérito, valor o significado de un objeto o esfuerzo.

___Usted comprende que un programa es usado para describir el objeto o esfuerzo que se está evaluando.

___Usted entiende que la evaluación de programas es una forma de evaluar los proyectos y actividades específicos en los cuales los grupos comunales pueden participar.

___Usted entiende que los interesados son aquellos que se preocupan por el programa o esfuerzo.

Usted entiende que la evaluación de programas:

___Ayuda a aclarar los planes de un programa.

___Mejora la comunicación entre socios/colegas.

___Reúne la retroalimentación necesaria para mejorar y justificar la efectividad de un programa.

Usted sabe cómo evaluar un programa específico:

___Usted sabe qué será evaluado.

___Usted ha decidido qué criterio será usado para juzgar el desempeño del programa.

___Usted ha decidido qué estándares de desempeño deben ser alcanzados para que el programa sea considerado exitoso.

___Usted sabe qué tipo de evidencia será indicadora del desempeño.

___Usted conoce cuáles conclusiones sobre el desempeño del programa están justificadas basándose en la evidencia disponible.

___Usted ha involucrado a personas interesadas.

___Usted ha descrito el programa.

___Usted ha enfocado el diseño de la evaluación.

___Usted comprende que posibles enfoques son: para obtener ideas, para mejorar la manera en que se hacen las cosas, para determinar cuáles son los efectos del programa, y para influir en aquellos que participan en él.

___Usted ha reunido evidencia creíble.

___Usted ha justificado sus conclusiones.

___Usted comprende cómo asegurar el uso de la información y cómo compartir las lecciones aprendidas.

___Usted sabe que existen cuatro categorías de estándares de evaluación: utilidad, factibilidad, decoro y precisión.

___Usted comprende los estándares en cada categoría.

___Usted comprende cuáles estándares son más aplicables a cada paso de la práctica de evaluación.

Herramienta #1: Herramientas Relacionadas al Marco de Trabajo Recomendado

Reunir Personas Interesadas

Para ayudarle a comprender quiénes son los interesados, ver:

• Entender a los líderes, evaluadores y financiadores de la comunidad ¿Cuáles son sus intereses?
• Identificar la población objetivo y los agentes de cambio: Quiénes pueden beneficiarse y quiénes pueden ayudar
• Identificar los bienes y recursos de la comunidad

Para aprender cómo involucrarlos, ver:

• Incluir a personas clave e influyentes en la iniciativa
• Involucrar a las personas más afectadas por el asunto
• Dirigir grupos de enfoque

Para trabajar en conjunto con un grupo diverso, ver:

• Capacitar para la  resolución de conflictos
• Fomentar la participación tanto de oponentes potenciales como de aliados

Descripción del Programa

Para comprender totalmente la necesidad, problema o meta en que se enfoca el programa, ver:

• Definir y analizar el problema
• Analizar problemas comunitarios
• Realizar encuestas de evaluación de necesidades
• Realizar encuestas  de inquietudes
• Llevar a cabo foros públicos y sesiones de escucha

Para explicar mejor las actividades, componentes y elementos del programa, ver:

• Diseñar intervenciones comunitarias
• Comprender los factores de riesgo y de protección: Su uso en la selección de objetivos potenciales y estrategias
• Identificar estrategias y tácticas para la reducción de riesgos

Para describir los recursos y ventajas del programa, ver:

• Identificar los bienes y recursos de la comunidad

Para dar ejemplos de modelos lógicos, ver:

• Nuestro modelo de práctica: Cómo capacitar para crear el cambio en la comunidad y los sistemas
• Nuestro modelo de evaluación: Cómo evaluar iniciativas comunitarias amplias

Para dar una mirada amplia a su programa y su contexto, ver:

• Visión General de Planificación Estratégica o "VMOEPA" (Visión, Misión, Objetivos, Estrategias, Plan de Acción)
• Entender y describir la comunidad

Para modificar el programa y ajustarlo al contexto local, ver:

• Adaptar intervenciones comunitarias para diferentes culturas y comunidades
• Redefinir el asunto

Concentrar el Diseño de la Evaluación

Para aclarar el propósito, ver:

• Crear un plan de evaluación

Para identificar potenciales usuarios y usos, ver:

• Entender a los líderes, evaluadores y financiadores de la comunidad ¿Cuáles son sus intereses?

Para aclarar las inquietudes de la evaluación, ver:

• Crear un plan de evaluación
• Dirigir grupos de enfoque

Para ver preguntas de evaluación ilustrativas, ver:

• Nuestro modelo de práctica: Cómo capacitar para crear el cambio en la comunidad y los sistemas

Para ayuda en la identificación de métodos de evaluación específicos, ver:

• Algunos métodos para evaluar iniciativas comunitarias integrales
• Realizar entrevistas
• Crear medidas de evaluación del comportamiento
• Obtener retroalimentación de los  participantes: ¿Qué cambios son importantes y factibles?

Para guía sobre cómo realizar acuerdos, ver:

• Identificar los pasos de acción para producir cambios en la comunidad y los sistemas

Recolección de Evidencia Creíble

Para apoyo en implementación de métodos de evaluación específicos, ver:

• Algunos métodos para evaluar iniciativas comunitarias integrales
• Realizar entrevistas
• Crear medidas de evaluación del comportamiento
• Obtener retroalimentación de los  participantes: ¿Qué cambios son importantes y factibles?

Justificación de Conclusiones

Para ver un proceso ilustrativo de consideración de evidencia, ver:

• Nuestro modelo de práctica: Cómo capacitar para crear el cambio en la comunidad y los sistemas

Garantizando el Uso y Divulgación de las lo Aprendido

Para promover el uso de lo que su organización ha aprendido, ver:

• Proporcionar retroalimentación para mejorar la iniciativa
• Realizar una campaña  de mercadeo social
• Conseguir apoyo para programas específicos

Para saber cómo compartir lo que usted ha aprendido con diversos grupos, ver:

• Crear presentaciones comunitarias
• Comunicación para promover  interés
• Organizar festejos

Herramienta #2: Lista de Verificación Para Asegurar Reportes de Evaluación Efectivos

El reporte debe…

___Proveer reportes provisionales y finales a los presuntos usuarios a tiempo para los usos planeados
___Ajustar el contenido, formato y estilo del reporte para la audiencia (o audiencias) involucrando a miembros de la misma
___Incluir un resumen ejecutivo
___Hacer un resumen de las personas interesadas y cómo fueron incluidas
___Describir características esenciales del programa (puede ser en apéndices)
___Explicar el enfoque de la evaluación y sus limitaciones
___Incluir un resumen adecuado del plan y procedimientos de evaluación
___Proveer toda la información técnica necesaria (puede ser en apéndices)
___Especificar los estándares y criterios empleados en los juicios evaluativos
___Explicar los juicios evaluativos y cómo estos son apoyados por la evidencia
___Enumerar tanto las fortalezas como las debilidades de la evaluación
___Discutir recomendaciones de acción junto con sus ventajas y desventajas
___Asegurar protección a clientes/participantes del programa y otros interesados
___Anticipar cómo las personas u organizaciones pueden verse afectadas por los hallazgos
___Presentar opiniones o reacciones minoritarias cuando es necesario
___Verificar que el reporte es preciso e imparcial
___Organizar el reporte lógicamente e incluir un nivel de detalle apropiado
___Evitar el uso de términos muy técnicos
___Usar ejemplos, ilustraciones, gráficos e historias

* Adaptado de: Worthen, BR, Sanders, JR, Fitzpatrick, JL. Program evaluation: alternative approaches and practical guidelines. 2nd edition. Addison, Wesley Logman, Inc. New York. 1997.

Herramienta #3: Pasos de una Evaluación y los Estándares Más Relevantes

* Los códigos al lado de cada estándar designan el grupo conceptual y el número del estándar.

U = Utilidad; V = Viabilidad; D = Decoro; P = Precisión.

Pasos	Estándares Mas Relevantes*
Reunir personas interesadas	Metaevaluación (D12) Identificación de interesados (U1) Credibilidad del evaluador (U2) Acuerdos formales (D2) Derechos humanos (D3) Interacciones humanas (D4) Conflictos de interés (D7)
Describir el programa	Evaluación justa y completa (D5) Documentación del programa (P1) Análisis de contexto (P2)
Enfocar el diseño de la evaluación	Impacto de la evaluación (U7) Procedimientos prácticos (V1) Viabilidad política (V2) Efectividad de costo (V3) Orientación de servicios (D1) Evaluación justa y completa (D5) Responsabilidad fiscal (D8) Procedimientos y propósitos descritos (P3)
Recolectar evidencia creíble	Rango y selección de información (U3) Fuentes de información defendibles (P4) Información válida (P5) Información confiable (P6) Información sistemática (P7)
Justificar conclusiones	Identificación de valores (U4) Análisis de información cuantitativa (P8) Análisis de información cualitativa (P9) Conclusiones justificadas (P10)
Asegurar el uso y divulgación de las lecciones aprendidas	Credibilidad del evaluador (U2) Claridad del reporte (U5) Puntualidad y diseminación del reporte (U6) Impacto de la evaluación (U7) Divulgación de hallazgos (D6) Reporte imparcial (P11)

Herramienta #4: Lista de Verificación de Estándares

 Utilice esta página para determinar si su evaluación cumple los “buenos” estándares de evaluación. Lista de Verificación de Estándares de Evaluación

 

Estándar	¿La evaluación cumplió este estándar? (S/N)	Comentarios
Estándares de Utilidad 1. Identificación de Interesados 2. Credibilidad del Evaluador 3. Selección y Enfoque de la Información 4. Identificación de Valores 5. Claridad de Reporte 6. Puntualidad y Diseminación del Reporte 7. Impacto de la Evaluación
Estándares de Viabilidad 1. Procedimientos Prácticos 2. Viabilidad Política 3. Efectividad de Costos
Estándares de Decoro 1. Orientación de Servicios 2. Acuerdos Formales 3. Derechos Humanos 4. Interacciones Humanas 5. Evaluación Completa y Justa 6. Divulgación de Hallazgos 7. Conflictos de Interés 8. Responsabilidad Fiscal
Estándares de Precisión 1. Documentación del Programa 2. Análisis de Contexto 3. Propósitos y Procedimientos Descritos 4. Fuentes de Información Defendibles 5. Información Válida 6. Información Confiable 7. Información Sistemática 8. Análisis de Información Cuantitativa 9. Análisis de información Cualitativa 10. Conclusiones Justificadas 11. Reporte Imparcial 12. Metaevaluación

 

 

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué es la investigación participativa basada en la comunidad?

• ¿Por qué utilizar la investigación participativa basada en la comunidad?

• ¿Quiénes deben involucrarse en la investigación participativa basada en la comunidad?

• ¿Cuándo utilizar la investigación de participativa basada en la comunidad?

• ¿Cómo instituir y llevar a cabo la investigación participativa basada en la comunidad?

Una clase de GED (equivalencia de secundaria) en un centro de aprendizaje para adultos estaba estudiando cuadros y gráficos. Un día, los miembros de la clase empezaron a conversar acerca de sus gastos de vivienda y cómo estaban aumentado los costos de alquiler en los pequeños pueblos en los que todos vivían.  Los estudiantes eran principalmente mujeres de bajos ingresos, muchas de ellas madres solteras y con algún tipo de asistencia social, y ellas se quejaban del hecho de que frecuentemente tenían que escoger entre pagar la renta o hacerse cargo de otros gastos necesarios.

La profesora, a quien le interesaba otorgar poder a los estudiantes y sabía reconocer una buena oportunidad de aprendizaje, sugirió que los miembros de la clase dibujaran gráficos circulares de sus gastos. Cuando lo hicieron, se hizo evidente que el alquiler consumía una enorme porción de los ingresos de la mayoría de las personas.

Una de las estudiantes de la clase recalcó que si ella tuviera más dinero para gastar, el alquiler no tomaría dos tercios de sus gastos. Esto hizo que otras dos pensaran acerca del hecho de que entre menor son sus ingresos, una mayor cantidad parecía gastarse en alquiler. En corto tiempo, la clase se ocupó en determinar qué proporción de los ingresos de la gente en diferentes niveles se utilizaba en vivienda. Finalmente, después de llamar a agentes de bienes raíces, consultar con amigos y vecinos, revisar los datos de los censos y calcular los pagos de hipotecas; las estudiantes confirmaron que entre más pobre fuera una persona, más cantidad de los ingresos se utilizaban para cubrir gastos de vivienda… frecuentemente más del 60%. Una mujer dijo, “Pensé que era solo yo, que había algo malo conmigo porque no podía llegar a fin de mes; pero ahora entiendo por qué es tan difícil, estoy pagando casi 2/3 de mis ingresos de alquiler.  Si tuviera más ingresos, estaría pagando solamente 1/3 o menos, y me quedaría suficiente para otros gastos”.

La clase de GED se había convertido en un grupo de investigación participativa comunitaria y reveló algo importante. No se guardaron los hallazgos sino que los presentaron en una reunión con el representante estatal local y los compartieron también con los oficiales del pueblo. El resultado fue una mejor comprensión en la comunidad acerca de lo bajo que eran los pagos de ayuda social y la gran carga que eran los aumentos de alquiler para los pobres.

Los académicos y otros profesionales de investigación no son las únicas personas que pueden hacer investigación, y la investigación académica no es la única manera de encontrar información importante (aunque las colaboraciones académicas – comunitarias pueden ser extremadamente fructíferas). La investigación de acción participativa basada en la comunidad es una excelente manera no solo de evaluar una intervención o iniciativa, pero también de ayudar a las personas que se ven a sí mismas sin poder entender su condición y para empezar a encontrar maneras para salir de la misma. Esta sección habla acerca del concepto y le ayudará a empezar y a utilizar un proceso investigativo de acción participativa basado en la comunidad; ya sea para evaluar su intervención o iniciativa o para fomentar el cambio social en su comunidad.

¿Qué es la investigación participativa basada en la comunidad?

En términos simples, la investigación participativa basada en la comunidad (por conveniencia la llamaremos investigación de acción o P.A.R. en el resto de la sección) enlista a aquellos más afectados por un problema de la comunidad, típicamente en colaboración o alianza con otros que tienen habilidades de investigación, para llevar a cabo investigación y analizar el problema con el objetivo de diseñar estrategias para resolverlo. En otras palabras, la investigación de acción participativa agrega o reemplaza la investigación académica y de otros profesionales con la investigación hecha por miembros de la comunidad, de manera que los resultados de la investigación provengan y vayan directamente a la gente que más lo necesita y puedan hacer mejor uso de los mismos.

Utilizar P.A.R. para propósitos ya sea de evaluación o cambio a largo plazo, puede ser una buena idea por razones de tipo práctico, desarrollo personal y política. En el lado práctico, la investigación de acción participativa con frecuencia permite obtener la mejor información posible del tema, por al menos cuatro razones.

• Es más probable que la gente en la población afectada esté dispuesta a hablar y dar respuestas directas a investigadores que conocen o que saben que están en circunstancias similares a las propias y no a extraños con los que tienen poco en común.
• Las personas que en la realidad han experimentado los efectos de un problema, o una intervención, pueden tener ideas e información acerca de aspectos que no se les ocurrirían a personas que lo están estudiando desde afuera. Por tanto, los investigadores de acción de la comunidad se pueden enfocar en los elementos del problema o hacer preguntas o dar seguimiento que los investigadores no harían y obtener información crucial que otros investigadores encontrarían solamente por accidente o del todo no encontrarían.
• Las personas profundamente afectadas por un problema, o los participantes en un programa, pueden conocer intuitivamente o más directamente, lo que es importante. Lo que parece un comentario a la ligera a un investigador externo, puede revelar su verdadera importancia a alguien que es parte de la misma población a la cual pertenece la persona que hizo el comentario.
• Los investigadores de acción de la comunidad están en la escena todo el tiempo.  Su contacto tanto con el tema o intervención como con la población afectada es constante, y como resultado, pueden encontrar información aún cuando no están oficialmente involucrados en la investigación.
• Los hallazgos pueden recibir más apoyo comunitario pues los miembros de la comunidad saben que la investigación se llevó a cabo por personas en sus mismas circunstancias.

Cuando se está llevando a cabo una evaluación, estas ventajas le pueden proveer un panorama más acertado de la intervención o iniciativa y sus efectos. Cuando se está estudiando un asunto comunitario, todas estas ventajas pueden llevar a un verdadero entendimiento de su naturaleza, sus causas y sus efectos en la comunidad, y puede proveer una base sólida para una estrategia para resolverlo.  Y eso, por supuesto, es el verdadero objetivo de la investigación comunitaria, identificar y resolver el asunto o problema y mejorar la calidad de vida para la comunidad como un todo.

En la esfera del desarrollo personal, la P.A.R. puede tener profundos efectos en el desarrollo y las vidas de los investigadores comunitarios, particularmente cuando quienes se benefician de una intervención o quienes son afectados por un asunto, son pobres o en desventaja de alguna otra manera, tienen carencia de educación o habilidades básicas, y/o sienten que el problema está muy lejos de su influencia.  Al involucrarse en la investigación, no solo aprenden nuevas habilidades sino que se ven a sí mismos en una posición de capacidad, obtienen conocimiento valioso e información acerca de un tema importante para ellos y ganan poder y confianza para ejercer control sobre este aspecto de sus vidas.

Dos resultados políticos comunes del proceso p.a.r:

• A través de la investigación de acción, los ciudadanos pueden tomar más control de la dirección de sus comunidades.
• Los investigadores comunitarios, especialmente aquellos pobres o en desventaja de alguna otra manera, llegan a ser vistos de manera diferente por los profesionales y aquellos en posiciones de poder. Ellos tienen información vital y la habilidad para utilizarla; por tanto son aceptados como miembros contribuyentes de la comunidad y no como observadores sin voz o dependientes. Han ganado voz, pues entienden que tienen algo que decir.  Además, la investigación y otras habilidades y la autoconfianza que la gente adquiere en la investigación participativa de acción puede transferirse a otras partes de sus vidas, dándoles la habilidad y la seguridad de comprender y trabajar para controlar las fuerzas que los afectan.  Las habilidades investigativas, la disciplina y el pensamiento analítico frecuentemente se traducen en habilidades laborales, lo que hace que los investigadores participativos de acción tengan más posibilidades de ser empleados. Más importante aún, las personas que siempre se han visto a sí mismas como testigos o víctimas ganan la capacidad de convertirse en activistas que pueden transformar sus vidas y sus comunidades.

La investigación activa frecuentemente se utiliza para considerar problemas sociales, por ejemplo reforma de asistencia social o indigencia, pero puede tornarse hacia muchas áreas con resultados positivos.

Algunos ejemplos primordiales:

• El medio ambiente. Un miembro de la comunidad fue el primero en hacer preguntas y en empezar el sondeo que descubrió el hecho de que la comunidad de Love Canal en Niagara Falls, Nueva York, había sido contaminada por el depósito de desecho tóxico.
• Asuntos médicos/de salud: La investigación activa puede ser útil en sociedades tanto desarrolladas como subdesarrolladas, para recolectar información acerca de las prácticas de salud, rastreo de epidemias o mapeo de la ocurrencia de una condición particular; por nombrar tres de las numerosas posibilidades.
• Asuntos políticos y económicos: Los ciudadanos activistas frecuentemente llevan a cabo su propia investigación para sorprender a políticos o corporaciones corruptas, rastrear contribuciones de campaña, etc.

La P.A.R. puede ser utilizada para diferentes propósitos, y también puede ser estructurada de diferentes maneras. Las diferencias tienen mucho que ver con quién tuvo la idea en primera instancia y con quién controla o toma las decisiones acerca de la investigación. Cualquiera de estas posibilidades puede involucrar una colaboración o alianza y un grupo comunitario podría contratar o reclutar como voluntario a alguien con habilidades de investigación para ayudar a guiar su trabajo.

Algunos escenarios comunes son:

• Los investigadores académicos o de otro tipo conciben y construyen un estudio, y emplean a gente de la comunidad como recolectores de datos o analistas.
• Un problema o asunto es identificado por un investigador u otra entidad (por ejemplo, una organización de servicios humanos) y se reclutan personas de la comunidad para llevar a cabo la investigación y desarrollar una solución.
• Una organización basada en la comunidad u otro grupo, reúne a personas de la comunidad para definir y trabajar en un asunto comunitario de su elección, o para evaluar una intervención comunitaria dirigida a ellos o gente similar a ellos.
• Un problema es identificado por un miembro o grupo comunitario, otros afectados e interesados les ayudan y el grupo resultante realiza la investigación y resuelve el problema por sí mismo.

¿Por qué utilizar la investigación participativa basada en la comunidad?

Ya hemos hecho alusión a un número de razones por las cuales la P.A.R. puede ser útil en la evaluación de una intervención o iniciativa comunitaria o para abordar un problema de la comunidad. A continuación las repetiremos brevemente y, así mismo, incluiremos algunas otras.

La investigación activa produce información superior, más completa y exacta de la comunidad.

• Las personas hablarán más libremente con sus iguales que con extraños, especialmente con aquellos que conocen personalmente.
• Los investigadores que son miembros de una comunidad conocen la historia y relaciones que rodean a un programa o asunto, y por tanto pueden ponerla en contexto.
• Las personas que experimentan una situación o participan en una intervención conocen lo que es importante para ellos con respecto al asunto a tratar; lo que interfiere, la parte de sus vidas que se ve afectada, cómo han cambiado como resultado, etc. El conocimiento les permite formular preguntas de entrevistas que llegan al corazón de lo que ellos, como investigadores, están intentando aprender.

El involucramiento de la comunidad en la investigación tiene más probabilidades de satisfacer las necesidades de la comunidad.

La investigación activa da una resolución razonable o una evaluación acertada más probable mediante dos caminos. Primero, involucrando a las personas directamente afectadas por el asunto o intervención, pone en buen uso la información disponible acerca de lo que está sucediendo en la actualidad. Segundo, motiva a la comunidad a aceptar y apoyar los planes o las intervenciones desarrolladas. Si las personas se involucran en la planificación e implementación de soluciones para los asuntos comunitarios, se sentirán dueñas del proceso y trabajarán para hacerlo exitoso.

La investigación activa crea más visibilidad del esfuerzo de la comunidad al involucrar a los miembros comunitarios.

Los investigadores son familiares a la comunidad, hablarán acerca de lo que están haciendo (así como sus amigos y familiares) y por tanto correrán la voz acerca del esfuerzo.

Hay mayor probabilidad de que los miembros de la comunidad acepten la legitimidad de la investigación y reconozcan sus hallazgos si saben que fueron llevados a cabo por gente como ellos, a lo mejor, personas que ellos mismos conocen.

Los ciudadanos son más capaces de confiar en la veracidad y los motivos de sus amigos y vecinos que los de los extraños.

La investigación activa entrena a ciudadanos investigadores que pueden aplicar sus habilidades en otros problemas también.

Las personas que descubren el poder de la investigación para explicar condiciones en sus comunidades y para desenmascarar lo que realmente está sucediendo, se percatan de que pueden llevar a cabo investigación en otras áreas aparte de las que se abarcan en su proyecto de P.A.R. Frecuentemente se convierten en activistas comunitarios, que trabajan para cambiar las condiciones que les causan dificultades a ellos y a los demás. Por tanto, el proceso de investigación activa puede beneficiar a la comunidad no solo al tratar temas particulares, sino también al crear, a largo plazo, un núcleo de personas dedicadas al mejoramiento de la calidad de vida de los ciudadanos en general.

El involucramiento en P.A.R. cambia las percepciones de las personas acerca de sí mismas y acerca de lo que pueden hacer.

Un proyecto de investigación activa puede tener un profundo efecto en los investigadores de la comunidad que tienen desventajas económicas, educativas o de otro tipo.  Puede contribuir a su desarrollo personal, a ayudar a que desarrollen una voz y un sentido de su poder para cambiar cosas y a expandir su visión de lo que es posible para ellos y para su comunidad.  Una visión tan ampliada lleva a un incremento en su voluntad para tomar acciones y a un incremento en el control de sus propias vidas.

Las habilidades aprendidas en el curso de acción de la investigación se traslapan a otras áreas de la vida de los investigadores.

Tanto las habilidades como la confianza obtenidas en un proyecto de p.a.r pueden transferirse al empleo, educación, crianza infantil y otros aspectos de la vida, mejorando enormemente los prospectos y bienestar de las personas.

Un proceso de investigación activa puede ayudar a derribar barreras raciales, étnicas y de clase.

La p.a.r puede eliminar barreras de dos formas. Primero, los equipos de investigación activa son, con frecuencia, diversos y cruzan líneas raciales, étnicas y de clase. De manera que personas con diferentes antecedentes trabajan juntas, se promueve la tolerancia y la amistad, y generalmente esto quita el miedo y la desconfianza.

Así mismo, como contribuyentes integrales de un esfuerzo investigativo o evaluativo, los investigadores comunitarios interactúan en condiciones de igualdad con profesionales, académicos y líderes comunitarios. Una vez más, la familiaridad derriba barreras y permite a los grupos ver cuánto tienen los demás para ofrecer. También permite a la gente entender cuán frecuentemente juzgan mal a los demás basados en preconcepciones y empiezan a considerar a cada uno como un individuo, en vez de cómo “uno de aquellos”.

La investigación activa ayuda a la gente a comprender mejor las fuerzas que influencian sus vidas.

Tal como Paulo Freire descubrió en su trabajo en América Latina, los investigadores comunitarios, algunas veces como resultado de su investigación y algunas veces como beneficio secundario, empiezan a analizar y comprender cómo las grandes fuerzas económicas, políticas y sociales afectan sus propias vidas. Esta comprensión les ayuda a utilizar y controlar los efectos de esas fuerzas y a ganar más control sobre sus propios destinos.

La investigación participativa basada en la comunidad puede llevar a las comunidades hacia un cambio social positivo.

Todos los razonamientos anteriormente citados, describen las razones para utilizar la P.A.R. para reestructurar las relaciones y las líneas de poder en una comunidad. Contribuyen al respeto mutuo y al entendimiento dentro de los miembros de la comunidad y a una profunda comprensión de los asuntos que guían, como resultado,  hacia cambios sociales positivos y significativos.

¿Quiénes deben involucrarse en la investigación participativa basada en la comunidad?

La respuesta corta sería personas de todos los sectores de la comunidad, pero hay algunos grupos específicos que, en la mayoría de las circunstancias, es importante incluir.

• Las personas más afectadas por el tema o la intervención en estudio. Estas son las personas cuya inclusión es la más importante en un esfuerzo participativo, tanto porque su inclusión lo hace participativo como por lo que aportan. Esta gente, como lo discutimos antes, está más cercana a la situación, tiene mejor acceso a la población más preocupada y puede tener apreciaciones que otros no tendrían. Además, su apoyo es crucial para la planificación e implementación de una intervención o iniciativa. Este apoyo tiene más probabilidad de ser de ayuda si se involucran en la investigación o evaluación.
• Otros miembros de la población afectada. Las personas que no se ven directamente afectadas por el asunto o intervención, pero que son de confianza entre la población afectada, pueden ser miembros útiles de un equipo de P.A.R.
• Personas que toman decisiones. Involucrar oficiales locales, legisladores y otras personas que toman decisiones desde el principio puede ser crucial, tanto para proteger su apoyo como para asegurarse que, de hecho, su apoyo es lo que se necesita. Si ellos son parte el equipo, y tienen toda la información que éste recolecta, se convierten en defensores del abordaje del asunto y del reconocimiento e implementación de la solución o intervención que mejor satisface las necesidades reales de la población afectada.
• Académicos con interés en el tema o intervención en cuestión. Los académicos que han estudiado el asunto frecuentemente tienen información importante que puede ayudar al equipo de p.a.r a comprender mejor los datos que recolecta.  Usualmente también tienen habilidades de investigación y pueden ayudar a entrenar a otros miembros del equipo. Al mismo tiempo, pueden aprender mucho de los investigadores comunitarios, acerca de la comunidad en general, sobre cómo abordar a la gente, a dejar las suposiciones y preconcepciones de lado; y tal vez como resultado aumenten la efectividad de su propia investigación.
• Empleados y voluntarios de agencias de salud, humanas o públicas. Tal como los dos grupos previos, estas personas tienen mucho que ofrecer y, frecuentemente, mucho que aprender que a la larga los hará más sensibles y más efectivos en sus trabajos. Pueden tener una perspectiva en temas de la comunidad que los residentes carecen por su cercanía con la situación. Al mismo tiempo, pueden aprender más acerca de las vidas de las personas con quienes trabajan y a comprender mejor las circunstancias y presiones que afectan sus vidas.
• Miembros de la comunidad en general. Esta categoría nos lleva de nuevo al enunciado al principio de esta porción de la sección, que menciona que los miembros de todos los sectores de la comunidad deben tener la oportunidad de involucrarse. Esa afirmación cubre el conocimiento, habilidades y talento que las diferentes personas traen al proyecto; la importancia de la aceptación de todos los sectores de la comunidad si se espera alcanzar cambio a largo plazo y lo que los miembros del grupo aprenden y retroalimentan a sus familias, amigos y vecinos como resultado de su participación.

¿Cuándo utilizar la investigación  participativa basada en la comunidad?

Hay ocasiones en las que la investigación participativa no es apropiada, y hay otras en las que es la mejor opción. ¿Cómo decidir?

Un criterio es la cantidad de tiempo con el que se cuenta para hacer la investigación del tema o intervención. La investigación de acción puede tardar más que los métodos tradicionales, debido a la necesidad de entrenamiento y por el tiempo que usualmente toman los investigadores comunitarios para ajustarse a la situación (por ejemplo para darse cuenta que sus opiniones e intuiciones son importantes, aunque no siempre sean correctas, y que sus conclusiones son legítimas). Si su tiempo es limitado, puede que la P.A.R. no sea la opción acertada.

La investigación de acción es particularmente útil para la investigación cualitativa. Si se está obligado a entregar resultados cuantitativos complicados a un patrocinador, por ejemplo, se puede depender de investigadores o evaluadores profesionales. La mayoría de las investigaciones de acción no están orientadas hacia la producción de resultados expresados en términos de procedimientos estadísticos. (Esto no significa que los equipos de investigación de acción no pueden hacer investigación cuantitativa, simplemente que requiere de más entrenamiento, y por tanto de más tiempo, y puede requerir de fuentes externas o de académicos miembros del equipo para hacer los números.)

Utilizar la investigación participativa es probablemente mejor y más efectivo cuando:

• Hay tiempo para entrenar apropiadamente y aclimatar a los investigadores comunitarios.
• La investigación y el análisis necesarios dependen de entrevistas, experiencias, conocimiento de la comunidad y un entendimiento interno del problema o intervención, más que de las habilidades académicas o el conocimiento de estadísticas (a menos que tenga el tiempo y los recursos para enseñar esas habilidades o el equipo incluye a alguien que ya las tiene).
• Necesita una entrada a la comunidad o grupo desde la cual se está recolectando la información.
• Hay preocupación por la aceptación y apoyo de la comunidad.
• Parte del propósito de utilizar la p.a.r es tener un efecto u otorgar poder a los investigadores comunitarios.
• Parte del propósito de utilizar la p.a.r es establecer la plataforma para el cambio social a largo plazo.

¿Cómo instituir y llevar a cabo investigación participativa basada en la comunidad?

Una vez que se ha decidido llevar a cabo un proyecto de investigación de acción, hay un número de pasos para echarlo a andar.  Hay que encontrar y entrenar a los participantes, determinar exactamente qué información se está buscando y cómo buscarla, planear y llevar a cabo la investigación, analizar y reportar los hallazgos, traducir los hallazgos a recomendaciones; tomar o provocar acciones basadas en esas recomendaciones, evaluar el proceso y darle seguimiento.

A continuación se muestra un proyecto ideal de investigación de acción con una estructura, tal vez iniciada por una organización de salud o servicio humano. Un grupo comunitario que se une por interés común  probablemente reclutaría a los propios amigos de las personas involucradas y probablemente no haría ningún entrenamiento formal a menos que hayan invitado a un investigador a ayudarlos específicamente de esa manera.  La naturaleza del grupo lo ayudará a determinar cómo, o si seguir cada uno de los pasos siguientes.

Reclutar un equipo de investigación comunitario.

La manera de reclutar un equipo dependerá tanto del propósito del proyecto como de quiénes pueden ser más efectivos para obtener y analizar información. Un equipo ya puede existir, como en el ejemplo al principio de esta sección. O un equipo simplemente puede ser un grupo que se une por intereses comunes.  Muchos proyectos P.A.R. apuntan a un equipo diverso, con la idea de que una mezcla de gente proveerá el más amplio rango de beneficio y permitirá la mayor cantidad de aprendizaje de los miembros del equipo.  Otros proyectos pueden tomar individuos solamente de una población particular, como una minoría de lenguaje, aquellos atendidos por cierta intervención, aquellos que experimentan una condición física particular.

Generalmente tiene sentido que al menos la mitad del equipo esté compuesto de personas directamente afectadas por el asunto o intervención en cuestión. Este número asegura un buen contacto con la población de la cual se necesita obtener la información y hace menos probable que los investigadores comunitarios se vean abrumados o intimidados por otros miembros (profesionales) del equipo o por sus tareas.

Reclutar desde dentro de una organización o programa puede ser relativamente sencillo, por que el grupo de potenciales investigadores tiene un poco de audiencia cautiva: se sabe dónde encontrarlos y ya se tiene una relación con los mismos. Por otra parte, reclutar personas de una población más general requiere de atención a ciertas reglas básicas de comunicación.

• Utilizar lenguaje que la audiencia pueda entender, ya sea que esto signifique presentar su mensaje en un idioma diferente al español ó presentarlo en un español simple y claro sin jerga académica o de otro tipo.
• Utilizar los canales de comunicación con los cuales hay más probabilidad de que la audiencia preste atención.  Un mensaje en la iglesia que alcance a una gran proporción de la población, un boletín o comunicación de boca en boca, son todos buenos canales por los cuales llegar a una población específica.
• Ser culturalmente sensible y correcto. Expresar el mensaje de manera que no sea irrespetuoso para la cultura de la audiencia y que además hable de lo que es importante en esa cultura.
• Ir a donde se encuentra la audiencia.  Reunirse con grupos de personas de la población con la que se quiere trabajar, mostrar información en los barrios o lugares de reunión.  No hay que esperar a que ellos lleguen a usted.

Dado todo esto, el mejor método de reclutamiento sigue siendo el contacto cara a cara con alguien familiar a la persona que está siendo reclutada.

Orientar y entrenar al equipo de investigación.

La orientación y el entrenamiento pueden ser parte del mismo proceso o pueden ser separados.  Los dos tienen diferentes propósitos. La orientación está ideada para dar a la gente oportunidad de hacer preguntas y una idea general de lo que se espera.

Puede incluir:

• Introducciones generales y una actividad introductoria para ayudar a que los miembros del equipo se conozcan.
• Explicación de la investigación de acción participativa basada en la comunidad e información básica acerca de este proyecto o evaluación.
• Compromiso de tiempo de los participantes y apoyo disponible para los mismos, si lo hay. ¿Se proveerán o pagarán los servicios de cuidado de niños, transporte u otros?
• Oportunidad de hacer preguntas o discutir cualquier parte del proyecto o evaluación que los miembros del equipo no entienden o con la que no concuerdan.

El entrenamiento está ideado para transmitir información y habilidades específicas que las personas necesitarán para poder llevar a cabo el trabajo de la investigación. Hay tantos modelos de entrenamiento como grupos para entrenar. Como se mencionaba arriba, la orientación puede servir como toda o una parte de la sesión introductoria de entrenamiento. El entrenamiento puede ocurrir todo seguido, en sesiones de una o varias horas en días consecutivos, o durante todo el período del proyecto con cada pieza de entrenamiento ligada con la actividad a la que concierne. Puede ser conducido por una persona (quien puede ser interna a la organización o un facilitador externo), por una serie de expertos en diferentes áreas o por los mismos miembros del equipo.

En este último caso, los miembros del equipo podrían por ejemplo, determinar lo que necesitan saber y luego decidir e implementar una manera adecuada de aprenderlo.

• Encontrar un espacio cómodo para llevar a cabo el entrenamiento.
• Suministrar o asegurarse de que la gente lleve comidas y bebidas.
• Hacer recesos cortos con frecuencia.  Es mejor para la concentración de las personas tomar un receso de unos 3 minutos cada media hora que no un receso de 20 minutos cada 3 horas.
• Estructurar el espacio para la máxima participación e interacción.  Sillas en círculo, espacio para moverse, etc.
• Variar las maneras de presentar el material. Las personas aprenden en una variedad de formas, escuchando, observando, discutiendo, con ejemplos o con acciones. A mayor cantidad de estos métodos que pueda incluir, mayor probabilidad tendrá de mantener la atención de la gente y de involucrar a todos en el equipo.
• Utilizar el entrenamiento para construir el equipo. El entrenamiento es una gran oportunidad para que las personas se conozcan y confíen entre sí, y para que absorban los principios de trabajo.

El contenido real del entrenamiento dependerá, por supuesto, del proyecto emprendido pero las áreas generales deberían incluir:

• Habilidades necesarias de investigación. Estas pueden incluir técnicas de entrevista, búsqueda en internet, construcción de encuestas y otros métodos básicos de investigación y recolección de información.
• Información importante acerca de la comunidad o intervención en cuestión.
• Habilidades de reunión y negociación. Muchas de las personas de su equipo pueden no haber tenido experiencia de participar en reuniones numerosas. Necesitan tiempo y apoyo para desarrollar sus habilidades para reunirse, seguir discusiones, saber cuando es oportuno interrumpir, sentirse lo suficientemente seguro para expresar su opinión; y para sentirse cómodo con el proceso de reunión.
• Preparar un reporte. Esto no necesariamente significa hacer un borrador de un trabajo formal. Dependiendo de los miembros del equipo, un organigrama, una presentación con diapositivas, un video o un collage pueden ser maneras informativas y poderosas de comunicar los resultados de la investigación. También podría serlo un testimonio oral o una grabación de sonido.
• Hacer una presentación. Saber que esperar y aprender cómo hacer una presentación clara y convincente, puede hacer la diferencia en que sus hallazgos y recomendaciones sean aceptados o rechazados.

Determinar las preguntas que la investigación o evaluación pretenden responde.

Las preguntas que se escogen para responder modelarán la investigación. Hay muchos tipos de respuestas en cualquiera de estos casos.

Una evaluación se puede enfocar en el proceso: ¿Qué se está haciendo realmente y cómo se compara esto con lo que la intervención o iniciativa se propuso hacer? Se puede enfocar en los resultados: ¿Es el resultado final de la intervención lo que se pretendía que fuera? O puede intentar contemplar ambos y decidir si el proceso de hecho funciona para alcanzar el resultado deseado. Una evaluación puede también estar dirigida a identificar elementos específicos del proceso que tienen que ser cambiados, o a identificar un proceso totalmente nuevo para reemplazar uno que parece no estar funcionando.

La investigación sobre un tema de la comunidad también se puede abordar en una variedad de formas. Simplemente, se puede estar intentando averiguar si cierta condición existe en la comunidad o en qué extensión existe. Se puede estar preocupado en cómo o cuánto afecta a la comunidad ó a qué partes de la comunidad afecta. Se puede estar buscando un resultado particular y las preguntas de investigación que se hagan pueden estar diseñadas para ayudar a alcanzar ese resultado.

Planificar y estructurar la actividad de investigación.

La investigación se debe planear tomando en cuenta las limitaciones de tiempo del equipo y las preguntas consideradas.

El plan debe incluir:

• El tipo y la cantidad de recolección de información que más le conviene al proyecto (por ejemplo entrevistas, investigación bibliográfica, encuestas).
• Quién será responsable de esto
• El cronograma, por ejemplo, las fechas límites para completar cada fase del plan
• Cómo y por quién será analizada la información
• Cómo se verá el reporte de la investigación o evaluación
• Cuándo, cómo y a quién será presentado el reporte

Anticipar y preparar planes de contingencia para problemas que pueden surgir en el transcurso del esfuerzo.

Un grupo de investigación de acción, como cualquier otro, puede tener conflictos internos así como conflictos con fuerzas externas. La gente puede estar en desacuerdo, o aún peor, algunos pueden salirse o no hacer lo prometido;  pueden no entender o decidir no seguir los procedimientos acordados.  Habrá necesidad de guías para manejar estos y otros obstáculos potenciales.

Implementar el plan de acción.

Llévelo a cabo.

Preparar y presentar su reporte y recomendaciones.

El reporte, como se explicó previamente, puede ser un documento escrito o una forma alternativa. Si es una evaluación puede ser presentado de una manera al equipo de la intervención que está siendo evaluado y presentado de otra manera a los patrocinadores o a la comunidad, dependiendo de los propósitos.  Algunas de las posibilidades de presentación incluyen:

• Comunicado de prensa
• Conferencia de prensa
• Presentación comunitaria
• Artículos en periódicos o boletines
• Reporte escrito a patrocinadores y/u otras partes interesadas

Tomar, o intentar generar acciones apropiadas sobre el tema o intervención.

La acción puede ir desde ajustar un único elemento de una intervención como resultado de una evaluación hasta escribir cartas al editor, defender junto con los legisladores, tomar acciones directas (una demostración, una demanda), e iniciar una iniciativa comunitaria que se puede convertir en movimiento nacional.  En la mayoría de los casos, un esfuerzo P.A.R. está hecho para llevar a algún tipo de acción, aún si esta acción es simplemente investigación adicional.

Seguimiento.

Un proyecto de investigación activa no termina con la presentación, ni siquiera con la acción. Con frecuencia, el propósito de la investigación tiene que ver tanto con el aprendizaje de los miembros del equipo como con los resultados de la investigación. Aún cuando este no sea el caso, las habilidades y métodos de que los investigadores de acción aprenden, necesitan ser consolidados para que puedan ser transferidos a otros proyectos.

• Evaluar el proceso de investigación. Esto debe de ser un esfuerzo de colaboración de todos los miembros del equipo y puede incluir a otros (aquellos que realmente implementan una intervención evaluada, por ejemplo). ¿Las cosas salieron según el plan? ¿Cuáles fueron las fortalezas del proceso? ¿Cuáles fueron sus debilidades? ¿El entrenamiento fue comprensible y adecuado? ¿Qué otro apoyo hubiese sido útil? ¿Cuáles partes del proceso deben ser cambiadas?
• Identificar los beneficios de la comunidad o grupo que surgieron (o pueden surgir) como resultado del proceso de investigación. Esto puede tener que ver con la acción, con hacer más conciente a la comunidad de asuntos particulares o con crear más activistas comunitarios.
• Identificación del aprendizaje y percepciones de cambio de los miembros del equipo por sí mismos. Algunas áreas a considerar son habilidades básicas y otras académicas; hablar en público, habilidades para reunirse, autoconfianza y autoestima, habilidad para influenciar el mundo y sus propias vidas y autoimagen (por ejemplo, verse a sí mismo como proactivo y no como controlado).
• Mantener los logros al mantener a los investigadores involucrados. Hay varias maneras de mantener el impulso de un equipo P.A.R., como iniciar otro proyecto si existe una razón para hacerlo; motivar a los miembros del equipo a estar activos en otros asuntos de su interés (y sugerir áreas potenciales y tal vez, ponerlos en contacto con otras personas que les facilite hacerlo); mantener al grupo unido como un consorcio investigativo (pago); o consultar como grupo con otras organizaciones interesadas en llevar a cabo una investigación activa.

La P.A.R. no siempre es la opción adecuada para una iniciativa o evaluación, pero siempre es importante de considerar. Si se puede emplear en una situación dada, los beneficios pueden ser magníficos.

La investigación de acción participativa comunitaria puede servir varios propósitos. Puede proveer información precisa y apropiada para guiar una iniciativa comunitaria o para evaluar una intervención comunitaria. Puede asegurar la aceptación comunitaria y el apoyo de la iniciativa o intervención. Puede realzar el desarrollo personal y las oportunidades de los participantes. Puede otorgar poder de análisis y cambio a aquellos más afectados por las condiciones o problemas de la comunidad. Y talvez lo más importante, puede llevar a un cambio social a largo plazo lo cual promueve la calidad de vida para todos.

Para resumir

La investigación  participativa comunitaria es un proceso llevado a cabo por y para las personas más afectadas por un asunto o intervención que está siendo estudiado o evaluado. Tiene múltiples propósitos, incluyendo el empoderamiento de los participantes, la recolección de la mejor y más precisa información posible, obtención del apoyo comunitario para el esfuerzo y cambio social que lleva al mejoramiento de la comunidad para todas las personas.

Como con cualquier proceso participativo, la P.A.R. puede requerir gran cantidad de tiempo y esfuerzo. Los participantes con frecuencia están en desventaja económica y educativa, con carencia de habilidades básicas y otros recursos.  Por tanto, el entrenamiento y el apoyo tanto técnico como personal, son elementos cruciales en cualquier acción del proceso de investigación. Sin embargo, con la preparación adecuada, la investigación  participativa puede generar no solamente excelentes resultados sino también grandes beneficios para la comunidad a largo plazo.

¿Qué es investigación participativa basada en la comunidad?

___Se define investigación participativa basada en la comunidad como investigación llevada a cabo por y para aquellos más directamente afectados por el tema, condición, situación o intervención que está siendo estudiada o evaluada. 

¿Por qué utilizar investigación participativa basada en la comunidad?

Se utiliza la investigación de acción participativa basada en la comunidad porque:

___Produce mejor información, más completa y precisa acerca de la comunidad.

___El involucrar a la comunidad en investigación genera un desenlace positivo que tiene más posibilidades de alcanzar las necesidades de la comunidad.

___La investigación participativa entrena a los ciudadanos que pueden aplicar sus habilidades a otros problemas también.

___El involucrarse en p.a.r. cambia las percepciones de las personas acerca de sí mismas y de lo que pueden hacer.

___Las habilidades aprendidas en el transcurso de la investigación participativa se transfieren a otras áreas de las vidas de los investigadores.

___Un proceso de investigación de acción participativa puede ayudar a romper las barreras raciales, étnicas y de clase.

___La investigación participativa ayuda a las personas a comprender mejor las fuerzas que influencian sus vidas.

___La investigación participativa basada en la comunidad puede llevar a las comunidades hacia el cambio social.

¿Quiénes deben involucrarse en la investigación participativa basada en la comunidad?

Se intenta involucrar:

___A las personas más afectadas por el tema o intervención en estudio.

___Otros miembros de la población afectada.

___A los individuos que toman las decisiones.

___Académicos con un interés en el tema o la intervención en estudio.

___Empleados y voluntarios de agencias de salud, humanas y públicas.

___Miembros de la comunidad en general.

¿Cuándo se debe utilizar la  investigación participativa basada en la comunidad?

Se emplea la investigación participativa basada en la comunidad cuando:

___Hay tiempo de entrenar y aclimatar apropiadamente a los investigadores comunitarios.

___La investigación y el análisis necesario se basan en entrevistas, experiencia, conocimiento de la comunidad y un entendimiento del tema o intervención desde adentro y no en habilidades académicas o interpretación de estadísticas (a menos que se tenga el tiempo y los recursos para enseñar esas habilidades o el equipo incluya a alguien que las tenga).

___Necesita una entrada a la comunidad o grupo del cual se está recolectando la información.

___Le interesa la credibilidad y el apoyo de la comunidad.

___Quiere tener un efecto en y empoderar a los investigadores de la comunidad.

___Quiere sentar las bases para el cambio social a largo plazo.

¿Cómo instituir y llevar a cabo investigación participativa basada en la comunidad?

___Al reclutar un equipo de investigación comunitario.

___Al orientar y entrenar al equipo de investigación.

___El equipo determina las preguntas que la investigación o evaluación intentarán responder.

___El equipo planifica y estructura la actividad investigativa.

___En equipo, se lleva a cabo el plan.

___El equipo prepara y presenta un reporte y recomendaciones acerca de su trabajo.

___Al tomar, o intentar generar, acciones apropiadas.

___Al evaluar el proceso.

___Al proveer una oportunidad para los miembros del equipo de reflejar y discutir su aprendizaje y los efectos de su experiencia de participación en el proceso p.a.r.

___Al mantener los logros y conservar a los miembros del equipo involucrados.

Ejemplo #1 El Proyecto Cambios (Changes por su nombre en inglés): Universidad Comunitaria de Holyoke y  SABES West, Holyoke, Massachussets.

El Proyecto Changes fue un esfuerzo de investigación de acción participativa de 3 años. Patrocinado por una partida de la Oficina para la Investigación Educativa y el Desarrollo, del Departamento Americano de Educación. Su objetivo era determinar los efectos de los principales cambios en las regulaciones de asistencia social, leyes de inmigración y el lugar de trabajo que ocurrieron durante los años noventa sobre los estudiantes adultos.

El proyecto era participativo en dos sentidos:

• Los 42 investigadores (de los cuales 34 fueron capaces de participar durante los 3 años de duración del proyecto) eran estudiantes actuales o previos, o empleados de los programas de la alfabetización para adultos, GED (equivalencia de secundaria) y ESOL (Inglés como Segunda u Otra Lengua).
• Todos los datos del esfuerzo fueron obtenidos de 600 estudiantes en programas de los cuales provenían los investigadores.

Todos los investigadores eran estudiantes, graduados o empleados de uno de los cinco programas de educación para adultos en el oeste de Massachussets. El Centro para Nuevos Americanos (CNA)  en Greenfield, Amherst y Northhampton y el Instituto de Lenguaje Internacional (ILI) de Northhampton son organizaciones independientes que trabajan con estudiantes de ESOL. El Programa Mentor en la Universidad Comunitaria Holyoke provee servicios para estudiantes adultos que están haciendo la transición entre educación adulta y educación superior. El Centro para el Aprendizaje de Adultos y Familias Leer/Escribir/Ahora (RNW), patrocinado por la Biblioteca de la Ciudad de Springfield, ofrece clases para la alfabetización y GED para adultos y familias. El Programa para la Educación de la Labor y Manejo en el Lugar de Trabajo de la Universidad de Massachussets (LMWEP) sirve específicamente a empleados de la Universidad con una gama de ofertas instructivas que abarca habilidades básicas, tecnología, comunicación, solución de problemas y áreas específicas del lugar de trabajo.

Los miembros del equipo de investigación tenían edades entre los 22 y los 55 años y variaban educativamente desde estudiantes de alfabetización de adultos hasta estudiantes de carreras universitarias ya avanzadas. Entre todos hablaban seis idiomas, venían de seis países en tres continentes y tenían herencia afroamericana, asiática, caucásica e hispana. Veintiséis eran padres de familia (diez eran padres solteros)  y diez eran o habían recibido asistencia social. En general, los investigadores conformaban un grupo muy representativo de los participantes y empleados del centro de educación para adultos de la comunidad del oeste de Massachussets.

Cada una de las cinco organizaciones presentaba un grupo investigativo que trabajaba independientemente y en conjunto con los otros cuatro. Además de sus miembros, que variaban en un rango de 3 a 13 personas, cada equipo incluía un facilitador de investigación en el sitio (SRF); un miembro que era integrante y facilitador del equipo investigativo de la institución. Con frecuencia, los SRF se reunían junto con el coordinador de programa y también recibían conferencias de un grupo asesor y un metodólogo.

El problema de investigación que examinaba el proyecto fue generado por los administradores y empleados de los programas de aprendizaje para adultos del 14 Western Massachusetts, en respuesta a las preocupaciones expresadas por parte de los estudiantes y de sus propias observaciones.

Tal como se anota en el reporte del Proyecto Changes, las metas de la investigación eran “aprender más acerca de:

• Efectos de la reforma de asistencia social, de la reforma de inmigración y los cambiantes requisitos de los lugares de trabajo sobre estudiantes adultos de cinco programas de alfabetización para adultos en el oeste de  Massachusetts.
• Maneras en las que los estudiantes adultos responden y se acomodan a la reforma de inmigración, a la reforma de asistencia social y los cambiantes requisitos del lugar de trabajo mientras intentan alcanzar sus metas a través de la educación.
• En qué manera los practicantes y los programas pueden alterar los servicios educativos para hacerlos más efectivos, dada la reforma de asistencia social, la reforma de inmigración y los cambiantes requisitos del lugar de trabajo.
• Maneras en que las políticas pueden ser más receptivas a las necesidades de los estudiantes adultos mientras que ellos lidian con estos tres asuntos”

El Proyecto Changes empezó con un reto: cómo moldear un grupo grande y diverso de investigadores para formar un grupo que pudiera trabajar unido de manera creativa y efectiva. El coordinador de Changes, Alex Risley Schroeder, recuerda que este reto se hizo aún mayor por el hecho de que el proyecto no había sido 100% participativo desde el inicio.

“Tuvimos que escribir la propuesta, y debido al tiempo y otras restricciones, lo hicimos sin la participación directa de los estudiantes. Fue algo con lo que luchamos a lo largo de la vida del proyecto.Tuvimos equipos de estudiantes/investigadores, y les dijimos ‘Le prometimos a los patrocinadores ciertas cosas.  Ahora, ¿qué podemos nosotros, como grupo, hacer para que esas cosas reflejen lo que es importante para todos nosotros? ’”

Hubo solamente dos ocasiones al inicio del proyecto en las que todo el grupo, los equipos de los cinco sitios, estuvieron juntos: una orientación/entrenamiento inicial y un proyecto debut. El trabajo real de construcción de grupo verdaderamente inició cuando entró el primer conjunto de datos.

Debido a la diferente naturaleza de los cinco programas de educación para adultos y sus estudiantes, no todos los equipos investigaron las tres áreas en cuestión. La mayoría del trabajo sobre reforma de inmigración, por ejemplo, salió de la investigación de los equipos de los programas ESOL. El equipo del programa de educación en el lugar de trabajo no investigó los efectos de la reforma de la asistencia social, porque todos los estudiantes en ese programa estaban, por definición, empleados; se concentró más bien en  los cambios en el lugar de trabajo.

En todos los equipos, la información se recolectó en tres pasos a través de los estudiantes en sus propios programas:

• Entrevistas individuales. Los equipos desarrollaron preguntas de entrevista apropiadas para el área que estaban investigando, y llevaron a cabo un primer ciclo de entrevistas individuales.
• Más entrevistas, grupos de discusión y encuestas. Los equipos realizaron un segundo ciclo de entrevistas con preguntas revisadas (incluyendo algunos seguimientos; casi a todas las entrevistas se les dio seguimiento con segundas entrevistas) y también se llevaron a cabo grupos de enfoque en cada programa y se realizaron entrevistas a lo largo del proyecto.
• Más entrevistas, más grupos de discusión y tres encuestas separadas, cada una especialmente dirigida a estudiantes con conocimiento de primera mano de una de las tres áreas en cuestión.

Después de cada fase de recolección de datos, los equipos lucharon con maneras para clasificar y reportar lo que encontraron, y con cómo darse sentido a la información. Había una cantidad enorme de material, la mayoría en forma de historias de las experiencias de las personas. Cada equipo encontró su propia manera de organizar los datos.

Cada fase terminó con un Festival de Análisis, una reunión de todos los equipos para intentar integrar y analizar lo que encontraron. Las reuniones fueron llamadas Festival de Análisis, según Risley Schroeder, para capturar tanto la emoción como la verdadera alegría de ganar y encontrarle sentido al conocimiento. Fue en estos Festivales de Análisis, según ella, que los cinco equipos se convirtieron realmente en una unidad coherente.

“No todo el mundo conocía las cosas que eran obvias para algunos de los equipos. Por ejemplo, por  lo que las mujeres con asistencia social tuvieron que pasar, o lo que significa no ser capaz de hablar inglés. Fue un tiempo de aprendizaje muy poderoso para todos, y les dio a todas las personas la oportunidad de conocer a los demás como equipo y como individuos. Realmente, para hacer este trabajo, todos tuvimos que comprender quiénes éramos como grupo, como equipos y como individuos”.

El grupo luchó con la organización de la información y las historias que habían recolectado. El reto estaba compuesto del hecho de que algunos investigadores tuvieron dificultad leyendo y escribiendo o con el inglés. Se hizo aún más difícil porque los investigadores, al principio, creían que no tenían habilidad, y por tanto no tenían herramientas para la tarea.

El primer Festival de Análisis empezó con muchos documentos. Había transcripciones de todas las entrevistas, muchas laboriosamente traducidas de inglés a español u otros idiomas. Los equipos estaban limitados por lo que ellos creían que era “investigación”. En los Festivales de Análisis subsecuentes, a manera que los investigadores se relajaban y empezaban a unir el material de los diferentes equipos, se dieron cuenta que había temas comunes en muchas de las entrevistas, a pesar de las circunstancias de los estudiantes que habían sido entrevistados. Esos temas se convirtieron en el centro de los hallazgos primordiales del proyecto y en la llave para organizar los datos.

Las personas que tuvieron más dificultad con los impresos o con el lenguaje, también fueron las más creativas para superar esta dificultad. Montaron historias representativas para cada uno de los asuntos, utilizaron fotos y sonido así como (o en vez de) material impreso para mostrar lo que habían encontrado y desarrollaron sociodramas para demostrar los tipos de dificultades que los estudiantes enfrentaron con las reformas de asistencia social e inmigración y asuntos relacionados con el lugar de trabajo.

También se hizo importante el uso de metáforas. Uno de los hallazgos más importantes del proyecto fue que los estudiantes adultos frecuentemente dependían de redes frágiles de apoyo de diferentes tipos para poder estar en capacidad de asistir a clases y aprender de manera exitosa.

Hubo esencialmente cuatro tipos de apoyo necesario:

• Apoyo práctico. Incluye los tipos de apoyo que la mayoría de las personas ve como necesarios para completar exitosamente un programa de educación para adultos: alimentos, vestimenta, protección, cuidado de la salud, cuidado de los niños y transporte. Pero esta categoría también incluye información acerca de los derechos de los receptores de la asistencia social, de los inmigrantes y trabajadores, acerca de las leyes que gobiernan esas áreas, acerca de cómo encontrar y matricularse en los programas, acerca de cómo estudiar, acerca de cómo encontrar otros recursos académicos y laborales.
• Recursos internos. Aspiraciones, sueños, motivación, enfoque, determinación, habilidad natural, conocimiento previo, fe espiritual.
• Apoyo personal. Incluye apoyo emocional y práctico, y no proviene solamente de la familia y los amigos, sino también de los profesionales y la comunidad en general. Incluye apoyo para los individuos y los programas, así como respeto, estímulo y creencia en la habilidad de las personas de cambiar sus propias vidas.
• Apoyo institucional.  Incluye no solo la existencia, también la capacidad de respuesta y carácter apropiado de los programas, organizaciones e instituciones que proveen ayuda y servicios a aquellas personas que los necesitan; políticas estatales y nacionales que contemplan las necesidades reales de las personas a las que están dirigidas; y regulaciones que contienen las necesidades reales y las circunstancias de las personas a las que pretenden ayudar.

Los investigadores concibieron estos apoyos como hilos en una red, todos entrelazados e interdependientes. Cortar un solo hilo debilita toda la red, y hace menos probable el éxito de un estudiante adulto. La metáfora de la red hizo que para todos el concepto de apoyo fuera más fácil de ver y comprender, y también dejó claro lo importante que es que los políticos se den cuenta de que el éxito de un estudiante adulto depende de muchas más cosas, aparte de lo que se incluye de manera particular en un programa ABE o ESOL.

Finalmente, el Proyecto Changes alcanzó varios propósitos:

Reunió una gran cantidad de datos importantes de primera mano acerca de los efectos (intencionados o no) de las reformas de asistencia social e inmigración y los cambios en los lugares de trabajo sobre los estudiantes adultos y sobre sus oportunidades para cumplir exitosamente con sus metas educativas.

Tuvo un profundo efecto en los investigadores mismos. Tanto los estudiantes adultos como los empleados sintieron que la experiencia de participar en el proyecto les cambió la manera de verse a sí mismos y al mundo.

Más específicamente:

• Los miembros del equipo incrementaron su habilidad de comunicarse y de desarrollar habilidades relacionadas con el trabajo, y los estudiantes, específicamente, incrementaron su alfabetización y habilidades en el idioma inglés.
• Los miembros del equipo sintieron más autoconfianza y se vieron a sí mismos como más competentes y más capaces de contribuir como resultado de su trabajo en el Proyecto Changes.
• Muchos miembros del equipo sintieron que tenían voz, lo que les permite hablar y ser escuchados tanto en sus vidas privadas como públicas en maneras que antes no habían sido posibles para ellos.
• La experiencia en el Proyecto Changes llevó a muchos investigadores a involucrarse activamente en sus comunidades, y a cambiar su perspectiva sobre la acción política en general y sobre su propia habilidad para cambiar cosas en particular.
• Algunos de los profesores miembros del equipo se percataron de que la visión de sus trabajos y de los estudiantes con los que trabajaban habían cambiado.  Uno dijo: “Este proyecto me ha dado la habilidad [de ser un profesor reflexivo] pues realmente hay que escuchar cuando se hace investigación.  Aprender a hacer eso me ha cambiado, ha cambiado la manera en que creía se construye el conocimiento.  Es realmente diferente cuando se hace en un grupo.  El resultado de este tipo de trabajo es mucho más valioso.”
• La experiencia de construir y pertenecer a una comunidad que incluía personas de diferentes culturas, etnias y procedencias se destacó como enormemente positiva para todos los participantes.  Muchos hablaron acerca del entusiasmo de aprender acerca de cómo otras culturas veían el mundo, y las recompensas de aprender a relacionarse con las personas con perspectivas diferentes.
• Los miembros del equipo ganaron conocimiento técnico valioso acerca de realizar investigación, incluyendo como recolectar y analizar datos (así como a participar del análisis lógico en general), cómo ajustar la investigación para responder a la cultura de las personas en cuestión, y cómo desarrollar habilidades interpersonales necesarias para obtener información a partir de las entrevistas y los grupos de discusión.

El proyecto sirvió como modelo, no solo de investigación, sino también de educación adulta. Muchos de los investigadores, profesores y estudiantes, se dieron cuenta de que su participación había cambiado su visión del aprendizaje. Se dieron cuenta de que podía ser divertido, práctico y centrado en el grupo.  Las habilidades estaban siendo aprendidas, tal vez hasta más efectivamente que cuando la instrucción se fijaba en los instructores, en un contexto de trabajo que tenía un objetivo en el mundo real.

La investigación identificó temas periféricos que tienen grandes consecuencias para los estudiantes adultos. La red de soporte descrita arriba, es crucial para el éxito de la mayoría de los estudiantes; sin embargo, los políticos son ignorantes al respecto y frecuentemente sin darse cuenta la desintegran, haciendo por tanto más difícil que los estudiantes sean exitosos.

El Proyecto Changes hizo un borrador de recomendaciones para el área de trabajo, para los estudiantes, los lugares de trabajo y los políticos.

• Las recomendaciones en el área se centran en cómo hacer programas más efectivos al incluir las necesidades de los estudiantes, incluidas las no-académicas; mediante el fortalecimiento de la red de apoyo; incrementando la participación del estudiante en la toma de decisiones de la organización; proveyendo ayuda en la transición hacia los siguientes pasos (continuación de la educación, planificación profesional, empleo); y manteniendo una atmósfera organizacional de respeto mutuo y apoyo.
• El proyecto le recomienda a los estudiantes que tomen responsabilidad en la obtención de la información que necesitan, para obtener apoyo y para involucrarse y ser activos en sus programas.
• Las recomendaciones para los lugares de trabajo incluyen la provisión de estos para el desarrollo ocupacional y profesional de sus trabajadores (incluyendo escaleras profesionales dentro del lugar de trabajo, así como educación y entrenamiento); mantenimiento de una atmósfera de respeto mutuo e inclusión; reconocimiento y construcción de las fortalezas de los empleados, particularmente las de los inmigrantes; y sensibilización a la diversidad cultural de la fuerza de trabajo.
• Las recomendaciones del Proyecto Changes para los políticos y legisladores, aunque conciernen temas mayores, en algunos puntos son similares a las de los demás.  Sugieren el mandato para que los trabajadores inmigrantes con asistencia social desarrollen relaciones respetuosas con sus patronos; que se desarrollen políticas más efectivas solicitando la participación de aquellas personas a las que están dirigidas estas políticas; que la información y los servicios sean provistos en todos los idiomas que sean necesarios; que las políticas de asistencia social respondan a las necesidades reales de los receptores; que la educación y el entrenamiento sean planeados con miras hacia los requisitos del trabajo de asistencia social; y que las políticas motiven a los padres de familia a hacerse responsables de sus hijos.

La participación en el proyecto llevó a la acción por parte de los investigadores.  Esto fue tal vez la parte más prometedora y frustrante del esfuerzo.  Una de las grandes piezas de aprendizaje de los investigadores fue que la investigación de acción sí hace borrosa la distinción entre investigación, análisis y acción.  Cada uno de los equipos de investigación inició alguna acción, no tanto como un resultado de, sino más bien como parte integral de su investigación y hallazgos.

La investigación del Proyecto Cambio ayudó a que un grupo de escritura de padres adolescentes mejorara notoriamente, los cuales habían sido entrevistados por el equipo, y que querían escribir acerca de su situación.  Sus obras fueron incorporadas en una “Carta del Día de la Madre” grupal (con el título “¿Qué va a pasar con nosotros?”), que fue enviada a los legisladores, los medios y otros programas de educación para adultos. Como resultado, el periódico local publicó una historia sobre los efectos de la reforma en la asistencia social sobre los padres adolescentes e incluyó entrevistas con varios de los escritores.

El equipo CNA hizo presentaciones de sus recomendaciones a los empleados y administradores del programa, y también participó en concursos y apoyo directo con los legisladores para los derechos de los inmigrantes en la Casa de Gobierno.

El equipo Leer/Escribir/Ahora inició una campaña de envío de cartas a los representantes locales, estatales y nacionales detallando los efectos reales de la reforma de asistencia social acerca de los estudiantes adultos receptores.También participaron dando apoyo para la justicia económica, y finalmente publicaron un libro ampliamente distribuido (a legisladores, otros programas y el público) con las historias de muchos de esos estudiantes. Con esto esperan disipar los estereotipos de los receptores de la asistencia social y ayudar a la gente a comprender el verdadero apuro en el que se encuentran muchos estudiantes adultos.

El equipo ILI estaba centrado más cerca de casa. Golpeados por las historias de las personas a las que entrevistaron, los miembros del equipo asumieron la provisión de información y asistencia a los compañeros estudiantes del programa. Al igual que los otros, también se involucraron en el apoyo de los derechos de los inmigrantes asistiendo a concursos y otros eventos en la Casa de Gobierno y haciendo presentaciones acerca de su trabajo.

Finalmente, el equipo UMass Workplace Education (un equipo para la educación en el lugar de trabajo) respondió a lo aprendido de dos formas:

• Los miembros del equipo crearon un grupo de apoyo y solución de problemas, llamado Haciendo que el Trabajo Funcione, para poder explorar y afectar los asuntos relacionados con el lugar de trabajo.  Este grupo se ha reunido con un grupo de la Unidad Universitaria de Entrenamiento y Desarrollo para diseñar programas nuevos e involucrar a más empleados en la planificación.
• La segunda acción importante generada de la investigación del LMWEP es el desarrollo de una escalera profesional para los trabajadores universitarios, como resultado de reuniones con la unión y la administración universitaria que se iniciaron gracias al Proyecto Changes.

A pesar de que esta acción ha ayudado a los involucrados a sentir que ahora tienen más voz en sus propios destinos, también resulta frustrante.  Excepto por el progreso de LMWEP en el lugar de trabajo, la mayoría de las acciones tomadas tuvieron poco o ningún efecto en la situaciones tratadas. La reforma de asistencia social e inmigración han pasado como originalmente se planeó, con virtualmente ninguna concesión a las necesidades de las personas que están siendo privadas de la educación y el entrenamiento que podría ayudar a hacerlos financieramente exitosos y mejores ciudadanos. Los legisladores y otros han escuchado con compasión pero los resultados han mostrado poca simpatía por los pobres o los recién llegados.

Todo esto puede tomarse como excusa para dejar de intentar provocar el cambio social, pero también puede verse como el inicio de algo. Cierto número de personas que previamente se consideraban sin poder, han visto que al menos pueden luchar por lo que creen o lo que necesitan. Han aprendido, y han transmitido maneras de encontrar y examinar información que les dé más opciones. Y parece que están dispuestos a continuar practicando lo que han aprendido. Es en circunstancias como las creadas por el Proyecto Changes que las semillas del cambio empiezan a arraigarse. El nombre parece más apropiado.

Ejemplo #2

Cuando una compañía de reciclaje de desechos peligrosos procedente de otro estado hizo una propuesta a un pueblo de molinos económicamente deprimido de Nueva Inglaterra, de construir una planta en la comunidad, los líderes el pueblo se llenaron de alegría. La planta generaría un estímulo a la base impositiva y la compañía prometió que tanto los contratos de construcción como la mayoría de trabajos de la planta (descritos por ellos como bien pagados) serían para residentes locales. Sin mucha discusión, el pueblo accedió tentativamente a otorgar los permisos y a dejar de lado las regulaciones ambientales donde fuera necesario.

Sin embargo, algunos ciudadanos estaban preocupados. Se había programado que la planta fuera construida sobre tierra que drenaba al acuífero que alimentaba a uno de los dos pozos que abastecen al pueblo. A pesar de que la compañía aseguraba que el proceso era infalible y no generaba desechos (todo el desecho recolectado iba a ser reciclado en otros productos y no había posibilidades de contaminación debido a la operación) todavía parecía nada recomendable otorgar permiso para algo que sonaba tan peligroso sin conocer más al respecto.

El grupo de ciudadanos preocupados era de diversas procedencias. Uno de los líderes era maestro; otra era una madre soltera con asistencia social.  La membresía del grupo abarcaba la estructura social del pueblo. En contra de ellos, había oficiales locales preocupados por el crecimiento en un período de estancamiento económico y muchos de los ciudadanos subempleados o sin trabajo que esperaban que la planta fuera un medio de trabajo para ellos y una mejor vida para sus familias.

El pueblo se partió por la mitad, con oficiales que rehusaban ceder y con vecinos y viejos amigos que se dejaron de hablar. Los miembros del grupo preocupado comprendieron que tenían que entender todo lo que pudiera acerca de la compañía y su proceso y se dispusieron a hacer investigación sobre ambas. Aprendieron acerca del reciclaje de desechos peligrosos y acerca de los desechos que la planta aceptaría y los productos en los que pretendía transformar dichos desechos. Buscaron información sobre la compañía y descubrieron que tenía plantas operando en el oeste del país.

Los miembros del grupo llamaron a oficiales en las comunidades del oeste donde estaban localizadas las plantas, y se enteraron de que, de hecho, había habido algunos problemas ambientales. También averiguaron que los métodos propuestos por la planta en su mayoría no habían sido probados y que había muchos científicos que consideraban que tenían fallas serias. Armados con esta información, el grupo notificó a la prensa y organizó una reunión pública.

Después de una noche caótica pero productiva, el grupo convenció a suficientes personas de los problemas potenciales de manera  que los oficiales elegidos se vieron presionados a crear una comisión que estudiara el tema de la planta de reciclaje de desechos peligrosos. Varios miembros del grupo de ciudadanos preocupados fueron llamados a formar parte de esta comisión, junto con otros miembros comunitarios que estaban a favor de la planta.

Durante el transcurso de varias semanas, la comisión se reunió con los responsables de la compañía y continuó haciendo investigación sobre la ciencia del reciclaje de desechos peligrosos, recibió ayuda de químicos y físicos nucleares de la universidad estatal cercana. Muchos de los miembros de la comisión que inicialmente favorecieron a la planta empezaron a sospechar de los motivos de la compañía y cuestionaron su veracidad. Finalmente, la comisión decidió enviar dos de sus miembros a una de las plantas de la compañía.

La delegación de la comisión se encontró con una comunidad que sentía que le habían mentido. Había habido serios problemas de fugas relacionados con la planta y la compañía no había respondido bien. En vez de admitir el problema e intentar arreglarlo, los oficiales de la compañía intentaron pretender que no había nada malo y acusaron al pueblo de alarmista. Cuando finalmente fueron forzados por una agencia regulatoria para limpiar el desorden, tuvieron dificultad para hacerlo y muchos en el pueblo creían que aún no lo habían logrado.

Además, la compañía había prometido a la comunidad buenos trabajos para las personas locales, pero los trabajos no se habían materializado. Los bien pagados en la planta tenían como requisito títulos en química y otras ciencias, y los trabajos ofrecidos a los trabajadores locales con frecuencia eran de medio tiempo y los salarios no eran mejores que los que pagaba un supermercado reconocido a nivel nacional.

La comisión del pueblo de Nueva Inglaterra había escuchado suficiente. Regresaron y convencieron al pueblo a votar en contra de los permisos que la planta necesitaba. Sin embargo, antes de que esto pudiera suceder, la compañía retiró la oferta y buscó un sitio en otro lugar del país. Algunas personas del pueblo aún se sentían enojados por lo que veían como una pérdida de trabajos, pero la mayoría sentía que “habían esquivado la bala”.

Un grupo de ciudadanos se había convertido en un proyecto de investigación de acción participativa y había utilizado los resultados para tomar una acción efectiva en un asunto de importancia pública. Muchos de los involucrados en el esfuerzo aún están activos en la comunidad. Otros sintieron que su “momento de fama” se dio a un costo demasiado alto y se han retirado de la participación pública. En un pueblo pequeño, ese es uno de los riesgos de involucrarse en la investigación activa.

Tool: Involving Community Members in Evaluation

When community members are involved in evaluation, all aspects of the project, from identification of the question to dissemination of results, are more likely to reflect the priorities, values, and experiences of the community. In any evaluation or research project, community involvement can be considered along a continuum, where community members have increasing levels of influence and responsibility. This planning framework, which can be used by organizations responsible for conducting or funding evaluation projects, can increase transparency, establish shared expectations, serve as a starting point to further clarify roles, and increase accountability. Read more from the Amherst H Wilder Foundation website.

Download the PDF for the tool here.

 

Tool: Data Walks and Narrative Methods

A Data Walk is a participatory process that engages stakeholders, including community members, in interpreting visual data such as maps, charts, photos, and statistics. Stakeholders should be engaged in the design of Data Walks to select which data to display and identify appropriate spaces to host the walk. This collaborative approach increases ownership, strengthens interpretation, and supports sustainability by positioning community members as co-creators of insight rather than passive recipients of information. 

Evaluators can consider using the Theory, Context, Characteristics, and Methodology (TCCM) framework to organize and reflect on what emerges from the walk. Using a structured reflection process ensures that community narratives are not only heard but thoughtfully integrated into context-sensitive evaluation and decision-making. Read more from the American Evaluation Association website. 

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Cuáles son los intereses de estos grupos?

• ¿Quiénes son los líderes, evaluadores y autoridades de la comunidad?

• ¿Por qué debe usted entender los intereses de estos grupos?

• ¿Cuándo debe usted entender los intereses de estos grupos?

• ¿Cómo  determinar los intereses?

¿Cuáles son los intereses de estos grupos?

Ustedes pueden saber más sobre cómo le va a su grupo, pero otros que trabajan con usted desean saber si ustedes están produciendo una diferencia. Bienvenido al mundo de la evaluación. Si ustedes son una iniciativa de la comunidad, desearán evaluar su esfuerzo. Por lo tanto necesitarán dedicar algo de tiempo y energía para planear el proceso de la evaluación. Como muchos otros aspectos del desarrollo y salud de la comunidad, una evaluación será en última instancia más beneficiosa si usted gasta tiempo y energía buscando formas de comenzar y de terminar con éxito dicha  evaluación.

Un paso en el proceso de planificación incluye el entendimiento y reconocimiento de los intereses de los individuos involucrados en la comunidad y en la evaluación. Los individuos interesados e involucrados en la comunidad pueden ser líderes, evaluadores y financiadores de la comunidad, y usted deseará saber cómo será utilizada la evaluación por cada uno de ellos.

La evaluación debe responder a los intereses de estos tres grupos de individuos interesados e involucrados en la comunidad, y nada es más productivo que diseñarla juntos. La evaluación puede servir para los intereses de los líderes, financiadores de la comunidad y a los intereses de los evaluadores para obtener un producto útil, siempre y cuando usted conozca lo que se desea saber antes de que comience la evaluación. Es importante definir los intereses de los individuos  que están interesados e involucrados en la comunidad al usar la evaluación de modo que ésta pueda centrarse en responder óptimamente a las preguntas importantes para todos.

¿A qué nos referimos con necesidades e intereses? Las necesidades y los intereses son aquellos aspectos que los líderes, los evaluadores y los financiadores de la comunidad consideran importantes para hacer bien sus trabajos. Porque cada uno de estos individuos interesados e involucrados en la comunidad observan a la evaluación desde una perspectiva, esto ayuda a reconocer esas diferencias e incorporarlas en la evaluación.

Para los principiantes, es necesario considerar porqué desearía conducir una evaluación en  primer lugar.

Hay muchas razones básicas por las que los individuos interesados e involucrados en la comunidad desean una evaluación:

• Para ser responsables como servidores públicos
• Para ayudar a los que están recibiendo concesiones dentro de la comunidad
• Para mejorar las concesiones de un financiador
• Para planear e implementar nuevos programas
• Para difundir programas innovadores
• Para aumentar el conocimiento

Un individuo interesado e involucrado en la comunidad puede desear una evaluación para una o algunas de éstas razones. Los evaluadores  desearán aumentar el conocimiento, los promotores desearán mejorar las concesiones y los líderes de la comunidad desearán evaluar calidad. Los líderes comunitarios quizás no deseen contestar más que una entrevista telefónica de un estudiante interno, los evaluadores podrán estar interesados en preguntas sistemáticas y los financiadores pueden buscar responsabilidades.

Cuando llega el momento de evaluar, usted no necesariamente tiene que ser especialista para tomar buenas decisiones sobre lo que hará. Sin embargo, deberá estar bien informado sobre el uso y aplicaciones de las evaluaciones y cómo corresponden con los diversos intereses implicados, de modo que usted pueda hacer elecciones informadas.

¿Quiénes son los líderes, evaluadores y financiadores de la comunidad?

Líderes de la comunidad

Para seleccionar a los líderes se puede incluir al personal de trabajo, administradores, presidentes del comité, personal de la agencia, líderes cívicos y administradores de una iniciativa o de la comunidad. Estas personas pueden tener poco conocimiento sobre evaluación o bien no sentir que tienen mucho tiempo para proporcionar datos  o leer reportes de datos. Sin embargo, la evaluación debe ser responsable, útil y sensible a sus necesidades en la toma de decisiones. Ellos a menudo están interesados en cómo mejorar el funcionamiento de su programa.

Evaluadores

Los evaluadores son a menudo profesionales, aunque cualquier persona puede diseñar e implementar una evaluación. De hecho hay varias asociaciones profesionales que apoyan a evaluadores y han establecido estándares de las prácticas. Por ejemplo, la Asociación Americana de Evaluadores o su grupo de interés sobre la capacitación para la evaluación. Los evaluadores pueden ser consultores privados, personal de la universidad o de la fundación, o bien algún miembro del programa. Muchas veces los evaluadores están interesados en la producción sistemática de información útil y fiable.

Autoridades o proveedores de fondos

Las autoridades o financiadores son individuos u organizaciones que proporcionan apoyo financiero a la iniciativa. Se puede incluir a funcionarios de programa o a otros representantes de las agencias estatales, de las fundaciones, o de otras fuentes de apoyo financiero. Algunos financiadores han construido una evaluación formal dentro de sus actividades regulares, pero son minoría. Los financiadores están frecuentemente interesados en si el uso de sus fondos está teniendo un impacto en los problemas enfrentados por las comunidades.

¿Por qué debe usted entender los intereses de estos grupos?

Muy bien, entiende la idea en principio, pero ¿por qué necesita entender las necesidades de los líderes, evaluadores y autoridades? Las necesidades de información de varios grupos pueden ser muy diferentes, así que es importante considerar las clases de información que serán convincentes y útiles para las audiencias meta. Saber esto le ayudará a decidir qué información es necesaria y las herramientas que usted podría utilizar para obtenerla.

Mientras que usted sepa que su grupo hace un buen trabajo, las posibilidades de que otros miembros importantes de la comunidad no saben lo que usted hace son altas. Por lo tanto, otros que han apoyado y han animado sus esfuerzos desearán saber qué ha funcionado y qué no ha funcionado; qué deben cambiar y qué debe permanecer igual. Debido a que estos grupos o individuos pudieron ser útiles para ayudar en su trabajo, financieramente o de otra manera, tiene buen sentido el incluir sus necesidades en el proceso de la evaluación.

Aún más importante es el requisito de que la información utilizada sea útil. La pregunta es: ¿Para quién es útil? Si no hay dirección en su recolección de información, usted puede reunir información acerca de cualquier cosa que usted desea, pero ¿qué hacer con ésta? Si no le interesa a nadie, no tiene sentido. Si recaudo información sobre el número de personas a las que mi agencia atiende, puedo encontrar eso útil, especialmente si me reembolsa por ese número. Pero qué tal si alguien realmente quiso saber si los esfuerzos de las agencias en la ciudad tuvieron un impacto en los problema de salud. Quizá el número de personas que son atendidas en una agencia podrá no ser tan útil.

Los intereses, que nos ayudan a determinar la información que necesitamos, nos conducen a desarrollar las herramientas para recopilar la información. En otras palabras, es el interés de estos implicados lo que da forma a los requerimientos.

• ¿Cuáles son los intereses de los interesados e involucrados?
• ¿Qué información puede ayudarles?
• ¿Qué preguntas hará usted para conseguir esa información?
• ¿Qué herramientas le ayudarán para recopilar la información?

A largo plazo, incluir a los interesados en el proceso conducirá a una mayor colaboración y  capacidad organizacional para solucionar los problemas de la comunidad. Entendiendo los intereses de los interesados le capacitará para emplear mejor sus recursos. Saber lo que todos desean y necesitan le ayudará a planear una  óptima evaluación.

¿Cuándo debe usted entender los intereses de estos grupos?

Usted deseará identificar a los patrocinadores desde el inicio. El proceso de identificación antes de que usted comience a evaluar, le capacitará para obtener sus opiniones e incorporar sus ideas y necesidades dentro de la evaluación en sí misma.

Por supuesto, cuanto más pronto usted identifique las necesidades e intereses de esos grupos, más pronto usted será capaz de alcanzar la comprensión de las diversas cuestiones  en las que cada grupo está interesado sin perder tiempo ni dinero. Usted también tiene que estar atento por si los intereses cambian, usted pueda adaptarse a esos cambios de una manera oportuna y mantener a su evaluación válida.

¿Cuáles son los intereses de estos grupos?

¿Cómo encontramos a esta gente?

Antes que nada, usted y los otros miembros del grupo necesitarán sentarse y pensar  en los individuos y grupos que tienen necesidades que se deban tratar en la evaluación. Usted debe tratar de comprender cuáles son sus intereses.

Por supuesto, algunas personas pueden preguntar "¿Por qué ellos? Los intereses y necesidades de nuestro grupo deben ser el foco de la evaluación". En un sentido, esto es cierto. Uno de los propósitos principales del proceso de la evaluación incluye el proporcionar retroalimentación e ideas para el grupo mismo para que así, los miembros pueden mejorar y consolidar sus esfuerzos. Pero recuerde, todos están juntos en esto, los financiadores de la comunidad y aquellos que conducirán la evaluación. Usted desea la mejor información posible que le ayudará a usted a tomar las mejores decisiones.

Pero al mismo tiempo, hay que considerar otros factores.

Durante el curso de su sesión de tormenta de ideas, usted deberá identificar a tantos posibles interesados como sea posible.

Para identificarlos, hágase estas preguntas:   

• ¿Quién proporciona la financiación para nuestro programa?
• ¿Quién conducirá la evaluación?
• ¿Con quién colaboramos?

Una vez que usted sepa quiénes son estas personas, descubra qué es lo que quieren. Primero, observe a esos grupos. Luego, hablaremos de las necesidades e intereses específicos de los miembros de cada uno de estos grupos.

Liderazgo comunitario

¿Qué necesitará este grupo de su evaluación? La información debería ser:

• Clara y comprensible: Pueden tener un conocimiento limitado sobre los asuntos de su grupo o sobre evaluaciones. Inmediatamente, entonces, usted sabe que la evaluación debe ser clara y comprensible.
• Eficiente: Tienen probablemente una variedad de diversas responsabilidades que exigen su tiempo y consideración, así que no desearán perder el tiempo leyendo información irrelevante para sus necesidades.
• Adaptada: Pueden incluir personas que toman parte en la toma de decisiones que pueden afectar el futuro de su grupo. Por lo tanto, su evaluación necesita ser capaz de responder a sus requerimientos en la toma de decisiones.
• Sensible: Desearán saber lo que la iniciativa ha logrado, así que la evaluación debe ser sensible a las actividades y logros del programa.
• Útil: Incluirán toma de decisiones para el programa, así que la evaluación necesita mostrar cómo sus esfuerzos pueden ser mejorados.

Evaluadores

Este grupo de personas evaluarán la eficacia del programa para alcanzar sus metas. ¿Qué necesitan obtener de la evaluación?

• Entradas: El equipo de evaluación necesita recibir información procedente de los participantes en el programa -- incluyendo líderes comunitarios, financiadores y los miembros del programa, para saber lo que desea aprender acerca del mismo.
• Información exacta y completa: Dentro del mismo estilo, los evaluadores necesitan información exacta y completa para contestar a las preguntas planteadas por los interesados.
• Cooperación: Finalmente, los evaluadores necesitarán la cooperación de participantes y personal para obtener los datos necesarios.

Patrocinadores o financiadores

Necesitarán:

•  Informes claros y oportunos: Debido a sus responsabilidades de tomar decisiones referentes a la continuación del apoyo financiero, las autoridades necesitarán la información sobre el progreso de la iniciativa.
• Evidencia del cambio y del impacto en la comunidad: Las autoridades necesitarán ser capaces de medir el éxito de la iniciativa y reportar esto a sus propios administradores o componentes.

¿Cómo  determinar los intereses?

Ahora usted sabe qué intereses está buscando, usted tiene que determinar una manera de encontrarlos. Usted necesita asociar a la gente con sus intereses, ya sea mediante una encuesta, una entrevista o algún otro método. El fallo en determinar los intereses es a menudo la fuente de problemas y malentendidos a lo largo del camino y puede llegar a ser desastroso al final, cuando resulta que los diversos patrocinadores tenían diferentes expectativas y prioridades.

Algunas de las preguntas que usted puede hacerle a los patrocinadores para asociarlos con sus intereses en una evaluación son:

• ¿Cuáles son las fuerzas y debilidades de la evaluación?
• ¿Usted cree que la evaluación va dirigida hacia sus resultados deseados?
• ¿Qué clase de problemas de implementación surgieron y cómo están siendo tratados?
• ¿Cómo están interactuando el personal y los clientes?
• ¿Qué está sucediendo que no se esperaba?
• ¿Qué le gusta, disgusta o quisiera cambiar en el proceso de la evaluación?

¡Error! No se encuentra el origen de la referencia. Desde las respuestas que usted obtiene, usted puede determinar perfectamente lo que parte desea de la evaluación. Usted puede incluso agrupar a los que tengan intereses similares. Por ejemplo, usted puede descubrir que un líder de la comunidad y un evaluador están interesados en mejorar sus habilidades de gestión o dirección a través del proceso de la evaluación. Usted hizo una asociación, y probablemente ellos trabajarán hacia una meta común.

Aquí hay algunas maneras de determinar intereses y de asociarlos con los interesados:

• Entrevistas: Consiga un representante de cada grupo de interesados y pregúntele. Sea directo en sus preguntas de modo que usted pueda conseguir tan rápido como pueda el punto que usted está tratando de entender, es decir, qué intereses tienen estos interesados y si corresponden con los intereses de algunos otros.
• Encuestas: Usted puede enviar un cuestionario escrito para evaluar cómo los interesados ordenan sus intereses y que grupo desea qué. La encuesta debe ser breve y directa, haciendo preguntas claras acerca de la evaluación en términos de la calidad y metas. Los resultados de la encuesta son fáciles de utilizar y pueden ser útiles para la presentación de la evaluación.
• Encuestas por teléfono: Pueden ahorrarle tiempo y dinero, si las está haciendo en la región. Puede utilizar las mismas preguntas que utilizaría en una encuesta escrita, pero deje más espacio para comentarios, pues la gente tiende a hablar más cuando se dirigen a una persona en el teléfono. Asegúrese de que en sus encuestas por teléfono no se alejan del objetivo.
• Sesiones de lluvia de ideas: Acuerde una reunión con los representantes de los interesados y realice una tormenta de ideas sobre los intereses y posibilidades de los resultados de la evaluación. Plantee problemas tales como la continuidad del programa, obtención de fondos, coordinación de actividades, atracción al personal, y deje a  los interesados expresar su opinión. Gracias a la lluvia de ideas, todos saldrán con nuevas ideas y con una noción mucho mejor de las ideas de los demás.

Además de esos métodos, después de la evaluación usted debe conducir siempre una encuesta de opinión. Esto beneficiará a las audiencias y a los responsables de la toma de decisiones externos. Recuerde reportar en la evaluación, si los cambios necesitan ser realizados, no tener miedo de continuar con ellos.

Recuerde que las decisiones sobre cómo mejorar un programa tienden a ser tomadas en pasos pequeños y añadidos, basados en los resultados específicos que pretenden hacer de la evaluación un proceso mejor para todos los patrocinadores implicados.

Ahora armado con esta lista de necesidades e intereses, usted puede encontrar o desarrollar las herramientas para obtener la información útil. Las siguientes secciones explorarán las maneras de seleccionar a un equipo de evaluación y de presentar algunas preguntas clave para el proceso de la evaluación. Más adelante, ¡discutiremos sobre cómo evaluar su iniciativa de la comunidad!

En resumen

Una vez que usted tenga una idea clara de lo que realmente desea cada interesado, es muy probable que usted tenga éxito en su evaluación. Asegúrese de revisar con frecuencia los intereses de todos los interesados involucrados de modo que usted no pierda el foco de lo que está buscando con su evaluación. ¡La parte difícil de su trabajo de evaluación comienza ahora!

___Usted comprende por qué es importante conocer los intereses de los líderes, evaluadores y autoridades.

___Usted sabe quiénes son los interesados.

___Usted comprende los intereses de los líderes de la comunidad.

___Usted comprende los intereses del financiador.

___Usted comprende los intereses del evaluador.

___Usted comprende cuándo usted debería comprender los intereses de estos interesados.

___Usted sabe cómo identificar a los interesados.

___Usted conoce las necesidades de cada interesado.

___Usted sabe cómo determinar los intereses.

___Usted comprende los intereses implícitos en la evaluación.

Ejemplo # 1: Razones para evaluar

Distintas organizaciones tendrán diversas razones para implementar una evaluación y diferentes intereses estarán en juego. Por ejemplo, cierta organización puede desear centrarse en el aumento de la calidad de sus programas de concesiones. Otra organización puede estar interesada en llegar a ser más responsable. Estando enterado de estos intereses es fundamental entender cómo los intereses deben ser equilibrados. Aquí ofrecemos una tabla con los ejemplos hipotéticos de la clase de intereses que las organizaciones pueden tener.

 

Fundación / Organización	Interés
El programa conmemorativo de confianza solicitud para oferta de Meyer	Mejorar programas de donación, mejorar las ganancias de concesiones
El programa para las organizaciones de los artes de la fundación de L. J. y Mary C. Skaggs	Ser responsable, mejorar las ganancias de concesiones
El programa de la juventud en riesgo de la fundación de Winthrop Rockfeller	Mejorar programas de donación, diseminar programas exitosos
El programa de las ciudades en escuelas	Aumentar el estado de conocimiento
El proyecto de la tecnología para la alfabetización	Ser responsable, mejorar la calidad de evaluación de las ganancias de concesiones o el impacto del programa
El programa de carrera/vocacional de la fundación de Guillermo Penn	Ser responsable, mejorar programas de donación, mejorar las ganancias de concesiones
El programa de Gautreaux	Aumentar el estado de conocimiento
Las concesiones de la fundación de W. K. Kellogg	Ser responsables, mejorar programas de donacón, mejorar las ganancias de concesiones, evaluar la calidad o el impacto de programas/concesiones, planear nuevos programas, diseminar programas exitosos

 

Ejemplo # 2: Conduciendo a una comunidad

En última instancia, la comunidad es la más afectada por los resultados de una evaluación. Es por eso que los líderes de la comunidad desempeñan un papel determinante en el juego de interés de las evaluaciones. Lisa Adkins sabe bastante sobre su comunidad. Ella es la directora ejecutiva de los Amigos de la Juventud (Youth Friends) en la ciudad de Kansas. A través de Amigos de la Juventud, enlazan a los estudiantes con voluntarios que tienen un interés compartido, ya sea música o deportes, computadoras o un pasatiempo especial para crear un ambiente en el cual cada joven que necesite un adulto que cuide de su vida, lo tenga.

Lisa habló con nosotros sobre cómo sus intereses como líder de la comunidad interfieren en el proceso de la evaluación. Sin embargo, según Lisa, el conflicto de intereses no ha sido un problema en su proceso de evaluación. Dijo que el trabajo entre los evaluadores, los financiadores y ella misma como líder de la comunidad es generalmente de una naturaleza cooperativa y todos trabajan juntos hacia una meta común. Ella considera el proceso de la evaluación como una experiencia positiva para su organización, una vez que consigan la oportunidad de repasar sus programas y de cambiar lo que se necesita cambiar. Así pues, las evaluaciones son un elemento constante en su trabajo.

Su principal interés, dijo Lisa, era recibir retroalimentación en los programas que los Amigos de la Juventud proporcionan y las evaluaciones son una excelente forma de conseguir respuesta de la comunidad. Los Amigos de la Juventud pueden ajustar sus servicios mientras que la necesidad se origine dentro de la comunidad. Lisa precisó que siempre ella era la más interesada en los resultados de la evaluación puesto que podrían cambiar su acercamiento a cierto programa y mejorarlo drásticamente.

Ejemplo # 3: Evaluando al evaluador

Cuando se pretende suponer los intereses en el juego de la evaluación, el evaluador es el personaje principal. Vince Francisco conoce bien este juego. Ha trabajado como evaluador con distintas organizaciones basadas en la comunidad, realizando evaluaciones de programas. Ha realizado evaluaciones de programas de vigilancia comunitaria, programas de prevención de enfermedades crónicas y cardiovasculares, desarrollo de la juventud, prevención de abuso de drogas, prevención del uso del alcohol, iniciativas del control del tabaco, prevencón del embarazo adolescente e iniciativas generales del desarrollo de la juventud. Aquí Vince habla de cómo los intereses del evaluador influencian el resultado del juego.

"Intento descubrir inmediatamente quiénes son los jugadores dominantes y qué quieren que sea contestado. Como evaluador, lo que presento es un conjunto crítico de preguntas que hago a la gente. A veces sentado mirando a la gente en acción y otras veces es haciendo preguntas muy acentuadas a la gente dominante acerca de lo que desea hacer, por qué lo está haciendo. Trabajo con la gente para llevarla al siguiente nivel y hacerlo un poco más formal en términos de sugerir una cierta evaluación desde diferentes puntos de vista. Si no entendemos su programa, no podemos ir a ningún lado con su evaluación. Consigo un motivo de su programa (y yo) les ayudaré a hacer sus vidas más fáciles, ayudarlos a ejecutar mejor su programa o iniciativa, ayudarlos a conseguir más dinero, influenciar a los jugadores dominantes de la comunidad para estar de su lado, los grandes beneficios".

Para encontrar los otros intereses implicados en una evaluación, Vince dijo que él habla con la gente hasta que él comprende sus roles. "Busco las voces más ruidosas y después busco las voces más silenciosas - los cuales son generalmente los jugadores dominantes. Las voces más ruidosas hablan generalmente para sí mismos y no para la comunidad. Y la gente que es la más reservada y callada, es la gente que realmente tiene una voz en la comunidad, pero están siendo ahogados por la gente ruidosa. La gente muy ruidosa consigue generalmente su camino y se convierten en jugadores dominantes, por lo que deseo saber quiénes son y cuál es su agenda. Y entonces, encuentro quienquiera que sea a la gente más reservada, y generalmente es la gente que se sienta en el fondo. Comienzo a hablar con la gente y eventualmente hay algunas personas que hablan allá atrás. Conjeturo que apenas comienzo a hablar con la gente y (trabajo con) son ellos los que terminan por hablarme directamente a mi. Y combino mucha conversación".

Por supuesto, Vince dijo que sus propios intereses también influencian el resultado de la intervención. Para balancear esta ecuación dijo que él piensa en el grupo entero o en la comunidad entera como sus clientes. Hablando con la gente, consiguiendo la información y formándolos, Vince produce algo que funciona con sus clientes. "Perfilo y defino el programa: ¿Cuál es la iniciativa?, ¿Qué impresión dá?, ¿Quiénes son los jugadores dominantes?, ¿Cuáles son los componentes y elementos del programa?, ¿Quiénes son las blancos del cambio?, ¿Quiénes son los agentes de cambio? Una vez que consiga un motivo de esto, lo conecto con algunas preguntas clave. Recolecto datos de la evaluación. En qué datos de la evaluación la gente creerá como evidencia que estas cosas están siendo implementadas realmente y cuál será la clara evidencia de que estas cosas son acertadas y exitosas? Combino eso con los componentes y elementos apropiados en un modo sistemático y muy lógico. Busco formas para los procedimientos que economicen en la recolección de datos. Voy directo al punto. No hago demasiadas encuestas que la gente tiene que estar gastanto su tiempo en llenar".

A veces, sin embargo, los intereses entran en conflicto y Vince habla de lidiar con esta clase de situación. "Generalmente, encontrará pocas personas que están realmente a bordo y muy interesados en la evaluación. Mucha gente piensa que los evaluadores no proporcionan ni recaudan información útil y necesaria y por lo tanto no participan en las encuestas. Mi meta es hacerlo tan simple como sea posible. Así que, mi truco es entrar y en cierto modo observar a la gente. Trabajar con gente que le interesa y desea participar conmigo al principio y después, convencer a todos que esto les es útil". Vince precisó que dependiendo de cuan político es el paso del programa, la evaluación puede no ser tan precisa.

Vince no tiene una receta sobre como lidiar con todos los intereses implicados en una evaluación. "Todo lo que sé es que hago juegos malabares con todas las bolas y las mantengo todas en el aire. Y miro a todos los diferentes patrocinadores. Quién es el agente de financiamiento y cuál es su interés en todo esto. Tengo que cerciorarme de que su interés está representado. Intento dar a todos la misma información exacta, así que estamos todos avanzando juntos. Esa es la manera que considero las cosas que intento cambiar. Pongo a todos a hablarse unos a otros de una manera verdadera y no participo en rumores". Vince dijo que los evaluadores tienen una posición única porque pueden mantener a la gente responsable de sus palabras. "No sé si (el evaluador) es más o menos importante que cualquier otro (interés). Pero sin eso, no te va bien. Si deseamos conseguir resultados duraderos, tenemos que centrarnos en el cambio del comportamiento. Tenemos que centrarnos en cambiar los sistemas que están controlando el comportamiento".

Ejemplo # 4: El papel del proveedor de fondos o patrocinador.

Jeff Usher representa un interés muy importante en el proceso de la evaluación: el proveedor de fondos. Él es un oficial de programa en la Fundación de la Salud de Kansas, una organización filantrópica que proporciona concesiones para mejorar la calidad de la salud en Kansas. Aquí él habla de implementar evaluaciones y de ajustar intereses.

"Deseamos (ver) cambios, deseamos realizar un cambio de comportamiento o un cambio de la comunidad. En la fundación, probablemente del 10 al 20% del presupuesto total, será para la evaluación. La evaluación, por supuesto, será tanto de naturaleza cualitativa como cuantitativa. Deseamos ver los resultados, cualquiera que estos sean; si es embarazo adolescente, quisiéramos ver reducciones de embarazos adolescentes. Así que queremos ver resultados significativos. Normalmente nos encontraremos con gente que tiene experiencia en esa área determinada para conducir la evaluación".

Una vez que los resultados están adentro, Jeff dijo que es hora de decidir qué procedimientos emplear. "Si no parece que la iniciativa esté trabajando, comenzamos claramente a perder el interés en la continuación del proyecto de esa manera. A menudo, la porción de la evaluación del proyecto está después del hecho; la iniciativa ya está encima, para la mayor parte. Si regresa y parece que la iniciativa era acertada y los resultados entraban en la dirección que anticipamos, entonces podemos hacer otro giro de esa iniciativa. Por ejemplo, el proyecto de la Escuela Comunitaria para la Reducción del Riesgo Sexual (School Community Sexual Risk Reduction Project), que ahora está en su segunda fase. Dependiendo de las iniciativas, si parece que está pasando algo más, podríamos continuar trabajando con eso, o podríamos hacer unos pequeños cambios a esta iniciativa para hacerla más eficaz".

Jeff dijo que balancear los intereses entre los financiadores, los líderes comunitarios y los evaluadores no es tanto un problema para él. "No creemos tener muchos problemas cuando trabajamos con los evaluadores y en tanto sea una fundación privada, no escuchamos muchos problemas". Jeff dijo que algunas veces él experimenta problemas con algunos evaluadores con respecto a los métodos de la evaluación. "Podemos regresar algunas evaluaciones que están midiendo más bien el proceso que los resultados, y claramente, queremos ver resultados. Hasta balancear a la donación y al evaluador, normalmente, el evaluador es un donador también, así que en un sentido existe cierta responsabilidad que deseamos ver del evaluador, y pediríamos eso. Claramente hay ciertas cosas que deseamos ver en esa evaluación. Por ejemplo, acabamos de hacer un acuerdo del memorando para una evaluación en un proyecto que empezaremos el próximo año. Deseamos ver un cambio en la cultura del campus, centrada alrededor del abuso de alcohol. Perfilamos esto en el memorándum cuando comenzamos a negociar, así que esperamos ver eso".

Uno de los intereses del proveedor de fondos es vigilar cómo el programa dirige sus negocios. Así pues, Jeff dijo que en cada acuerdo del memorando, ellos permiten a su fundación realizar visitas de sitio, hacer que entren terceras personas y revisen los libros financieros y cómo va el programa. "Raramente perseguimos eso. La única vez que miraríamos eso es cuando conseguimos un reporte de condiciones y pedimos informes de todos los donadores que deseamos ver, los cuales no conocen todavía los objetivos. Así pues, para casi todas nuestras iniciativas importantes, tendremos un componente de la evaluación y tendremos a alguien examinándolo. Deseamos ver cambios de comportamiento, cambio de sistemas, cambios en la cultura centrada alrededor de la salud y del bienestar de comunidades y a individuos en comunidades."

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Por qué prestar atención a la selección de los evaluadores?

• ¿Cuándo se debe escoger a los evaluadores?

• ¿Cómo se puede decidir entre  evaluadores profesionales y comunitarios u otros evaluadores voluntarios?

• ¿Qué se debe buscar en la elección de evaluadores?

La apertura de las cuatros secciones de este capítulo ha sido en gran medida sobre la teoría: sobre qué son las evaluaciones de las iniciativas y organizaciones basadas en la comunidad, por qué son importantes, y algunas ideas esenciales sobre cómo éstas deben ser realizadas y a cuáles intereses necesitan servir. Esta sección y la próxima tratan del inicio del proceso de creación de una evaluación; por ejemplo, escoger a los evaluadores que la realizarán y planificarán cómo ésta lucirá. Las dos están bastantes relacionadas, pero probablemente tiene más sentido escoger a los evaluadores primero. Después, en consulta con la organización, la comunidad, y la población meta, ellos llegarán a un plan para ayudarle a obtener la información que se necesita para ser, o continuar siendo tan efectivo como sea posible.

¿Por qué prestar atención a la selección de los evaluadores?

Una evaluación no es simplemente una manera de mirar a tu organización o iniciativa y decir, "Lo está haciendo bien." Ésta debe examinar lo que están haciendo desde varios ángulos y perspectivas diferentes, y no solamente debe darte un sentido claro de que si estás logrando o no tus metas, pero dónde yacen tus fortalezas y debilidades, de cómo mejorar lo que haces, y de nuevas direcciones para explorar. Sin importar lo bien planificada—y debe de estar planificada—aún necesitarás evaluadores que tengan las destrezas y el conocimiento de mirar con atención tus situaciones particulares con exactitud.

La verdadera razón para una evaluación es su utilidad en mejorar la organización. Cuanto más y más precisa es la información que se obtiene, y mejor se analiza, más útil será para ayudarte a identificar y construir las fortalezas de la organización y a destacar y corregir las áreas que se necesitan trabajar. Una evaluación bien concebida puede además ayudarte a adaptarte a las necesidades cambiantes en la comunidad o en la población meta; aprender más sobre las repercusiones del problema en el cual estás trabajando provee una base para la abogacía, y ayuda con la recaudación de fondos. Como resultado, es importante que tus evaluadores hagan el mejor trabajo que ellos puedan hacer.
Es posible que puedas contratar evaluadores, o puedas escoger voluntarios del personal o de la comunidad con la cual trabajas. O simplemente puedes elegir un equipo de planificación que pueda seleccionar a los evaluadores.

En cualquiera de estos casos, los individuos concretos seleccionados podrían influenciar la forma de la evaluación que obtienes, y qué tipo de resultados logras de ésta.

Aunque esta sección trata tanto a los evaluadores profesionales como a los no profesionales, se entiende que la mayoría de las organizaciones podrían tanto realizar evaluaciones por ellos mismos (por ejemplo, usando miembros del personal participantes, y/o registros de la organización para recoger y analizar la información), use  a un individuo o a un equipo de la comunidad, o encuentre a un profesional para  ayudarle con la evaluación de forma gratuita. Nosotros hemos tratado de cubrir todas las posibilidades que podíamos, para que así la organización pueda ser capaz de considerar cuál es el mejor uso que se le puede dar a los recursos que tienen para obtener la evaluación que desean.

Lo mismo es verdad para la comunidad u otro equipo de planificación. Un equipo de planificación es una de muchas posibilidades, dependiendo otra vez en los recursos de la organización y en esos recursos se incluye el tiempo. Una evaluación que no es perfecta, pero que es útil en muchas formas es mucho mejor que ninguna evaluación. Un equipo de planificación es una gran idea, pero no lo es si la idea de unirlos y trabajar con uno evita que la organización intente una evaluación. El propósito de esta y de todas las secciones de la Caja de Herramientas  no es crear cajas para que  ajustes en ellas a tu organización, pero si para proveer tantas opciones como sean posibles.

Si contratas profesionales, por lo general tanto una firma consultora o un grupo de una universidad, ellos tendrán formas particulares de realizar una investigación, consideraciones especiales sobre qué es lo que una evaluación debe de cubrir, y sus intereses particulares, todos estos pueden o no coincidir con lo que necesitas lo que quiere la comunidad. La comunidad y los evaluadores internos también, dependiendo de los individuos involucrados y los grupos que estos representan, estos pueden tener sus propios prejuicios, intereses, y necesidades las cuales pueden influenciar dependiendo de cómo ellos pueden ver el proceso de evaluación y la evaluación en sí misma. Lo mismo aplica para los estudiantes graduados u otros quienes puedan donar de su tiempo para realizar o ayudar con una evaluación. Es extremadamente importante seleccionar personas cuya agenda combinen con la tuya o que pondrían sus propias agendas de lado y que respondan directamente a las necesidades y a los deseos de la organización o la iniciativa y la comunidad. Sólo entonces podrás terminar con una evaluación que sirva a tus mejores propósitos.

¿Cuándo escoger a los evaluadores?

La respuesta breve a esta pregunta es “tan pronto como sea posible.” Las evaluaciones no deben de empezar al final del proyecto. Ellas deben hacerse en el transcurso para que la información pueda ser usada continuamente para mejorar lo que estás haciendo. Un equipo de planificación probablemente debe ser escogido cuando la organización o la iniciativa comienzan, o aún antes, a fin de que la evaluación pueda ver no solo lo que ha hecho la organización, sino  como ha cambiado durante el periodo de evaluación.

Muchos donantes requerirán evaluaciones desde el inicio de sus subvenciones. La subvención para un programa de alfabetización, por ejemplo, estipula que el 10% del dinero sea  usado para evaluaciones en el primer año del programa. Un estudiante graduado de la Universidad de  Massachussets  fue contratado al iniciar el programa, y él realizó una evaluación la cual involucraba sus visitas al salón de clases durante el año, reuniones  regulares con el personal del programa. Al final del año,  él logró no solamente tener una completa imagen del programa, si no también el sentido de su movimiento y crecimiento en el tiempo. La evaluación fue de ayuda para la orientación del programa durante el año siguiente.

Como se aprecia a continuación y en las secciones subsecuentes, es importante conocer tu comunidad y sus necesidades, también como las necesidades de la organización o de la iniciativa, antes de proponerse a evaluar. Si tu organización o iniciativa  apenas está empezando, a veces tiene más sentido esperar un momento hasta que se tenga un claro entendimiento del contexto de la evaluación antes de empezar a escoger a los evaluadores.

Contexto de la evaluación.

Este término se relaciona a si una organización con los recursos para hacerlo puede o no decidir contratar evaluadores profesionales. El contexto se refiere a la situación singular de la organización, iniciativa o la comunidad evaluada, la combinación de factores geográficos, históricos, políticos, sociales, culturales y otros factores que puedan conformar esta situación. El entendimiento de este contexto es básico para comprender cómo abordar a esta comunidad en particular para evaluar a esta organización en especial.

Un ejemplo: La evaluación de un intento para establecer un programa de alfabetización de adultos en un área rural mostró que en el primer año, el programa falló en atraer muchos estudiantes. Esto se veía como un fallo y estaba en peligro de perder su subvención. Pero el personal del programa tenía el conocimiento sobre dos cosas que los evaluadores y los donantes al principio no conocían, los habitantes eran campesinos, y sospechaban de todo y eran lentos en aceptar “foráneos,” y segundo, que otros programas habían iniciado pero únicamente habían durado un año, porque no atrajeron a muchos estudiantes. El personal expresó su punto de vista tan convincentemente, expresando que el elemento perdido en los esfuerzos previos fue el tiempo, y que éstos por abandonar los programas anteriores confirmaron la creencia de los residentes del área de que los foráneos realmente no se preocupaban por sus problemas, y que no eran serios en el esfuerzo de ayudarlos. El programa continuó, y al final de su segundo año era próspero, porque las personas del lugar les creyeron que permanecerían. Ahora, 15 años más tarde, el programa se ha convertido en parte importante de la comunidad y siempre está lleno en su máxima capacidad.

¿Cómo se puede decidir entre  evaluadores profesionales y comunitarios u otros evaluadores voluntarios?

La evaluación es en realidad un tipo de investigación: se trata de la recopilación sistemática y después sacar conclusiones de ella. Hay personas que participan en investigaciones de varios tipos: estudiantes y académicos y muchos consultores que realizan investigaciones como su profesión. Si la evaluación es investigación, tendrá sentido contratar investigadores profesionales para realizar la evaluación, ¿verdad?
Bien, sí y no. En muchos casos, es verdad que un investigador profesional hará un mejor trabajo. Pero en otras situaciones, no será del todo verdad, por variadas razones.

Antes de decidir con quién realizar la evaluación, hay un número de cosas a considerar:

Dinero

Este puede ser muy importante, especialmente para nuevas y pequeñas organizaciones. Generalmente, mientras más local es tu base menos dinero tendrás. Si tienes un donador que requiere, o desea pagar la evaluación como parte de la subvención, entonces  contratar a un profesional es por lo menos una opción. Si no hay dinero disponible y no hay posibilidad de obtener alguno, la comunidad u otros voluntarios pueden ser la respuesta.

En una situación donde creas sea necesario tener evaluadores profesionales, o por lo menos guía profesional, puedes tratar de recaudar fondos para lo que necesitas (una alternativa difícil, a menos que tengas mucho tiempo para invertir y una gran base comunitaria), o encontrar un tutor voluntario en una escuela vocacional o en la universidad. Frecuentemente los estudiantes graduados, en particular, están dispuestos a hacer consultorías, o aún a realizar las evaluaciones, sin cobrar, ya sea por la experiencia, o porque la investigación se ajusta a su tesis o algún otro trabajo que estén haciendo. Otras posibles fuentes de varios niveles de asistencia pueden incluir otras agencias de servicios humanos y de salud o iniciativas, gobiernos locales, o una unidad de recaudación de fondos o propuesta (para una fundación local, por ejemplo) específicamente dirigida a financiar una fundación.

En un caso, el instructor de un curso de postgrado en Evaluación de Programa hizo la propuesta a las agencias comunitarias y a las organizaciones para ayudarlas a que sus programas sean evaluados. Las organizaciones con propuestas exitosas fueron cada una recompensadas con un equipo de estudiantes graduados quienes trabajaron en las evaluaciones con ellos durante el curso del semestre. Al final, hubo un evento público para el cual las agencias fueron invitadas, donde ellos expusieron los resultados globales, y recibieron copias de los “Consejos del Programa de Evaluación,” escrito por los estudiantes graduados. Este proceso produjo evaluaciones útiles para las agencias, invaluable experiencia práctica para los estudiantes graduados, y fuertes conexiones entre la universidad y la comunidad.

Dejando de lado la realidad del dinero, si tienes la opción de considerar a los profesionales, los temas siguientes entran en juego.

La complejidad de las evaluaciones.

Para algunas organizaciones o iniciativas, una evaluación puede ser relativamente sencilla. Ellos simplemente quieren medir si sus objetivos específicos se están cumpliendo. Después de una iniciativa de educación pública, ¿es significativa la cantidad de niños vacunados este año en comparación al año anterior? ¿Están los alumnos del programa de alfabetización ganando destrezas en la lectura, escritura, y matemática? ¿Cuál es el porcentaje de los participantes del programa de abuso de sustancias que están libres de sustancias en periodo determinado de tiempo? Si estas son las clases de preguntas que necesitan ser respondidas, una evaluación puede ser bastante simple. Pero y qué ¿si las preguntas a realizar son más complejas? ¿Fue la iniciativa, o algún otro factor, o una combinación de factores que produjo el incremento en las tasas de vacunación? ¿Cuáles son los factores medioambientales que influyen en el progreso de los alumnos de alfabetización? ¿Qué tienen en común los abusadores de sustancias que los hace recaer? El método para encontrar la respuesta a estas preguntas puede necesitar ser más complejo también. Este tema no es tan claro, sin embargo, por el hecho de que a veces un conocimiento más profundo de la comunidad puede hacer más para responder preguntas complejas que el conocimiento de métodos de investigación. Si tienes la opción de usar a un profesional, tendrás que decidir si es o no realmente la mejor idea aquí.

El tipo de información deseada y cómo necesita ésta ser analizada.

Si estás reuniendo datos cuantitativos (por ejemplo, números) a menudo no es posible simplemente mirarlos y llegar a conclusiones. Hay procedimientos estadísticos que pueden ser aplicados a los números para decirte cuál es su significado real, cuán importante son ellos (por ejemplo, cuáles son las posibilidades de que las diferencias o cambios fueron realmente causados por lo que estás tratando de medir), y que esto implica sobre otros modos en que puedes operar. Si necesitas esta clase de información o si los donantes u otros lo están pidiendo específicamente, podría ser probablemente de ayuda tanto la contratación  de un investigador profesional o encontrar alguna guía profesional voluntaria.

Algunas veces realizar tales procedimientos estadísticos pueden decirte cosas importantes que nunca esperabas encontrar. Un investigador tratando de determinar cuál fue la causa para que un grupo de mujeres regresara a la escuela a sus 30 o 40 años encontró que el factor principal era que tuvieron que cuidar a hermanos más jóvenes durante su etapa de adolescencia. Él apenas notó esto en las entrevistas, ya que había sido ensombrecido por factores más dramáticos tales como el divorcio, abuso de sustancias, y violencia doméstica pero el análisis computacional mostró que esto era de extrema importancia. De hecho, cuando los investigadores regresaron y hablaron con varias de las mujeres sobre esto, ellas reconocieron que este rol de cuidadoras fue una de las razones principales para ellas no continuar su educación en un primer lugar, y que aún se impone grandemente en sus vidas.

Para qué se está usando la evaluación.

¿La evaluación es solamente para ayudarte a ser lo más efectivo posible en lo que haces? ¿Es para aumentar tu credibilidad en la comunidad? ¿Depende de ella la continuación de la subvención? ¿Es la combinación de dos o todos estos factores? La respuestas a estas preguntas te ayudarán a determinar qué clase de preguntas necesitarás hacer en las evaluaciones, en qué forma deben estar las respuestas, cuán complejas se necesitará que sean las evaluaciones, y si es necesario tratar  de contratar investigadores o no. La selección de voluntarios profesionales o comunitarios aquí dependerá no solamente de los factores anteriores, pero también de tu situación en particular. Los profesionales pueden ser capaces de analizar mejor la información, pueden no tener acceso a la misma información que las personas de la comunidad podrían tener (o pueden de hecho tener mejor acceso, porque son percibidos como neutrales). Una vez más, necesitas determinar qué es lo mejor para tu situación.

Cómo quiere que la evaluación sea percibida.

Algunas organizaciones o iniciativas pueden querer demostrar la amplitud de su orientación basada en la comunidad o en lo local asegurándose que sus evaluaciones están basadas en la comunidad también. Otros querrán mostrar que su evaluación es objetiva por la contratación de evaluadores sin conexiones con la comunidad. Aún otros, por razones filosóficas o prácticas, podrán querer asegurarse de que estén involucrados aquellos a quienes ellos sirven o se benefician en el proceso de evaluación. Hay muchas variaciones y posibilidades aquí, todas legítimas, todas correctas para algunas organizaciones y equivocadas para otras. Como en cualquier cosa que haces, es importante ser consistente con tu misión y los principios cuando se considere en cómo se escogerán los evaluadores.

¿Qué se debe buscar en la elección de evaluadores?

Hay características que querrás en los profesionales, características que querrás en los planificadores comunitarios o equipo de evaluación, y alguna característica que querrás en todos ellos. Examinaremos cada una de estas posibilidades separadamente.

Una evaluación puede ser estructurada en muchas formas diferentes. La separación entre profesionales y no-profesionales puede desdibujar en muchas de estas posibilidades. Uno puede obtener gratis a un evaluador, por ejemplo, por su interés o su compromiso con el trabajo de la organización o la comunidad. Mientras una evaluación puede ser realizada exclusivamente por cualquier profesional o por un comunitario o por un grupo local, hay muchas variaciones en estos temas

Un evaluador pagado o un equipo probablemente harán el trabajo por lo menos hasta algún punto con el grupo de la organización o la comunidad u organización. Un evaluador pagado puede trabajar con la comunidad o el equipo de planificación para ayudar a planificar la evaluación, o bien realizar la evaluación en sí misma sin más aportes del equipo de planificación, o retirándose completamente para que el equipo de planificación se haga cargo de los arreglos y la realización de la evaluación. Un equipo interno de planificación puede planificar la evaluación completamente por su cuenta, después contratar a un profesional para realizarla, o sólo para analizar los datos. Los profesionales pueden trabajar con un equipo de la comunidad a través de todo el proceso. Cómo y de qué manera se elige usar evaluadores profesionales, comunitarios o a un equipo de planificación interno (de la organización), etc., depende de lo que tenga sentido para tu organización.

Un evaluador, por ejemplo, contó esta anécdota “Fui contratado para ayudar a los miembros de una comunidad a evaluar los servicios para VIH/SIDA en la comunidad. Los miembros de esta comunidad eran un grupo mixto mayormente personas de agencias, pero algunos era personas viviendo con VIH/SIDA  no pertenecientes a alguna agencia. Pedí algunos voluntarios para planificar la evaluación junto conmigo, y me sentí complacido cuando aproximadamente media docena se ofreció.

"Cuando nos conocimos, establecí la mayoría de la agenda, haciendo preguntas básicas, tales como, “¿Qué queremos evaluar?” y “¿Cómo queremos evaluarla?”  Al final, nos decidimos por una encuesta. Después la próxima pregunta que surgió fue qué clase de encuesta necesitamos, cómo debía de ser administrada, quién la administrará, y cómo deben ser recogidos los datos. Nuestro estilo de trabajo era publicar estas preguntas centrales, para discutirlas juntos, escribir ideas, para decidir la mejor opción, y proseguir. Hemos sistemáticamente y eficientemente recorrido el listado de preguntas. Cuando terminamos, después de tres reuniones de una hora, la evaluación había sido básicamente planificada.”

El evaluador después realizó la evaluación y analizó los datos antes de presentarlos a la comunidad.

Características a buscar en todos los evaluadores

Voluntad de dejar su propia agenda en la puerta.

A menudo los investigadores, especialmente aquellos dependientes de universidades, pueden tener razones propias para embarcarse en una evaluación. Puede ajustarse a una tesis de doctorado, o a un libro que el profesor esté escribiendo, o una pieza de una investigación a largo plazo que eventualmente será publicada. Ellos también pueden tener prejuicios muy fuertes sobre la clase de investigación que desean utilizar, o lo que esperan encontrar, y una necesidad de probar que sus prejuicios son correctos. Y ellos podrán tener problemas sobre el poder y sobre sus posiciones en relación a los miembros del equipo de planificación o el personal de la organización. Si las necesidades de los investigadores se ajustan perfectamente con las tuyas, entonces no hay problema. Pero si ellos no concuerdan lo suficiente, podría existir la posibilidad de que surja un problema bastante serio. Si se está pagando por el servicio, se debe obtener lo que se está pagando, y no simplemente lo que los investigadores te quieran entregar. Es importante dejar esto totalmente claro desde el principio, y asegurarse por escrito en un contrato o través de otro mecanismo formal que los profesionales están dispuestos a hacer lo que se ajuste a las necesidades de su organización.

Como  profesionales, los investigadores pueden tener prioridades que no tengan nada que ver con la evaluación, y los miembros de la comunidad pueden tener prioridades personales o políticas que también poco tienen que ver con el negocio actual, pero esto puede afectar el desempeño del equipo de evaluación. Tanto como sea posible, es importante que las personas ni estén dispuestas a poner estas prioridades de lado mientras estén involucrados en el proceso de evaluación, ni que usted elimine a aquellos que traten imponer sus formas particulares de pensar a todos, ni a aquellos que van usar el proceso seguir o conseguir sus propios fines.

Capacidad para comunicarse con una amplia variedad de personas.

Lo evaluadores deben de lidiar con personas de todas las clases sociales, de todas las tendencias políticas, religiosas,  y con personas de todas creencias filosóficas, y probablemente muchas de diferentes etnias, idioma, y grupo racial. Si ellos han de  reunir información precisa, tendrán que ser percibidos como personas confiables por todos estos grupos, y deben ser capaces de crear un cierto nivel de comodidad para todos.

¿Han trabajado con grupos que incluían un amplio espectro de los miembros de la comunidad?  ¿Tienen ellos las habilidades verbales e interpersonales para explicar sus métodos claramente a las personas que no son muy educadas y que tal vez nunca habían tenido contacto con investigadores antes (quizás especialmente si los mismos evaluadores están en esta categoría)? ¿Podrán algunos de ellos hablar por lo menos algunos de los idiomas de la comunidad?

Usted puede responder por lo menos a algunas de estas preguntas al entrevistar a los potenciales evaluadores antes de que sean contratados o escogidos. Los evaluadores necesitan ser capaces de reunir información necesaria para la evaluación y redactar los resultados de la evaluación en los términos que la comunidad pueda entender, y por lo tanto usar. El mejor plan de evaluación no tiene valor si el enfoque del evaluador significa que las personas no pueden o no van a responder a las preguntas, o pueden no usar los resultados que ellos han obtenido.

Sensibilidad Cultural.

Especialmente en una comunidad que tiene residentes de muchas culturas (dependiendo en cómo se define “cultura,” esto incluye virtualmente a toda la comunidad), respeto mutuo y alguna comprensión y aceptación de cómo otros ven el mundo es vital para el desempeño de los evaluadores. ¿Entienden ellos, o tienen la voluntad de aprender a entender la cultura de aquellos en la comunidad? Una comunidad urbana con una gran cantidad de clase trabajadora  es muy diferente de una clase media alta de los suburbios, un vecindario haitiano es diferente de uno vietnamita o puertorriqueño. Los evaluadores necesitan respetar las culturas de las comunidades con las que trabajan, y no ir en contra de ellas intencionalmente o sin intención.

Capacidad para tratar a todos con el mismo grado de respeto.

La manera que los evaluadores se acercan a las personas refleja a la organización. Si ellos no tratan a todos con respeto, no se obtendrá información precisa—o algún tipo de información —, y ellos complicarán las relaciones de la organización con el personal, la población meta (objetivo) y la comunidad.

Absoluto compromiso de mantener la información de todos los individuos confidencial.

Si los evaluadores son profesionales pagados o no, por razones éticas, prácticas, y legales, siempre es casi necesario garantizar que cualquier información reunida en el curso de la evaluación se mantendrá en la confidencialidad (Por ejemplo, usada solo con el propósito de la evaluación, y no relacionada con el individuo), y que las personas no serán identificadas ni por su nombre o por otros factores que los pueda guiar a ellos. En este caso, por ejemplo, la evaluación del programa de prevención de la violencia doméstica o refugio para mujeres, la confidencialidad puede ser un asunto de seguridad. En la mayoría de los casos, ayudará a los evaluadores a conseguir datos más precisos. Y protegerá a los evaluadores y a la organización de demandas que pueden ser ejercidas por individuos lesionados de algún modo por la información provista.

Los investigadores profesionales o universitarios a menudo les piden a sus informantes leer y firmar un formulario de  “consentimiento informado” que explica exactamente qué es lo que los investigadores están haciendo, en qué se usará cualquier información, y cómo los investigadores protegerán el anonimato. Si los investigadores violan los términos de este formulario, el informante puede tener las bases para una demanda legal, y las conclusiones del investigador podrían ser cuestionadas. Un evaluador profesional o no quien pide respuestas a los miembros de la población meta (objetivo) o la comunidad puede considerar usar un formulario semejante, tanto porque muestra el compromiso del evaluador con la confidencialidad.

Compromiso con el proceso de evaluación.

Para los planificadores y evaluadores, sean profesionales o no, esto significa tratar de hacer la mejor evaluación posible, con la vista puesta en su utilidad real para la organización. Para la organización, y otros miembros comunitarios, compromiso significa creer lo suficiente en el proceso para tomar la evaluación seriamente y usarla para realizar ajustes y mejorar el programa, servicio o actividad. Una evaluación, sin importar cuán elegante e informativa sea, no tiene valor si no es usada.

Una parte importante de una primera evaluación es un plan para la evaluación continua. Para ser verdaderamente útil, la evaluación necesita ser permanente durante toda la vida de la organización. Si los evaluadores pueden proveer una guía para establecer y realizar evaluaciones en una base regular, ellos han realizado un servicio a la organización más allá del valor de la misma evaluación.

Comunidad o planificadores internos o evaluadores

Una palabra acerca de los equipos de planificación vs equipo de evaluación: un equipo de planificación tiene por objeto planificar el proceso de evaluación. Si la organización tiene la opción  de contratar evaluadores profesionales, un equipo de planificación del personal o de la comunidad puede decidir hacer la contratación o no, y puede servir como el comité empleador de aquellos evaluadores. Su trabajo principal (el cual pueden hacerlo solos o con la ayuda de los evaluadores ya contratados) probablemente será explorar las posibilidades y llegar con un plan de evaluación real, detallando lo que necesita encontrar la organización, dónde se puede encontrar esa información, quién hará la recolección de la información y el análisis, y cómo será usada la información una vez que es recogida y analizada.

Un equipo de evaluación comunitario es un equipo voluntario establecido para realizar la evaluación real. En la práctica, este puede ser el mismo grupo del equipo de planificación, cuya función, una vez la planificación esté hecha, ha cumplido su tarea. Es de ayuda que en el equipo de evaluación se incluya a una persona con el conocimiento suficiente de la investigación que se realizará con la evaluación para que ésta  sea válida, y sus resultados puedan ser usados con alguna confianza.

Con una planificación comunitaria o un equipo de evaluación, se tiene la oportunidad de escoger a todos los miembros individualmente. Habrá algunas personas quienes, por su posición en la organización o en la comunidad, tienen que estar en el equipo. Del mismo modo, algunos otros puede que no sea posible incluirlos. En general, el equipo debe ser lo suficientemente pequeño para que no sea muy difícil para los miembros  conocerse y ponerse en contacto los unos con los otros y lo suficientemente grande para que haya suficientes personas para realizar el trabajo. En general, los miembros del equipo deben de representar las necesidades de los interesados de la organización o de la iniciativa: el personal y la Junta, la población meta (objetivo), y  miembros de la comunidad en general. Las características que se deben buscar en aquellos miembros del equipo de planificación o de evaluación incluyen:

Representación.

El equipo puede incluir una cantidad cualquiera de las siguientes posibilidades (pero, la mayoría de las organizaciones, probablemente pueden incluir solamente cuatro o cinco).

Una serie de representantes (por ejemplo, el director, uno o dos líneas de los miembros del personal [aquellos que trabajan directamente con la población meta], y un miembro de la Junta)
Miembros de la población meta (objetivo), idealmente individuos quiénes entienden y que hayan participado en la organización o la iniciativa.

• Miembros de la comunidad con interés en la organización o iniciativa (personas de negocios, salud y representantes de agencias de servicios humanos, escuelas y funcionarios del gobierno local, otros ciudadanos con interés en el tema)
• Jóvenes, si es apropiado
• Grupos minoritarios  y de otros idiomas pertinentes
• Alguien con habilidades de investigación y experiencia, quizás de alguna escuela vocacional o universidad.

Capacidad para entender el propósito de la evaluación, y cómo su forma y propósitos están relacionados.

Si la población meta (objetivo) incluye adultos mentalmente retardados, por ejemplo, puede ser difícil integrarlos dentro del equipo.

Voluntad de escuchar y aprender.

Esto cubre un amplio espectro de personas y conductas. Esto incluye tanto que el director de la escuela superior local sea capaz de escuchar y de tomar seriamente la opinión de un desertor de la escuela superior, y la creencia de ese desertor es que él es capaz de aprender lo que el necesita saber para funcionar como un miembro del equipo. Esto también incluye que todos están conscientes de que tienen cosas que aprender entre sí del proceso y la evaluación en general, y, del mismo modo, que ellos tienen conocimientos valiosos, habilidades, e información para contribuir.

Capacidad para trabajar en equipo.

Este puede ser un tema difícil en un grupo que abarca varias culturas y clases sociales. La “habilidades de reunión” de la clase media, que la mayoría de las personas educadas han sido aprendidas y practicadas de forma inconsciente desde la escuela intermedia o antes, a menudo son desconocidas por los que son asistidos por la beneficencia o son trabajadores emigrantes, simplemente porque ellos nunca estuvieron expuestos a ellos. De este modo, ellos podrían sentarse en silencio, confundidos por el curso de la reunión, incapaces de contribuir, y sentirse estúpidos; o podrían hablar o actuar de forma que otros consideren inapropiada. Las personas sin habilidades para reunirse necesitan apoyo y aliento en lo que es a menudo para ellos una situación intimidante. Una respuesta puede ser emparejar a todos los miembros de equipo, por lo tanto aquellos que necesitan apoyo tengan un tutor. Otra posibilidad es empezar el proceso con un entrenamiento para todos en  las dinámicas de grupo y habilidades para reunirse, para que nadie este solo o aislado y para que así las reglas aplicadas sean claras para todos.

Profesionales

A menos que se esté trabajando con un consultor, cuando se trabaja con profesionales, es como si el equipo viniese ya ensamblado. Por lo tanto, se está buscando el paquete completo: quiénes son los miembros del equipo, qué saben hacer, y cómo ellos parecen interactuar con el equipo de planificación, si se tiene uno, y con la organización y la comunidad. La mayoría de los equipos profesionales, como se ha mencionado anteriormente, podrán ser consultores privados o investigadores universitarios. Probablemente la característica más importante a buscar son su experiencia profesional y las habilidades, y su pericia y estilo en el trabajo con grupos comunitarios:

Conocimiento de las diferentes técnicas de evaluación.

¿Pueden ellos usar tanto la investigación cuantitativa (números y estadísticas) y cualitativa (hechos, historias, anécdotas, análisis de la situación y eventos, etc.)? y ¿saben cuándo cada una de ellas es apropiada?¿Las han usado en situaciones semejantes a la tuya, o ellos han tenido buenas ideas sobre cómo hacerlo?

Si tu equipo es de educación superior, se debe considerar cuidadosamente a cuál departamento(s) de la universidad contactar para encontrar los evaluadores cuya especialidad académica y profesional se ajustan bien con el trabajo que haces. Dependiendo de lo que tu iniciativa u organización hace, y de qué información se está buscando, algunas posibilidades son:

• Salud Pública
• Medicina
• Educación
• Sociología
• Psicología
• Ciencias Medioambientales
• Estudios Urbanos

Desempeño anterior.

¿Han realizado evaluaciones anteriormente? ¿Qué clase de técnicas han usado? ¿Tienen ellos buenas referencias? ¿Puedes consultar evaluaciones pasadas que ellos hayan hecho?

Así como probablemente no querrás contratar a alguien para una posición sin evaluar sus referencias, no debes de contratar a un evaluador o equipo sin consultar con aquellos que lo han empleado antes. Cuán bien los profesionales actúen en una entrevista y en documentos es generalmente suficiente para mostrarte lo que necesitas saber de ellos, pero cuando no, puede ser desastroso, costando no solo dinero, sino también tiempo, resultados, y las relaciones con la comunidad.

Debes pedirle a alguien algunos de los resultados de previas evaluaciones. ¿Es legible y comprensible? ¿Cómo el candidato explicó esos resultados a la organización y a la comunidad? El saber qué es lo que se está obteniendo puede ayudar inmensurablemente a escoger a los evaluadores correctos.

Experiencia trabajando con grupos comunitarios.

¿Han trabajado ellos en sociedad con grupos comunitarios antes? ¿Entienden ellos los roles en esta situación, y pueden manejarlo bien? ¿Han sido ellos capaces de trabajar con la comunidad para escoger las metas apropiadas? ¿Son receptivos a las sugerencias, a las necesidades de la comunidad, y al contexto de la evaluación? ¿Ellos colaboran,  o en otras palabras,  en vez de simplemente decirle al grupo comunitario qué es lo que necesitan?

Capacidad real de escuchar,

Y no asumir el rol de “experto” excepto cuándo sea apropiado (se está, después de todo, contratándolos por su pericia). Si la evaluación es basada en la comunidad, los evaluadores tendrán que escuchar primero al grupo de planificación sobre lo que  la organización y la iniciativa  necesitan más saber, y después a la comunidad con el fin de recopilar esta información. El escuchar realmente (escuchar no solo por el significado de lo que ha dicho, pero por el sentido detrás del  significado) es una habilidad indispensable de todo buen evaluador.

Para resumir

El individuo o el equipo que se seleccione para planificar y/o realizar la evaluación de tu organización o iniciativa determinará en gran medida el carácter y utilidad de la misma evaluación. Si se trabaja con profesionales, se necesitará examinar sus credenciales, experiencias pasadas, y el nivel de pericia. Si se escogen evaluadores profesionales, voluntarios comunitarios, o alguna combinación de las dos, se necesita pensar cuidadosamente sobre cómo sus necesidades e intereses se ajustan con aquellos de la organización y la comunidad, y sobre cómo encajan uno con el otro. Una vez que se haya reunido un buen equipo, se está en el buen camino de lograr una evaluación valiosa y confiable.

Por qué Evaluar?

___Para ver los resultados de tu trabajo

___Para ganar opinión pública

___Para hacer los ajustes apropiados si es necesario

Seleccione a los Evaluadores Cuidadosamente

___Para fiabilidad      

Posibles Evaluadores

___voluntarios

___comunidad a la que se sirve

___evaluadores escogidos por un equipo

Herramienta #1: Preguntas para la Entrevista de Selección de los Consultores de Evaluación

Tomado de  EvalTalk, el grupo de discusión de la Asociación Americana de Evaluación (AEA).

Aquí está una lista de preguntas para la selección del consultor de evaluación adaptadas del enlistando en EvalTalk:

• ¿Cuáles son las principales razones por las que usted piensa que un programa debe realizar una evaluación?
• ¿Cuáles son los principales estándares y principios guías para realizar una evaluación?
• ¿Cómo podría usted determinar si un programa está listo para ser sometido a una evaluación?
• ¿Cómo calcula usted los recursos necesarios para realizar una evaluación? Esto es, ¿cómo se calculan los costos de una evaluación, tanto en dinero y tiempo (el tuyo y el de los demás)?
• Si usted tuviera resultados de una evaluación que fueron basados en información cuantitativa pero que están en conflicto con los resultados de una información cualitativa, ¿cómo se podría resolver este conflicto?
• Si tuviera que realizar una encuesta por medio del correo para los participantes del programa, ¿cómo obtener una muestra representativa y asegurar que los resultados son aplicables a todos los participantes?
• Frecuentemente las evaluaciones involucran diversas e independientes ramas y agencias que tienen todas expectativas diferentes de la evaluación. Si se tiene un conflicto entre los participantes en una evaluación del programa que podría poner en peligro la evaluación, ¿cómo se podría resolver el conflicto?¿Cuáles medidas se podrían adoptar para proactivamente evitar los conflictos?
• ¿Ha usted leído cualquier artículo interesante sobre evaluación últimamente?¿En qué revista? ¿Qué fue lo interesante de este artículo? ¿Cuáles otras revistas lee usted  regularmente?
• ¿Bajo cuáles circunstancia, si alguna, llamaría la atención a un cliente?
• ¿Qué haría para asegurar que una evaluación es útil –y útil en qué manera?

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Por qué se debería tener un plan de evaluación?

• ¿Cuándo debería desarrollarse un plan de evaluación?

• ¿Quiénes son los diversos tipos de interesados y cuáles son sus intereses en la evaluación?

• ¿Cómo se puede desarrollar un plan de evaluación?

• ¿Cómo se establece un cronograma para las actividades de evaluación?

• ¿Qué clase de productos debería esperarse obtener de la evaluación?

• ¿Qué clase de normas se deberían seguir?

¿Por qué se debería tener un plan de evaluación?

Después de varias noches de trabajar duro hasta tarde, más reuniones de planeamiento de las que querría acordarse, y muchas tazas de café, su iniciativa ha comenzado a levantar vuelo. ¡Felicitaciones! Usted tiene todas las razones para sentirse orgulloso y probablemente se tome un respiro para evitar el desgaste excesivo. Sin embargo, no se siente sobre los laureles por mucho tiempo –su próximo paso es monitorear el progreso de la iniciativa. Si ella está funcionando perfectamente en todos los sentidos, Usted se merece la satisfacción de saberlo. Si se deben hacer ajustes para garantizar su éxito, usted querrá saber acerca de ello para tomar acción y evitar que su duro trabajo se vaya a la basura. Y, en el peor de los casos, Usted querrá saber si es un problema sin remedio para poder pensar en la mejor manera de disminuir las pérdidas. Por estas razones, la evaluación es sumamente importante.

Hay tanta información acerca de evaluaciones, que es muy fácil para los grupos comunitarios caer en la tentación de simplemente comprar un manual sobre evaluación y seguirlo al pie de la letra. A primera vista, esto podría parecer la mejor forma de ocuparse del tema –la evaluación es un tema inmenso y puede ser bastante intimidante. Desafortunadamente, si usted recurre a la aproximación tipo “libro de cocina” para la evaluación, Usted podría terminar juntando un montón de información que usted analizará y terminará por archivar sin ser vista o usada nunca más.

En lugar de ello, tómese un tiempo para pensar qué es exactamente lo que quiere saber acerca de la iniciativa. Su sistema de evaluación debería hacer preguntas simples que son importantes para su comunidad, su equipo, y por último y no menos importante, sus socios patrocinadores. Trate de pensar acerca de las cuestiones financieras y prácticas al preguntarse sobre qué clase de preguntas desea tener respuestas. La mejor manera de asegurarse de que tenga una evaluación lo más productiva posible es elaborar un plan de evaluación.

He aquí algunas razones del porque usted debería desarrollar un plan de evaluación:

• Le guía a través de cada paso del proceso de evaluación
• Le ayuda a decidir qué clase de información realmente necesitan Usted y los demás involucrados
• Le evita perder tiempo reuniendo información que no se necesita
• Le ayuda a identificar los mejores métodos y estrategias posibles para conseguir la información que se necesita
• Le ayuda a establecer un cronograma razonable y realista para la evaluación
• Sobretodo, ¡le ayudará a mejorar su iniciativa!

¿Cuándo debería desarrollarse un plan de evaluación?

¡Tan pronto como sea posible! El mejor momento para hacerlo es antes de implementar la iniciativa. Después de eso, puede hacerlo en cualquier momento, pero cuanto antes lo desarrolle y comience a implementarlo, mejor será su iniciativa, y serán mayores los  resultados al final.
Recuerde, la evaluación es algo más que simplemente saber si usted hizo bien su trabajo. Es importante utilizar la información de la evaluación  para mejorar la iniciativa durante su desarrollo.

¿Quiénes son los diversos tipos de interesados y cuáles son sus intereses en la evaluación?

Todos querríamos creer que todo el mundo está tan interesado como nosotros en nuestra iniciativa o proyecto, pero desafortunadamente este no es el caso. En el caso de grupos de salud comunitarios, hay básicamente tres grupos de personas que podrían ser identificados como interesados (aquellos que están involucrados y han invertido en el proyecto o iniciativa de alguna manera): grupos comunitarios, donantes y patrocinadores, e investigadores universitarios.Tómese algún tiempo para hacer una lista de los interesados en su iniciativa así como en cuál categoría se encuentran.

He aquí una descripción más detallada de cada tipo:

• Grupos Comunitarios: ¡Atención, usted es uno! Tal vez esta es la categoría más obvia de interesados, ya que incluye al equipo y/o los voluntarios involucrados en su iniciativa o proyecto. También incluye a la gente directamente afectada por el mismo –su público meta y agentes de cambio.
• Donantes y Patrocinadores: ¡No se olvide de la gente que paga las cuentas! La mayoría de los donantes y patrocinadores quieren saber cómo se está gastando su dinero, así que usted encontrará que frecuentemente tienen requerimientos específicos acerca de las cosas que quieren evaluar. Cerciórese de cuáles son sus patrocinadores actuales  para ver qué clase de información quieren que recolecte. Mejor aún, encuentre la clase de información que necesitará tener para las futuras solicitudes de donación que realice. ¡Eso no hará ningún daño!
• Investigadores universitarios: Esto incluye a los investigadores y evaluadores que su asociación o iniciativa pueda escoger como consultores o socios. Esos investigadores pueden ser especialistas en la promoción de la salud pública, epidemiólogos, científicos del comportamiento, especialistas evaluación o cualquier otro campo académico. Por supuesto, no todos los grupos comunitarios van a trabajar con investigadores universitarios en sus proyectos, pero si usted escoge hacerlo, ellos deberían tener sus propias preocupaciones, ideas y preguntas para la evaluación. Si usted no llega a comprender cabalmente porqué debe incluir a estas personas en su proceso de evaluación, trate de pensar en ellos como mecánicos de automóvil –si usted quiere que le ayuden para que su auto funcione mejor, por supuesto que los incluiría en su proceso de diagnóstico. Si usted fuera a un mecánico y comenzara a darle órdenes acerca de cómo arreglar su auto sin dejarle examinar su auto primero, probablemente se enojaría bastante con usted. Lo mismo pasa con sus investigadores y evaluadores. Es importante incluirlos en el proceso de desarrollo de la evaluación si realmente quiere le ayuden a mejorar su iniciativa.

Cada interesado tendrá una perspectiva diferente sobre su organización y lo que desea aprender de la evaluación. Cada grupo es único y usted puede encontrar que hay otro tipo de interesados en su organización. Tómese un tiempo para pensar acerca de quiénes son los interesados en su proyecto antes de comenzar a hacer su plan de evaluación.

¿Qué es lo que quieren ellos saber de su evaluación?

Mientras que alguna información proveniente de la evaluación será útil para los tres grupos de interesados, otra sólo será necesaria para uno o dos de ellos. Los donantes y patrocinadores por ejemplo, querrán saber cuántas personas fueron alcanzadas y beneficiadas con la iniciativa, así como también si la iniciativa tuvo el impacto a nivel comunitario que pretendía tener. Los grupos comunitarios pueden querer utilizar los resultados como guía en las decisiones acerca de sus programas, y en donde enfocar sus esfuerzos. Los investigadores universitarios probablemente van a estar interesados en probar si las mejoras en la salud comunitaria fueron efectivamente causadas por sus programas o iniciativas; también pueden además querer estudiar la estructura general de su grupo o iniciativa para identificar las condiciones bajo las cuales se puede obtener éxito.

¿Qué decisiones necesitan hacer? ¿Cómo usarán los datos para informar acerca de las decisiones?

Usted y los interesados probablemente estarán tomando decisiones que afectan su programa o iniciativa basados en los resultados de su evaluación, así que necesita considerar cuales serán esas decisiones. Su evaluación debería  redituar resultados honestos y precisos para usted y sus interesados.  Usted deberá cuidarse de no armarla de tal manera que exagere su éxito, y debe ser realmente cuidadoso de no armarla de tal manera que ¡minimice su éxito!

Considere qué clase de decisiones usted y los interesados estarán tomando. Los grupos comunitarios probablemente querrán utilizar los resultados de la evaluación para encontrar maneras de modificar y mejorar su programa o iniciativa. Es lo más probable que los donantes y patrocinadores estarán tomando decisiones acerca de qué cantidad de fondos darle en el futuro, o hasta si continúan financiando su programa (o cualquier programa relacionado).  Hasta pueden pensar acerca de imponerle ciertos requisitos (por ejemplo, un donante le dice que los fondos para su programa pueden verse recortados a menos que usted muestre un aumento de los servicios en un área determinada). Los investigadores universitarios necesitarán decidir cuál será la mejor forma de asistirlo con el desarrollo del plan e informes de datos.

También querrá considerar de qué manera usted y los interesados planean equilibrar los costos y los beneficios. La evaluación debería abarcar alrededor del 10-15% de su presupuesto total.  Eso puede parecer mucho, pero recuerde  que la evaluación es una herramienta esencial para mejorar su iniciativa. Al considerar cómo equilibrar los costos y los beneficios, hágase las siguientes preguntas:

• ¿Qué necesita saber?
• ¿Qué requiere la comunidad?
• ¿Qué requieren los patrocinadores?

¿Cómo se puede desarrollar un plan de evaluación?

Hay cuatro pasos principales para desarrollar un plan de evaluación:

• Ponga en claro los objetivos y metas del programa
• Desarrolle las preguntas de evaluación
• Desarrolle métodos de evaluación
• Establezca un cronograma para las actividades de evaluación

Ponga en claro los objetivos y metas del programa

El primer paso es dejar en claro los objetivos y metas de su iniciativa. ¿Cuáles son las cosas más importantes que usted quiere conseguir, y como se ha preparado para conseguirlas?  Poner en claro estas cosas le ayudará a identificar los componentes más importantes que deberán ser evaluados.  Una forma de hacerlo es hacer una tabla de componentes y elementos del programa.

Desarrolle preguntas de evaluación 

Hay cuatro categorías principales de preguntas de evaluación para nuestros propósitos. Veamos algunos ejemplos de preguntas posibles y métodos sugeridos para responder a esas preguntas. Más adelante le contaremos un poco más acerca de estos métodos y cómo funcionan.

• Temas de planeamiento e implementación: ¿Qué tan bien fue planeada la iniciativa y qué tan bien fue puesto en práctica el plan?
  • Preguntas posibles: ¿Quién participa? ¿Existe diversidad entre los participantes? ¿Por qué los participantes entran y salen de sus programas? ¿Hay una variedad de actividades y se generan actividades alternativas? ¿Reciben servicios aquellos con mayor necesidad de ayuda? ¿Están los miembros de la comunidad satisfechos con el cumplimiento de objetivos del programa?
  • Métodos posibles para contestar estas preguntas: a. un sistema de monitoreo que rastrea las acciones y  los logros relacionados al llevar a cabo la misión de la iniciativa, b. encuesta entre los miembros del equipo sobre la satisfacción con las metas, c. encuesta a los miembros sobre la satisfacción con los resultados.
• Evaluación de objetivos: ¿Qué tan bien ha conseguido el programa conseguir los objetivos establecidos?
  • Preguntas posibles: ¿Cuánta gente participa? ¿Cuántas horas están involucrados los participantes?
  • Métodos posibles para contestar estas preguntas: sistema de monitoreo (vea arriba), encuesta entre  los miembros del equipo acerca de satisfacción con los resultados, escala de logro de metas.
• Impacto en los participantes: ¿Qué diferencias y de qué tipo ha realizado el programa o la iniciativa en sus objetivos de cambio?
  • Preguntas posibles: ¿Cómo ha cambiado el comportamiento como resultado de la participación en el programa? ¿Están los participantes satisfechos con la experiencia? ¿Hubo algún resultado negativo como consecuencia de haber participado en el programa
  • Métodos posibles para contestar estas preguntas: encuesta de satisfacción entre los miembros acerca de metas, encuesta de satisfacción sobre  resultados, encuestas conductuales (de comportamiento), entrevistas con participantes clave.
• Impacto en la comunidad: ¿Qué diferencia y de qué clase ha marcado  el programa o la iniciativa en la comunidad como un todo?
  • Preguntas posibles. ¿Cuál fue el resultado del programa? ¿Hubo algún resultado negativo a causa del programa?  ¿Son mayores los beneficios que los costos del programa?
  • Métodos posibles para contestar estas preguntas: Encuestas de comportamiento, entrevistas con informantes clave, indicadores de nivel de la comunidad.

Desarrollo de métodos de evaluación

Una vez que ha encontrado las preguntas que quiere contestar en su evaluación, su próximo paso es decidir los métodos que  contestarán  mejor esas preguntas.  He aquí una breve reseña de métodos de evaluación  y para qué funcionan mejor, así como referencias a otras secciones de la Caja de Herramientas Comunitarias  donde usted podrá encontrar información más detallada acerca de ellos.

Sistema de monitoreo y retroalimentación

Este método de evaluación tiene tres elementos principales:

• Medidas del Proceso: ellas le dicen  lo que usted hizo para implementar su iniciativa.
• Medidas de resultados: ellas le dirán cuales fueron los resultados.
• Sistema de observación: esto se refiere a lo que usted hace para rastrear la iniciativa mientras está funcionando.

Encuesta con los miembros acerca de la iniciativa

Cuando Ed Koch era alcalde de la Ciudad de Nueva York, su marca registrada “¿Como lo estoy haciendo? era conocida en todo el país. Puede parecer una aproximación demasiado simple, pero a veces  lo mejor que se puede hacer para saber si usted está haciendo un buen trabajo es preguntarle a su equipo.

Esto puede hacerse mejor a través de encuestas entre los miembros.

Hay tres clases de encuestas para miembros que  probablemente usted necesitará hacer en determinado momento:

• Encuesta a los miembros sobre metas: hecha antes de que comience la iniciativa – ¿qué piensan los miembros acerca de lo que usted va a hacer?
• Encuesta a los miembros sobre el proceso: hecha mientras dura la iniciativa -- ¿cómo le está yendo hasta ahora?
• Encuesta a los miembros sobre resultados: hecha después de finalizada la iniciativa --¿cómo le fue? Para saber más acerca de la encuesta sobre resultados.

Informe de obtención de metas

Si desea saber si los cambios en la comunidad propuestos por usted fueron realmente alcanzados --y asumimos que sí-- su mejor apuesta podría ser hacer un informe de obtención de metas. Haga que su equipo tome nota cada vez que ocurre uno de los cambios mencionados en su plan de acción. Luego alguien podrá compilar esta información por ejemplo, “De un total de cinco metas, tres fueron obtenidas a finales de 1997.  ”

Encuestas conductuales

Las encuestas de comportamiento le ayudan a determinar el tipo de comportamientos de riesgo en los que está involucrada la gente y el nivel al que han llegado. Por ejemplo, si su grupo está trabajando en una iniciativa para reducir los accidentes automovilísticos en su área, un comportamiento de riesgo a encuestar será el manejo en estado de ebriedad.

Entrevistas con participantes clave

Los participantes clave –líderes de su comunidad, gente de su equipo, etc. - tienen percepciones de las que usted puede hacer uso. Entrevistarlos a fin de obtener sus puntos de vista acerca de los puntos críticos en el historial de su iniciativa, puede ayudarle a saber más acerca de la calidad de su iniciativa, a identificar los factores que afectaron el éxito o el fracaso  de determinados sucesos, a proveerle de una historia de su iniciativa, y a darle una visión que puede usar  en esfuerzos de planeamiento y renovación. 

Indicadores de impacto a nivel de la comunidad

Estos son comprobados marcadores que le permiten evaluar el resultado final de su iniciativa. Para coaliciones de abuso de drogas, por ejemplo, el U.S. Center for Substance Abuse Prevention (CSAP), y la Regional Drug Initiative de Oregón, recomiendan varios indicadores comprobados (por ejemplo, choques nocturnos de un sólo automóvil, traslados de emergencia relacionados con el alcohol) que ayudan a las coaliciones a calcular la extensión del abuso de sustancias en sus comunidades. El estudio de los indicadores a nivel de la comunidad le ayuda a tener evidencias sólidas de la efectividad de su iniciativa y a determinar cuan exitosos han sido los componentes clave. 

¿Cómo se establece un cronograma para las actividades de evaluación?

¿Cuándo necesita comenzar la evaluación?

¡Ya! ¡O por lo menos al comienzo de la iniciativa! La evaluación no es algo en lo que usted se pone a pensar luego de que todo lo demás ha sido hecho. Para tener una visión exacta y clara de lo que su grupo y usted lo han estado haciendo, es importante comenzar a prestar atención a la evaluación desde el principio. Si usted está ya parcialmente encaminado en su iniciativa, sin embargo, no descarte del todo la idea de la evaluación. Aunque comience tarde, aún puede recoger información que puede llegar a ser muy útil para mejorar su iniciativa.      

Esboce preguntas para cada etapa de desarrollo de la iniciativa

Miremos nuevamente los tipos de preguntas de evaluación mencionados anteriormente  en la sección “¿Cómo se planifica una evaluación?”

• Temas de planificación e implementación
• Evaluación de objetivos             
• Impacto en los participantes    
• Impacto en la comunidad    

Sugerimos completar una tabla enumerando:   

• Preguntas de evaluación claves (las cinco categorías enumeradas arriba, con preguntas más específicas dentro de cada categoría)                                                                               
• El tipo de medidas de evaluación a ser usadas para contestarlas (por ejemplo: ¿qué clase de datos necesitará para contestar las preguntas?                                                                                   
• La forma de recolección de datos (por ejemplo: qué métodos de evaluación usará para recoger estos datos); y 
• Diseño experimental (una forma de eliminar amenazas a la validez – por ejemplo: credibilidad—de sus datos. Esto incluiría comparar la información recogida por usted con la de un grupo similar que no está haciendo las cosas de la manera en que usted las está haciendo.

Con esta tabla, se puede tener un buen panorama  acerca de la clase de cosas que tendrá que hacer para conseguir la información  que necesita. Un ejemplo de la tabla aparece al final de esta sección.

¿Cuándo se deben suministrar los informes y la retroalimentación?

Cuando lo crea apropiado.Por supuesto que usted suministrará informes y retroalimentación al finalizar la evaluación, pero debería también suministrar periódicamente  informes y retroalimentación, durante todo el transcurso del proyecto o iniciativa. En particular, ya que suministrará retroalimentación e informes en las reuniones de su comité directivo o de toda la coalición, averigüe de antemano cada cuanto tiempo les gustaría tener avances del proceso. Los patrocinadores también querrán saber qué tal va la evaluación.

¿Cuándo debería finalizar la evaluación?         

Poco después del final del proyecto –usualmente cuando deba entregarse el informe final. No espere demasiado tiempo después de que el proyecto haya finalizado para terminar su evaluación – es mejor hacerlo mientras todo se encuentra aún fresco en su cabeza y usted tenga acceso a cualquier información que pueda necesitar.

Una muestra de cronograma aparece con los otros ejemplos al final de esta sección.     

¿Qué clase de productos debería esperarse obtener de la evaluación?  

El principal producto que usted querrá obtener es un informe que pueda compartir con todos los involucrados. ¿Que debería incluir ese reporte?            

• Los efectos esperados por los patrocinadores: Descubra lo que las personas clave quieren saber. ¡Asegúrese de tener cualquier información que usted sepa que ellos van a querer escuchar!
• Las diferencias en el comportamiento de individuos clave: Descubra de qué manera los esfuerzos de su coalición han cambiado el comportamiento de su público meta y sus agentes de cambio. ¿Alguna de sus estrategias ha hecho que la gente haya reducido sus comportamientos de riesgo o aumentado comportamientos que les protegen de los riesgos? ¿Hay personas clave de la comunidad cooperando con sus esfuerzos?
• Diferencias en las condiciones de la comunidad. Descubra qué ha cambiado. ¿Está al tanto el público de los esfuerzos de su coalición o grupo? ¿Le apoyan? ¿Qué pasos han tomado para ayudarle a conseguir sus metas? ¿Han producido algún cambio sus esfuerzos en las leyes o prácticas locales?

Usted probablemente incluirá herramientas específicas (por ejemplo: informes breves resumiendo datos), informes anuales, cuatrimestrales o mensuales provenientes del sistema de monitoreo, y cualquier otra cosa mutuamente acordada entre la organización y el equipo evaluador.

¿Qué clase de normas se deberían seguir?

Ahora que usted ha decidido que va a hacer una evaluación y ha comenzado a trabajar en su plan, probablemente también le habrán surgido algunas preguntas  acerca de como asegurarse de que la evaluación va a ser tan honesta, exacta y efectiva como sea posible. Después de todo, la evaluación es una gran área así que querrá hacerla bien. ¿Qué normas debería usted seguir para estar seguro de hacer la mejor evaluación posible? En 1994 el Comité Unificado de Normas de Evaluación Educacional publicó una lista de normas para programas de evaluación que es utilizada ampliamente para regular las evaluaciones de programas educacionales y de salud pública. Las normas delineadas por el comité son para utilidad, viabilidad, decoro y exactitud. Considere usar las normas de evaluación para estar seguro de hacer la mejor evaluación posible de su iniciativa.

Usted entiende que debería tener una evaluación  porque.  .  . 

___Le guía a través de cada paso del proceso de evaluación  

___Le ayuda a decidir qué clase de información realmente necesitan usted y los otros interesados 

___Le evita perder tiempo recogiendo información que no es necesaria

___Le ayuda a identificar los mejores métodos y estrategias posibles para obtener la información necesaria

___Le ayuda a establecer un cronograma realista y razonable para la evaluación

___Y lo más importante ¡Le ayuda a mejorar su iniciativa!

Usted comprende quienes son  los interesados en su proyecto o iniciativa:

___Grupos comunitarios

___Donantes y patrocinadores

___Investigadores universitarios

Usted ha tomado en consideración:    

___Qué desean saber los interesados acerca de la evaluación

___Qué decisiones necesitan hacer los interesados

___Cómo usarán los interesados los datos  para tomar informar decisiones

Al consideran como equilibrar los costos y los beneficios usted se ha hecho las siguientes preguntas: 

___¿Qué necesita saber usted?

___¿Qué es lo requerido por la comunidad?

___¿Qué es lo requerido por los patrocinadores?

Usted reconoce estos cuatro pasos principales para desarrollar un plan de evaluación:

___Dejar en claro  los objetivos y metas del programa

___Desarrollar preguntas de evaluación

___Desarrollar métodos de evaluación

___Establecer un cronograma para las actividades de evaluación

Dejar en claro los objetivos y metas de su iniciativa:

___Haga una tabla de componentes y elementos del programa

Desarrollo de preguntas de evaluación

___Usted conoce las cuatro categorías principales de preguntas de evaluación:

___Temas de planificación e implementación

___Evaluación de la obtención de objetivos 

___Impacto en los participantes

___Impacto en la comunidad

___Usted ha tomado en cuenta los mejores métodos posibles de contestar esas preguntas

Desarrolle métodos de evaluación para  atender esas preguntas lo mejor posible:

___Usted entiende cómo usar los tres elementos principales de los sistemas de monitoreo y retroalimentación (medidas del proceso, medidas de resultados, y sistema de observación)

___Usted entiende cómo usar encuestas de miembros acerca de la iniciativa (encuesta de miembros sobre metas, encuesta de miembros sobre el proceso y encuesta de miembros sobre resultados)

___Usted entiende cómo usar el informe de obtención de metas

___Usted entiende cómo usar las encuestas de comportamiento

___Usted entiende cómo usar las entrevistas con participantes clave

___Usted entiende cómo usar los indicadores de impacto a nivel de la comunidad

Estableciendo un cronograma para actividades de evaluación

___Usted entiende que debería comenzar ya, o por lo menos al inicio de la iniciativa

___Usted ha diseñado preguntas para cada etapa de desarrollo de la iniciativa

___Usted ha hecho una tabla enumerando: preguntas clave, tipo de medidas de evaluación a ser utilizadas          para responderlas, el tipo de recolección de datos y el diseño experimental. 

___Usted ha determinado cuándo le parece apropiado suministrar retroalimentación e informes

___Usted suministrará retroalimentación e informes al final de la evaluación

___Usted también suministrará retroalimentación e informes periódicos durante el transcurso del proyecto o la iniciativa

___Usted ha decidido cuándo finalizará la evaluación

___Usted definió un cronograma de evaluación a proponer  

Productos esperados de la evaluación:

___Usted hará un informé que podrá compartir con todos los involucrados que incluye los efectos esperados por los interesados, las diferencias en comportamiento de los individuos clave, y diferencias en las condiciones de la comunidad.    

___Usted ha decidido incluir o no, herramientas específicas (por ejemplo: Informes breves resumiendo información), informes anuales, cuatrimestrales o mensuales del sistema de monitoreo y cualquier otra cosa acordada entre la organización y el equipo evaluados.   

Normas de evaluación

___Usted ha decidido qué normas utilizar para estar seguro  de obtener una evaluación útil y exacta.

Ejemplo 1: Tabla de Componentes y Elementos del Programa   

He aquí algunos de los ítemes de la tabla de componentes y elementos de un programa ficticio para la prevención del embarazo en adolescentes:

Factores De riesgo/Protección	Componentes del Programa (estrategias)	Elementos del programa (tácticas)	Público objetivo y agentes de cambio	Forma/contexto de Entrega
Factor de riesgo: Actividad de adolescentes sin supervisión	Proveer actividades alternativas.	Actividades para después de la escuela (programas deportivos, pasatiempos, manualidades, películas, etc.) “Retiros” de fin de semana, club de baile “sin alcohol” Actividades diurnas durante las vacaciones	Público-objetivo jóvenes Agentes: Jóvenes Maestros Padres	Sesiones de grupo Talleres Reuniones
Factor de riesgo: Falta de acceso a los anticonceptivos	Incremento del acceso a mejores servicios de salud	Extender los horarios en las clínicas de salud escolares Incrementar la distribución de condones por el departamento de salud del condado Programas “bolsa de papel” en las farmacias del área (los adolescentes que desean comprar anticonceptivos pueden llamar antes y recogerlos en una bolsa marrón de papel)	Público-objetivo Jóvenes Agentes: Proveedores     sanitarios	Clínicas Departamento de salud Comerciantes
Factor de protección:  involucramiento en una comunidad de fe	Alentar la participación de jóvenes en comunidades de fe	Incrementar actividades juveniles patrocinadas por la iglesia Establecer educación sexual con base en la iglesia Sesiones de comunicación padre-hijo patrocinadas por la iglesia	Público-objetivo Jóvenes Padres Agentes: Jóvenes Padres Líderes Religiosos	Discusiones Reuniones Sesiones educacionales Talleres

(Gracias a Adrienne Paine-Andrews del Work Group on Health Promotion and Community Development por su ayuda con la tabla precedente

Ejemplo 2. Preguntas y métodos de evaluación

Tabla de ejemplo de algunas de las preguntas del plan de evaluación del Youth Enrichment Services (Y. E. S. por sus siglas en inglés), una organización que suministra a jóvenes urbanos servicios que los alientan a explorar, desafiarse física y mentalmente, e interactuar con modelos de roles positivos:

		Forma de recolección de datos*					Diseño Experimental**
Pregunta (s)  de evaluación claves	Tipo de información gerencial y Medida(s) de evaluación	Encuesta/ Escala	Entrevista estructurada	Informe del equipo Bitácora	Observación directa  Directa	Registros de Archivo	Estudio de Caso	Grupo de Control Pre-Post examen	Series Periódicas
A.  Temas de Planeación/ Implementación	A.  Medidas Descriptivas y de Proceso
1. ¿Quién participa? ¿Existe diversidad en los participantes?	1. Datos demográficos básicos (p.  ej.   edad, género, discapacidad, raza, nivel económico, etc.) de los participantes.	X	X				X
2. ¿Por qué los participantes entran y salen del programa?	los participantes entran y salen del programa? 2. ¿Informa-ción sobre los participantes? Razones para entrar y salir del programa.	X	X				X
3. ¿Se genera una variedad de servicios y actividades alternativas?	3. Frecuencia de los diversos tipos de servicios suministrados y actividades alternativas generadas.			X	X	X	X
B. Evaluando la Obtención de Objetivos	B.  Medidas de Resultados
1. ¿Cuánta gente participa?	1. Número de personas participando.			X	X	X	X		X
2. ¿Cuántas horas están los participantes involucrados en actividades de servicio y alternativas	2. Horas de participación por tipo  de actividad			X	X	X	X		X
3. ¿Cuántas personas están entrenadas en  fomento y sensibilidad  cultural?	3. Número de personas entrenadas en fomento y sensibilidad cultural.			X	X	X	X		X
C. Impacto en los Participantes
1. ¿Cómo han cambiado el comporta-miento y las actitudes como resultado de participar en el programa?	1. Cambios en los programas, políticas y prácticas de las organizaciones afiliadas y otros resultados.	X	X	X	X	X		X	X
2. ¿Afecta la participación la incidencia de problemas en la vida?	2. Incidencia de los problemas en la vida (p.  ej.   uso de drogas, involucra-miento con pandillas)	X	X			X		X
3. ¿Están los participantes satisfechos con la experiencia?	3. Índice de satisfacción de los participantes	X					X
D. Impacto en la comunidad
1. ¿Cuáles fueron los resultados del programa?	1.Cambios en programas, políticas y prácticas de las organizaciones afiliadas y otros resultados	X	X	X	X	X			X
2. ¿Exceden los beneficios a los costos del programa?	2. Datos de costo/beneficio		X	X		X	X
3.¿Están los miembros de la comunidad satisfechos con los participantes y los servicios que prestan?	3. Índices de satisfacción de los beneficiarios  y miembros de la comunidad	X					X

*Por favor tome nota de que las categorías y la forma de recolección de datos utilizan términos más amplios de los que hemos usado para describir los métodos de evaluación; He aquí algunos ejemplos de métodos que entran en estas categorías:

• Encuesta/Escala: encuesta de satisfacción de miembros con las metas, encuesta de satisfacción de miembros con el proceso, encuesta de satisfacción de miembros con los resultados, y encuestas de comportamiento
• Entrevista estructurada: i.  e.  , entrevista con participantes clave
• Informe del equipo/Bitácora: es decir, sistema de monitoreo, informe de obtención de metas
• Observación Directa: Esto se refiere a la observación directa de comportamiento por parte de los investigadores
• Registros de Archivo: i.  e.  , indicadores de impacto a nivel de la comunidad

**Explicaciones de estos términos:  

• Estudio de caso: un análisis en profundidad y total de una persona, grupo o comunidad  que se enfoca en los factores de desarrollo en relación con el entorno –bueno para contestar preguntas tipo “cómo” o “por qué”
• Grupo de control pre-post examen: monitoreo de un grupo de personas que encajan en la población objetivo de su grupo a quienes usted no expone su iniciativa, para que pueda compararlos con personas que formaron parte de la iniciativa;  le ayudará a tener una idea mejor acerca de cuán grande ha sido el impacto real logrado.   
• Series periódicas: los efectos son medidos de una larga serie de medidas repetidas tomadas antes y después de una iniciativa

Ejemplo 3: Cronograma para las actividades de evaluación

Este es el cronograma para una evaluación que está haciendo Kansas City's Promise de su iniciativa para promover cuidado personal y comunitario para  la juventud:

	2010	2011	2012	2013
Sistema de Monitoreo	M A M J J A S O N D J F	M A M J J A S O N D J F	M A M J J A S O N D J F	M A M J J A S O N D J F
Establezca el sistema	[ - - - ]
Entrene a los participantes y el equipo en entrada de datos	[ - - - ]
Mantenga el sistema (recolección de datos e informes)	[- - - - - - - - - - - - - - -	- - - - - - - - - - - - - - -	- - - - - - - - - - - - - - - -	- - - - - - - - - - - - - ]
Eventos críticos
Identifique personas clave	[ - - - ]	[ - - - ]	[ - - - ]	[ - - - ]
Lleve a cabo entrevistas	[ - - ]	[ - - ]	[ - - ]	[ - - ]
Informe resultados	[ - - - ]	[ - - - ]	[ - - - ]	[ - - - ]
Indicadores de nivel comunitarios
Identifique indicadores locales	[ - - - - ]
Identifique la localización	[ - - - - ]
Obtenga los datos	[ - - -	- - - - - - - - - - - - - - - -	- - - - - - - - - - - - - - - -	- - - - - - - - - ]
Informe los resultados	[ - - - ]	[ - - - ]	[ - - - ]	[ - - - ]
Otros Indicadores (encuestas de comportamiento, estudio de los datos)
Identifique	[ - - - - - -	- - - - - - ]
Obtenga los datos	[ - - -	- - - - - - - - - - - - - - -	- - - - - - - - - - -  - - - - -	- - - - - - - - - -]
Informe los resultados	[ - - - ]	[ - - - ]	[ - - - ]	[ - - - ]

 

Herramienta 1: Tabla de componentes y elementos del programa

Factores de riesgo/protección	Componentes del programa (estrategias)	Elementos del programa (tácticas)	Población objetivo y agentes de cambio	Forma/contexto de entrega

Herramienta 2 Preguntas y métodos de evaluación

Impacto en la comunidad

		Tipo de recolección de datos*					Diseño experimental**
Preguntas clave de evaluación	Tipo de información gerencial y medida(s)de evaluación	Encuesta escala	Entrevista estructurada	Informe del equipo bitácora	Observación directa	Registros de archivo	Pre-post examen	Series periódicas
Temas de planificación e implementación	Medidas descriptivas y de proceso
1.	1.
2.	2.
3.	3.
4.	4.
5.	5.
Evaluación de la Obtención de Objetivos	Medida de resultados
1.	1.
2.	2.
3.	3.
4.	4.
5.	5.
Impacto en los participantes
1.	1.
2.	2.
3.	3.
4.	4.
5.	5.
1.	1.
2.	2.
3.	3.
4.	4.
5.	5.

Herramienta 3: Cronograma de la evaluación

	2010	2011	2012	2013
Sistema de monitoreo	J F M A M J J A S O N D	J F M A M J J A S O N D	J F M A M J J A S O N D	J F M A M J J A S O N D
Establezca el sistema
Entrene a los participantes y al equipo en entrada de
Mantenga el sistema (recolección de datos & informes)
Eventos críticos
Identifique personas clave
Lleve a cabo entrevistas
Reporte resultados
Indicadores de nivel comunitarios
Identifique indicadores locales
Identifique localización
Obtenga los datos
Informe resultados
Otros indicadores (encuestas de comportamiento, estudio de los datos
Identifique
Obtenga los datos
Informe resultados

 

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué es la evaluación participativa?

• ¿Por qué (y por qué no) usaría usted la evaluación participativa?

• ¿Cuándo usaría la evaluación participativa?

• ¿Quiénes deben involucrarse en la evaluación participativa?

• ¿Cómo se dirige a una evaluación participativa?

Los constructores de comunidad con experiencia saben que involucrar a las personas interesadas – las personas que están directamente conectadas a sus proyectos y que son afectadas por ellos – en su trabajo es tremendamente importante. Eso les da la información que necesitan para diseñar, y para ajustar o cambiar, lo que ellos hacen para conocer mejor las necesidades de la comunidad y de las poblaciones particulares, que una intervención o iniciativa se supone que beneficia. Esto es particularmente cierto en relación con la evaluación.

La investigación participativa basada en la comunidad, la cual, como explicamos, puede ser empleada en la descripción de una comunidad, valorando los problemas y necesidades de la misma, encontrando y escogiendo las mejores prácticas, y/o evaluación. Consideramos que el tópico de la evaluación participativa es lo suficientemente importante como para darle una sección propia, y para mostrar cómo ésta se adapta dentro del gran cuadro investigativo de la participación.

Es una buena idea construir participación por parte de los interesados en un proyecto desde el principio. Una de las mejores formas de escoger la dirección apropiada para su trabajo es involucrando a las personas interesadas en la identificación real de las necesidades de la comunidad, y en las formas en las que un proyecto tendrá el mayor impacto. Una de las mejores maneras para averiguar cuáles efectos tendrá su trabajo en la gente, es  hacerlo dirigido de forma que se les incluya en la recepción final de información o servicios o apoyo en su equipo de evaluación.

Con frecuencia, usted podrá ver mejor qué es lo que en realidad acontece a través de los ojos de aquellos directamente involucrados– participantes, personal, y otros que están involucrados en tomar parte y sobrellevar el programa, iniciativa u otro proyecto. En la sección dos, se discutió cómo es posible involucrar a las personas para dirigir una investigación en una comunidad y para escoger problemas que puedan ser tratados y las direcciones para seguir adelante con los mismos. Esta sección trata acerca de cómo puede involucrarlos en todo el ámbito del proyecto, incluyendo la evaluación, y cómo es entonces probable que ésto beneficie los resultados finales del proyecto.

¿Qué es la evaluación participativa?

Cuando la mayoría de las personas piensa en una evaluación, piensa en algo que ocurre al final de un proyecto – que mira hacia el proyecto después de que éste ha terminado  y decide si fue bueno o no. La evaluación necesita ser, de hecho, una parte integral del proyecto desde un inicio. La evaluación participativa involucra a todas las personas interesadas en un proyecto – aquellos directamente afectados por él o por llevarlo a cabo – en una contribución para entenderlo, y como solicitud de que el entendimiento es importante para la mejora del trabajo.

La evaluación participativa, como todos podemos ver, no es simplemente una cuestión de pedirles a aquellas personas interesadas que tomen parte. El involucrar a todos los afectados cambia la naturaleza absoluta del proyecto, de algo hecho para un grupo de personas o comunidad a una asociación entre los beneficiarios y los implementadores del proyecto. Más que personas imposibilitadas sobre las cuales se actúa, los beneficiarios se convierten en los copilotos de un proyecto, asegurando que sus necesidades reales y aquellas de la comunidad sean reconocidas y tratadas. Evaluadores profesionales, personal del proyecto, beneficiarios del proyecto o participantes, y otros miembros de la comunidad pueden convertirse en colegas en un esfuerzo para mejorar la calidad de vida de la comunidad.

Esta aproximación para el planeamiento y evaluación no es posible sin confianza y respeto mutuos. Éstos deben desarrollarse con el tiempo, pero ese desarrollo es mucho más probable si se comienza con una comprensión de la cultura y costumbres locales – ya sea que se esté trabajando en un país en vías de desarrollo o en un vecindario urbano norteamericano. Respetar a los individuos y sus conocimientos y destrezas es un largo camino paralelo a promover la confianza a largo plazo y la participación.

El otro aspecto necesario en cualquier proceso participativo es el entrenamiento adecuado de todos los involucrados. Algunos interesados pueden ni siquiera estar conscientes de que la investigación del proyecto se está llevando a cabo; otros pueden no tener idea de cómo trabajar junto a personas de diferente procedencia; y aún puede haber otros que desconozcan qué hacer con los resultados de una evaluación una vez que ya los tienen. Discutiremos todos esos aspectos – participación de los interesados, establecimiento de confianza y entrenamiento – conforme se avanza en la sección.

El propósito real de una evaluación es no sólo descubrir lo que pasó, sino también usar la información para hacer un mejor proyecto. Para lograr esto, la evaluación debe incluir la revisión de al menos dos de las siguientes áreas:

• Proceso. El proceso de un proyecto incluye el planeamiento y las actividades logísticas necesarias para montarlo y llevarlo a cabo.¿Tuvimos una asesoría previa apropiada de forma que supiéramos cuáles eran las necesidades reales? ¿Usamos los resultados de esa asesoría para identificar y responder a aquellas necesidades en el diseño del proyecto?¿Diseñamos y llevamos a cabo el proyecto dentro de los horarios y otras estructuras que pretendíamos?¿Involucramos a las personas que queríamos?¿Tenemos o conseguimos los recursos que esperábamos?¿Fueron, el personal y otros, entrenados y preparados para hacer el trabajo? ¿Tuvimos el apoyo comunitario que esperábamos?¿Registramos lo que hicimos con precisión y a tiempo? ¿Monitoreamos y evaluamos según pretendíamos?
• Implementación. La implementación de un proyecto es el trabajo que se tiene cuando se realiza el proyecto.¿Hicimos lo que queríamos?¿Servimos o afectamos al número de personas que nos propusimos?¿Usamos los métodos que habíamos planeado usar (por ejemplo, proveímos el número de horas de servicio que pretendíamos)?¿Alcanzamos la(s) población(es) a la(s) cual(es) nos dirigimos?¿Qué fue exactamente lo que hicimos o les dimos? ¿Hicimos cambios intencionales o sin intención, y por qué?
• Resultados. Las consecuencias de un proyecto son sus resultados – lo que realmente ocurrió como consecuencia de la existencia del proyecto.¿Nuestro trabajo tuvo el efecto que esperábamos?¿Tuvo otros efectos imprevistos?¿Fueron éstos positivos o negativos (o ninguno de ellos)? ¿Sabemos por qué obtuvimos esos resultados?¿Qué podemos cambiar, y cómo, para que nuestro trabajo sea más efectivo?

Muchos de los que escriben sobre la evaluación participativa combinan las dos primeras áreas en el proceso de evaluación, y añaden una tercera – evaluación del impacto – en adición a la evaluación de los resultados. La evaluación del impacto mira los resultados a largo plazo de un proyecto, ya sea que el proyecto continúe o que su trabajo finalice.

Los proyectos de desarrollo rural en el mundo en vías de desarrollo, por ejemplo, con frecuencia existen simplemente para pasarle a las personas locales algunas habilidades específicas, que se espera practiquen y enseñen a los demás luego. Una vez que las personas han aprendido las destrezas, – tal vez técnicas particulares de cultivo, o de purificación del agua – el proyecto termina. Si en cinco o diez años de cultivo, una evaluación del impacto muestra que las habilidades que enseñó el proyecto no sólo se siguen practicando correctamente sino que además se han esparcido, entonces el impacto del proyectofue a largo plazo y positivo.

Para cubrir de forma apropiada esas áreas, la evaluación tiene que comenzar al verdadero inicio del proyecto, con asesoría y planeamiento.

En una evaluación participativa, las personas interesadas deben involucrarse en:

• Nombrar y enmarcar el problema o meta que se va a dirigir.
• Desarrollar una teoría de práctica (proceso, modelo logístico) para alcanzar el éxito.
• Identificar las preguntas sobre el proyecto a utilizar y las mejores formas de preguntarlas. Esas preguntas van a identificar el propósito del proyecto, y por lo tanto, lo que de él deba ser evaluado.

¿Cuál es la meta real, por ejemplo, de un programa para introducir comidas más saludables en las meriendas escolares? Puede ser simplemente el convencer a los niños para que coman más frutas, vegetales, y granos enteros. Puede ser el hacer que consuman menos comida “chatarra”. Puede ser el animarlos a perder peso si son niños con sobrepeso u obesos. Puede ser simplemente el educarlos sobre alimentación saludable, y persuadirlos a que sean más aventureros a la hora de comer.

La preguntas evaluativas que usted puede preguntar reflejan y determinan sus metas para el programa. Si usted no mide la pérdida de peso, por ejemplo, entonces claramente eso no es a lo que se está dirigiendo. Si usted sólo mira el incremento en el consumo de comidas saludables por parte de los niños, está ignorando el hecho de si ellos no disminuyeron en algo más (comida “chatarra”, por ejemplo), entonces ellos simplemente aumentarán de peso. ¿Es eso aún mejor que no comer las comidas saludables? Conteste esa pregunta según lo que usted decidió examinar – si es mejor, puede no importarle qué más están comiendo los niños; y si no, entonces sí le importará.

• Recolectar información sobre el proyecto.
• Darle sentido a esa información.
• Decidir qué festejar, y qué ajustar o cambiar, basados en la información de la evaluación.

¿Por qué (y por qué no) usaría usted la evaluación participativa?

¿Por qué usaría la evaluación participativa? La respuesta corta es que, con frecuencia, es la forma más efectiva de averiguar lo que usted necesita saber, tanto al inicio como durante el curso del proyecto. Además, conlleva beneficios tanto para los participantes individuales como para la comunidad que otros métodos no permiten.

Algunas de las mayores ventajas de la evaluación participativa son:

• Le da una mejor perspectiva sobre las necesidades iniciales de los beneficiarios del proyecto así como de sus efectos posteriores. Si los interesados, incluyendo a los beneficiarios del proyecto, están involucrados desde el inicio en determinar qué necesidades deben ser evaluadas y por qué – sin mencionar cuál debe ser el centro del proyecto – usted tendrá mayor probabilidad de dirigir su trabajo en la dirección correcta, para determinar con certeza si su proyecto es efectivo o no, y para entender cómo cambiarlo en aras de hacerlo mejor.
• Le puede brindar información que de otra forma no conseguiría. Cuando la dirección y evaluación de un proyecto dependen, al menos en parte, de información sobre gente de la comunidad, esa información será con frecuencia más abierta si es preguntada por alguien familiar. Personas de la comunidad que entrevistan a sus amigos y vecinos pueden obtener información que a una persona externa no se le ofrecería.
• Le dice qué funcionó y qué no desde la perspectiva de aquellos que están más directamente involucrados – beneficiarios y personal. Los que implementan el proyecto y los que son afectados directamente por él son más capaces de distinguir lo efectivo de lo poco efectivo.
• Le puede decir por qué algo funciona o no. Los beneficiarios son con frecuencia capaces de explicar exactamente por qué ellos no respondieron a una aproximación o técnica en particular, dándole a usted una mejor oportunidad de ajustarla bien.
• Resulta en un proyecto mucho más efectivo. Debido a las razones recién descritas, usted se encuentra mucho más apto para empezar en la dirección correcta, y para saber cuándo necesita cambiar de dirección si no lo ha hecho. La consecuencia es un proyecto que trata los problemas apropiados en la forma apropiada, y logra lo que se propuso hacer.
• Autoriza a las personas interesadas. La evaluación participativa le da a quienes con frecuencia no so consultados – personal directivo y beneficiarios, particularmente – la oportunidad de ser socios totales en la determinación de la dirección y efectividad de un proyecto.
• Le puede proveer una voz a quienes con frecuencia no son escuchados. Los beneficiarios del proyecto son por lo general personas de bajos ingresos con un nivel relativamente bajo de educación, quienes rara vez tienen – y que muchas veces no piensan que tienen el derecho – la oportunidad de hablar por sí mismos.  Al involucrarlos desde un principio en la evaluación del proyecto, usted se asegura que sus voces sean escuchadas, y que ellos tienen la habilidad y el derecho de hablar por sí mismos.
• Le enseña habilidades que pueden usarse en el trabajo y otras áreas de la vida. Además del desarrollo de destrezas básicas y capacidades específicas de investigación, la evaluación participativa estimula el pensamiento crítico, la colaboración, la solución de problemas, acción independiente, lidiar con fechas límites…todas las habilidades valoradas por los empleadores, y útiles en la vida familiar, la educación, la participación ciudadana y otras áreas.
• Refuerza la confianza en sí mismo y la autoestima en aquellos que puedan tener poco de cualquiera de ambas. Esta categoría puede incluir no sólo a los beneficiarios de un proyecto, sino también a otros que tal vez, por sus circunstancias, puedan tener pocas razones para creer en su propia estima y valor para la sociedad. La oportunidad para comprometerse en una actividad con verdadero significado y que sea también un reto, y  el ser tratado como un colega por profesionales, puede hacer una gran diferencia para aquellos que rara vez se acreditan respeto o se dan una oportunidad para probarse a así mismos.
• Le demuestra a las personas, las formas en las que pueden tomar mayor control de sus vidas. Trabajar con profesionales y otros para completar una tarea compleja con consecuencias en la vida real puede mostrarle a las personas cómo pueden tomar acción para influenciar gente y situaciones.
• Estimula la posesión del proyecto por parte de los interesados. Si aquellos involucrados sienten el proyecto como propio, más que algo impuesto sobre ellos por otros, trabajarán duro tanto en su implementación y como en la conducción y evaluación minuciosa para mejorarlo.
• Puede encender la creatividad en todos los involucrados. Para aquellos que nunca han estado involucrados en algo similar, una evaluación participativa puede ser una revelación, abriendo puertas a una nueva forma de pensar y ver el mundo. Para aquellos que ya han participado de una evaluación anteriormente, la oportunidad de intercambiar ideas con gente que pueda tener nuevas formas de ver lo que es familiar, puede llevarlos a una perspectiva fresca en lo que puede haber parecido un problema resuelto.
• Fomenta el trabajo colaborativo. Para que la evaluación participativa funcione bien, ésta debe ser vista por todos los involucrados como una colaboración, en donde cada participante da herramientas específicas al esfuerzo, y todos son valorados por lo que pueden contribuir. La colaboración de este tipo no sólo conlleva a las varias ventajas descritas antes, sino que también promueve un espíritu más colaborativo para el futro también, conduciendo a otros proyectos comunitarios exitosos.
• Se adapta al esfuerzo para una mayor participación. Cuando la asesoría comunitaria y el plan de un proyecto han sido una colaboración entre los beneficiarios del proyecto, personal, y miembros de la comunidad, tiene completo sentido incluir a la evaluación en el proyecto global, y enfocarlo en la misma forma que se ha hecho con el resto del proyecto. Para conducir una buena evaluación, su planeamiento debe ser parte del planeamiento total del proyecto. Más aún, el proceso participativo generalmente se acopla bien con la filosofía de grupos u organizaciones basados en la comunidad o de nivel local.

Junto con todos los aspectos positivos, la evaluación participativa acarrea algunos aspectos negativos también. Ya sea que las desventajas pesen más que las ventajas, dependerá de sus circunstancias, pero al decidir si se va a comprometer con él o no, es importante que entienda qué tipos de reveses puede tener.

Las desventajas significativas de la evaluación participativa incluyen:

• Toma más tiempo que un proceso convencional. Debido a que hay tantas personas involucradas que tienen sus propias perspectivas, un número de las cuales nunca han tomado parte  en planear o evaluar antes, todo toma más tiempo que si un evaluador profesional o un equipo familiarizado simplemente se hiciera cargo de dirigir todo. La toma de decisiones involucra a una gran sesión de discusión, reunir a personas puede ser difícil, se necesita entrenar a los evaluadores, etc.
• Requiere el establecimiento de confianza entre todos los participantes del proceso. Si usted está empezando algo nuevo (o, todo demasiado repentino, aún si el proyecto está en marcha), hay probabilidad de que haya problemas de distinción de clases, diferencias culturales, etc., dividiendo grupos de personas interesadas. Éstas pueden llevar a obstáculos y retrasos hasta que sean resueltas, lo cual no sucederá de la noche a la mañana. Tomará algún tiempo y una buena parte de esfuerzo consciente antes de que todas las personas interesadas se sientan cómodas y confiadas de que sus necesidades y cultura están siendo tomadas en cuenta.
• Usted debe asegurarse de que todos están involucrados, no sólo los “líderes” de varios grupos. Con mucha frecuencia, el término "participativo" significa la participación de una estructura de poder ya existente. La mayoría de los líderes son en realidad – personas que tienen la mayor preocupación por los intereses del grupo, y en quienes otros confían para que los representen y los encaminen en la dirección que mejor refleja esos intereses. A veces, sin embargo, líderes son aquellos que se empujan a sí mismos hacia el frente, y tratan de confirmar su propia importancia al decirle a los demás qué hacer.

Al involucrar solamente a líderes de una población o una comunidad, usted corre el riesgo de perder – o nunca ganar – la confianza y perspectiva del resto de la población, lo que puede disgustar y hacer desconfiar a un líder del segundo tipo, o simplemente hacer que se vean fuera del proceso. Ellos pueden ver a la evaluación participativa como una función de autoridad, y no estar interesados en tomar parte de ella. Trabajar para reclutar a gente "regular" así como, o lugar de, líderes puede ser un paso importante para la credibilidad del proceso. Pero es mucho trabajo y puede ser difícil de proponer.

• Usted tiene que entrenar a las personas para que entiendan la evaluación, y cómo funciona el proceso participativo, así como enseñarles técnicas básicas de investigación. Realmente, hay un número de potenciales desventajas aquí. La más obvia es la del tiempo, el cual ya hemos discutido – el entrenamiento lleva tiempo para ser preparado, tiempo para implementar, y tiempo para consumirse en el proyecto. Otra es la pregunta de: ¿qué tipo de entrenamiento servirá para que los participantes respondan a él? Aún hay otra preocupación sobre el reclutamiento - ¿estará la gente dispuesta a poner de su tiempo para prepararse para el proceso, dejando de lado el tiempo para el proceso como tal?
• Usted necesita que los participantes le “compren” la idea y que se comprometan. Una vez dado lo que los evaluadores tendrán que hacer, ellos necesitan estar comprometidos con el proceso, y sentir  como si fuera de ellos. Usted debe estructurar tanto el entrenamiento como el proceso en sí para atraer este compromiso.
• Los factores personales – enfermedades, cuidado de los niños, problemas de pareja, intromisión de los demás, etc. - pueden causar retrasos o bien, interponerse en la evaluación. La gente pobre de todos los lugares vive en el límite, lo que significa que están atados a un delicado acto de equilibrio. La mínima inclinación a un lado o al otro – un hijo enfermo, demasiados días seguidos de lluvia – pueden causar una ruptura que puede resultar en la incapacidad para participar cierto día, o para participar del todo. Si usted está lidiando con una aldea rural que depende de la agricultura, por ejemplo, un accidente climático puede desviar todo el proceso, ya sea temporalmente o permanentemente.
• Usted puede requerir ser creativo al obtener, registrar y reportar información. Si algunos de los participantes de una evaluación son analfabetos o semi-analfabetos, o si los participantes hablan un número de idiomas diferentes (Inglés, Español y Lao, por ejemplo), una forma de registrar información será buscar el que todos puedan entender, y que puedan, al revés, ser entendidos por otros fuera del grupo.
• Los financiadores o hacedores de políticas pueden no entender o creer en la evaluación participativa. En el peor de los casos, esto puede hacerle perder su financiamiento, o la oportunidad de aplicar para financiamiento. En el mejor escenario, usted tendrá que emplear una buena cantidad de tiempo y esfuerzo para convencer a los financiadores y hacedores de políticas que la evaluación participativa es una buena idea, y obtener apoyo por su esfuerzo.

Algunas de estas desventajas pueden ser vistas como ventajas: el entrenamiento de las personas se combina con el desarrollo de nuevas destrezas que pueden ser transferidas a otras áreas de la vida, por ejemplo; inventar formas creativas para expresar ideas beneficia a todos; una vez que los financiadores y los hacedores de políticas hayan sido persuadidos con los beneficios del proceso y evaluación participativos, éstos pueden fomentar a otros a que los usen también. No obstante, todos esos potenciales aspectos negativos consumen tiempo, que puede ser crucial. Si es absolutamente necesario que las cosas sucedan rápido (lo cual no es cierto tantas veces, como pensamos la mayoría), la evaluación participativa probablemente no sea la manera de proseguir.

¿Cuándo usaría la evaluación participativa?

Entonces, ¿cuándo usar la evaluación participativa? Algunas de las razones por las cuales podrá decidir que es la mejor opción para sus propósitos:

• Cuando ya se ha comprometido con un proceso participativo para su proyecto. El planeamiento de su evaluación puede ser incluido y diseñado colaborativamente como parte del plan general del proyecto.
• Cuando tenga el tiempo, o cuando los resultados sean más importantes que el tiempo. Esto debería ser obvio desde la última parte de esta sección, uno de los reveses más grandes de la evaluación participativa es el tiempo que conlleva. Si el tiempo no es lo más importante, usted puede ganar las ventajas de una evaluación participativa sin tener que compensar muchas de las desventajas.
• Cuando pueda convencer a los financiadores de que es una buena idea. Los financiadores pueden especificar que ellos quieren una evaluación externa, o que simplemente tiene  dudas acerca del valor de una evaluación participativa. En cualquiera de los casos, usted puede tener a algunos persuadiendo para hacer posible el uso de un proceso participativo.  A los financiadores les gusta el hecho de que  la evaluación participativa es con frecuencia menos cara, y que tiene un valor agregado en la forma en que otorga y transmite habilidades.
• Cuando pueda haber problemas en la comunidad o en la población, que evaluadores externos (proveedores del programa, por ejemplo), probablemente no noten. Factores políticos, sociales e interpersonales en la comunidad pueden sesgar los resultados de una evaluación, y sin la comprensión de esos factores y su historia, los evaluadores pueden no tener idea de que lo que están averiguando está alterado en cualquier forma. Los evaluadores que son parte de la comunidad pueden ayudar a separar la influencia de esos factores, y de esta manera, dar con una evaluación más acertada.
• Cuando necesite información que sea difícil de conseguir para cualquiera externo a la comunidad o a la población. Cuando usted sabe que los miembros de la comunidad o de la población en cuestión se rehúsan a hablar libremente con cualquiera externo, la evaluación participativa es una forma de aumentar las posibilidades de obtener la información que necesita.
• Cuando parte de la meta el proyecto sea darles autoridad a los participantes y ayudarlos a desarrollar habilidades transmisibles. Aquí, la evaluación participativa, como debe en cualquier caso, se convierte en parte del proyecto como tal y de sus metas.
• Cuando quiere unir a la comunidad o a la población. Además fomentar un espíritu colaborativo, como hemos mencionado, una evaluación participativa crea oportunidades para las personas que normalmente tienen poco contacto en el trabajo para que se conozcan. Esta familiaridad puede llevarse a otros aspectos de la vida comunitaria, e incluso cambiar el carácter social de la comunidad a un largo plazo.

¿Quiénes deben involucrarse en una evaluación participativa?

Nos hemos referido continuamente a los interesados – las personas que son directamente afectadas por el proyecto mientras el proyecto está siendo evaluado. ¿Quiénes son los interesados? Eso varía de proyecto a proyecto, dependiendo del enfoque, el financiamiento, la intención de los resultados, etc.

Hay un número de grupos que generalmente están involucrados, sin embargo:

• Participantes o beneficiarios. Las personas para las cuales se espera beneficio del proyecto. Puede haber un grupo específico (personas con alguna condición médica, por ejemplo), una población particular (inmigrantes recientes del sureste de Asia, residentes de un área particular), o toda una comunidad. Pueden estar recibiendo activamente un servicio (como ejemplo, entrenamiento laboral)  o simplemente estar para beneficiarse de lo que esté haciendo el proyecto (prevención de la violencia en un vecindario dado). Éstos son usualmente los sujetos con la mayor apuesta en el éxito del proyecto, y con frecuencia, los que tienen la menor experiencia de evaluación.
• Personal directivo y/o voluntarios. Las personas que en realidad hacen el trabajo de llevar a cabo el proyecto. Puede haber profesionales, personas con destrezas específicas, o voluntarios de la comunidad. Pueden trabajar directamente con los beneficiarios del proyecto como mentores, maestros, o proveedores del cuidado de la salud; o pueden abogar por derechos inmigrantes, identificar espacios abiertos para ser preservados, o contestar el teléfono y llenar sobres. Quienquiera que sean, por lo general saben más sobre lo que están haciendo que cualquier otra persona, y sus vidas pueden verse afectadas por el proyecto tanto como aquellos que son participantes o beneficiarios.
• Administradores. La personas que coordinan el proyecto o aspectos específicos de éste. Como el personal directivo y los voluntarios, ellos saben mucho acerca de lo que ocurre, y cada día están íntimamente involucrados con el proyecto.
• Evaluadores externos, si estuviesen involucrados. En muchos casos, se contratan evaluadores externos para hacer evaluaciones participativas. La necesidad para hacerlos partícipes es obvia.
• Oficiales de la comunidad. Usted puede necesitar el apoyo de líderes de la comunidad, o simplemente quiere darles a ellos y a otros participantes, la oportunidad de conocerse mutuamente en un contexto que propicie un mejor entendimiento de las necesidades de la comunidad
• Otros cuyas vidas son afectadas por el proyecto. La definición de este grupo varía grandemente de proyecto a proyecto. En general, se refiere a personas cuyos trabajos u otros aspectos de sus vidas serán cambiados por el funcionamiento del proyecto como tal, o por sus resultados.

Un ejemplo serían los dueños de propiedades a quienes un potencial uso de sus tierras, les afectaría por una iniciativa ambiental o un plan de la comunidad.

¿Cómo dirigir una evaluación participativa?

La evaluación participativa abarca elementos de diseño del proyecto como de evaluación del mismo. Lo que usted evalúa depende de lo que quiere saber y de lo que está tratando de hacer. Identificar las verdaderas preguntas evaluativas establece el curso de un proyecto de forma tan segura como las guías de instrucción de un programa de prueba estandarizado. Cuando esas preguntas salen de un asesoría en la que los interesados estuvieron involucrados, la evaluación sería de una fase dentro del proceso investigativo basado en una comunidad.

Una evaluación participativa en realidad tiene dos estados: Uno comprende el hallar y entrenar a las personas interesadas para que actúen como evaluadores participativos. El Segundo – algunos de los cuales pueden ocurrir antes o durante el primer estado – abarca el planeamiento e implementación del proyecto y su evaluación, e incluye seis pasos:

• Nombrar y enmarcar el problema.
• Desarrollar una teoría práctica para dirigirlo.
• Decidir cuáles preguntas hacer, y cómo preguntarlas para obtener la información que usted necesita.
• Colectar información.
• Analizar la información que ha colectado.
• Usar esa información para festejar lo que funcionó, y para ajustar y mejorar el proyecto.

Encontrar y entrenar a los interesados para que actúen como evaluadores participativos.

Desafortunadamente, este estado no es simplemente una cuestión de anunciar una evaluación participativa y luego sentarse mientras las personas le golpean la puerta para formar parte de ella. De hecho, puede ser uno de los aspectos más difíciles al dirigir una evaluación participativa.

Aquí es donde la construcción de la confianza que discutimos antes entra en juego. La población con la cual está trabajando puede ser desconfiada a los externos, o puede estar acostumbrada a promesas de participación que resultan ser huecas o que simplemente son ignoradas. Ellos pueden estar acostumbrados a ser ignorados en general, y/o los servicios y programas ofrecidos no responden a las necesidades reales. Si usted no ha construido una confianza al punto en donde la gente está dispuesta a creerle que va a seguir firmemente en lo que dijo, ahora es el momento para hacerlo. Esto puede tomar tiempo y esfuerzo – usted debe poder demostrar que aún estará allí en seis meses – pero vale la pena. Está usted más propenso a tener un proyecto exitoso, sin mencionar una evaluación exitosa, si tiene una relación de confianza y respeto mutuos.

Pero asumamos que usted tiene ese paso ganado, y que ha establecido buenas relaciones en la comunidad y entre la población con la cual trabaja, así como con el personal del proyecto. Asumamos también que estas personas saben muy poco, tal vez nada, sobre la evaluación participativa. Eso significa que necesitarán entrenamiento con el objeto de ser efectivos.

Si, de hecho, su evaluación es apenas una parte de un esfuerzo participativo mayor, la pregunta que sale a relucir es la de si simplemente se emplea al mismo equipo que hizo las asesorías y/o planeó el proyecto, tal vez con algunas adiciones, como los evaluadores. Ese curso de acción tiene tanto puntos a favor como en contra. El equipo ya está dispuesto, ha desarrollado un método para trabajar juntos, tiene algún entrenamiento en técnicas de investigación, etc., de forma que pueden dar en el clavo– obviamente es un punto a favor.

El hecho de que ellos tengan una gran apuesta en ver al proyecto ser exitoso puede funcionar de cualquiera de estas formas: pueden interpretar sus hallazgos a la mejor luz posible, e incluso ignorar información negativa; o pueden estar ansiosos al ver dónde y cómo ajustar el trabajo para darle una mejor dirección.

Otro asunto puede ser el estar agotado. La evaluación significará más tiempo en adición al tiempo que el equipo de asesoría y planeamiento ya ha puesto. Mientras algunos estén más que dispuestos a continuar, muchos pueden estar listos para un receso (o van en dirección a otra fase de sus vidas). Si la posibilidad de ensamblar un nuevo equipo existe, esto le dará la oportunidad de retirarse agradecidos a los que ya han tenido suficiente.

Cómo maneje usted esta pregunta dependerá de las actitudes de aquellos involucrados, cuántas personas usted realmente tendrá que (si el reclutamiento del equipo original fue muy dificultoso, tal vez no tenga muchas opciones), y de cuáles personas se han comprometido.

Reclutar a evaluadores participativos.

Hay muchas maneras de lograr esto. En algunas situaciones, tiene más sentido colocar un aviso general para voluntarios; en otras, será mejor enfocarse en buscar a individuos específicos que tienen probabilidad- debido a su compromiso  con el proyecto o con la población – de ser partícipes. De forma alternativa, usted puede pedirles a los líderes comunitarios o a los interesados que sugieran posibles evaluadores.El reclutamiento se trata en un número de espacios en la organización Community Tool Box. Una introducción a las herramientas.

Algunos títulos básicos incluyen:

• Usar canales y estilos de comunicación que lleguen a las personas que usted quiere dirigirse.
• Hacer su mensaje lo más claro posible.
• Usar un lenguaje sencillo y que sea el que la población utilice.
• Ponga su mensaje donde está la audiencia.
• Aproxímese a potenciales participantes de forma individual cuando le sea posible. Si usted puede encontrar a personas que ellos conocen para que le ayuden a reclutarla, mucho mejor.
• Explique lo que las personas pueden ganar por su participación.
• Sea claro en que se les está pidiendo que participen porque ellos ya tienen las cualidades que son necesarias para la participación.
• Anime a la gente, pero también sea honesto sobre la cantidad y extensión de lo que necesita hacerse.
• Trabaje con los participantes sobre lo que ellos están dispuestos a colaborar y capaces de hacer.
• Trate de arreglar un apoyo - cuidado de los niños, por ejemplo - para hacer más fácil la participación.
• Pida a la gente que ha reclutado que le recomiende – o reclute – a otros.

En general, es importante que los potenciales evaluadores participativos – particularmente aquellos cuya conexión con el proyecto no está relacionado con su contratación para el trabajo – entiendan el compromiso que involucra. Una evaluación tiene más probabilidad de durar un año, a menos que el proyecto sea considerablemente más breve que eso, y aunque usted pueda esperar o planear algunos desertores, la mayoría del equipo necesita estar disponible por ese período.

Para hacer que el compromiso sea más fácil, discuta con los participantes qué tipo de apoyo necesitarán  para cumplir a cabalidad con el compromiso – cuidado de los niños y transporte, por ejemplo – y tratar de buscar formas de proveerlo. Arregle reuniones en horas y lugares que sean más cómodas para ellos (y mantenga el número de reuniones al mínimo). Para los participantes que son pagados como personal directivo, la evaluación debe ser considerada como parte de su trabajo regular, de forma que no es un extra sin paga o una carga que sientan que no pueden rechazar.

Sea cuidadoso en tratar de reunir a un equipo que es una sección cruzada de la población interesada. Como ya hemos discutido, si usted recluta sólo a “líderes” de entre la población beneficiaria, por ejemplo, puede crear resentimiento en el resto del grupo, no obtener una perspectiva del pensamiento o percepción del grupo, y desafiar el propósito de la naturaleza participativa de la evaluación también. Aún si los líderes son buenos representantes del grupo, usted puede querer extender su reclutamiento en aras de desarrollar un mayor liderazgo comunal, y darles autoridad a aquellos que no siempre están dispuestos a hablar.

Entrenar a los evaluadores participativos.

Los participantes, dependiendo de sus orígenes, pueden necesitar entrenamiento en un número de áreas. Pueden tener muy poca experiencia en atender y tomar parte en reuniones, por ejemplo, y pueden entonces empezar desde aquí. Pueden beneficiarse de una introducción a la idea de lo que es una evaluación participativa, y cómo funciona. Y con certeza precisarán de algún entrenamiento en manejo de datos y análisis.

La forma en cómo el entrenamiento será llevado va a variar con las necesidades y horarios de los participantes y el proyecto. Puede tomar lugar en pequeños pedazos a lo largo de un período relativamente extenso de tiempo – semanas o meses –, pueden suceder todos al mismo tiempo en el curso de un retiro de fin de semana, o pueden ser combinados. En esto no hay una forma correcta o incorrecta. La primera opción probablemente le de oportunidad de que más personas tomen parte; la segunda le permite a la gente conocerse y unirse como equipo, y la combinación puede dar paso a ambas posibilidades.

Para la misma muestra, hay muchos métodos de entrenamiento, cualquiera o todos de los cuales puede(n) ser útil(es) con un grupo en particular. El entrenamiento en habilidades de reunión – saber dónde y cómo contribuir y responder, discusiones posteriores, etc. – puede ser la mejor forma de lograrlo a través de la tutoría, antes que con instrucciones. El habilidades de entrevista pueden aprenderse mejor a través del desempeño de un papel (role play) y otras técnicas experimentales. Algún entrenamiento – cómo aproximarse a gente local, por ejemplo – puede venir mejor desde los mismos participantes.

Algunas de las áreas en las cuales el entrenamiento pueda ser necesario son:

• El proceso de evaluación participativa. La forma como funciona la evaluación participativa, sus metas, los roles de las personas en el proceso, qué esperar.
• Habilidades para reuniones. Discusión posterior, habilidades de escucha, manejo de conflicto o desacuerdo, contribución y respuesta apropiadas, reglas generales de protocolo y etiqueta, etc.
• Entrevistar. Poner a la gente en comodidad, lenguaje corporal y tono de voz, hacer preguntas abiertas y continuas, registrar lo que las personas dicen y otra información importante, manejar las interrupciones y distracciones, entrevistar a grupos.
• Observación. La observación directa contra la observación participante, escoger tiempos y lugares apropiados para observar, información relevante a incluir, registrar las observaciones.
• Registrar información y reportarla al grupo. Lo que los entrevistados y observados dicen y hacen, y los mensajes no-verbales que envían, lo que son (edad, situación, etc.), cuáles fueron las condiciones, la fecha y la hora, y cualquier otro factor que ejerza influencia sobre la entrevista o la observación.

Para personas a las cuales escribir no les resulta cómodo, cuando escribir no sea viable, o cuando el idioma sea una barrera, debe haber métodos alternativos para el registro y reporte. Dibujos, mapas, diagramas, grabación de sonido, videos, u otra forma imaginativa para recordar exactamente lo que se dijo u observó puede ser substituido, dependiendo de la situación. En entrevistas, si la grabación de audio o video va a ser utilizada, es importante obtener la aprobación del entrevistado con anticipación – antes que el entrevistador llegue con el equipo, para que no haya malentendidos.

• Analizando información. El pensamiento crítico, el tipo de cosas le dicen las estadísticas, otras cosas en las que hay que pensar. "¿Pero por qué?"

Planeando e implementando el proyecto y su evaluación

Aquí se asume que todas las fases del proyecto van a ser participativas, de forma que no sólo su evaluación, sino también su planeamiento y la asesoría que éste conlleva involucrando a los interesados (no necesariamente los mismos que actúan como evaluadores). Si los interesados no han sido involucrados desde un principio, ellos no tienen el entendimiento profundo de los propósitos y estructura de un proyecto que no han ayudado a formar.  Los resultados de la evaluación, por lo tanto, pueden ser menos perceptivos – y entonces menos valiosos – que aquellos de un proyecto en el que han estado involucrados desde el inicio.

Nombrar y enmarcar el problema o meta que se va a tratar.

Identificar lo que usted está evaluando define hacia dónde se supone que el proyecto va  dirigido y lo que pretende lograr. Representantes de la comunidad e interesados, todos los que tienen algo que ganar o perder, trabajan juntos para desarrollar una visión y misión compartidas. Mediante la recolección de información sobre preocupaciones de la comunidad y la identificación de ventajas disponibles, las comunidades pueden entender en cuáles problemas enfocar un proyecto.

Nombrar y enmarcar un problema o meta se refiere a la identificación del problema que se necesita dirigir. Enmarcarlo tiene que ver con la forma en que lo vemos. Si la violencia juvenil es concebida estrictamente como un problema de aplicación de leyes, ese marco implica formas específicas para resolverlo: leyes más estrictas, aplicación de leyes más estricta, cero tolerancia a la violencia, etc. Si está enmarcado  como una combinación de un número de problemas – disponibilidad de armas de fuego, desempleo y uso de drogas entre la juventud, problemas sociales que llevan a la formación de pandillas, alienación y desesperanza en poblaciones particulares, pobreza, etc. – entonces las soluciones pueden incluir: programas de generación de empleos y de recreación, tutorías, tratamiento de sustancias de abuso, etc., así como aplicación de leyes. Cuanto más conozcamos acerca del problema, y mientras haya más perspectivas diferentes que podamos incluir en nuestro pensamiento, más certeramente vamos a enmarcarlo, y más posibilidades de idear una solución efectiva.

Desarrollar una teoría práctica para dirigir el problema.

¿Cómo dirige usted el esfuerzo de una comunidad de forma que tenga una buena oportunidad de resolver el problema en cuestión? Muchas comunidades y organizaciones responden a esta pregunta lanzando el problema a programas descoordinados, o asumiendo que cierto enfoque (aplicación de leyes, como en nuestro ejemplo) se hará cargo de él. De hecho, usted tiene un plan para crear, implementar, evaluar, ajustar y mantener la solución si desea que funcione.

Como sea que llames al plan –una teoría de práctica, un modelo de lógica, o simplemente un enfoque al proceso– éste debe ser lógico, consistente, que considere todas las áreas que necesitan ser coordinadas para que funcionen, y que le de a usted un lineamiento general y una lista de pasos a seguir para sobrellevarlo.

Una vez que usted ha identificado un problema, como ejemplo, una posible teoría de la práctica puede ser:

• Formar una coalición de organizaciones, agencias y miembros de la comunidad preocupados por el problema.
• Reclutar y entrenar un equipo de investigación participativa que incluya representantes de todos los grupos de interesados
• El equipo colecta información de primera mano tanto estadística como cualitativa sobre el problema, e identifica ventajas comunales que puedan ayudar a dirigirlo.

Éste puede ser un sólo programa o iniciativa, o un esfuerzo coordinado y comunal que involucra varias organizaciones, medios de comunicación e individuos. Si está más cerca de la última opción, ésa es parte de la complejidad que usted debe tomar en cuenta. La coordinación tiene que ser parte de su solución, así como las formas para evitar las barricadas burocráticas que puedan ocurrir y métodos para encontrar los recursos financieros y personales necesarios

• Usar la información que tiene para diseñar una solución que tome en cuenta el contexto y complejidad del problema.
• Implementar la solución.
• Llevar monitoreo y evaluación que le darán retroalimentación continua sobre qué tan bien está reuniendo a objetivos y que debe cambiar para mejorar su solución.
• Usar la información dada por la evaluación para ajustar y mejorar la solución.
• Retroceder a la parte "b" y hacer tanto como pueda de ello hasta que el problema se resuelva, o - mejor aún, como los problemas de muchas comunidades nunca desaparecen del todo – indefinidamente para mantener e incrementar sus ganancias.

Decidir cuáles preguntas evaluativas hacer y cómo preguntarlas para obtener la información que necesita.

Como ya hemos discutido, escoger las preguntas evaluativas en esencia guía el trabajo. Lo que verdaderamente está escogiendo aquí es a lo que le prestará atención. Puede haber resultados significativos en su proyecto que usted nunca notó, porque no los buscaba – usted no preguntó las preguntas para las cuales esos resultados serían las respuestas. Es por eso que es tan importante seleccionar las preguntas con cuidado: ellas determinarán lo que usted encontrará.

Enmarcar el problema es un elemento aquí – ponerlo en contexto, viéndolo desde todos los costados, retrocediendo desde sus propios supuestos y tendencias para obtener una vista más clara y ancha del mismo. Otro es imaginar los resultados que usted quiere, y pensar sobre lo que necesita ser cambiado, y cómo, para alcanzarlos.

Enmarcarlo es una actividad importante también.  Si usted simplemente desea reducir la violencia juvenil, leyes más estrictas y aplicación de las mismas, parecen ser una solución razonable, asumiendo que usted está dispuesto a quedarse con ellas para siempre; si  usted quiere no sólo reducir y eliminar la violencia juvenil, sino también cambiar el clima que la estimula (en ejemplo, un cambio social a largo plazo), la solución se convierte en una mucho más extensa y requiere, como señalamos antes, mucho más que la aplicación de leyes. Y una solución más extensa significa más, y más complejas, preguntas evaluativas.

En el primer caso, las preguntas evaluativas pueden limitarse a algunas como: "¿Hubo más arrestos de ofensores juveniles por crímenes violentos en el período de tiempo estudiado, en comparación al último período en el cual hubo archivos antes de que la nueva solución fuera puesta en práctica?" ¿"Los delincuentes juveniles recibieron sentencias más duras que antes?" "¿Hubo una reducción en incidentes violentos con jóvenes?"

Viendo un panorama más amplio, además de algunas de las preguntas, puede haber preguntas sobre programas de consejería para jóvenes delincuentes para cambiar sus actitudes y para ayudarlos a facilitar su transición a la vida civil de nuevo, tratamiento para drogas y alcohol, control de venta de armas de fuego, cambiar actitudes comunitarias, etc.

Colectar información.

Esta es la parte más grande, al menos en cuanto a tiempo y esfuerzo, en la implementación de la evaluación.

Varios evaluadores, dependiendo de la información necesaria, pueden conducir cualquiera o todas las siguientes:

• Investigar en censos u otros archivos públicos, así como en archivos de noticias, colecciones de biblioteca, Internet, etc.
• Entrevistas individuales y/o grupales.
• Grupos focales.
• Sesiones comunales de compartir información.
• Encuestas.
• Observación directa o participativa.

En algunos casos – particularmente con poblaciones sin educación básica en países en vías de desarrollo – los evaluadores tienen que encontrar formas creativas de sacar a relucir la información. En algunas culturas, mapas, dibujos, representaciones (“Si está piedra es la cabeza del hogar…”), o incluso el relato de un cuento o historia puede ser más revelador que las respuestas a preguntas directas.

Analizar la información que usted ha colectado.

Una vez que usted ha colectado toda la información que necesita, el siguiente paso es encontrarle el sentido. ¿Qué significan los números? ¿Qué le dicen las historias y opiniones de la gente sobre el proyecto? ¿Llevó a cabo el proceso que tenía planeado? Si no fue así, ¿hizo esto alguna diferencia, positiva o negativa?

En algunos casos, esas preguntas son relativamente fáciles de contestar. Si hubo objetivos particulares para servirle a las personas, o para logros de beneficiarios, usted puede rápidamente averiguar ya sea que ellos se reunieran o no. (Nosotros nos preparamos para servir a 75 personas, y de hecho, servimos a 82. Anticipamos que 50 podrían completar el programa, y 61 efectivamente lo hicieron.)

En otros casos, es mucho más difícil decir cuál información importa. ¿Qué pasa si aproximadamente la mitad de las entrevistas dice que el proyecto fue útil para ellos, y la otra mitad dice lo contrario? Un resultado como éste puede dejarlo haciendo trabajo de detective. (¿Hay algún patrón étnico, racial, geográfico, o cultural como para saber quién es positivo y quién es negativo? ¿Con quién trabajó cada equipo? ¿Dónde experimentaron  el proyecto, y cómo? ¿Los miembros de cada grupo tienen cosas específicas en común?

Mientras que colectar la información requiere la mayor cantidad de trabajo y de tiempo, el análisis es quizás el paso más importante al dirigir una evaluación. Su análisis le dice lo que necesita saber para mejorar su proyecto, y también le da la evidencia que necesita para hacer un caso para el financiamiento continuo y el apoyo comunitario. Es importante que esté bien hecho, y que tenga sentido para resultados extraños como se indicó anteriormente. Aquí es donde un buen entrenamiento y una buena guía en el uso del pensamiento crítico y otras técnicas entran en juego.

En general, al reunir la información y analizarla se deben cubrir las tres áreas que fueron discutidas antes en esta sección: proceso, implementación y resultados. El propósito aquí es tanto proveer información para la mejoría, como dar cuentas a los financiadores y la comunidad.

•  Proceso. Esto le  preocupa a la logística del proyecto. ¿Hubo buena coordinación y comunicación? ¿Fue participativo el proceso de planeamiento?  ¿Fue realista el tiempo original estimado para cada estado del proyecto – alcance, asesoría, planeamiento, implementación, evaluación -? ¿Fue capaz de encontrar o contratar a las personas indicadas? ¿Encontró los fondos y otros recursos adecuados? ¿Fue apropiado el espacio? ¿Los miembros de los equipos de planeamiento y evaluación trabajaron bien juntos? ¿Fueron responsables las personas de las que se esperaba algún trabajo? ¿Surgieron líderes inesperados (en el grupo de planeamiento, por ejemplo)?
• Implementación. ¿Hizo lo que se propuso hacer – alcanzar el número de personas que esperaba, usar los métodos que pretendía, proveer la cantidad y tipo de servicio o actividad para quien(es) lo planeaba? Esta parte de la evaluación no se supone que asesore la efectividad, sino solamente si el proyecto fue llevado a cabo como se planeó – por ejemplo, lo que usted en realidad hizo, más que lo que logró como resultado. Eso viene a continuación.
• Resultados.¿Cuáles fueron los resultados de lo que hizo? ¿Sucedió lo que esperaba que sucediera? Si así lo fue, ¿cómo sabe que fue resultado de lo que hizo, y no debido a algunos otros factores? ¿Fueron los resultados que esperaba? ¿Fueron éstos positivos o negativos? ¿Por qué ocurrió todo esto?

Usar la información para festejar lo que funcionó, y para ajustar y mejorar el proyecto.

Mientras que el brindar cuentas es importante – si el proyecto no tiene ningún efecto, por ejemplo, es sólo esfuerzo perdido – el verdadero empujón de una buena evaluación es de tipo formativo. Eso significa que la evaluación es pensada  para proveer información que pueda ayudar a continuar formando el proyecto, volver a darle forma para hacerlo mejor. Como resultado, las preguntas al mirar el proceso, implementación, y resultados son: ¿Qué funcionó bien? ¿Qué no funcionó? ¿Qué cambios mejorarían el proyecto?

Responder esas preguntas requiere de un análisis adicional, pero debe permitirle mejorar el proyecto considerablemente. Además de cambiar y ajustar aquellos elementos del proyecto que no funcionaron bien, no niega aquellos que fueron exitosos. Nada es perfecto; aún si las propuestas pueden ser hechas de una mejor manera.

No olvide festejar su éxito. La celebración reconoce el arduo trabajo de todos los involucrados, y el valor de su esfuerzo. Crea apoyo comunitario, y fortalece el compromiso de aquellos involucrados. Tal vez más importante, deja en claro que cuando las personas trabajan en conjunto, pueden mejorar la calidad de vida de la comunidad.

Hay un elemento final para la investigación y evaluación participativas que no puede ser ignorado. Una vez que usted ha comenzado un proyecto y lo hizo exitoso, tiene que mantenerlo. La investigación y evaluación participativas deben continuar – tal vez no con el mismo equipo(s), pero con equipos representativas de todos los interesados. Las condiciones cambian, y los proyectos deben adaptarse. Investigar sobre esas condiciones y la evaluación continua de su trabajo, va a mantener fresco y efectivo al trabajo.

Si su proyecto es exitoso, usted puede pensar que su trabajo está hecho. Piénselo de nuevo – los problemas comunitarios sólo se resuelven mientras las soluciones se practiquen de forma activa. El momento en que usted dé la espalda, las condiciones por las que usted trabajó tan arduamente pueden empezar a retornar a lo que fueron antes. El trabajo – apoyado en la investigación y la evaluación – tiene que seguir indefinidamente para mantener y aumentar las ganancias que usted ha hecho.

Para resumir

La evaluación participativa es una parte de la investigación participativa. Ésta involucra a los interesados de un proyecto comunitario en el establecimiento de criterios de evaluación para la misma, colectando y analizando datos y utilizando la información ganada para ajustar y mejorar el proyecto.

El proceso participativo trae consigo todas las múltiples e importantes perspectivas de aquellos que están más directamente afectados por el proyecto, y que probablemente están también más ligados a la historia y cultura de la comunidad. La información e ideas en las que éstos contribuyan, pueden ser cruciales en la efectividad de un proyecto. Además, su participación estimula la credibilidad por parte de la comunidad, y puede resultar en ganancias importantes en habilidades, conocimiento, y en confianza propia y autoestima para los investigadores. De forma global, la evaluación participativa crea una situación de ganancia en ambas direcciones.

Dirigir una evaluación participativa requiere de varios pasos:

• Reclutar y entrenar a un equipo evaluador compuesto por las personas interesadas.
• Nombrar y enmarcar al problema.
• Desarrollar una teoría práctica para guiar el proceso del trabajo.
• Preguntar las preguntas evaluadoras correctas.
• Colectar información.
• Analizar información.
• Usar esa información para festejar y ajustar su trabajo.

El paso final, como con muchas de las estrategias y acciones en la construcción de una comunidad descritas en Community Tool Box, es mantenerlo así. La investigación participativa, y la evaluación participativa en particular, tiene que continuar mientras continúe el trabajo, para seguirle el rastro a las necesidades y condiciones de la comunidad, y para seguir ajustando el proyecto con el fin de hacerlo más sensible y efectivo. Y el trabajo con frecuencia tiene que continuar indefinidamente con el objeto de mantener el progreso y para evitar deslices hacia las condiciones o actitudes que hicieron necesario al proyecto en primer lugar.

¿Qué es la evaluación participatoria?

___La evaluación participatoria es una evaluación que involucra a todos los interesados en un proyecto – aquellos que son directamente afectados por él o por llevarlo a cabo – en toda fase de la misma, y en la aplicación de los resultados de esa evaluación para la mejora del trabajo.

¿Por qué (y por qué no) usted usaría la evaluación participativa?

Ventajas:

___Le da una mejor perspectiva tanto sobre las necesidades iniciales de los beneficiarios del proyecto, como sobre sus efectos posteriores.

___Puede darle información que de otra forma no conseguiría.

___Le dice qué funcionó y qué no desde el punto de vista de aquellos que están más directamente involucrados– beneficiarios y personal.

___Le puede decir por qué algo funciona o no funciona.

___Resulta en un proyecto más efectivo.

___Da poder a los interesados.

___Puede proveer de una voz a aquellos que con frecuencia no son escuchados.

___Enseña habilidades que pueden utilizarse en el trabajo y en otras áreas de la vida.

___Refuerza la confianza en sí mismo y la autoestima en aquellos que pueden tener poco de cualquiera de ambas.  

___Les demuestra a las personas, las formas en las que pueden tomar mayor control de sus vidas.

___Estimula la posesión del proyecto por parte de los interesados.

___Puede encender la creatividad de todos los involucrados.

___Fomenta el trabajo colaborativo.

___Se adapta al esfuerzo para una mayor participación.

Desventajas:

___Toma más tiempo que un proceso convencional.

___Requiere el establecimiento de confianza entre todos los participantes del proyecto.

___Usted debe asegurarse que todos estén involucrados y no sólo unos pocos “líderes” de los grupos.

___Usted tiene que entrenar a las personas para que entiendan la evaluación y cómo funciona el proceso participativo, así como enseñarles técnicas básicas de investigación.

___Usted necesita que los participantes le “compren” la idea y que se comprometan.

___La vida de las personas - enfermedades, cuidado de los niños y problemas de pareja, intromisión de los demás, etc. – puede causar retrasos o bien, interponerse en la evaluación

___Usted puede requerir ser creativo al obtener, registrar, y reportar información.

___Los financiadores  o hacedores de políticas pueden no entender o creer en la evaluación participativa.

¿Cuándo usaría la evaluación participativa?

___Cuando ya está comprometido con un proceso evaluativo para su proyecto.

___Cuando tenga el tiempo, o cuando los resultados sean más importantes que el tiempo.

___Cuando pueda convencer a los financiadores de que es una buena idea.

___Cuando pueda existir problemas en la comunidad  o en la población, que los evaluadores externos (o proveedores del programa, por ejemplo) probablemente no noten.

___Cuando necesite información que puede ser difícil de conseguir para cualquiera externo a la comunidad o a la población.

___Cuando parte de la meta del proyecto sea a darles autoridad a los participantes y ayudarlos a desarrollar habilidades transmisibles.

___Cuando quiere unir a la comunidad o a la población.

¿Quiénes deben involucrarse en una evaluación participativa?

Todos los interesados, incluyendo:

___Participantes o beneficiarios.

___Personal directivo del proyecto y/o voluntarios.

___Administradores.

___Evaluadores externos, si estuviesen involucrados.

___Oficiales de la comunidad.

___Otros cuyas vidas son afectadas por el proyecto.

¿Cómo dirigir una evaluación participativa?

___Reclute a los interesados como evaluadores participativos.

___Entrene a los evaluadores.

___Nombre y enmarque el problema.

___Desarrolle una teoría práctica para dirigirlo.

___Determine las preguntas evaluativas.

___Colecte información.

___Analice la información.

___Use su análisis para festejar lo que funcionó y para ajustar el resto con el fin de mejorar el proyecto.

___Quédese con ella indefinidamente.

HERRAMIENTA: EQUIPO DE RECOPILACIÓN DE DATOS - CÓMO HACERLO BIEN

Este es un resumen de las respuestas de la e-lista sirve ARLIST-L (Action Research) y CBPR (Community-Based Participatory Research) a una investigación publicada por Michelle Garred en noviembre de 2007. Hemos incluido su correo electrónico al inicio y, a continuación, se añade las preguntas con cada una de las respuestas resumidas.

De: Michelle Garred
Asunto: Recopilacción de datos del equipo: ¿cómo hacerlo bien?

Estimados colegas,

Estoy trabajando en un proyecto de investigación dirigido a las pruebas de campo es un nuevo método para la construcción de paz basada en la comunidad, en colaboración con una agencia asociada en Filipinas. Dentro de la agencia, hay un equipo central asignado a este proyecto, y nosotros colaboramos en el diseño de la investigación, recopilación de datos, análisis de datos y la difusión de los resultados. El proyecto tiene dos resultados diferentes: A) un practicante enfocado en publicaciones de lecciones aprendidas que será publicado por la agencia asociada B) mí tesis del doctorado.

Gran parte de nuestra colección de datos se llevará a cabo por un equipo, en lugar del enfoque más tradicional de recolección de datos por un investigador individual. Estoy teniendo dificultad con algunas preguntas acerca de cómo hacer esto bien.

Las preguntas son:

• ¿Cuáles son las ventajas metodológicas de la recoleción de datos del equipo? ¿Cuáles son los escollos que hay que evitar?
• ¿Cómo podemos diseñar los protocolos de preguntas escritas, plantillas de toma de notas, y los procesos de toma de notas para maximizar la profundidad y la coherencia de los datos?
• ¿Cómo puedo animar y ayudar a mis compañeros en la toma de notas, cuando escriben la documentación y esta no es su mejor o más fuerte habilidad?
• En mi tesis doctoral ¿podría ser aceptable, una proporción de recopilación de datos por el equipo versus los datos recogidos directamente por mí?
• ¿Cómo citar entrevistas del equipo en una tesis doctoral?
• ¿Cuáles son los recursos claves que debo revisar?

¿CUÁLES SON LAS VENTAJAS METODOLÓGICOS DEl EQUIPO DE RECOLECCIÓN DE DATOS? ¿CUÁLES SON LOS ERRORES QUE DEBEMOS EVITAR?

Ventajas:

• La recolección de datos-Entrevistar a más participantes / aumentar el tamaño de la muestra, por lo tanto, posiblemente, aumenta la fiabilidad y la validación de los datos, mientras tanto hay una reducción de tiempo y costo para realizar el estudio.
• Análisis de datos - La diversidad en el equipo de investigación puede enriquecer la interpretación y dar lugar a nuevas perspectivas.

Desventajas:

• Más personalidades y actividades de coordinación significa más posibilidades para que las cosas funcionen mal.
• Aseguramiento de la calidad: posibilidad de inconsistencias en la interpretación que se trate; posibilidad de datos inadecuados, erróneos o extraños.
• Motivación del equipo puede requerir el pago y / o incentivo, y el pleno apoyo del supervisor del equipo.
• Desventajas pueden ser abordadas a través de la formación:
• Sistemático recolector de datos que necesita ser consistente.
• El investigador principal, primero realiza entrevistas piloto, para tener una idea de cómo entrenar mejor al equipo.
• Realizar prácticas de entrevistas antes de comenzar con las entrevistas reales.
• Durante la práctica, utilicé algunos entrevistados estandarizados con fines de formar y establecer una alta confiabilidad para que los entrevistadores aseguren que ha realizado la técnica adecuada antes de liberar la población objeto.
• Asegúrese de que todos los entrevistadores saben como desarrollar preguntas de seguimiento para obtener claridad del significado, profundidad, ejemplos, etc.
• Asegúrese que las reglas de los entrevistadores son claras. Por ejemplo, ¿qué tipo de comentarios puede un entrevistador añadir para ayudar al entrevistado a entender la pregunta? ¿Qué palabras pueden o no pueden ser utilizadas?
• Demostrar habilidades en la fase de entrenamiento antes de graduarse.

A través de las reuniones periódicas:

• Reunirse periódicamente durante el período de recolección de datos. Esto le ayudará a identificar las dificultades, y refinar su proceso a medida que avanza.
• Tener las reuniones periódicamente - diario si es necesario - sesión informativa, reuniones de la solución de problemas con todos los recolectores de datos, por lo que todos pueden aprender de los problemas y las soluciones de los demás.
• Garantía de calidad en reuniones regulares. Dado que estos son los socios y no recolectores de datos contratados, usted tiene que entrenar de una manera colaborativa y diplomática. Grupo de revisión de datos es recogido cada día o cada semana, y esto puede ayudar al control de calidad y grupo de apoyo.
• Si no se puede reunir en persona en el lugar, considere la conferencia por el Internet.

¿CÓMO PODEMOS DISEÑAR LOS PROTOCOLOS DE PREGUNTAS ESCRITAS, LAS PLANTILLAS DE TOMAR NOTAS, Y LOS PROCESOS DE TOMAR NOTAS EN UNA MANERA QUE MAXIMICEN LA PROFUNDIDAD Y LA COHERENCIA DE LOS DATOS?

Tenga en cuenta que vamos a tener un equipo de cinco personas que realizan entrevistas semiestructuradas y probablemente no utilizaremos grabación de audio.

• Llevar a cabo algunos grupos de discusión preliminares para aclarar las preguntas y problemas. Haga que los entrevistadores sentarse y / o ayudar con los grupos focales como parte de su capacitación y rendir informes con ellos después.
• Utilice los datos de grupo de enfoque para desarrollar algunas listas de verificación / casillas de verificación para las respuestas previstas para que pueda tener por lo menos algunos datos cuantitativos.
• Junto al equipo de entrevista elaborare una guía de entrevista. Es posible utilizar un proceso participativo como "asalto a la tarjeta" para construir consenso con el equipo sobre las preguntas que se pregunte. Aquí está un ejemplo de un asalto tarjeta.
• Si es posible, utilizar equipos de colección de datos de dos personas con la segunda persona tomando notas y escuchando/en busca de cualquier problema.

¿CÓMO PUEDO ANIMAR Y AYUDAR A MIS COMPAÑEROS O SOCIOS EN LA TOMA DE NOTAS, CUANDO ESCRIBEN LA DOCUMENTACIÓN Y ESTA NO ES SU MEJOR O MÁS FUERTE HABILIDAD?

Una vez más, esto puede ser abordado a través de la formación de equipo y reuniones periódicas…

• Mostrar los entrevistadores en prácticas como se hace bien, sino también cómo se hace mal. Tienen que ver tanto el comportamiento del modelo y también qué errores a evitar.
• Encontrar una manera de ilustrar a ellos cómo las memorias defectuosas de material de la entrevista puede ser, y que tan difícil es analizar los datos para la entrevista cuando hay poca profundidad de los contenidos.
• Retomar el tema durante las reuniones regulares del equipo durante la fase de recopilación de datos.
• Mediante el diseño racional de la toma de notas protocolos:
• Asegúrese de que el protocolo de la entrevista por escrito dispone de espacio para tomar notas en respuesta a cada pregunta, y también para señalar los comentarios imprevistos de la persona entrevistada.
• Además, es posible que haya miembros del equipo de redactar un breve resumen dentro de las 24 horas de terminar la entrevista.
• Enfoque la toma de notas en el recuerdo directo de las palabras del entrevistado. Los entrevistadores no deben tratar de realizar un análisis implícito en este punto. Análisis de Reserva para un paso separado de seguimiento.

EN MI TESIS, DOCTORAL ¿PODRÍA SER ACEPTABLE, UNA PROPORCIÓN RECOPILACIÓN DE DATOS POR EL EQUIPO VERSUS LOS DATOS RECOGIDOS DIRECTAMENTE POR MÍ?

Entiendo que la recopilación de datos del equipo es común en la investigación-acción, pero es menos común en la tesis de un doctorado. Sería de gran ayuda escuchar diferentes opiniones sobre el tema.

• Para los datos cuantitativos, se podría establecer una cuota de azar el 10% de los datos revisados de QA.
• Yo sugeriría hacer tanto como le sea posible, arriba del promedio del equipo, así usted podra saber lo que la experiencia es realmente
• Mientras usted está dirigiendo el estudio, no tendra problema en compartir la recopilación de datos; sin embargo, usted tendra que estar integralmente involucrado en todos los aspectos del estudio, en particular en la codificación y análisis.
  • Ortrun Zuber-Skerritt and Chad Perry sugieren que distinguir entre la investigación de campo (donde otros están involucrados) y la investigación de tesis, que es su reflexión sobre la investigación de campo.
  • Zuber-Skerritt, Ortrun, and Perry, Chad (2002) La investigación-acción dentro de las organizaciones y de la redacción de tesis universitaria. La Organización de Aprendizaje, 9 (4), 171-179

¿CÓMO CITAR ENTREVISTAS DE EQUIPO EN UNA TESIS DOCTORAL?

• En formato de tabla en el documento.
• Asumo que los datos de la entrevista y el entrevistador individual se aplica de forma anónima en la propia tesis, incluso si usted sabe quién dijo qué en sus notas y las actividades de garantía de calidad.
• Me gustaría explicar en el cuerpo del texto tal como se llevó a cabo el estudio, incluyendo las calificaciones de los miembros del equipo. Ya que son parte de la sección humana de instrumentos, sus antecedentes y experiencia como investigadores tendrían que ser compartida para dar un sentido de confianza por parte del lector para las calificaciones de los recolectores de datos
• Cuando se hace referencia, verifique APA, pero creo que implicaría citando entrevistas en el texto señalando la fecha de la entrevista, a continuación, citando estilo de la APA en la bibliografía.
• Considere de antemano si va a utilizar los nombres o seudónimos de los participantes.

RECURSOS CLAVES

• Véase la tesis doctoral de Madeline Church, Creación de un lugar sin compromisos de pertenecer - ¿por qué me encuentro en redes? de la sección de teoría viva de la Investigación-Acción.
• En el siguiente artículo se describen algunas de las ventajas de utilizar una forma particular de entrevistas cualitativas de investigación en equipo. Puede que le resulte útil: Driedger, S. Michelle; Gallois, Cindy; Sanders, Carrie; y Santesso, Nancy (2006). "Encontrar un terreno común en la investigación cualitativa en equipo utilizando el método convergente entrevistas." Investigación cualitativa de la Salud, 16 (8), 1145-1157. ?
• Hay una crítica detallada en el siguiente capítulo de libro: Rao, Sally, y Perry, Chad (2006). Entrevistas Convergente: una metodología de partida para el programa de investigación de la empresa. En Hine, Damian, y Carson, David, eds., Metodologías innovadoras en la investigación empresarial, 86-99. Cheltenham, UK: Edward Elgar.
• Una buena referencia es 1973 el libro de Clifford Geertz, La interpretación de las culturas. Las preguntas que estás haciendo son en realidad mucho más profunda y más filosófica que las cuestiones operativas que preguntaste. Básicamente estás trabajando dentro de las prácticas antropológicas y reglas acerca de las notas de campo y trabajo de campo en lugar de entrevistas tradicionales, como lo hacemos en la psicología.

Example 1: True Collaboration for a Win-win in Community-engaged Research

Dr. Marvia Jones, Director of the Kansas City Health Department, spoke on partnerships in community-engaged research at the Life Span Institute's 2024 Collaboratory on January 11th, 2024: 

When we think about the word "partner," we can think about a significant other. If I were to say, "What do you want out of your partnership with your significant other?", you may say things like, "you're with me from beginning to the end, you learn about what motivates me, you learn about what excites me, what I need in order to get through the day or the month or the year." Right? And so, I would say, from the community side, regarding partnership and community-engaged research, we want similar things.

We want someone who is with us, who engages us from the very beginning of a process, so we actually feel like a partner. In that process, do we look at the problem together? How do we discuss what both of us need to get out of this?

I've heard this idea of researchers walking alongside community partners. What that also means is if I, as a practitioner, as a partner, need to take survey data to my governing board, or my officials, and it needs to be presented in a certain way - maybe that is not necessarily how the research originally planned to share the information. Well, now we have a dilemma. But as a partnership, through our partnership, we have to work through those solutions.

Those are some of the things that I think we look for in a community-based research partnership, having that flexibility and understanding. One of the things that I noticed, as I went from being a researcher to being in practice, is you lose some of the hours that you used to have to sit and wonder, to brainstorm together in team meetings and research lab meetings, and conferences, where you can consider, “you know what would be cool to think about?”

What I've realized is that once you're in the job of reporting to a board and reporting to a council, you've got to have results. You've got to deliver. We are on a timeframe. And so, we do need a partner who is doing that thinking for us, and with us, making the space and providing information in bites that are accessible and digestible for us. And understanding we don't have a lot of time to pore over data and records. But we do want useful, timely information.

So, when it comes to partnerships, I like to think of it in terms of a marriage where you're trying to really meet each other's needs, mutually.

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué queremos decir con “seleccionar las preguntas”?

• ¿Por qué es necesario seleccionar cuidadosamente las preguntas de la evaluación?

• ¿Cuándo se deben  seleccionar las preguntas y planear la evaluación?

• ¿Quién deberá estar involucrado en el proceso?

• ¿Cómo se seleccionan las preguntas y se planea la evaluación?

Los Capítulos 36-39 de la Caja de Herramientas Comunitarias se refieren a la evaluación de los programas comunitarios. Hemos elegido dedicar tanto espacio a la evaluación porque es una de las partes más importantes de cualquier esfuerzo para mejorar  la vida comunitaria y realizar un cambio social duradero. Ella puede ayudarlos a comprender mejor qué tan bien anduvieron el planeamiento y los preparativos para su programa, si ustedes lo llevaron a cabo como pretendían,  y cuáles fueron las consecuencias.Ella puede decirles si cumplieron sus metas y objetivos originales o no, y darles información sobre lo que necesitan cambiar para ser más efectivos.

El Capítulo 36 explica cómo funciona una evaluación, y da alguna guía sobre cómo desarrollarla. El Capítulo 38 los ayudará a reunir y analizar la información que desean, y el Capítulo 39 trata sobre cómo usar esa información para mejorar su programa y acumular apoyo comunitario y financiero. Aquí, en el  Capítulo 37, observamos a la evaluación desde un punto de vista investigativo - cómo planear y estructurar una evaluación que pueda ayudarlos a comprender mejor y a mejorar lo que hacen.

En esta sección, discutiremos el primer, y tal vez más importante paso, en la investigación de la evaluación: decidir exactamente qué evaluar. Cada parte del resto de las secciones en el capítulo tratará en detalle cada paso que se tendrá que dar para diseñar, implementar, y usar la evaluación. El objetivo del capítulo es proporcionar lineamientos que sean útiles para las organizaciones de base local o comunitaria así como para estudiantes o investigadores académicos.

¿Qué queremos decir con “seleccionar las preguntas”, y por qué ello es necesario?

Cada evaluación, como cualquier otra investigación, comienza con una o más preguntas. Algunas veces, las preguntas son simples y fáciles de responder. (¿Estaremos más o menos cerca de las 50 personas que esperamos ayudar?) A menudo, sin embargo, las preguntas pueden ser complejas, y las respuestas menos fáciles de obtener. (¿Cuál, o qué combinación, de las tres partes de nuestra intervención afectarán a cuál de los dos cambios de comportamiento que buscamos en nuestros participantes?) Las preguntas que se haga su organización guiarán no sólo su evaluación, sino su programa también. Mediante su selección de preguntas, también se está definiendo qué es lo que se está tratando de cambiar.

Ustedes eligen las preguntas de su evaluación mediante el análisis del problema o tema comunitario al que están apuntando,  y al decidir cómo quieren afectarlo. ¿Por qué quieren hacer esta particular pregunta en relación con su  evaluación? ¿Cuál es la parte del asunto que es más urgente o vital cambiar? ¿Qué indicadores les dirán si ese cambio está teniendo lugar? ¿Es eso todo lo que les preocupa? Las respuestas a cada una de estas y otras preguntas ayudan a definir qué es lo que se está tratando de hacer, y, por extensión, cómo van a tratar de hacerlo.

¿Cuál es el verdadero objetivo de un programa para introducir comidas más saludables en los almuerzos escolares? Podría ser simplemente convencer a los niños de que coman más frutas, vegetales y granos enteros. Podría ser conseguir que ellos coman menos comida chatarra. Podría ser alentar la pérdida de peso en niños que tienen sobrepeso o que están obesos. Podría ser educarlos sobre la alimentación saludable,  y persuadirlos de ser más aventurados en la elección de sus comidas.

Las preguntas de evaluación que se hagan tanto reflejarán cómo determinarán las metas para el programa. Si no se mide la pérdida de peso, por ejemplo, entonces claramente eso no es a lo que están apuntando. Si solamente se toma en cuenta el aumento de alimentos saludables que consumen los niños,  se ignorará el hecho de que si ellos no dejan de comer otras cosas (comida chatarra, por ejemplo), simplemente aumentarán de peso. ¿Es eso de todos modos mejor que el que no coman alimentos saludables? Ustedes contestarán esa pregunta por lo que elijan examinar – si es mejor, les podrá no preocupar qué más están comiendo los niños; y si no, entonces sí les preocupará.

Algunas de las preguntas básicas a hacerse al seleccionar las preguntas evaluativas son:

¿Qué es lo que quieren saber?

Los académicos y otros investigadores pueden enfocar la elección de las preguntas de la investigación de manera diferente a aquéllos involucrados en los programas comunitarios. Además de sus aplicaciones prácticas y sociales, ellos pueden seleccionar problemas para investigar simplemente por qué son interesantes, o por qué se relacionan con otro trabajo que ellos o sus colegas están haciendo. Los trabajadores de servicios comunitarios y otros directamente involucrados en los programas, por el otro lado, están específicamente interesados en mejorar lo que están haciendo para poder ayudar a  elevar la calidad de vida de los participantes de sus programas, y a menudo, de la comunidad como un todo. Puesto que asumimos que la mayoría de los que usen este capítulo de la Caja de Herramientas es probable que sean trabajadores de la comunidad, veamos algunas de las razones por las que ellos podrían seleccionar un área en particular para evaluar.

Si se está aplicando o por aplicar, un programa para afectar un tema o problema comunitario,  se querrá contestar una o más de las siguientes preguntas:

¿Existe una relación causa-efecto (es decir, una acción o condición que directamente cause otra) entre una acción determinada y un cambio determinado? Generalmente, a su organización le preocupará esto en relación con su programa. (Nuestro grupo de apoyo para dejar de fumar ¿ayuda a los miembros a abandonar el cigarrillo?) Algunas veces, sin embargo, puede ser importante mirarlo en relación con la comunidad. (La prohibición de fumar en edificios públicos, bares y restaurantes, ¿lleva a una disminución en el número de residentes de la comunidad que fuman?)

Si nosotros probamos este nuevo método, ¿qué sucederá?

El programa que funcionó en el pueblo vecino, o sobre el que leímos en un periódico profesional, ¿funcionará con nuestra población, o con nuestro problema?

¿Por qué están interesados?

Algunas de las mismas diferencias entre las preocupaciones de los investigadores y las preocupaciones de los trabajadores pueden persistir aquí. Aquéllos interesados sobre todo en investigar podrán simplemente ser movidos por la curiosidad o por la urgencia de solucionar un problema difícil.  Como trabajador comunitario, por otra parte, se querrá saber los efectos de lo que está haciendo sobre las vidas de los participantes o de la comunidad.

Su interés, por lo tanto, podrá crecer por:

• Su experiencia con un problema y sus consecuencias en una determinada población o comunidad.
• Su conocimiento de prometedoras intervenciones y sus efectos sobre temas similares.
• La singularidad del tema para su particular comunidad o población.
• La similitud del tema con otros temas en su comunidad, o la interacción del tema con otros temas.

Su interés como trabajador comunitario tiene que ser considerado en relación con su evaluación y el propósito de su programa. Su intención básica es probablemente mejorar las cosas para la población o para la comunidad, pero ¿de qué modos y mediante qué medios? ¿Probarán ustedes algunas cosas nuevas con la esperanza de hacer aún más exitoso a un programa ya exitoso? ¿Se está importando una práctica promisoria para ver si funciona con su población? ¿Se está tratando de solucionar un problema profesional particularmente difícil?

Un programa de mediación comunitaria encontró que estaba teniendo poco éxito en casos que involucraban a adolescentes. Después de conversarlo con otros programas similares –todos los cuales estaban luchando con el mismo problema – los mediadores del programa idearon una serie de estrategias para tratar de llegar a los jóvenes. La pregunta general que les preocupaba - "¿Estas estrategias harán posible que mediemos exitosamente en lo que los adolescentes estén involucrados?" – era una con consecuencias reales.

¿El problema que se está enfocando es importante para la comunidad o para la sociedad?

Los informes en los medios o los intentos de la comunidad de tratar el problema son claros indicadores de que es socialmente importante. Si afecta a un grupo en particular - violencia en determinado vecindario, un alto porcentaje de enfermedades del corazón entre hombres negros de mediana edad – tiene un impacto obvio en la comunidad y en la sociedad. Si su programa o intervención tiene el potencial de ayudar a resolver el asunto en otros lugares, de ser usado por trabajadores comunitarios en otros campos, o de ser aplicado de otras maneras, la importancia de su análisis aumenta todavía más. Si el tratamiento del asunto puede llevar a un cambio social positivo y duradero, entonces el análisis es vitalmente importante.

Todo esto afecta su evaluación y las preguntas que formulen. Si el asunto es uno de importancia social, entonces la evaluación de su propio trabajo es socialmente importante también. ¿Está ejecutando los elementos de su programa o intervención que son de mayor valor para los participantes, la comunidad, y la sociedad? Si no es así, ¿cómo puede empezar a hacerlo?

¿Cómo se relaciona el asunto con el campo?

La pregunta real aquí no es si el asunto es importante en su campo de acción– lo que interesa  es si el mismo es importante para la comunidad. Sin embargo, se debe explorar si hay evidencia de campo aplicable al asunto en consideración. ¿Lo que usted está haciendo tiene más probabilidades de ser efectivo que otros enfoques que se han intentado? Si su enfoque no es efectivo, ¿hay otros enfoques que parezcan más promisorios? ¿Puede el material publicado acerca del tema ayudar a comprenderlo mejor, y a darle mejores ideas acerca de cómo encararlo?

¿Es el asunto general, en vez de específico, con respecto a su población o comunidad?

Considere si hay evidencia de que el asunto se da en distintas poblaciones y bajo una variedad de condiciones. También considere si las observaciones o métodos usados para determinar la existencia del problema son precisos y si pueden ser usados en diferentes situaciones y con diferentes grupos.Su evaluación podrá darles valiosa información para compartir con otros profesionales en diferentes campos o diferentes circunstancias.

¿Quiénes podrían usar los resultados de la evaluación?

Si su evaluación muestra que su programa o intervención tuvo éxito, esa es obviamente información valiosa, especialmente si lo que están evaluando es novedoso y no ha sido probado antes. Aún si en la evaluación aparecen problemas importantes con la intervención, esa es incluso información importante para otros  - les dice qué no funcionará, o qué barreras deben ser vencidas con el objeto de hacerlo funcionar.

Algunos de los que podrían usar sus resultados son individuos y grupos afectados por el tema; proveedores de servicios y otros que tienen que lidiar con el problema (en el caso de la violencia juvenil, por ejemplo, este último grupo podría incluir a la policía, a funcionarios escolares, a propietarios de pequeños comercios, a los padres, y a personal médico, entre otros); a defensores y activistas comunitarios y a dirigentes públicos y otros políticos. El valor de la información lleva a la pregunta de cómo pasarla, la que examinaremos en la Sección 10 de este capítulo, Preparar la intervención para su divulgación.

¿A quién concierne el asunto?

¿Quién tiene que cambiar para tratar el problema? El foco de la intervención les dirá en quiénes deberán centrarse la evaluación.

Algunas posibilidades son:

• Aquellos directamente afectados por el problema.
• Aquellos en contacto personal directo con los directamente afectados: padres, cónyuges e hijos, otros familiares, amigos, vecinos, compañeros de trabajo.
• Aquellos que trabajan o tratan de otros modos con los directamente afectados: personal médico, policías, docentes, trabajadores sociales, terapeutas, etc.
• Administradores y otros que trabajan o tratan con aquellos que son afectados indirectamente: directores de clínicas u hospitales, jefes de policía, directores escolares, directores de agencias, etc.
• Funcionarios designados o electos y otros políticos.

¿Por qué es necesario seleccionar cuidadosamente las preguntas de la evaluación?

Usted bien sabe por qué están aplicando su programa. Evaluarlo sería simplemente un tema de decidir si las cosas están mejor cuando usted las evalúa con respecto a como estaban antes de que la intervención empezara, ¿No es así? Bueno, en realidad no es así. No es tan simple. Primero, se necesita determinar qué "cosas" se están realmente analizando (¿recuerdan el ejemplo del almuerzo escolar?) Segundo, es necesario considerar la manera en que se determinará que la intervención se está haciendo bien, y qué se necesita cambiar. Aquí hay una lista parcial de razones por las que es importante la elección de las preguntas de antemano.

• Ayuda a comprender los diferentes efectos de la intervención. Al enmarcar las preguntas cuidadosamente, se puede evaluar los diferentes componentes de su esfuerzo. Si se añade un elemento después del inicio del programa, por ejemplo, podrá tal vez ver su efecto separado del resto del programa...si se propone examinarlo. De la misma manera, se puede mirar diferentes posibles efectos del programa como un todo. (Los adultos que estudian educación básica ¿leen más como resultado de estar en el programa? ¿Es más probable que ellos se registren para votar? ¿Sus niños mejoran su desempeño escolar?)
• Hace que se defina con claridad qué es lo que se está tratando de hacer. Lo que usted decide evaluar define lo que se espera conseguir. Seleccionar las preguntas de evaluación al inicio de un programa o esfuerzo deja en claro qué es lo que se está tratando de cambiar, y cuáles quiere que sean sus resultados.
• Les muestra dónde necesitan hacer cambios. El seleccionar cuidadosamente las preguntas y hacerlas específicas para sus objetivos reales debería mostrarles exactamente dónde el programa está funcionando bien y dónde no está teniendo el efecto deseado.
• Destaca consecuencias inesperadas. Cuando se reciben respuestas inusuales a las preguntas que eligen, a menudo significa que su programa ha tenido algunos efectos que no se esperaban. Algunas veces estos efectos son positivos –la gente del programa de ejercicios cardiovasculares no sólo mejoraron su estado físico, sino que la mayoría informa haber mejorado su dieta y haber perdido peso también – y algunas veces los efectos son negativos – los niños obesos de un programa para comer saludablemente realmente ganaron peso, aún cuando estuvieron comiendo una dieta más sana - y algunas veces ninguna de las dos cosas. Como los efectos secundarios de los medicamentos, las consecuencias no premeditadas de un programa pueden ser tan importantes como el programa mismo. (En el caso del programa de ejercicios, los cambios en la dieta pueden hacer tanto o más que el ejercicio para mantener la salud del corazón, por ejemplo, y pueden señalar de algún modo hacia un cambio en el enfoque del programa.)
• Guía sus elecciones futuras. Si encuentra que su programa es particularmente exitoso en ciertas partes y no en otras, por ejemplo, usted podrá decidir enfatizar más las áreas exitosas, o cambiar completamente su enfoque en las áreas no exitosas. Esto, a su vez, cambiará el énfasis también en la futura evaluación.
• En  las evaluaciones participativas, la evaluación involucra a los interesados en el establecimiento del curso del programa, haciendo de ese modo más probable que cumpla con las necesidades de la comunidad.
• Proporciona enfoque en la evaluación y en el programa. El seleccionar cuidadosamente las preguntas evaluativas evitará que usted se disperse y trate de hacer demasiadas cosas a la vez, diluyendo por lo tanto su efectividad en todas.
• Determina qué registros anotar con el objeto de reunir datos para la evaluación. Una clara elección de las preguntas evaluativas hace la recolección de datos mucho más fácil, puesto que generalmente vuelve obvio qué clase de registros deben ser llevados y qué áreas necesitan ser examinadas.

¿Cuándo debería usted seleccionar las preguntas y planear la evaluación?

Ya que las preguntas de evaluación ayudan a dar forma al trabajo, deberían seleccionarse junto a la evaluación al planear el programa completo. Eso le dará tiempo y espacio para conseguir un proceso participativo, y le dará la oportunidad de usar la evaluación como parte integral del programa. A medida que el programa se desarrolla, se encontrará agregando o ajustando preguntas para reflejar la realidad de lo que está sucediendo, pero a no ser que sus preguntas originales estuvieran  mal encaminadas (estaba equivocado acerca de qué comportamiento debía cambiar con el objeto de producir determinados resultados, por ejemplo), ellas les serán de utilidad.

Ahora discutamos la realidad de muchos programas comunitarios y  programas de base local. A menudo tienen poco personal y fondos.  Los empleados reciben pagos bajos y a menudo trabajan muchas más horas a la semana de las que les pagan debido a su dedicación a la justicia y al cambio social. La mayoría o todos los funcionarios del programa pueden incluso ser voluntarios, con trabajos de tiempo completo y  responsabilidades familiares además de su trabajo en el programa. La evaluación inicial en estas circunstancias es a menudo anecdótica – o sea, basada en comentarios e historias de los participantes sobre su progreso y observaciones personales, informales de los funcionarios. Una evaluación formal probablemente esperará hasta que haya fondos para hacerla, o hasta que alguien tenga el tiempo de coordinarla o de encargarse de ella.

En ese caso, el "cuando" se convierte en "tan pronto como se pueda". Usted puede estar trabajando con un programa que acaba de empezar, o con uno que ha estado operando por un largo tiempo. Puede saber que se necesita hacer cambios, o puede parecer que el programa está realmente logrando sus metas. Cualquiera sea la situación, se deben seleccionar las preguntas evaluativas y planear una evaluación que le dé la información que necesita para mejorar su trabajo. Aún con un programa que ha estado funcionando por un tiempo, las preguntas pueden igual ayudarle a definir o redefinir su trabajo, y ciertamente le ayudará a mejorarlo en el largo plazo.

¿Quiénes deben estar involucrados en la elección de las preguntas y el planeamiento de la evaluación?

Si ha consultado otras secciones de la Caja de Herramientas relacionadas con evaluación, se habrá dado cuenta que estamos a favor de que todos los interesados se involucren en la planeación de la evaluación. Creemos que la mejor evaluación es la participativa. Eso significa que hay representación de las opiniones y los conocimientos de la gente afectada sobre el asunto a encararse. La lista de potenciales participantes es esencialmente la misma que vimos en "¿A quién concierne el asunto?" en la primera parte de esta sección: aquéllos directamente afectados y sus contactos cercanos; aquéllos que trabajan con los directamente afectados, o que tratan directa o indirectamente con ellos y el problema; y funcionarios públicos. A estos grupos debemos agregar otros ciudadanos preocupados, y aquéllos indirectamente afectados por el tema. (Un comerciante puede no ser víctima de la violencia del vecindario, pero el temor a esa violencia puede no obstante mantener a los clientes alejados de su negocio, por ejemplo.)

Las evaluaciones que involucran a todos los interesados tienen una serie de ventajas sobre aquéllas conducidas en vacío por evaluadores externos o personal de la agencia o del programa. Es más probable que ellos reflejen las verdaderas necesidades de la comunidad, y que ejerzan presión sobre el conocimiento de la comunidad acerca de su propio contexto - historia, relaciones, cultura, etc. – sin los cuales un programa y su evaluación pueden desviarse.

La participación puede ir desde una simple consulta hasta una completa participación en todos los aspectos de una evaluación – valoración, planeamiento, recolección de datos, análisis, y trasmisión de la  información. En general, cuanto mayor sea el involucramiento de los interesados mucho mejor, pero una profunda implicación de los interesados no siempre es posible. Como el Capítulo 36, Sección 6 lo explica, hay desventajas temporales en la evaluación participativa – lleva más tiempo – e inquietudes logísticas también. Los participantes pueden no tener nada en su formación que los haya preparado para la investigación, de modo que sería necesario entrenarlos en una cantidad de áreas que requieran aptitudes, cuidadoso planeamiento, y todavía más tiempo. El nivel de participación que su evaluación puede sustentar, por lo tanto, depende en alguna medida de sus límites de tiempo y su capacidad para capacitar y apoyar a los participantes.

¿Cómo seleccionar las preguntas y planear la evaluación?

Elección de preguntas:

Al elegir preguntas evaluativas, se está realmente eligiendo un tema de investigación  - qué quiere examinar con su investigación. (La evaluación, tanto formal como informal, es en realidad investigación.). Usted debe analizar el asunto y su programa, considerar varias maneras de enfocarlos, y seleccionar la(s) que más cercanamente le digan lo que quiere saber sobre lo que está haciendo. ¿Está sólo tratando de determinar si están dando suficiente cobertura a la gente apropiada con su programa? ¿Quiere saber cómo está funcionando una intervención en poblaciones específicas? ¿Qué clases de cambios conductuales, si los hay, están teniendo lugar como resultado? ¿Cuáles son los verdaderos resultados para la comunidad? Cada una de estas – así como cualquiera de las muchas otras cosas que usted puede desear saber, implica un conjunto diferente de preguntas evaluativas. Para encontrar las preguntas que mejor se adaptan a su evaluación, hay una serie de pasos que se pueden seguir.

Describa el asunto o problema que va a tratar.

Un problema es una diferencia entre una condición ideal  (todas las personas de 10 años o más deben poder leer;  todo el mundo tiene que poder encontrar un empleo decente) y una condición real en la comunidad o sociedad  (hay un 25% de analfabetos entre quienes asisten a determinada secundaria; 50%  de los jóvenes de minorías en cierta ciudad están desempleados). Esto puede indicar la ausencia de algún factor positivo (maestros calificados y adecuadas instalaciones educacionales; empleos que no requieren experiencia y que se encuentran cercanos a vecindarios de minorías) o la presencia de algún factor negativo (dificultad de los estudiantes con el inglés; discriminación contra los solicitantes de trabajo provenientes de minorías), o alguna combinación de ellos.

Para describir el asunto o problema:

• Describa la condición ideal, incluyendo los factores positivos presentes y los factores negativos ausentes. ¿Cómo se vería todo si fuera como usted quisiera que fuera?
• Describa las condiciones reales que constituyen el problema de interés, incluyendo las condiciones negativas presentes y las condiciones positivas ausentes. ¿Cómo son realmente las condiciones?
• Describa el problema real en términos de lo que usted espera cambiar. ¿Qué factores positivos quiere crear y/o qué factores negativos quiere eliminar?

Describa la importancia del problema.

Para estar seguros de que este es un problema que se debería tratar de solucionar,  considere su importancia para los afectados y para la comunidad.

• ¿Es la discrepancia entre las condiciones ideales y las reales del tipo y tamaño como para ser consideradas importantes?
• ¿Cuáles son las consecuencias (positivas y negativas) del problema?
• ¿Quién experimenta estas consecuencias (o sea, participantes del programa, sus familias, amigos, y pares; proveedores de servicios, políticos, y otros)? ¿Cuántas personas son afectadas?
• ¿Cuán a menudo o por cuánto tiempo son afectados? ¿Cuál es la intensidad del efecto?
• ¿Cuánto importa a estas personas el hecho de que el problema es experimentado hasta este grado?
• Ustedes también podrían preguntar si los efectos del problema le importan a la sociedad  pero en realidad, eso no haría diferencia. Si le importan a la gente que los experimenta, son importantes. La sociedad no siempre considera importante un problema si es sólo un problema para una minoría, o para un grupo que es generalmente ignorado (los pobres, los sin hogar).

A la luz de estos factores, decida si el problema es importante para la evaluación.

Describa a los que contribuyen con el problema.

¿El comportamiento de quién, por su  presencia o ausencia, contribuye al problema? ¿Están ellos en el entorno personal de los participantes del programa (los participantes mismos, familiares, amigos), en el entorno de servicio (maestros, policía), o en un entorno más amplio (políticos, medios, público en general)? Para cada uno de ellos, considere los tipos de conducta que,  por su presencia o ausencia, contribuyen a la  discrepancia que constituye el problema.

Calcule la importancia y factibilidad de cambiar esos comportamientos.

¿Cuán importante es cada uno de estos comportamientos para la solución del problema? ¿Cuáles son las posibilidades de que su esfuerzo pueda tener algún efecto en cada uno de ellos?

Describa el objetivo de cambio.

 Basados en el análisis arriba mencionado, elija cambios de comportamiento para tratar en personas específicas. Donde se pueda, especifique los niveles de cambio deseados en los comportamientos y resultados seleccionados (aquellos cambios en las condiciones que deberían ocurrir para que el problema pueda solucionarse).

Por ejemplo, una meta de cambio de comportamiento podría ser un aumento en la capacitación previa al empleo – presentación personal, búsqueda de trabajo, técnicas para la entrevista, competencia interpersonal, elaboración del currículum, conocimientos básicos, etc. – para los buscadores de trabajo de entre 18 y 24 años, de las minorías. O por otro lado se podría en cambio o además enfocarse en los políticos, con el objetivo de hacer que ellos ofrezcan incentivos fiscales a los negocios que se instalen en o cerca de las comunidades de minorías.

Esta es una manera de definir su trabajo. Si se planea la evaluación mientras se planea el programa – como se debería hacer idealmente – entonces las preguntas que están pidiendo que evaluación examine reflejan los problemas que se están tratando de resolver, y este tipo de análisis es importante. Si se está comenzando la evaluación de un programa que ha estado funcionando por algún tiempo, entonces se tiene que analizar qué tipo de consecuencias se creen (esperan) que el programa está teniendo, y adónde ellas conducen. Se podría estar hablando de cambios en conductas específicas de participantes, conductas que actúan como indicadores de otros cambios, o de resultados de otros tipos  (participantes que obtengan empleo, por ejemplo, lo que puede tener una relación directa con la conducta del participante o puede tener más que ver con condiciones económicas locales.)

Asegúrese de que los cambios esperados constituyan una solución o una contribución sustancial al problema.

Si se concluye que los cambios no resultarían en una contribución sustancial, revise la escogencia del problema y/o su selección de la población meta y las acciones como sea necesario. Si se piensa que lo que se está mirando en una evaluación no se enfoca en el problema, entonces se debería estar observando otra cosa. Si los objetivos que se han elegido sí constituyen toda o una parte sustancial de la solución, entonces ya se han encontrado sus preguntas.

Una vez llegados a este punto, usted ha elegido sus preguntas evaluativas y -si se está en el comienzo del proceso de planificar su programa y su evaluación – el enfoque de su programa también. Cómo planear la implementación del programa es el tema de varios otros capítulos de la Caja de Herramientas Comunitarias, particularmente, en el resto de esta sección, nos ocuparemos de los otros factores que se necesitan considerar para armar su evaluación. Entonces, en el resto de este capítulo, discutiremos en detalle cómo encontrar las respuestas a las preguntas evaluativas que se han escogido, y qué hacer entonces con esa información.

Ahora que se han elegido sus preguntas, habrían dos factores más a considerar: los lugares en los que la evaluación se realizará, y los participantes cuyos comportamientos, actividades, o circunstancias serán evaluados. Si su programa es relativamente pequeño y/o tiene sólo un entorno o lugar, nada de esto será un problema – tanto los lugares como los participantes serán simplemente los del  programa. Sin embargo, si no se tienen los recursos – tanto financieros, como de tiempo o de personal - para evaluar al programa completo.

 Hay algunas situaciones en las que la elección del lugar y/o de los participantes puede ser importante:

• Si su programa es muy grande y/o tiene múltiples locaciones.
• Si los diferentes lugares conllevan diferentes servicios, actividades, o condiciones, o usan diferentes métodos.
• Si su programa incluye diferentes grupos de participantes (grupos que están en diferentes etapas del programa, o que están expuestos a diferentes métodos o servicios).
• Si los grupos de participantes pertenecen a poblaciones con culturas claramente diferentes, provenientes de raza, etnia, clase, religión, u otros factores.
• Si usted es un evaluador externo (alguien no conectado a un programa que es traído para evaluarlo) o un académico u otro investigador independiente.

Lugar

Múltiples locaciones.

Las locaciones múltiples pueden presentar un desafío para una evaluación, porque, aunque se hicieran todos los esfuerzos posibles para hacer el programa exactamente igual en todos los lugares, raramente será así. Si el programa depende de la interacción humana - maestro/alumno, consultor/consultado, entrenador/entrenado, doctor/paciente, etc. – habrá diferencias de lugar en lugar dependiendo del personal en cada uno. (La excepción es cuando las mismas personas trabajan en todos los lugares, proporcionando los mismos servicios en cada lugar a diferentes horas o en diferentes días.) Aún cuando todos sean igualmente competentes,  no hay dos miembros del personal o equipos que hagan las cosas exactamente de la misma manera o se relacionen con los participantes exactamente del mismo modo, y las diferencias pueden verse reflejadas en diferencias en los resultados. Si los métodos u otros factores varían de lugar en lugar, ello complicará todavía más la situación.

Además, el carácter físico de un lugar puede influenciar no sólo la efectividad del  programa, sino también el reclutamiento de participantes y si ellos permanecerán o no al programa el tiempo suficiente para que tenga algún efecto (a menudo llamado "retención.") La disposición del lugar, comodidad, aparente protección y seguridad, y – a menudo lo más importante – la facilidad para llegar a él, todo afecta a que los participantes se inscriban y permanezcan en el programa.

Donde se tenga la posibilidad de evaluar a todos los lugares, será útil incorporar a la evaluación un método para compararlos. Esto  permitirá identificar y adoptar en todos los lugares métodos, condiciones, o actividades que parecen hacer particularmente exitoso un lugar, e identificar y cambiar en todos los lugares los métodos, condiciones, o actividades que parecen crear barreras contra el éxito.

Si no se puede evaluar cada lugar por separado, se tendrá que decidir cuál o cuáles darán la información que ayudará más a ajustar y mejorar su  programa. Si se está especialmente preocupado por evaluar su efectividad total, esto significará evaluar el o los sitios más apegados a la normativa del programa, en cuanto a métodos, condiciones, actividades, metas, interacción participante/personal, etc. Si, por otro lado, su consideración principal es saber si un método o una situación especial o inusual está funcionando, se podría evaluar el lugar (o los lugares) menos parecido(s) a los otros.

Si los lugares parecen sólo mínimamente diferentes, algunas otras consideraciones que pueden entrar en el juego son:

• El número y la característica  de los participantes en el lugar. Los participantes en un determinado lugar pueden estar experimentando los efectos del problema más severamente, o pueden tener una característica particular importante, tal como una barrera de lenguaje.
• La capacidad y disposición de participantes y personal para apoyar la investigación evaluativa. Si el personal en un determinado lugar no puede o no quiere registrar observaciones, asistencia, y otros datos clave, o si los participantes no pueden o no quieren ser entrevistados o monitoreados, la evaluación en ese lugar puede ser dificultosa.
• La estabilidad de la población en la localidad. Si los participantes en un lugar van y vienen continuamente – a menos que esa sea la intención del programa – puede ser difícil obtener información que contribuya a una evaluación precisa.
• La excepción, por supuesto, ocurre aquí si uno de los puntos de la evaluación es averiguar por qué los participantes permanecen por tan corto tiempo, y tratar de desarrollar métodos o crear condiciones para ayudarlos a quedarse en el programa el tiempo suficiente para alcanzar sus objetivos.

Lugares con diferentes métodos, condiciones, actividades, o servicios.

Los programas son a veces organizados de modo que diferentes métodos sean usados o diferentes servicios sean provistos en diferentes lugares. En otros casos, las condiciones pueden variar de lugar en lugar a causa de las ubicaciones geográficas de los lugares  o el espacio disponible. La situación ideal es evaluar todos los lugares y comparar los efectos de los diferentes métodos, condiciones, o servicios. Cuando esto no es posible, se tendrá que decidir qué es lo más importante de averiguar.

Si los métodos, servicios, o condiciones en un lugar determinado son nuevos o innovadores, usted podrá querer evaluarlos, en vez de aquellos que ya son conocidos y han sido evaluados. Puede haber un método o servicio en particular que se quiera evaluar, en cuyo caso la decisión acerca de qué lugar seleccionar es obvia. La decisión debe estar basada en lo que tenga más sentido para su programa, y en lo que les dé la mejor información para mejorar su efectividad.

Cuando se tenga la posibilidad de seleccionar más de un lugar para evaluar, generalmente tiene más sentido seleccionar dos o tres lugares que sean diferentes – especialmente si cada uno es representativo de otros lugares del programa o de iniciativas del programa – de modo que se pueda comparar su efectividad. Aún donde los lugares parecieran esencialmente similares, se obtendrá más información evaluando a todos lugares que se puedan.

Participantes

Grupos Múltiples.

Hay una cantidad de razones por las cuales pueden existir grupos múltiples de participantes en un programa. Usted podría iniciar grupos diferentes en momentos diferentes, ya sea debido a que el programa tiene un esquema de inicio progresivo (se inicia cuando hay suficiente gente para una clase o grupo de capacitación), o porque el programa está dirigido a diferentes grupos  (por ejemplo, de 5 años de edad, de 8 años, y de 14 años). También se podría probar diferentes estrategias con diferentes grupos. El Proyecto Brookline de Educación Temprana (BEEP), un programa que apunta a disponer escuelas para niños desde antes de nacer y hasta los 5 años, inscribió familias las cuales esperaban un bebé en tres estudios de seguimiento en el curso de tres años. Además, a las familias de cada estudio se les asignó a uno de tres niveles de servicio. De este modo, había realmente nueve grupos diferentes entre los participantes del BEEP, aún cuando en el tercer año, todos estaban recibiendo servicios al mismo tiempo.

Una vez más, si no hay problema para evaluar el programa completo, los participantes simplemente serán todos. Si ello no es posible, hay una cantidad de elecciones potenciales:

• Evaluar su trabajo con sólo un grupo, con la esperanza de que el trabajo con los otros será evaluado en el futuro. En este caso, probablemente se querrá seleccionar el grupo que parece necesitar más el programa (o sea es más crucial). Ellos podrían tener un mayor riesgo  (de ataque al corazón, de fracaso escolar, de quedarse sin casa, etc.) o podrían estar experimentando el asunto o problema en un mayor nivel de intensidad (incidentes diarios de disparos en el vecindario, altas tasas de embarazo juvenil, desempleo masivo).
• Incluya un número pequeño (2-4) de grupos en su evaluación. Tal vez se quieran seleccionar grupos con características contrastantes (diferentes edades, por ejemplo, o encarados con diferentes estrategias). Por otro lado, dependiendo del enfoque de su evaluación, se podría querer grupos que son esencialmente similares, para ver si su trabajo es consistente en sus efectos.
• Elija a unos pocos participantes de cada grupo para enfocar su evaluación en ellos. Aunque esto no les dará un panorama completo, debería darles información suficiente para saber dónde su programa está cumpliendo con sus objetivos y dónde necesita mejorarse. Las diferencias en los modos en que los participantes en los diferentes grupos responden a su programa (asumiendo que haya diferencias) pueden también darles ideas para maneras de cambiar lo que se está haciendo.

Participantes de diferentes poblaciones y culturas.

Los factores culturales pueden tener un enorme efecto en las respuestas de los participantes a un programa. Ellos pueden influenciar las concepciones de los roles sociales, las responsabilidades familiares, los comportamientos aceptables y no aceptables, las actitudes hacia la autoridad (y sobre quien constituye la autoridad), los temas permitidos de conversación, la moralidad, el rol de la religión – y la lista sigue y sigue. Al planear un programa que involucra a miembros de diferentes poblaciones y culturas, se tienen esencialmente tres opciones:

• Planear su programa e implementarlo de la misma manera para todos los involucrados. Si el programa involucra grupos  - clases, grupos de apoyo, etc. – la afiliación de los participantes está determinada no por el grupo poblacional sino por el momento en que ellos se inscriben, a qué hora del día  pueden asistir, para qué se inscriben, o cualesquiera que sean los otros criterios que tengan sentido lógico.
• Planear su programa para que sea tan culturalmente sensible como sea posible, y tratar de dejar afuera cualquier cosa que pudiera ser ofensiva o difícil para cualquier grupo. En esta instancia, se debe estar preparado para responder si los participantes de una población determinada pidieran a un grupo de los suyos (o sea de personas de su mismo grupo cultural).
• Dividir a los participantes por grupo cultural y planear diferentes propuestas culturalmente sensibles para cada uno. Su propuesta general puede ser la misma para todos, pero la manera en que se aplica puede diferir según la cultura.

En cualquiera de estas instancias, probablemente sería importante comprender qué tan bien está funcionando su enfoque con los miembros de las distintas poblaciones. Si se puede evaluar el programa completo, asegúrese de incluir suficientes miembros de cada grupo con el fin de poder comparar resultados (y sus opiniones del programa) entre ellos. Si sus posibilidades de evaluación son limitadas, entonces sus opciones son similares a aquéllas para grupos múltiples de otras clases, y dependerán de qué exactamente es lo más útil para su organización o iniciativa.

Aquí hay interacciones entre la elección de lugares y la elección de participantes. Se puede estar preocupado de los efectos de su  programa sobre una determinada población, la que puede estar en gran parte concentrada en un lugar. En ese caso, si se dispone de recursos limitados,  se podría evaluar sólo ese lugar, o ese lugar y otro más.

Sin tomar en cuenta otras consideraciones, se puede querer fijar algunos lineamientos acerca de quiénes incluir en la evaluación.¿Cuánto tiempo tiene que estar la gente en el  programa, por ejemplo, antes de ser incluida? En otras palabras, ¿qué se considera como participación? (Esto también fija un criterio sobre quién deberá ser considerado como desertor: cualquiera que empieza, pero deja el programa antes de cumplir con el estándar de participación.) ¿Qué sucede con aquéllos cuya asistencia es errática – unos días aquí, unos días allá, algunas veces con semanas  de ausencia? ¿Tendrán que haber asistido un cierto número de horas para ser considerados participantes?

Estos asuntos pueden ser más complejos de lo que parecen. La gente puede comenzar y abandonar un programa numerosas veces, y luego finalmente volver y completarlo. Muchos otros comienzan los programas numerosas veces, y nunca llegan a completarlos. Es generalmente imposible adivinar la diferencia hasta que algunos realmente llegan al punto de finalización, lo que sea que ello signifique para el programa en cuestión.

En sentido inverso al escenario de los que comienzan-muchas-veces-antes-de-completarlo, puede haber unas pocas personas que permanecen en un programa justo hasta llegar al final, y allí abandonan.  Esto puede tener que ver con el miedo de tener que sobrellevar el éxito y un cambio en la imagen propia, o puede simplemente ser un patrón que la persona ha aprendido, y que tendría que “des-aprender” antes de poder completar el programa.

¿Deberían alguna o todas estas personas ser incluidas en o excluidas de una evaluación, tanto antes (a causa de su historia en el programa) como después del hecho? Esa es una decisión que se tendrá que tomar, basados en lo que su inclusión o exclusión les diga. Sólo asegúrese de que su evaluación claramente describa los criterios que se decidieron usar para sus participantes.

Si usted es un evaluador externo o un académico u otro investigador independiente

Hasta este momento, hemos ignorado grandemente las dificultades de evaluación que enfrentan los evaluadores que no están directamente conectados con la organización o institución que lleva a cabo el programa que ellos están evaluando. Si usted ha sido contratado o designado por la organización o por uno de los patrocinadores para evaluar el programa, usted debe establecer un vínculo de confianza, tanto con la organización y su personal como con los participantes, si se espera obtener buena información con la cual trabajar. También se debe aprender bastante en poco tiempo acerca de la comunidad, la organización, el  programa, y los participantes, para idear un buen plan de evaluación,  y para analizar los datos que usted y otros reúnan.

Si se es un investigador independiente – un estudiante graduado, un académico, un periodista – Usted encontrará obstáculos aún mayores. Primero, tiene que encontrar un lugar donde desarrollar su investigación - un programa a evaluar – que calce con sus intereses de investigación. Entonces, usted tiene que convencer a la organización que está llevando a cabo ese programa de que le permita hacer la investigación. Una vez que haya logrado esto, todavía se enfrentará con todas las mismas tareas que un evaluador externo: establecer confianza,  entender el contexto, etc.

Veamos primero el proceso que como investigador independiente deberá seguir para seleccionar y ganar acceso a un lugar apropiado para sus intereses. Una vez que haya logrado ese acceso, se habrá convertido en un evaluador externo, por lo tanto desde ese punto en adelante,  el proceso de preparación para la evaluación será igual para ambos.

Elija un lugar/localidad.

Si usted es un académico o un estudiante, probablemente podrá encontrar un programa apropiado preguntando a colegas, profesores, y otros investigadores de su institución. Si ninguno de ellos sabe de alguno en ese momento, alguien casi seguramente podrá ponerlo en contacto con agencias de servicios humanos y otras que lo harán. Otras posibles fuentes de información incluyen el Internet, patrocinadores, asociaciones profesionales, coaliciones de servicios humanos y de salud, y organizaciones comunitarias. La información sobre fondos públicos está a menudo disponible en la web, en las bibliotecas, o en los archivos de los diarios. Cuanto más ampliamente usted extienda su red, más probabilidades tendrá de encontrar el programa que está buscando.

El programa adecuado obviamente dependerá de sus intereses de investigación, pero algunas preguntas que  serán parte de su elección incluyen:

• ¿El escenario incluye personas que están realmente experimentando el problema que es de interés para usted?
• ¿Es el escenario similar a otros de este tipo? (Si no lo es, su programa puede no ser útil a otros que estén trabajando con el problema, aún cuando funcione bien en su propio contexto.)
• ¿Proporciona el escenario de trabajo apoyo para la investigación? ¿Ayudarán los empleados, los participantes, y otros con la recolección de datos,  serán serviciales acerca de las preguntas de contexto, cooperarán con usted?
• ¿El lugar cuenta con los recursos para mantener el programa después de que su evaluación esté hecha?
• ¿El lugar de trabajo permite los cambios en la operación requeridos por la investigación? Si el planeamiento de la evaluación y la elección de las preguntas apuntan a hacer las cosas de manera diferente, el programa ¿podrá hacer y hará los cambios necesarios?
• ¿Es el la propuesta de evaluación y el lugar de trabajo accesible?

La accesibilidad incluye no solamente la de los discapacitados, sino también si un lugar está en un vecindario  que hace sentir bienvenidos o seguros a los participantes, si es fácilmente accesible por el transporte público o se puede llegar a pie desde las áreas de las cuales se extraen los participantes, y si está ubicado en un edificio o institución que no se sienta intimidante o extraño (un campus o un edificio universitario pueden parecer tan amenazantes como una fortaleza para alguien que se sienta inseguro acerca de sus antecedentes educativos, por ejemplo.) La accesibilidad puede ser el factor determinante para que los participantes consideren ser parte de un programa, o para que permanezcan en él.

¿Es estable la iniciativa? El programa y la organización, ¿son lo suficientemente estables como para saber que se podrá mantener el trabajo en el nivel necesario, al menos hasta que se complete la evaluación?

Una vez que se haya encontrado un escenario de trabajo apropiado, tendrá que convencer a la organización de colaborar con usted en una evaluación. Los tres pasos siguientes están dirigidos hacia ese objetivo.

Aprenda lo más que pueda sobre la organización que ha elegido.

Así como usted no iría a una entrevista de trabajo sin hacer algunas averiguaciones acerca del empleador, tampoco debería tratar de ganar la cooperación de una organización sin saber algo acerca de ella - su misión, sus metas, a quién responde, quiénes son el director y los miembros directivos, etc. Si alguien le habló de la organización, esa persona puede tener, o conocer a alguien que tenga, mucha de la información que usted necesita. Si la organización mantiene un sitio Web, mucha de esa información estará disponible allí. Si está registrada, la oficina de la Secretaría de registro del estado y/u otras oficinas estatales tendrán información acerca  de los miembros oficiales (o sea,  el Consejo Directivo) y otros aspectos de la organización. Las agencias de financiamiento pueden también tener la información que sea motivo de registro público, incluyendo las propuestas. (Ver "Averigüe todo lo que se pueda sobre el contexto" más abajo.)

Contacte a la(s) persona(s) apropiada(s) y solicite una entrevista.

Averigüe a quién (nombre, así como posición) debe dirigirse para hablar sobre la realización de un proyecto de investigación en la organización que usted ha elegido.

Dependiendo de la organización, éste podría ser el presidente del consejo directivo, el director ejecutivo, o el director del programa (si el programa que a usted le interesa es sólo una parte de una organización más grande). En cualquier caso, sería inteligente involucrar al director del programa aún cuando él no sea el que tome la decisión final, puesto que su cooperación será crucial para completar su investigación.

• Si puede, consiga una presentación personal. Siempre es mejor si usted llega recomendado por alguien conocido por la persona con la cual usted necesita hablar.
• Si no puede conseguir una presentación personal, lo mejor es enviar una carta solicitando una reunión y explicando la razón de dicha reunión, y seguidamente hacer una llamada telefónica.
• Antes de la reunión, envíe una propuesta delineando lo que pretende hacer.Esta debería tener la suficiente sustancia como para ayudar a la organización a decidir si quiere trabajar con usted,  pero no ser tan específica como para no permitir un planeamiento colaborativo de la evaluación.

Planee y prepárese para la reunión inicial. Hay varios propósitos para esta reunión, además del primordial de obtener el permiso y el apoyo para su proyecto (o al menos un acuerdo para seguir discutiendo la posibilidad). Ellos incluyen:

• Establecer sus credenciales - la experiencia, la formación educativa, y cualquier otro factor que lo habilite a conducir esta  evaluación. Esto puede incluir referencias de colegas, profesores, u otras organizaciones con las que haya trabajado.
• Aprender más acerca del programa y la organización.
• Explicar qué quiere hacer y por qué, cómo se presentarán probablemente los resultados de la evaluación, qué se hará con ellos, quién tendrá acceso, etc. Esta explicación también deberá cubrir los temas de confidencialidad y autorización de los participantes.
• Explicar lo que se necesita de la organización y/o del programa - participación de los  participantes y el personal, por ejemplo, cualquier apoyo logístico, acceso a registros, o acceso a actividades del programa.
• Explicar lo que usted está ofreciendo a cambio – sus servicios para una evaluación formal y extensa, todos los gastos, equipos y materiales, otros servicios de apoyo, o cualquier otra cosa más que se tenga para ofrecer.
• Aclarar las necesidades de la organización, y discutir cómo encajan con las suyas – y cómo ambas pueden satisfacerse.

Asumiendo que su presentación ha sido convincente, y usted es ahora el  evaluador del programa, el resto de los pasos que siguen se aplican tanto a los investigadores independientes como a  los evaluadores externos.

Averigüe todo lo que se pueda sobre el contexto.

Esto puede resultar diferente para los evaluadores externos que para los investigadores independientes, pero es igualmente importante para ambos.Significa averiguar de antemano todo lo que se pueda sobre la comunidad, la organización, el programa, y los participantes  – la estructura social de la comunidad y dónde encajan los participantes dentro de ella, la historia del problema en cuestión, cómo es vista la organización, las relaciones entre grupos e individuos,  la política comunitaria etc.

Si usted es un evaluador externo, puede tomar ideas de los administradores del  programa, del personal, y de los participantes acerca de la comunidad, la organización, y el asunto en cuestión. Pídales que lo dirijan a otros  - líderes comunitarios, funcionarios, residentes de mucho tiempo, clérigos, miembros confiables de determinados grupos – que puedan también darle sus perspectivas. Si es posible, conozca la comunidad físicamente: camine y/o conduzca por ella, visite comercios, parques, restaurantes, la biblioteca. El comprender cómo el problema incide en la comunidad, la naturaleza de las relaciones entre grupos e individuos, y cómo es la vida en los vecindarios donde viven los participantes, le ayudará mucho al analizar la evaluación del programa.

Si usted es un investigador independiente, aprenda lo más que pueda sobre el contexto antes de contactar al programa. Los sitios web  (de la organización y/o la comunidad) y las bibliotecas son dos posibles fuentes de información, como también lo son la literatura sobre la comunidad y la organización. y la gente que conoce la comunidad. Aprender de antemano sobre la comunidad, la organización, y los participantes, le ayudará a determinar si este programa encaja con su investigación  y a abogar por su cooperación con su proyecto. Una vez que usted cuente con esa cooperación, puede seguir el mismo sendero que un evaluador externo (puesto que eso es lo que usted es) para aprender lo más que pueda sobre el contexto del programa.

Establezca confianza con los administradores del programa, el personal, y los participantes.

Esta puede ser la parte más difícil de una evaluación para alguien de afuera de la organización. No hay ningún acto de magia o línea de tiempo predecible, pero hay varias cosas que se pueden hacer:

• Sea usted mismo. No sienta que debe actuar de cierta manera: trate con la gente del programa como lo hace con amigos y conocidos en otras circunstancias.La gente se da cuenta cuando alguien está siendo falso, y es  poco probable que confíen en usted si ese es el caso.
• Trate a todo el mundo con el mismo respeto, como colegas en un proyecto de investigación.
• No asuma que sabe más que nadie por ser el profesional.
• Comparta libremente lo que sabe, pero no se ate a ningún proceso o método determinado, especialmente en respuesta a una posición opuesta de un individuo importante.
• Pregunte a los administradores, personal, y participantes lo que ellos quieren de la evaluación, y discuta cómo la evaluación podría proporcionárselo.
• No tenga miedo de decir "No lo sé, pero lo voy a averiguar," y hágalo.
• Ejecute fielmente cualquier cosa que diga que va a hacer. No prometa nada que no podrá cumplir, y fije plazos de entrega razonables, con el fin de poder cumplirlos.

Los últimos dos pasos se aplican a todos, evaluadores internos y externos.

Apunten a una evaluación participativa.

Hemos discutido más arriba el involucramiento de todos los interesados al máximo posible. El involucrar a los participantes, personal del programa, y otros interesados en un planeamiento y una investigación participativa puede a menudo otorgarles los datos más precisos, y darles acceso a personas y lugares que normalmente no tendrían. Por otro lado, el planeamiento y la investigación participativa,  como hemos explicado, llevan tiempo y energía. Si se tiene un tiempo limitado, tal vez no se pueda armar un proyecto totalmente participativo.  Se puede, sin embargo, todavía consultar a los interesados, e involucrarlos en maneras que no requieran necesariamente capacitación o grandes cantidades de su tiempo.Ellos pueden ayudarlos a programar las entrevistas con los participantes u otros informantes importantes, por ejemplo, y/o actuar como informantes ellos mismos en lo relativo a condiciones y relaciones comunitarias.

Por lo menos la gente a cargo del programa, y probablemente aquéllos que lo implementan también, esperarán tomar parte en el planeamiento de la evaluación. Ellos son, después de todo, los que necesitan saber si su trabajo es efectivo, y cómo mejorarlo. El involucrar a los participantes también, en roles que van de informantes acerca del contexto a verdaderos investigadores, probablemente enriquezca la cantidad y calidad de la información que ustedes obtengan.

Planeen la evaluación, en colaboración con los interesados.

Esa colaboración deberá darse en el más alto nivel de participación posible, dada la naturaleza del programa, el tiempo disponible, y la capacidad de los involucrados (si los participantes del programa son niños de cinco años, ellos probablemente tendrán relativamente poco que contribuir al planeamiento de la evaluación... pero sus padres podrían querer involucrarse.)

El planeamiento mismo comprende diez  áreas diferentes, cada una de las cuales será tema de una de las restantes secciones en este capítulo:

• Recolección y síntesis de la información.
• Diseño de un sistema de observación.
• Desarrollo y prueba de una intervención prototipo.
• Selección de un diseño experimental apropiado.
• Recolección y análisis de los datos.
• Recolección e interpretación de la información etnográfica.
• Recolección y uso de los datos de archivo.
• Alentar la participación a través de la investigación.
• Refinar la intervención basándose en la evaluación.
• Preparación de los resultados de la evaluación para su divulgación.

Una vez que el planeamiento está hecho, es tiempo de empezar a llevar a cabo la evaluación.Y cuando se haya terminado – después de haber analizado la información y planeado y realizado los cambios que se necesitarán – es tiempo de comenzar el proceso otra vez, con el fin de poder determinar si esos cambios tuvieron los efectos que se pretendían. La evaluación, como gran parte del trabajo comunitario, es un proceso que sigue así por la misma cantidad de tiempo que el trabajo mismo. Ella es absolutamente esencial para la mejora continua de su programa.

En resumen

La selección de las preguntas evaluativas - las áreas de su trabajo que se examinarán como parte de la evaluación de su programa - es clave para definir exactamente qué es lo que se está tratando de lograr. Por esa razón, esas preguntas deben ser elegidas cuidadosamente como parte del proceso de planeamiento para el programa mismo, de modo que las preguntas puedan guiar su trabajo así como la evaluación de él. Cuanto más se pueda involucrar a los interesados en esa selección y ese planeamiento, más probable será que se cree un programa que logre exitosamente sus metas de servicio para la comunidad.

La buena selección de esas preguntas supone comprender el contexto del programa - la comunidad, los participantes, la cultura de todo grupo que esté involucrado, la historia del problema y de la estructura social de la comunidad y de la organización - y (si usted es un evaluador externo sin ataduras con el programa) el establecimiento de una confianza con administradores, miembros del personal, y participantes. Esa confianza le permitirá realizar una evaluación participativa que extraiga el conocimiento y los talentos de todos los interesados, y planear una evaluación que se ajuste a las metas de su programa y que analice con precisión  sus fortalezas y sus debilidades. Con ese análisis en la mano,  se podrán hacer cambios para mejorar el programa. Entonces se estará cercano a comenzar todo el proceso otra vez, con el fin de poder evaluar los efectos de los cambios que se han realizado.

¿Qué queremos decir con seleccionar las preguntas?

___Las preguntas evaluativas son aquellas que su evaluación debe responder acerca de su trabajo.

___Las preguntas evaluativas ayudan a fijar la dirección del trabajo, así como a evaluar su efectividad.

___Idealmente, la selección de las preguntas evaluativas es parte del planeamiento del programa total.

Preguntas a hacerse al seleccionar las preguntas evaluativas:

___¿Qué es lo que quieren saber?

___¿Por qué les interesa?

___¿Es el asunto el cual se está tratando importante para la comunidad o para la sociedad?

___¿Cómo se relaciona el asunto con el campo de trabajo?

___¿Es un asunto general, en vez de específico a su población o comunidad?

___¿Quién podría usar los resultados de su evaluación?

___¿A quién concierne el  problema?

¿Por qué es  necesario seleccionar cuidadosamente las preguntas evaluativas?

___Les ayuda a comprender qué efectos están teniendo diferentes partes de su esfuerzo.

___Les hace definir claramente qué es lo que se está tratando de hacer.

___Les muestra dónde se necesitan hacer cambios.

___Resalta las consecuencias inesperadas.

___Guía sus elecciones futuras.

___En las evaluaciones participativas, involucra a los interesados en la fijación del curso del programa, haciendo de esta manera más probable que se cumplan con las necesidades de la comunidad.

___Proporciona el enfoque para la evaluación y para el programa.

___Determina qué se necesita registrar con el objetivo de recolectar datos para la evaluación.

¿Cuándo se debe seleccionar las preguntas y planear la evaluación?

___Si es posible, la selección de las preguntas y el planeamiento de la evaluación deberían ser una parte integral del planeamiento de su programa.

___Si su realidad lo hace imposible, seleccionar las preguntas y planear la evaluación debería hacerse tan pronto como sea posible después de que el programa empieza.

¿Quiénes deben estar involucrados en el proceso?

___Hasta donde sea posible, el proceso debe involucrar a todos los interesados,  incluyendo a los  participantes y a los beneficiarios del programa.

¿Cómo seleccionar las preguntas y planear la evaluación?

Al seleccionar las preguntas:

___Describa el asunto o problema que se está tratando.

___Describa la importancia del problema.

___Describa a los que contribuyen al problema.

___Evalúe la importancia y la factibilidad de cambiar esos comportamientos.

___Describa  el objetivo de cambio.

___Asegúrese de que los cambios esperados constituyan una solución o una contribución sustancial a la solución del  problema.

Al hacer el planeamiento:

___Tome en cuenta los problemas que surjan debido a lugares múltiples o muy diferentes.

___Tome en cuenta los problemas que surjan por grupos participantes con diferentes culturas, posibilidad de completar el programa, localización geográfica, y otros factores.

Para los evaluadores externos, específicamente:

___Elijan un escenario de trabajo.

___Aprendan lo más que se pueda sobre la organización que han elegido.

___Contacten a la(s) persona(s) apropiada(s)  y soliciten una entrevista.

___Planeen y prepárense para la reunión inicial.

Para todos los evaluadores:

___Averigüen todo lo que puedan sobre el contexto.

___Establezcan confianza con los administradores del programa, el personal y los participantes.

___Apunten a una evaluación participativa.

___Planeen la evaluación en colaboración con los interesados.

___Consideren todos los elementos de una evaluación en su planeamiento:

___Recolección y síntesis de la información.

___Diseño de un sistema de observación.

___Desarrollar y probar un  prototipo de intervención.

___Seleccionar un diseño experimental apropiado.

___Recolectar y analizar los datos.

___Reunir e interpretar la información etnográfica.

___Recolectar y usar los datos de archivos.

___Alentar la participación a través de la investigación.

___Afinar la intervención basados en la evaluación.

___Preparar los resultados de la evaluación para su divulgación.

Example 1: Using Miro Board for Collaborative Development of Evaluation Goals and Questions

 

Noah Goodman shares the process he used to prepare for and conduct a kick-off meeting to develop evaluation goals and questions for the Right Question Institute.

Integrating Technology in Evaluation TIG Week: Using Miro Boards to Engage Clients in Collaborative Development of Evaluation Goals and Questions by Noah Goodman

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué se entiende por recolección y síntesis de información?

• ¿Por qué llevar a cabo la recolección y síntesis de información?

• ¿Cuándo conviene realizar la recolección y síntesis de información?

• ¿Quién debe llevar a cabo la recolección y síntesis de información?

• ¿Cómo se lleva a cabo la recolección y síntesis de información?

Supongamos que quisiera diseñar una casa que utilizara muy poca energía, requiriera pocos recursos para construirse y mantenerse, y fuera asequible para la mayoría de las familias. Podría tener algunas ideas originales sobre cómo lograrlo, pero también querría conocer las ideas que han tenido otras personas. Probablemente leería acerca de las casas semienterradas (construidas en una ladera o montículo de tierra), los paneles solares o los molinos de viento para producir electricidad, las ventanas aislantes eficientes, el reciclaje de aguas residuales y los materiales de construcción no tóxicos que reutilizan madera y metal de desecho. Hablaría con personas que han construido o vivido en casas eficientes en energía, para conocer la realidad de vivir de manera sostenible. También aprendería sobre las barreras de algunas estrategias ecológicas, así como las formas de superarlas. Hay una enorme cantidad de información disponible, y tendría sentido recopilar la mayor cantidad posible, para poder integrarla, incorporar los elementos adecuados en tu diseño y obtener nuevas ideas a partir de lo que ya se ha hecho.

Lo mismo ocurre si está diseñando una intervención o un programa para abordar un problema de salud comunitaria u otro tipo de cuestión, o bien una evaluación de ese programa. Sin duda, otras personas también han intentado enfrentar ese problema, algunas con éxito y otras sin él. Conocer qué hicieron, cómo lo hicieron y cuáles fueron los resultados puede ayudarte a decidir cómo diseñar tu propio esfuerzo. Quizá logre encontrar un método aquí y una técnica allá que, al combinarse, se adapten exactamente al programa que mejor responda a las necesidades y condiciones de su comunidad. O bien podría darse cuenta de que algo que pensaba implementar simplemente no ha funcionado en numerosos casos anteriores, y por lo tanto, tampoco tendría muchas probabilidades de funcionar en su situación.

Recopilar y utilizar las ideas de otros no significa que no pueda usar las suyas o crear algo nuevo. De hecho, las ideas nuevas suelen surgir a partir de lo que otros han intentado. La mayoría de los artistas comienzan imitando a otros antes de desarrollar sus propios estilos. Einstein no llegó a la teoría de la relatividad por casualidad; estaba familiarizado con ella porque otros ya habían trabajado en el tema. Por lo general, se puede innovar de manera más efectiva cuando se sabe qué se ha probado previamente.

Esta sección se centra en recopilar toda la información posible sobre el problema de su comunidad y sobre los intentos de abordarlo, y en integrar esa información para diseñar una evaluación que responda a sus preguntas. Aunque este capítulo trata sobre la evaluación, gran parte del contenido de estas secciones también se aplica a la planificación de la intervención (o programa) y a la evaluación: en realidad, ambos aspectos no pueden separarse.

Una evaluación es un proyecto de investigación: lo que buscamos es descubrir qué funciona y bajo qué condiciones. Los pasos para diseñar y utilizar una evaluación, el tema de este capítulo, son, en esencia, los mismos que los de diseñar el programa que se está evaluando. Los elementos que tomé de los esfuerzos exitosos de otros, junto con los que cree por su cuenta, darán lugar a una intervención y a las preguntas de evaluación correspondientes. Aunque en esta sección se hable del diseño del programa, lo expuesto también se aplica al diseño de la evaluación. 

¿Qué se entiende por recolección y síntesis de información?

La recopilación de información se refiere a obtener datos sobre el problema que enfrenta y sobre las formas en que otras organizaciones y comunidades lo han abordado. Cuanta más información tenga acerca del problema en sí y de las maneras en que se ha intentado resolver, más probabilidades tendrá de poder diseñar un programa o una intervención eficaz propia.

Existen, por supuesto, muchas fuentes de información, que varían según lo que esté buscando. En general, puede consultar fuentes existentes o examinar “ejemplos naturales”, es decir, ejemplos de programas e intervenciones reales que han abordado el problema. Aquí mencionaremos dónde encontrar ambos tipos de fuentes y más adelante en la sección entraremos en mayor detalle sobre ellas.

• Fuentes existentes. Este término se refiere a material publicado de diversos tipos que puede dar luz sobre el problema o alternativas de cómo enfrentarlo. Estas fuentes pueden dividirse, de manera práctica, en: publicaciones académicas, dirigidas principalmente a investigadores y a la comunidad universitaria; fuentes de divulgación, escritas en un estilo accesible y dirigidas al público en general; e información estadística y demográfica publicada por diversas organizaciones de investigación y organismos gubernamentales.
• Ejemplos naturales. Se trata de programas o intervenciones desarrollados y probados en comunidades que han abordado su problema. Estudiarlos puede mostrarle qué les funcionó y qué no, y por qué. Al ofrecerle una visión de cómo se manifiestan los problemas en su comunidad u otras, pueden proporcionarle ideas prácticas sobre cómo (o cómo no) llevar a cabo un programa o intervención exitosa. En la mayoría de los casos, las fuentes de información aquí son las personas involucradas en esfuerzos para abordar problemas similares al suyo, o aquellas que pueden orientarlo hacia ellas. Además, existen varios ejemplos naturales (como estudios de caso individuales) que han sido descritos en la literatura de la psicología comunitaria o de la salud pública y que pueden ser relevantes para su trabajo.

Síntesis proviene del griego; significa “juntar” o “reunir”. En inglés su significado es el mismo: la acción de juntar algo a partir de dos o más fuentes distintas. Por ejemplo, las telas sintéticas tienen ese nombre porque están construidas de varios componentes químicos.

En esta sección hablamos de ideas. La síntesis, en este contexto, se refiere a analizar lo que ha aprendido durante la recopilación de información y a construir un programa o enfoque coherente tomando ideas de diversas fuentes y uniéndolas para crear algo nuevo que responda a las necesidades de la comunidad y la población con las que trabaja. 

Sintetizar de esta manera requiere identificar los elementos funcionales de cada idea o programa que haya revisado y que parezcan aportar enseñanzas útiles para su trabajo. Los elementos funcionales son los componentes centrales de cada programa, los métodos, el marco, las actividades, las técnicas y otros aspectos que conforman el programa específico que está analizando. Una vez que haya separado estas partes, puede combinar aquellas que respondan a sus necesidades con lo que ha aprendido sobre el problema y con sus propias ideas, para construir un programa que se ajuste específicamente a su situación.

Como ya hemos mencionado, las actividades de recopilación y síntesis de información son necesarias tanto para crear el programa original como para desarrollar una evaluación que le ayude a mantenerlo y mejorarlo. Ambos procesos parten, en realidad, del mismo lugar: de lo que piensa que permitirá abordar el problema, la forma que debería adoptar el programa o intervención, con quién debería aplicarse y qué conductas o condiciones busca cambiar. Esto también orienta cuáles deben ser sus metas a corto y largo plazo, y por qué medios intentará alcanzarlas. Una vez que estas metas se han definido, a su vez determinan sus preguntas de evaluación. No se puede construir una evaluación sin saber exactamente qué es lo que se intenta evaluar.

¿Por qué llevar a cabo la recolección y síntesis de información?

Si está en proceso de iniciar un programa para abordar un problema comunitario, como la violencia o la educación en la primera infancia, probablemente ya sepa bastante sobre ese tema. Tal vez lo haya enfrentado de diferentes maneras y tenga ideas bastante claras acerca de qué tipo de programa podría funcionar. Entonces, ¿por qué dedicar tiempo y esfuerzo, suyo y de otras personas involucradas en una planificación participativa, a leer mucho material escrito por otros y a contactar a quienes ya han dirigido programas? Si piensa de esa manera, hay muchas buenas razones para considerarlo. Recopilar información de antemano y organizar lo que ha aprendido podría ser lo más importante que haga para que su programa sea efectivo. Aquí le explicamos por qué:

• Le ayudará a evitar descubrir el hilo negro. Es muy probable que muchas organizaciones hayan abordado este problema antes que usted. Algunas quizá hayan tenido éxito y otras no, pero todas seguramente aprendieron algo en el proceso que podría serle útil. No tiene por qué cometer los mismos errores que alguien más ya cometió si conoces su experiencia, ni tiene que crear algo desde cero, que puede o no funcionar, cuando ya existe un modelo que sí ha funcionado.

Le permitirá distinguir entre buenas y malas ideas. No está nada mal que tenga algunas de las mismas buenas ideas que otros ya han tenido, pero es útil saber que realmente son buenas. También existe la posibilidad de que tenga algunas de las mismas malas ideas que otros han tenido, y en ese caso resulta aún más valioso reconocer que son malas. Esto puede ahorrarle muchos problemas y, quizás, marcar la diferencia entre crear un programa que cumpla bien su función y uno que fracase estrepitosamente y desaparezca. Eso es como querer descubrir el hilo negro; alguien ya lo sabía.

• Le ayudará a comprender profundamente el problema para poder abordarlo adecuadamente. El primer paso para resolver un problema es saber exactamente con qué está tratando. Cuanto mejor lo entienda, sus causas, cómo ocurre, cómo reaccionan las personas cuando se ven afectadas, cuáles son sus consecuencias para los individuos y la comunidad, y quién puede influir en él, mayores serán las probabilidades de que pueda determinar cómo enfrentarlo.​​
• Necesita todas las herramientas posibles para crear el mejor programa que pueda. Y, ante todo, las herramientas más importantes para planificar e implementar un programa o intervención son: información, información y más información. Al igual que con el problema en sí, cuanto más sepa sobre qué funciona y para quién, cómo lograr que las cosas sucedan, y cómo establecer o eliminar ciertas condiciones, más probabilidades tendrá de diseñar un programa exitoso que aborde todos los aspectos del problema y no deje nada al azar. Diversos tipos de habilidades profesionales e interpersonales pueden ayudarle a implementar un programa, pero si lo que implementa no es efectivo, da igual cuán hábilmente lo lleve a cabo.
• Es probable que la mayoría de las soluciones no sean de talla única. Cuanta más información recopile, mayor será la variedad de enfoques, métodos y marcos de referencia entre los que podrá elegir. Armar la combinación adecuada le ayudará a responder con éxito a las necesidades particulares de su comunidad y de la población con la que trabaja.
• Puede ayudarle a ser culturalmente sensible. No solo podrá aprender más sobre la(s) cultura(s) de las personas con las que trabaja, sino que también es probable que encuentre una serie de enfoques que hayan funcionado con el grupo cultural al que espera beneficiar. Y quizá lo más importante: podrá aprender a evitar errores costosos que podrían requerir mucho tiempo y esfuerzo, o incluso ser imposibles de reparar.
• Conocer lo que se ha hecho en una variedad de circunstancias y comprender el problema desde diferentes puntos de vista puede darle nuevas perspectivas e ideas para su programa. Como mencionamos al inicio de esta sección, las ideas nuevas rara vez surgen de la nada. Se estimulan a partir de su propia experiencia y de las ideas y experiencias —buenas y malas, positivas y negativas— de otras personas. Vea la experiencia de otros campos, comunidades y países. Cuantas más ideas distintas conozca, y más formas encuentre de combinarlas, mayores serán las posibilidades de que genere algo nuevo que sea más efectivo que lo que se ha hecho antes.

¿Cuándo conviene realizar la recolección y síntesis de información?

La recopilación y síntesis de información es crucial para el éxito del programa y para la pertinencia y efectividad de la evaluación. Debe comenzar desde el inicio de cualquier esfuerzo y contribuir a la planificación inicial. También debe continuar a lo largo de toda la vida del programa, de manera que pueda seguir ajustándolo mediante la incorporación o modificación de elementos que mejoren los resultados y generen nuevas ideas.

Los ajustes principales, en general, deberían realizarse al final de un ciclo de evaluación, cuando ya se cuenta con información sólida sobre lo que funcionó y lo que no. Sin embargo, esto no significa que no se puedan hacer ajustes menores durante la implementación del programa para mejorar los resultados en el camino.

Existe aquí una tensión entre cambiar continuamente un programa para mejorarlo y obtener resultados de evaluación precisos. Si modifica un método o una actividad a mitad del proceso, su evaluación no podrá darle una valoración clara de su efectividad.

La cantidad de cambios que haga durante el desarrollo de un programa depende de su intención. Si su primera responsabilidad es averiguar qué funciona mejor, para luego transmitirlo, entonces es importante no hacer cambios hasta que se complete la evaluación. En cambio, si su responsabilidad principal es con los participantes actuales del programa, debería hacer los cambios necesarios en el momento en que sean necesarios para asegurar los mejores resultados para ellos.

Aquí también pueden surgir cuestiones éticas. En los experimentos médicos con nuevas terapias o fármacos, por ejemplo, algunos participantes reciben el nuevo tratamiento y otros no (todos aceptan voluntariamente esta condición y el hecho de no saber a qué grupo serán asignados). Si el nuevo tratamiento demuestra ser dañino, existe la obligación ética de suspender su aplicación. Por otro lado, si resulta ser notablemente eficaz, los investigadores suelen sentirse éticamente obligados a extenderlo a los demás participantes en cuanto pueden demostrar sus efectos positivos. No todos los programas plantean necesariamente dilemas éticos tan claros como los que surgen en los estudios médicos, pero siempre se deben tener en cuenta las consideraciones éticas.

¿Quién debe llevar a cabo la recolección y síntesis de información?

La premisa a lo largo de este capítulo es que todo el proceso —planificación, diseño, implementación y evaluación— involucra a múltiples actores interesados.

Los actores típicos en un programa o intervención comunitaria pueden incluir:

• Participantes o beneficiarios del programa
• Personal y administradores del programa
• Otras personas afectadas por el programa —policía, personal médico, docentes, etc.
• Académicos u otros investigadores
• Funcionarios locales
• Activistas comunitarios

Recopilación de información

En un proceso participativo, la recopilación de información puede potenciarse mediante una división del trabajo determinada por las habilidades y la experiencia de los participantes. Si hay académicos u otros investigadores profesionales involucrados, probablemente tenga más sentido que ellos —u otras personas con experiencia en investigación— revisen la literatura de evaluación. Los miembros de la población afectada podrían ser los más indicados para recopilar información sobre la historia del problema en la comunidad y sobre cómo afecta actualmente a las personas. Los directores y el personal del programa probablemente tengan los mejores contactos en el campo, y por lo tanto, mayores posibilidades de encontrar información sobre otros programas similares. Quienes tengan acceso a Internet y experiencia con computadoras podrían ser los buscadores en línea más lógicos, o bien actuar como apoyo técnico para ayudar a otros a encontrar lo que necesitan. Aquellos con conocimientos en derecho y legislación podrían ser los responsables de examinar políticas.

También existe la posibilidad de que se brinde capacitación a todo el grupo, o a distintas personas, para permitirles desarrollar diversas líneas de investigación. No hay razón, por ejemplo, para que personas sin experiencia en investigación no puedan aprender a comprender e interpretar información demográfica o a ponerse en contacto con programas en otros lugares. (Existen algunas limitaciones aquí: los niveles de educación relacionada, la disponibilidad de materiales o computadoras y/o la imposibilidad de conectarse con otras personas pueden influir en el tipo de investigación que tiene sentido pedir a otros que realicen).

Síntesis

Es especialmente importante que todos los participantes en el proceso estén involucrados en la integración de la información. Capacitar a nuevos participantes para sintetizar información dará frutos al final, porque ellos pueden ser capaces de ver cosas en la información que no son evidentes para los investigadores experimentados. Pueden saber cosas sobre la comunidad que arrojen luz sobre qué elementos de otros programas podrían ser apropiados y cuáles no.

En cualquier caso, la recopilación y la síntesis de información, al igual que cualquier otra parte del proceso, deben reflejar las necesidades, intereses y capacidades de todos los actores involucrados.

¿Cómo se lleva a cabo la recolección y síntesis de información?

Existen varios pasos para recopilar e integrar la información que necesita. La mayoría de estos pueden realizarse como actividades grupales, formando parte del proceso participativo. La recopilación de información en sí misma puede asignarse a personas o subgrupos específicos.

Decidir qué necesitas saber

No es sorprendente que el primer paso en la recopilación de información sea determinar qué información se debe obtener. Existen varias áreas que se pueden explorar:

• Detalles sobre el problema. Estos pueden incluir sus causas inmediatas y de raíz; sus efectos generales en las personas y en las comunidades; sus consecuencias; su desarrollo a través de diferentes etapas; su historia; y la historia de los intentos de abordarlo.
• Cómo se ha abordado el problema en otros lugares. Prácticas recomendadas o enfoques que cuentan con una base de evidencia; otros enfoques que han sido al menos parcialmente efectivos; y lo que no ha funcionado, lo cual puede brindarle información tan importante como lo que sí ha funcionado.
• Personas que pueden ayudar. Esta categoría abarca a expertos en el tema y a personas u organizaciones que han llevado a cabo o participado en intentos exitosos de abordar el problema.
• Quiénes se ven afectados localmente, y de qué manera. En realidad, esto comprende dos preguntas:
  a) ¿Qué grupos poblacionales – geográficos, étnicos, culturales, raciales, de clase, etc. – se ven particularmente afectados por este problema?
  b) ¿Qué otros grupos se ven afectados, aunque de manera menos visible? Estos podrían incluir a quienes trabajan con el(los) primer(os) grupo(s) en la comunidad (por ejemplo, maestros o trabajadores sociales), quienes dependen de ellos, y aquellos de quienes ellos dependen.
• La importancia del problema para la comunidad. Nuevamente, esto implica dos preguntas:
  • ¿Qué tan importante percibe la comunidad que es el problema? y
  • ¿Cuánto y de qué maneras afecta realmente el problema a la comunidad en su conjunto?
• Necesidades de la comunidad relacionadas con el problema. ¿Qué debe añadirse o eliminarse de la comunidad para mejorar la situación? ¿A qué tipos de enfoques responderá la comunidad o rechazará?
• Otra información contextual. Historia de la comunidad, relaciones entre grupos e individuos que puedan ser relevantes para su trabajo, cultura comunitaria, etc.
• Quién, si alguien, tiene cierta influencia o control para cambiar la situación. Los funcionarios públicos y otros responsables de formular políticas suelen estar en esta posición. Los líderes empresariales, los propietarios, las agencias gubernamentales de control, las escuelas, los empleadores, los hospitales y el personal de salud, así como los propios miembros del grupo afectado, también podrían estar en condiciones de cambiar la situación (aprendiendo nuevas habilidades o modificando prácticas).

Determine sus fuentes probables de información

Como se mencionó anteriormente, estas abarcan fuentes existentes (es decir, publicadas) y ejemplos naturales (es decir, experienciales). Las fuentes publicadas pueden dividirse en académicas, de consumo masivo y estadísticas, cada una de las cuales puede aportar información y una perspectiva diferente sobre el tema y los intentos de abordarlo. Dependiendo de lo que decida que está buscando, podría utilizar todas, o cualquier combinación, de estas fuentes.

El depósito de información más grande disponible es Internet. Muchos artículos académicos se publican en línea y son accesibles – a menudo de forma gratuita, a veces con costo – para cualquier persona interesada. Prácticamente todas las leyes y regulaciones de EE. UU., en todos los niveles de gobierno, se encuentran fácilmente, la mayoría en varios sitios web. El conocimiento general sobre casi cualquier tema está ampliamente disponible, al igual que las listas de prácticas recomendadas, organizaciones exitosas y los sitios web de esas organizaciones. Los datos del censo y otra información estadística similar también están disponibles. A esto se suma la información proporcionada por fuentes tan completas como Wikipedia (que recientemente, a pesar de sus peculiaridades, se ha comprobado que es casi tan precisa en sus más de un millón de entradas como la Enciclopedia Británica), lo que constituye un pozo casi inagotable de hechos y opiniones de donde extraer.

Como siempre, hay que ser cautelosos: la mayor parte del ciberespacio no está editado, y la calidad de la información varía. Si se ciñe a sitios razonablemente confiables, es probable que encuentre casi todo lo que necesite, o al menos una guía hacia ello.

Fuentes existentes

Las fuentes académicas pueden incluir:

• Revistas académicas y algunas revistas profesionales.
• Libros escritos para el mercado académico.
• Tesis doctorales – estas son accesibles para investigadores a través de bibliotecas universitarias y algunas fuentes en Internet.
• Ponencias e informes presentados en conferencias académicas y profesionales – a menudo disponibles en línea, ya sea en los sitios web de los autores o en las actas electrónicas de los congresos.
• Artículos ocasionales en revistas científicas de divulgación respetadas, como Nature o Scientific American.
• Archivos de periódicos.
• Contacto directo con académicos y otros investigadores que hayan trabajado en el tema de su interés, o que hayan realizado estudios sobre intentos de abordarlo.
• Listas de distribución (listservs) y grupos de noticias en Internet relacionados con el tema o el campo en cuestión.

Fuentes de información de consumo masivo:

• Libros de amplia distribución, a menudo comercializados como de “autoayuda” o “transformadores de vida”, dirigidos al público en general.
• Artículos en revistas populares, tanto las dedicadas a la ciencia o al comportamiento como las de interés general.
• Noticias en periódicos, a menudo en las secciones de revistas de los domingos.

Dónde encontrar información estadística y demográfica:

• Datos censales – disponibles en la web y en muchas bibliotecas.
• Informes comunitarios, como boletines de calificaciones de la comunidad, autoestudios y evaluaciones de necesidades, todos los cuales deberían poder obtenerse a través de las oficinas municipales correspondientes, y a veces también en la web.
• Datos de organizaciones y agencias, que por lo general son de dominio público si la agencia es pública o recibe fondos públicos.

Además de estas fuentes, los medios de difusión suelen presentar historias sobre temas críticos o sobre esfuerzos exitosos para abordarlos. En la mayoría de los casos, dichas historias solo rozan la superficie, ya que deben ajustarse a espacios de tiempo reducidos (la radiodifusión pública, tanto en radio como en televisión, rompe este molde más que otros medios). Sin embargo, pueden servir como introducción para investigaciones posteriores, resaltando la importancia de uno o más aspectos de un tema, o brindando información sobre programas efectivos con los que luego puedes ponerte en contacto.

Ejemplos naturales

Algunas de las fuentes más probables de ejemplos naturales incluyen:

• Directores de programas.
• Amigos o colegas en el campo.
• Financiadores (en particular las agencias públicas, porque sus transacciones –incluido a quién financian y por qué– son de dominio público).
• Líderes y miembros de coaliciones o asociaciones comunitarias.
• Funcionarios que coordinan esfuerzos comunitarios a gran escala.
• Miembros de la población más directamente afectada por el problema en cuestión.
• Participantes actuales o anteriores, o beneficiarios de programas efectivos.
• Personas que colaboran con los programas – policía, personal médico, docentes, etc.
• Informantes clave de la comunidad.
• Expertos – algunos de ellos los mismos académicos y otros investigadores mencionados en las fuentes académicas – que tengan experiencia con tu problema y con los intentos de abordarlo.
• Su propia experiencia en la comunidad.

No tema ampliar su búsqueda de modelos exitosos o de nuevas ideas. Sal de su propio campo y de su propia región, y observe lo que se ha hecho en otros lugares. Un modelo de trabajo social o de diseño urbano podría funcionar en salud pública, o viceversa. Hay suficiente solapamiento entre los campos que se ocupan de la salud y el desarrollo humanos como para que, a menudo, pueda encontrar exactamente lo que necesita en lugares que, a primera vista, parecen poco probables.

Diseñar un plan para recopilar información

Hay varias consideraciones aquí:

• ¿Quién recopilará qué información? Como hemos comentado, el grupo ideal es multisectorial y diverso en trayectorias y habilidades. La recopilación de información debe asignarse de acuerdo con las destrezas, intereses y contactos en la comunidad de los participantes. Hemos sugerido, por ejemplo, que las fuentes académicas podrían ser exploradas por académicos u otros investigadores con experiencia, mientras que los miembros de la población afectada podrían tener más éxito al acercarse a informantes clave de la comunidad. Sin embargo, esto no significa que, en un grupo determinado, estos y otros roles aparentemente lógicos no puedan o no deban variar, dependiendo de las personas involucradas.
• ¿Cómo se recopilará la información? Otra cuestión es cómo se obtendrá la información. Encontrar y leer material escrito es relativamente sencillo: está en la biblioteca o en la web, y puede leerlo y tomar notas sobre las partes relevantes. Obtener información directamente de otras personas, sin embargo, puede ser más complicado. ¿Realizará entrevistas formales o informales? ¿Observación? ¿Llevará a cabo encuestas o reuniones públicas? ¿Cómo contactará a personas que no conoce: por carta, por teléfono, a través de conocidos en común? Sus métodos de recopilación de información estarán determinados por el tiempo disponible, la información específica que necesite, la profundidad de la información requerida y las habilidades de los participantes.
• ¿Qué ajustes se harán para cubrir vacíos específicos de experiencia o habilidades? Las personas que no leen, escriben y/o hablan el idioma con fluidez quizá tengan que idear formas creativas de registrar la información. Los investigadores con experiencia pueden tener que traducir la escritura académica para casi todos los miembros del grupo que no sean académicos. En muchos casos, la mayoría o todos los integrantes del grupo pueden necesitar una orientación o capacitación antes de que pueda comenzar la recopilación de información. Será necesario identificar, como grupo, cuáles son las necesidades y diseñar maneras de satisfacerlas.
• ¿Cuál es el cronograma para la recopilación de información? Si bien la recopilación de información debería continuar a lo largo de toda la vida de un proyecto, la fase inicial debe tener un límite de tiempo, de modo que la acción no se retrase demasiado. El plazo depende de sus propias limitaciones de tiempo, de la gravedad e intensidad del problema, de la percepción de urgencia en la comunidad y de si existen restricciones externas de tiempo (por ejemplo, pasantes estudiantiles que solo estarán disponibles hasta el final del verano). Tener una fecha límite clara ayudará a enfocar las actividades del grupo y aumentará su eficiencia.

Recopilar información

Cuando su plan esté completo, es momento de ponerlo en práctica. Tendrá que llevar a cabo las capacitaciones necesarias y asegurarse de que todas las tareas relevantes estén asignadas de manera adecuada. También puede ser útil programar reuniones periódicas a lo largo del proceso de recopilación de información, con el fin de dar al grupo la oportunidad de revisar los avances, hacer sugerencias y compartir lo que han ido encontrando. Además de brindar apoyo a quienes son nuevos en la investigación, estas reuniones, al ofrecer un adelanto de los resultados del proceso, evitarán que todos tengan que digerir una cantidad abrumadora de información de una sola vez.

Sintetizar: Analizarlo en partes 

El proceso de síntesis implica dividir la información en sus componentes, analizar cuáles se ajustan mejor a su contexto y luego integrarlos en un enfoque que tenga probabilidades de funcionar en su comunidad.

Por lo general, hay tres áreas principales que deben considerarse:

• Lo que se sabe sobre el problema en sí. ¿Qué factores personales y ambientales contribuyen al problema? ¿Cuáles son sus causas fundamentales? ¿Tiene los recursos para abordarlas, o están más allá de su alcance (por ejemplo, las fuerzas económicas globales o el cambio climático)? ¿El problema tiene diversos efectos y, de ser así, cuáles son? ¿Cuáles son las consecuencias probables para la comunidad en su conjunto si el problema no se resuelve? (Un riesgo ambiental para la salud no solo puede causar la muerte o enfermedad de individuos, sino que también podría afectar la productividad empresarial, la disponibilidad y las tarifas de los seguros, los costos hospitalarios, el mercado de la vivienda o incluso –como en el caso del vecindario Love Canal en Niagara Falls, NY– la existencia misma de un vecindario o comunidad).
• El contexto comunitario del problema. ¿Cuáles son los efectos locales específicos del problema? ¿Quiénes son exactamente los afectados? ¿De qué manera exacta se ven afectados? ¿Cuáles son las consecuencias para esos individuos? ¿Para sus familias, amigos, vecinos y otras personas con quienes se relacionan? ¿Para la comunidad en su conjunto? ¿Cuál ha sido la experiencia de la comunidad con este problema en el pasado? ¿Cómo se ha abordado, si es que se ha hecho? ¿Qué condiciones locales cambiarían si el problema se resolviera y de qué manera cambiarían? ¿Existen condiciones subyacentes que deban cambiar antes de que el problema pueda abordarse? ¿Qué actitudes y/o comportamientos necesitan cambiar para tener un efecto sobre el problema (por ejemplo, entre los responsables de formular políticas, los afectados o ciertos funcionarios específicos)?
• Intentos exitosos y no exitosos de abordar el problema. Estos pueden haberse obtenido tanto de la literatura sobre prácticas recomendadas como directamente o de manera indirecta de quienes participaron en ellos. Aquí es importante desglosar los elementos de los distintos enfoques. ¿Qué procedimientos específicos – métodos y componentes de intervención – se utilizaron? ¿Qué tipos de capacitación – retroalimentación, juegos de roles, modelado, etc. – se proporcionaron a los participantes? ¿Se ofreció información a los participantes sobre cuándo, por qué y cómo actuar? ¿Hubo consecuencias positivas o negativas que ayudaron a establecer o mantener el cambio (o su contrario)? ¿Se implementaron o eliminaron barreras ambientales, políticas o regulaciones? ¿Cuál era la filosofía general detrás del enfoque? ¿Qué aspectos del problema abordaba? ¿En qué tipo(s) de comunidad se probó? ¿Qué grupos poblacionales (en términos de cultura, edad, clase social, etc.) participaron? ¿A quién debía beneficiar el enfoque? ¿Cuáles fueron los resultados específicos a corto plazo? ¿Y a largo plazo? ¿Qué hace que un programa, política o práctica en particular sea exitoso o no exitoso? ¿Qué eventos, si los hubo, fueron críticos para el éxito (o el fracaso)? ¿Qué condiciones – características organizacionales, de los participantes o factores ambientales más amplios – fueron determinantes? ¿Existe un modelo de programa exitoso? ¿Existe un modelo de programa no exitoso?

La existencia de un programa modelo no exitoso no significa que, si hace lo opuesto a todo lo que ese programa hizo, tendrá éxito. Incluso si fracasó estrepitosamente, gran parte del programa pudo haber sido potencialmente eficaz, pero uno o dos elementos – la manera en que se abordó, reclutó o trató a los participantes, o un método en particular – anularon lo que podría haber funcionado. De la misma manera, es posible que la mayoría de los elementos del programa hayan estado bien, pero que su premisa básica haya sido equivocada o ineficaz – por ejemplo, “Solo diga no” como estrategia para prevenir el SIDA entre adolescentes. Lo importante es tratar de averiguar por qué el programa no tuvo éxito. Un verdadero programa modelo no exitoso es aquel que hizo todo mal, pero esos casos son muy poco frecuentes.

Lisbeth Schorr (Common Purpose) hace una distinción útil entre “lo que funciona” y las condiciones bajo las cuales lo que funciona realmente funciona. A veces, la presencia de un líder o campeón carismático motiva al personal y/o a los participantes a lograr el éxito. Cuando ese líder o los miembros originales del personal se marchan, algunos programas colapsan, mientras que otros logran renovarse mediante contrataciones cuidadosas y una implementación fiel de los elementos que los hicieron funcionar.

Al buscar programas de los cuales inspirarse, es necesario comprender los componentes y elementos de intervención que hacen que dichos programas funcionen. Asimismo, conviene entender las condiciones que permiten que una intervención sea exitosa.

Sintetizar: Volver a armarlo

Analice los elementos que ha encontrado para determinar cuáles de ellos serían apropiados para la situación y el grupo con el que está trabajando.

• ¿Qué se ha utilizado específicamente con su población en sus circunstancias?
  ¿Los programas exitosos que ha revisado han sido específicos de su contexto (es decir, diseñados para sus comunidades y poblaciones particulares)?
  ¿Pueden adaptarse a su propio contexto si no fueron diseñados para él?
• ¿Qué puede adaptarse, si no estaba dirigido originalmente a su población?
  (Por ejemplo, técnicas utilizadas con niños o adolescentes que podrían modificarse para aplicarse con adultos, o viceversa).
• ¿Qué falta? ¿Qué aspectos del problema en su comunidad no están siendo abordados por lo que ha encontrado? ¿Son lo suficientemente importantes como para que deban ser atendidos?
• ¿Lo que ha encontrado confirma o contradice lo que pensaba que ya sabía?
• ¿Existen factores en su situación particular que hagan que el problema sea sustancialmente diferente para usted y sus participantes en comparación con otros programas o enfoques sobre los que ha obtenido información? ¿Cómo lo enfrentará?
• ¿Qué le dice la información que ha recopilado acerca de la posibilidad de abordar con éxito las causas fundamentales del problema (por ejemplo, la desigualdad de ingresos, la exclusión social, la falta de poder)?
• En general, ¿la mayoría o todos los programas exitosos dirigieron sus esfuerzos de cambio al mismo grupo de personas (por ejemplo, los responsables de formular políticas), o hubo variedad? Si fue lo segundo, ¿qué cree que es más probable que funcione en su comunidad?
• Quizá lo más importante, ¿cuál es su definición de éxito y qué programas de los que conoció se acercaron más a lograrlo? ¿Qué componentes y elementos de esos programas abordaron lo que se necesita en su comunidad?

Responder a estas preguntas le dará una buena idea de cuáles componentes de otros programas podrían funcionar para usted, y también deberían coincidir con lo que ya sabe, para proporcionarle ideas sobre nuevos elementos que pueda agregar o para confirmar (o advertirle en contra de) ideas para nuevos elementos que ya había considerado.

No queremos dar a entender que simplemente tomar muchos componentes diferentes de programas y mezclarlos proporcionará una forma eficaz de abordar un problema comunitario. Usted debe comenzar con un marco claro, basado en su visión y misión, y construir un programa que sea coherente y tenga sentido. Todos los elementos deben encajar; si encajan lo suficiente, el resultado será algo más grande que la simple suma de sus partes. Si los elementos no encajan entre sí o no forman parte de un programa con un marco bien definido, lo más probable es que termine con un resultado desordenado.

Siga adelante

La recopilación de información y la síntesis de conocimientos deben continuar a lo largo de todo el programa. Aunque pueda esperar a los resultados de una evaluación inicial para realizar algún cambio, siempre debe estar buscando mejoras y enfoques más efectivos. Ningún programa o esfuerzo es perfecto: todo puede mejorarse. Mientras usted siga intentando aprender más y profundizar en su comprensión de su trabajo, este continuará mejorando. Si se vuelve complaciente (es decir, si siente que ya sabe lo que está haciendo y puede relajarse), su programa podría empezar a perder efectividad.

En resumen

Recopilar la información que ya existe sobre su problema y sobre los intentos de abordarlo es uno de los aspectos más importantes al planificar un programa o una evaluación. Al reunir lo que se sabe sobre el problema y la historia de los éxitos y fracasos de distintos enfoques, usted puede construir una estructura de programa que incluya sus propias innovaciones y elementos que han funcionado para otros en situaciones similares. Esta síntesis también le permite evitar enfoques ineficaces e incorporar ideas y métodos que han sido particularmente apropiados, culturalmente o de otra manera, para la población y la comunidad con la que trabaja.

La recopilación de información y la síntesis deben continuar durante toda la vida del programa. Cuanta más información tenga y más cuidadosamente la organice, mayores serán sus probabilidades de implementar un programa exitoso.

What do we mean by information gathering and synthesis?

___Information gathering refers to gathering information about the issue you’re facing and the ways other organizations and communities have addressed it

___You can gather information using both existing sources and natural examples

­­___Synthesis here refers to analyzing what you’ve learned from your information gathering, and constructing a coherent program or approach by taking ideas from a number of sources and putting them together to create something that meets the needs of the community and population you’re working with

___Synthesis involves extracting the functional elements of both the analysis of the issue and approaches to it

___Functional elements are those that are indispensable either to understanding the issue, or to implementing a particular program

Why gather and synthesize information?

___It will help you avoid reinventing the wheel

___It will help you to gain a deep understanding of the issue so that you can address it properly

___You need all the tools possible to create the best program you can

___It’s likely that most solutions aren’t one size fits all

___It can help ensure your program is culturally sensitive

___Knowing what’s been done in a variety of other circumstances and understanding the issue from a number of different viewpoints may give you new insights and new ideas for your program

When should you gather and synthesize information?

___Information gathering and synthesis should continue throughout the life of the program

Who should gather and synthesize information?

___Information gathering and synthesis is often most effectively conducted by a multi-sectoral participatory group including all stakeholders in the issue

How do you gather and synthesize information?

___Decide what you need to know about the issue itself, successful and unsuccessful attempts to address it in various circumstances, and the local context

___Determine your likely sources for the various types of information you’re seeking

• Existing sources include scholarly, mass-market, and statistical/demographic published information
• Natural sources include some published information about programs, but can best be obtained by direct contact with those involved in planning, implementing, or participating in programs relevant to your issue
• It’s important to pay attention to both successful and unsuccessful attempts to address the issue, and to step outside your own field in search of solutions that work

___Devise a plan for gathering information

• Decide who will gather what information
• Decide how information will be gathered
• Decide what adjustments will be made for gaps in experience or skills
• Set a timeline for the initial information gathering

___Collect information

___Begin synthesis by taking it all apart – extract the functional elements of what you’ve learned

___Complete synthesis by putting the relevant pieces back together as a coherent program that speaks to your community’s needs

___Keep at it by continuing to gather and synthesize information throughout the life of the program

El centro comunitario de salud local estaba iniciando un programa para fomentar la actividad física regular entre las personas con presión arterial alta. El programa tenía un objetivo sencillo: lograr que los participantes realizaran 45 minutos de ejercicio aeróbico moderado al menos cuatro veces por semana durante seis meses. La esperanza era que este régimen ayudara a reducir la presión arterial, favoreciera la pérdida de peso y generara una sensación general de bienestar. Un objetivo relacionado era que los participantes continuaran ejercitándose por su cuenta después de que el programa terminara.

El Centro reunió a un grupo de 50 personas dispuestas a participar. Después de realizarles chequeos médicos, todos asistieron a talleres sobre alimentación, el funcionamiento y los riesgos de la hipertensión, y sobre cómo iniciar y mantener una rutina de ejercicio regular sin lesiones. También recibieron asesoramiento sobre los tipos de ejercicios que podían realizar -caminar, andar en bicicleta, nadar, etc. -- y sobre cómo hacer que el ejercicio resultara agradable. Para ayudar a los participantes a integrar el ejercicio en su vida diaria, el centro decidió permitirles hacerlo a su conveniencia, utilizando las actividades que eligieran, siempre que mantuvieran el patrón de 45 minutos, cuatro veces por semana. Además, se les pidió que llevaran un registro de la frecuencia y tipo de ejercicio realizado, y que se reunieran, en grupos de cinco, con los consejeros del Centro de Salud una vez al mes para revisar la presión arterial, el peso y los progresos, así como para recibir apoyo, motivación y orientación.

El centro debía entonces decidir cómo evaluar el programa. La meta de desempeño del programa -lo que los participantes debían hacer realmente- era mantener el programa de ejercicio durante el período de seis meses. Dado que cada participante lo hacía por su cuenta, sería difícil observarlos a todos cada vez que se ejercitaban. Sin embargo, el centro necesitaba saber si realmente lo estaban haciendo. Los otros objetivos del programa -reducir la presión arterial y bajar de peso- también debían observarse de alguna manera. ¿Cómo podría el centro diseñar un sistema para averiguar si el comportamiento de actividad física realmente estaba ocurriendo y si esto resultaba en una disminución de la presión arterial y del peso corporal?

Una vez que haya determinado sus preguntas de evaluación y reunido información sobre qué debe observar, debe encontrar una forma de hacerlo. De eso se tratan los sistemas de observación. Al igual que el centro en el ejemplo, usted deberá encontrar maneras de observar el comportamiento, las condiciones y los cambios -o la falta de ellos- que le permitan responder a sus preguntas de evaluación. Esta sección trata sobre cómo establecer sistemas de observación para lograr justamente eso.

¿Qué entendemos por diseñar un sistema de observación?

Un sistema de observación es la forma en que se obtiene información sobre su programa: lo que el programa, sus participantes y sus implementadores están haciendo realmente, y lo que parece estar ocurriendo como resultado. El término “observación” aquí puede referirse a la observación directa -es decir, observar a las personas, las condiciones, las actividades o los resultados para ver qué sucede-, pero también puede abarcar formas menos directas de monitorear el funcionamiento y los resultados de un programa. Sus modalidades incluyen el seguimiento del comportamiento de individuos y grupos para analizar los resultados en diferentes niveles. Algunos métodos de observación que pueden resultar útiles en distintas situaciones de evaluación son los siguientes:

• Observación directa. Esta es la forma más pura y verificable de observación: consiste en mirar directamente a las personas o en observar condiciones o situaciones de primera mano. Por ejemplo, si usted participa en un esfuerzo para aumentar el uso y el sentido de pertenencia vecinal hacia un parque público, podría observar directamente cuánto y cómo las personas utilizan el parque visitándolo en diferentes días, con distintos tipos de clima y bajo diversas circunstancias durante un período prolongado de tiempo.
  Los observadores directos pueden ser “invisibles”, como lo sería un observador de la actividad del parque, o pueden ser miembros del personal que trabajan con los participantes y registran lo que sucede. En cualquier caso, están tomando mediciones como observadores externos, no como participantes.
• Observación participante. Un observador participante forma parte de la acción y observa desde adentro. En el caso del parque, un observador participante podría ser un residente del vecindario directamente involucrado en el esfuerzo o alguien que se integre a la vida del parque con fines de observación. Podría trotar allí todos los días o unirse a un juego semanal de voleibol para conocer a otras personas que usan el parque con regularidad. Sus propias notas sobre lo que observa en el parque formarían parte de su registro.
• Autoinformes. Algunos de los resultados que se buscan tal vez no sean visibles en absoluto, al menos no para usted. Los cambios en lo que las personas hacen en privado -como el uso de anticonceptivos- no pueden (ni deben) ser observados directamente por un externo. De manera similar, cuando el objetivo es influir en el comportamiento de un gran número de personas, como promover una alimentación saludable en la comunidad, no será factible observar directamente a todos. En tales casos, se pide a las personas que informen sobre su propio comportamiento. Así, un sistema de observación puede incluir entrevistas, diarios, encuestas u otros medios de reporte en primera persona. Dado que este tipo de informe puede estar sujeto a sesgos, normalmente se complementa con otras formas de evidencia (por ejemplo, observar la pérdida de peso como resultado de conductas relacionadas con la alimentación saludable y la actividad física).
• Informes de terceros. Un sistema de observación puede incluir o depender de los informes de otras personas que tienen experiencia directa con las personas o las condiciones que son objeto de estudio. Maestros, oficiales de libertad condicional, guardaparques, enfermeras de salud pública, trabajadores sociales -incluso bartenders o peluqueros- pueden ser valiosas fuentes de información de segunda mano. Estos informes, al igual que los autoinformes, pueden recopilarse mediante entrevistas, diarios, encuestas, listas de verificación y otros medios similares.
• Observación electrónica o mecánica. En este caso, el observador no es una persona (aunque al final alguien revisará la información), sino un dispositivo operado automáticamente o en funcionamiento continuo: una cámara, una grabadora de audio, un monitor cardíaco, un podómetro, un rastreador GPS (sistema de posicionamiento global) u otro tipo de equipo. Por ejemplo, una cámara activada por un sensor de movimiento se utiliza con frecuencia para estudiar la densidad de una población animal en un área o en un trayecto determinado.
• Pruebas de diversos tipos. Dependiendo de lo que se desee medir, esta categoría puede abarcar desde pruebas escritas de aprendizaje académico hasta evaluaciones prácticas de habilidades o análisis de sangre. También puede incluir pruebas de nuevos métodos y procedimientos de programas, con el fin de verificar su eficacia antes de aplicarlos.
• Registros públicos y otros documentos. Informes policiales, datos censales, estadísticas de empleo, información de salud pública- todos estos y otros registros pueden proporcionar información sobre indicadores a nivel comunitario que ayuden a determinar los resultados de su trabajo.
• Productos o resultados del comportamiento. A veces es más práctico observar el producto o resultado de un comportamiento, en lugar del comportamiento en sí. Por ejemplo, si se está investigando la contaminación ambiental, podríamos observar la cantidad de desechos o toxinas en el suelo o en el agua, en lugar de observar directamente el vertido ilegal de esos materiales. De manera similar, una iniciativa orientada a prevenir la obesidad infantil podría utilizar los registros escolares de altura y peso para medir la obesidad, además de observaciones directas de los almuerzos escolares y los informes de los jóvenes en encuestas sobre alimentación.

Además de especificar qué tipos de observación va a utilizar, el diseño de un sistema de observación debe cubrir también cuándo, dónde, con qué frecuencia, por quién y bajo qué circunstancias se realizarán las observaciones, así como exactamente qué se va a observar. Todo esto depende de lo que esté observando y de la información que espere obtener de su evaluación (otra vez, vuelva a sus preguntas de evaluación).

Entre otras consideraciones: ¿analizará el proceso de su iniciativa o programa -los pasos que siguió para ponerlo en marcha y si se ajustaron fielmente a lo que pretendía-? ¿Examinará lo que realmente hizo -el número de participantes, los métodos utilizados, el tiempo que tomó todo, cuánto tiempo permanecieron los participantes, etc.? ¿Le interesa saber qué partes de lo que hizo fueron exitosas y cuáles no? ¿Y qué desea conocer acerca de los resultados -los efectos de su programa?

Diseñar un sistema de observación implica pensar con cuidado en lo que necesita saber y crear un sistema que sea lo más probable posible para proporcionarle esa información de forma precisa y sencilla. En la parte “cómo hacerlo” de esta sección analizaremos el proceso de diseño con más detalle, incluyendo los asuntos mencionados en los dos párrafos anteriores.

¿Por qué diseñar un sistema de observación?

Si se toma en serio la evaluación, existen varias razones para diseñar un buen sistema de observación:

• Ayuda a obtener información confiable. Diseñar un sistema que estandarice los métodos, los momentos y otros aspectos de la observación permitirá que la información obtenida de diferentes observadores y lugares sea más precisa y coherente, y por lo tanto, más útil para la evaluación general.
• Permite conocer exactamente lo que necesita saber, sin esfuerzos innecesarios. Puede diseñar un sistema que se enfoque en lo que realmente le interesa e ignore lo que no. Esto significa que no tendrá que clasificar datos innecesarios y que dispondrá de los medios adecuados para recopilar la información que necesita para responder sus preguntas de evaluación.
• Garantiza que las observaciones se realicen. Un sistema coherente, diseñado y aceptado por quienes realizarán las observaciones -cualquiera sea su forma- aumenta significativamente la probabilidad de que las observaciones se realicen en el momento, lugar y forma adecuados.
• Facilita el análisis de los datos. Un sistema de observación coherente y bien estructurado le proporciona información útil para el análisis científico, ya sea cuantitativo (basado en números y estadísticas) o cualitativo (basado en narraciones e interpretación del significado de los comportamientos y los eventos).
• Ayuda a evitar evaluaciones improvisadas. Un sistema de observación bien diseñado permite recopilar información de manera sistemática y evita terminar con una masa de datos desconectados que no necesariamente se relacionan con lo que se desea conocer.
• Facilita justificar sus hallazgos. Cuanto más precisa sea su información, más confiables serán las conclusiones que se deriven de ella. Si su sistema de observación está bien diseñado e implementado, será mucho más fácil argumentar que sus datos son fiables, exactos y una base sólida para las conclusiones alcanzadas.
• Aumenta la credibilidad ante financiadores y responsables de políticas. Las personas que controlan los fondos y las políticas se preocupan especialmente por la rendición de cuentas. Si usted puede presentarles una evaluación útil basada en datos recopilados mediante un sistema de observación bien diseñado y confiable, estarán más inclinados a considerarlo una voz experta y confiable en el campo.
• Permite compartir sus prácticas con confianza. Un sistema de observación bien diseñado hace posible confiar en que los resultados de su evaluación reflejan la realidad. Si esos resultados demuestran que su programa es altamente efectivo, puede transmitir sus métodos como una buena práctica a colegas y otros profesionales, sin preocuparse de estar recomendando enfoques que quizá no funcionen adecuadamente.
• Proporciona la mejor información posible sobre lo que funciona en su programa y lo que necesita ajustarse.

¿Cuándo se debe diseñar un sistema de observación?

Como hemos comentado, un sistema de observación no se refiere únicamente a la observación directa, sino a cualquier método para examinar y registrar el proceso, las actividades y los resultados de su programa. Un sistema de observación es parte fundamental de la evaluación, ya que es lo que le dirá qué ocurrió realmente. Por lo tanto, lo ideal es diseñar ese sistema antes de comenzar a implementar el programa, de modo que pueda monitorearlo a lo largo de toda su existencia.

Ese es el ideal. La realidad para muchos trabajadores comunitarios -especialmente quienes laboran en organizaciones comunitarias pequeñas- es que la evaluación comienza cuando hay tiempo, energía y recursos disponibles, lo que suele ocurrir meses o incluso años después de iniciado el programa. Sea cual sea el momento en que comience, el sistema de observación debe diseñarse para responder a las preguntas de evaluación que se plantee. Dado que las observaciones deben ser consistentes y confiables, vale la pena tomarse el tiempo necesario para asegurarse de diseñar un sistema de evaluación eficaz.

Es preferible poder observar todo el ciclo del programa, de principio a fin. Algunos programas no tienen un ciclo definido, y la observación puede centrarse en el comportamiento o los resultados de los participantes individuales más que en el programa en su totalidad. En estas situaciones, la evaluación puede comenzar cuando nuevos participantes inician el programa y se les observa desde el comienzo.

Si ha estado registrando eventos, llevando diarios, etc., antes de comenzar la evaluación, es posible que ya disponga de información que pueda incorporarse a los resultados de su observación. Sin embargo, si su diseño requiere observaciones directas específicas, la definición de estas puede ser tan precisa que observaciones similares registradas en los diarios del personal quizás no cumplan los criterios para ser incluidas. Por otro lado, si los diarios o registros del personal forman parte del sistema que está implementando, es posible que pueda utilizar toda o la mayor parte de la información que ya tiene (y, de hecho, podría diseñar el sistema de observación para que así sea).

El verdadero riesgo aquí es que, para cuando su sistema de observación esté operativo, ya podría haber pasado por alto algo importante. Puede ocurrir que la primera parte del programa sea crucial, al menos para algunos participantes o ciertos cambios, y usted empezará a observar después de que esos cambios ya se hayan producido. Por eso, es importante iniciar las observaciones desde el principio, de modo que su sistema pueda captarlos.

¿Quién debe diseñar un sistema de observación?

Como hemos mencionado varias veces, la Community Tool Box tiene un sesgo a favor de los procesos participativos, y en particular de la investigación y evaluación participativa. En el caso de un sistema de observación, éste funcionará mejor si lo diseña un grupo que incluya a quienes serán los observadores reales. Si ellos participan en la planificación, estarán familiarizados con el sistema, sabrán exactamente qué información se espera que observen y comprenderán sus roles dentro del sistema de observación.

En una organización comunitaria o pequeña, es probable que el tiempo sea un factor limitante, ya que probablemente haya pocas personas haciendo demasiadas tareas. En ese caso, el nivel y la naturaleza del sistema de observación deben ser manejables por el personal, ya sea que ellos mismos sean los observadores o que faciliten la observación para evaluadores externos o voluntarios. Si ayudan a planificar y establecer el sistema, tendrán mucho más incentivo para asegurarse de que funcione que si se les impone.

El diseño del sistema de observación debe incluir específicamente a las personas que realizarán la observación, quienes a menudo son miembros del personal o miembros del grupo que se beneficiará del programa. Además, es útil incluir a investigadores u otras personas que comprendan los sistemas de observación y puedan ayudar a diseñar un sistema que satisfaga las necesidades específicas del proyecto de evaluación o investigación. También puede ser beneficioso incluir a individuos de los grupos que serán observados, para abordar cuestiones culturales y proporcionar retroalimentación sobre su respuesta al diseño. Por lo tanto, el equipo de diseño del sistema de observación podría estar formado tanto por miembros del grupo general de planificación de la evaluación como por otros reclutados específicamente para trabajar en el sistema de observación.

La lista de quienes podrían participar incluye:

• Personal y administradores del programa
• Personal de apoyo (quien a menudo realiza registros o ingreso de datos)
• Evaluadores externos o consultores de investigación
• Participantes o beneficiarios
• Observadores voluntarios

Si, por alguna razón, el grupo de diseño no incluye a nadie con experiencia en investigación, una capacitación que incluya información sobre los diferentes métodos de observación y sobre qué métodos son más propensos a producir ciertos tipos de información podría ser de gran ayuda para orientar el proceso de diseño. Si el grupo sí incluye investigadores, esa información podría presentarse como parte de la discusión sobre el diseño y las distintas posibilidades, en lugar de en formato de capacitación o taller.

¿Cómo se diseña un sistema de observación?

Entonces, ya ha definido las preguntas de evaluación y planificado la evaluación. Ahora es momento de determinar cómo obtendrá los datos necesarios para responder a esas preguntas.

Revise sus preguntas de evaluación

¿Recuerda estas preguntas? Usted decidió qué quería saber para determinar si su programa era efectivo. Volvamos al ejemplo del inicio de esta sección: el programa del centro comunitario de salud local. El centro estaba iniciando un programa de actividad física para personas con hipertensión. Su objetivo era que los participantes realizaran 45 minutos de ejercicio moderado al menos cuatro veces por semana durante seis meses.

Se esperaban varios resultados de esta actividad:

• Que la presión arterial de los participantes disminuyera
• Que los participantes que necesitaban perder peso lo hicieran
• Que los participantes experimentaran una sensación de mayor bienestar
• Que los participantes continuaran con la rutina de ejercicio después de que finalizara el programa de seis meses

Algunas preguntas de evaluación, por lo tanto, podrían ser:

• ¿Cumplieron los participantes con la rutina de ejercicio recomendada durante el período del programa?
• ¿Disminuyó la presión arterial de los participantes al final de los seis meses?
• ¿Perdieron peso, al final de los seis meses, aquellos participantes que necesitaban hacerlo?

Podrían surgir muchas otras preguntas, algunos ejemplos son:

• ¿Cuál fue la asistencia a los talleres? ¿Los participantes los encontraron útiles? ¿Los participantes que asistieron a todos o la mayoría de los talleres lograron mejores resultados que quienes no asistieron?
• ¿Experimentaron los participantes una mayor sensación de bienestar al final de los seis meses?
• ¿Continuaron los participantes con la rutina de ejercicio (y mantuvieron su presión arterial baja) después de que terminó el programa?

Las respuestas a estas preguntas son solo algunas de las que el centro deseaba obtener, pero nos sirven como ejemplos para esta parte de la sección.
También puede estar interesado en su propio proceso: qué tan bien planifica e implementa su programa. Además, puede tener un marco temporal específico en el que espera obtener resultados. También podría contar con hitos o logros intermedios -pequeños avances hacia un objetivo mayor- que desee registrar. Todo esto debe considerarse al diseñar su sistema de observación.

Decida qué necesita observar para responder sus preguntas

Dependiendo del tipo de programa o iniciativa en la que participe y de la naturaleza de sus preguntas de evaluación, hay un amplio rango de opciones para elegir.

Algunos de los más comunes:

• Comportamiento de los participantes. Esto puede incluir cualquier cosa, desde los comportamientos agresivos de los niños en el patio de la escuela o en un espacio de juego, hasta el nivel de habilidad en soldadura de los participantes de un programa de capacitación laboral, o las interacciones sociales de los usuarios del parque vecinal que mencionamos antes. Las posibilidades son casi infinitas.
• Comportamiento de otras personas. La prueba definitiva de si un programa de capacitación en mediación entre pares en la escuela secundaria funciona, por ejemplo, puede no ser el comportamiento de los mediadores que reciben la capacitación, sino el comportamiento de los estudiantes con quienes trabajan. También es posible observar cómo los participantes son tratados por el personal del programa y viceversa.
• Condiciones. Una iniciativa puede tener como objetivo cambiar directamente las condiciones -eliminar una casa ocupada por drogas, construir viviendas asequibles, limpiar un río contaminado- o puede buscar influir en esos cambios mediante programas, cambios ambientales o políticas.
• Observaciones de productos o resultados del comportamiento. Cuando el comportamiento, evento o condición en sí no es visible u observable, ya sea porque es privado o porque ocurre a un nivel que no puede observarse directamente, puede ser necesario medir sus productos o resultados. Por ejemplo, sería prácticamente imposible observar directamente la frecuencia con la que los adolescentes practican sexo seguro, pero sí sería posible conocer la tasa de infecciones de ETS entre ellos y el número de embarazos adolescentes antes, durante y después de un programa de educación sobre sexo seguro dirigido por pares.

Cuando los productos o efectos son todo lo que puede observar, debe asegurarse de haber elegido los adecuados para analizar. Estos deberían ser, en la medida de lo posible, resultados claros del comportamiento o la condición que le interesa estudiar, y debe tener en cuenta -y tratar de corregir- cualquier otro factor que pudiera haberlos causado.

• Conocimientos o actitudes de los participantes. Al igual que con el comportamiento de los participantes, el rango de posibilidades aquí es enorme, desde los puntajes en una prueba de conocimientos hasta casi cualquier otro aspecto que se pueda imaginar.
• Conocimientos o actitudes de otras personas. Por ejemplo, un programa de incidencia política podría estar interesado en cambiar las actitudes de legisladores o del público, pero podría no tener contacto directo con quienes espera influir. En este caso, podrían utilizarse encuestas de opinión pública repetidas para evaluar la disposición a apoyar un cambio de política específico.
• Cumplimiento de metas. Algunos programas tienen un objetivo particular que constituye su única razón de existir. Esto podría ser la aprobación o derogación de una ley, la construcción de una escuela, la liberación de uno o más presos políticos, etc. En este caso, la única pregunta de evaluación podría ser si se alcanzó la meta (o en qué medida). Para estas situaciones, puede utilizarse una escala de cumplimiento de metas para medir el grado de logro (por ejemplo, de 5 = resultado más favorable, a 1 = resultado menos favorable).
• Interacciones. El enfoque de una evaluación podría centrarse en la naturaleza de las interacciones, o en si ciertos individuos o grupos interactúan o se involucran entre sí. Por ejemplo, si el objetivo es aumentar la interacción entre padres e hijos, se podrían medir los intercambios y las respuestas entre ambas partes. Asimismo, las interacciones entre participantes del programa, el personal, o entre participantes y personal, podrían ser el foco de las observaciones.

Todas las posibilidades mencionadas anteriormente pueden estar relacionadas tanto con los objetivos del programa -es decir, lo que el programa quiere lograr- como con el proceso e implementación -cómo el programa organiza y lleva a cabo su trabajo.

También existen algunas áreas de observación que se relacionan específicamente con el proceso e implementación del programa:

• Planificación. La medición aquí puede centrarse en quién participó en la planificación de cada parte del programa, cómo se elaboró el plan, cuál fue su contenido, nivel de satisfacción, etc.
• Cronograma. ¿Cuándo comenzó la planificación, la implementación y la evaluación del programa? ¿Cuánto tiempo duró cada etapa? ¿Se cumplieron los plazos y, si no, por qué no?
• Número de participantes. ¿Cuántos participantes tuvo? ¿Cuál fue el tiempo promedio que pasaron en el programa? ¿Cuántos abandonaron antes de finalizarlo? ¿Cómo se compararon esos números con lo esperado?
• Métodos. ¿Qué métodos utilizó en el programa o intervención? ¿Cómo se aplicaron?
• Implementación del programa. ¿Qué hizo realmente? Esto incluiría la actividad del programa, su frecuencia y duración, el número de participantes atendidos, dónde se llevó a cabo (si es relevante) y cómo se desarrolló.

Además de identificar qué desea observar, debe definirlo con precisión, para que los observadores sepan exactamente qué buscar. Debe asegurarse de que todas las observaciones de un comportamiento particular, por ejemplo, se refieran al mismo fenómeno (por ejemplo, características específicas que determinen si el comportamiento ocurrió), incluso si las observaciones las realizan diferentes personas. Si no utilizan la misma medida, no podrá confiar plenamente en la información obtenida. Establecer los límites de observación en cada categoría -lo que se incluye, lo que se excluye y dónde están los límites- ayudará a eliminar desacuerdos y hará que la observación sea más confiable.

Para continuar con el ejemplo del centro de salud, veamos qué necesita observar el Centro. Para determinar si los participantes realmente están haciendo ejercicio de manera regular, el centro debe encontrar una forma de observar el comportamiento de las personas (por ejemplo, mediante registros de actividad o autoinformes sobre la frecuencia con la que realizaron actividad física). Para saber si han perdido peso, el centro debe observar un resultado del comportamiento, como el peso corporal o el índice de masa corporal (IMC). Para conocer si están experimentando una mayor sensación de bienestar, el centro debe recopilar autoinformes de los participantes. Y para saber si continúan con el ejercicio después de que el programa haya terminado, debe encontrar una forma de observar el comportamiento una vez concluido el programa.

Decidir cómo se llevarán a cabo las observaciones

Anteriormente, hablamos sobre algunos métodos de observación. Ahora volveremos a ellos y los examinaremos con mayor detalle.

• Observación directa. La observación directa implica ya sea el enfoque de “mosca en la pared”, en el cual el observador es anónimo y generalmente pasa desapercibido, o - más comúnmente en organizaciones de servicios de diversos tipos - consiste en un evaluador externo identificado o un miembro del personal que trabaja con los participantes y registra, a veces con su ayuda, sus comportamientos y ciertos aspectos de la situación. Los observadores anónimos son particularmente útiles en situaciones donde las personas que están siendo observadas también son anónimas —por ejemplo, al observar condiciones, eventos grandes o actividades como el uso del parque vecinal mencionado anteriormente, donde las personas involucradas pueden ser cualquiera.

Un método común de observación directa -ya sea que el observador sea un miembro del personal del programa o un participante- es el uso de un diario o registro de actividades.
El observador anota o registra de alguna otra manera, poco después del suceso, un relato de lo que ocurrió y de los eventos relacionados, incluyendo con frecuencia sus reacciones o reflexiones sobre esas experiencias. El diario o registro de actividades se convierte así en una representación del desarrollo del programa, detallando el progreso de participantes específicos, los ajustes realizados y el nivel de satisfacción.

La naturaleza de los diarios o registros obviamente variará según el tipo de programa, y no todos los programas o iniciativas se prestan a este tipo de observación. Sin embargo, especialmente en situaciones donde varias personas escriben diarios o registros que cubren el mismo período y los mismos eventos, estos pueden ser una herramienta de observación muy poderosa y reveladora.

• Observación participante. Como ya hemos explicado, los observadores participantes se convierten en parte del evento, la actividad, la cultura, etc. que se está observando, y la experimentan de primera mano. Así, en un programa de salud o de servicios humanos, el observador podría ser un participante real (es decir, un miembro del grupo al que está dirigido el programa) o un evaluador que se une a los participantes en sus actividades. En el caso del parque, por ejemplo, un residente del vecindario que ya lo visita regularmente podría ofrecerse como voluntario para registrar cómo él y otras personas lo utilizan realmente: cuándo acuden diferentes personas o grupos, qué hacen una vez allí, qué zonas del parque frecuentan y quién interactúa con quién, entre otros aspectos.

Un programa de micro-subvenciones fue diseñado por una organización no gubernamental en una aldea rural con el fin de aumentar los ingresos mediante la creación de pequeños negocios por parte de los participantes. Los miembros del personal participaron en cada taller y tomaron parte en actividades como la capacitación en préstamos y financiamiento, mientras observaban simultáneamente las actividades y a los demás participantes. Al final de cada jornada, el personal realizaba discusiones grupales, en las que compartían lo que habían observado y pedían a los participantes que analizaran lo que habían hecho. En este caso, el personal actuó como observadores participantes, y su participación aumentó significativamente su capacidad para ayudar a sus clientas -mujeres de bajos ingresos de pequeñas aldeas- a comprender y aprovechar sus propias experiencias.

• Autoevaluaciones o autoinformes. Cuando el objeto de su observación es el comportamiento de los participantes que ocurre fuera del programa (por ejemplo, la cantidad de tiempo que los participantes dedican a leer con sus hijos), a menudo es necesario confiar en las propias observaciones de los participantes. Esta dependencia tiene, como es de esperar, tanto ventajas como desventajas. Por un lado, los participantes conocen bien sus propias acciones. Por otro, pueden omitir aspectos que les resulten embarazosos o informar de manera que crean que otros quieren ver. Además, dado que no tienen experiencia previa ni capacitación como observadores, pueden pasar por alto -o considerar sin importancia- comportamientos o condiciones que serían valiosos para fines de evaluación.

Una solución obvia sería capacitar a los autoinformantes como observadores, y en algunos casos -ensayos médicos, por ejemplo- eso es tanto razonable como común. En otras situaciones, sin embargo, eso iría demasiado lejos hacia decirles a los participantes “las respuestas correctas”, y por lo tanto posiblemente cambiar lo que informan hacia lo que creen que uno quiere escuchar. También existe una gran ventaja en los autoinformes: cuando son honestos y representan un cambio real en el comportamiento o la experiencia de quienes los realizan, son mucho más poderosos que cualquier cosa que otra persona pudiera decir sobre su experiencia.

Los autoinformes, al menos tal como se definen aquí, implican una variedad de posibles técnicas para la recolección de datos. Entrevistas individuales y grupales, grupos de enfoque, reuniones públicas, encuestas y cuestionarios, diarios, listas de verificación e incluso conversaciones informales podrían ser maneras para que los participantes transmitan información para una evaluación.

• Informes de segunda mano. Estos son informes sobre el comportamiento de los participantes o sobre las condiciones que provienen de personas asociadas con esos participantes o condiciones, pero que no están directamente vinculadas a su programa o esfuerzo. Podrían ser trabajadores de servicios, maestros, profesionales de la salud, trabajadores juveniles, familiares (particularmente padres de niños pequeños), empleadores, casi cualquier persona. Las observaciones de segunda mano deben considerarse con las mismas precauciones que las de las personas que trabajan estrechamente con los participantes. Las relaciones entre observador y participante, la simpatía o empatía hacia los participantes, o los prejuicios personales de los observadores pueden impedir que los informes sean objetivos. Estos observadores también pueden necesitar capacitación.
• Observación electrónica o mecánica. Existen algunas circunstancias en las que la observación humana es imposible o poco práctica. Las observaciones del exceso de velocidad a menudo se realizan electrónicamente, al igual que las observaciones de condiciones de salud dentro del cuerpo humano (usando radiografías, tomografías computarizadas o de resonancia magnética, electrocardiogramas, etc.). En estas situaciones, la objetividad no representa un problema, pero es necesario asegurarse de que el equipo utilizado funcione correctamente, esté bien configurado, mantenido y protegido contra posibles daños. También es importante que quien interprete la información que proporciona el equipo esté capacitado para hacerlo y comprenda los límites y usos apropiados de esa información.
• Pruebas u otras herramientas de observación similares. Las organizaciones educativas y de salud a menudo utilizan diversos tipos de pruebas como herramientas de observación. En un contexto de servicios humanos, generalmente se utilizan para observar el progreso en habilidades, niveles de competencia o desarrollo. En salud pública o medicina, las pruebas pueden emplearse para observar el estado de salud (por ejemplo, exámenes de detección de colesterol elevado) y los efectos del tratamiento. Pueden ser muy útiles en todas estas circunstancias, pero también son muy específicas y dejan poco espacio para la intuición. Además, los resultados de las pruebas de habilidades, conocimiento o capacidad intelectual pueden verse influenciados por nerviosismo, falta de sueño, problemas personales u otros factores que tienen poco que ver con la competencia real.
• Registros públicos y similares. Si se están utilizando indicadores a nivel comunitario, como las tasas de mortalidad infantil o de lesiones por accidentes de tránsito, como una forma de analizar los resultados, será necesario usar registros, datos censales y otros materiales similares para obtener la información necesaria.

Para continuar con nuestro ejemplo anterior, el centro de salud local tendría que utilizar una variedad de estos métodos de observación. Las observaciones iniciales y continuas de la presión arterial y el peso en las sesiones mensuales de asesoramiento se realizarían mediante el uso de instrumentos —un manguito de presión arterial y una báscula—, así como mediante observación visual directa. (Aunque una reducción evidente de grasa puede no indicar pérdida de peso si la grasa ha sido reemplazada por músculo, sí indica un aumento en la condición física, lo cual puede ser igualmente beneficioso. Los niveles de condición física también podrían medirse mecánica y electrónicamente, si el programa así lo decidiera.)

La cantidad y el tipo de ejercicio que realizara cada participante serían autoobservados y autoinformados a través de diarios y entrevistas. Las sensaciones de bienestar serían autoinformadas, pero también podrían ser observadas por consejeros capacitados para identificar cambios a lo largo del tiempo en la postura, la presentación personal y otros indicadores observables. Finalmente, las observaciones del ejercicio continuo se obtendrían mediante una o más visitas de seguimiento algún tiempo después de que el programa terminara, con entrevistas, mediciones de presión arterial y peso, y una observación visual más directa de los niveles de condición física. (Los participantes también podrían aceptar continuar llevando diarios durante un período determinado después de que el programa finalice, proporcionando así un auto-reporte de sus niveles continuos de actividad física.)

Decida cuándo necesita observar

La pregunta aquí es si necesita comenzar las observaciones desde el inicio del programa (casi siempre es así) y con qué frecuencia debería observar a lo largo del proceso de evaluación.

Algunas de las posibilidades:

• Observación previa y posterior. Esto implica realizar observaciones al inicio y al final del período de evaluación o del programa. Es el equivalente a lo que muchas escuelas hacen con las pruebas estandarizadas: evalúan los puntajes de lectura al principio y al final de cada año, y luego comparan ambos para determinar cuánto han avanzado los estudiantes. Aunque este tipo de observación puede indicar si hubo cambios durante el programa, no ofrece evidencia sólida sobre cómo ocurrió el cambio, qué lo causó o qué tan efectivas fueron las estrategias utilizadas.

Esta explicación asume únicamente la observación antes y después. La mayoría de las posibilidades aquí incluyen la observación previa y posterior, pero añaden otras observaciones adicionales. Para la mayoría de los tipos de evaluación, debería comenzar a observar desde el principio, o incluso antes del inicio (para comprender si los posibles cambios forman parte de una tendencia ya existente). Si realiza su primera observación a mitad del proceso, no sabrá si los cambios ocurrieron antes de ese punto. Un cambio importante puede suceder al inicio en algunas intervenciones, al final en otras, de manera constante a lo largo del proceso en otras más, o incluso solo después de que la intervención haya concluido. Es importante saber exactamente desde dónde comenzó para comprender por completo lo que está observando. Puede ser que una intervención larga no sea más efectiva que una corta, o que una breve no tenga ningún efecto. Solo puede determinarlo conociendo el punto de partida y mediante mediciones repetidas o continuas.

Si su programa o esfuerzo tiene un objetivo específico y puntual -por ejemplo, la aprobación de una ley o la limpieza de un espacio determinado-, puede ser tentador evaluarlo únicamente según si alcanzó la meta o no (es decir, una sola observación al final del esfuerzo). Esto sería un error, porque no tomaría en cuenta qué partes del esfuerzo fueron exitosas y por qué, independientemente de si logró la meta. Esa es una información esencial que necesitará la próxima vez -y habrá una próxima vez- que usted u otras personas en la comunidad emprendan un esfuerzo similar.

• A intervalos regulares durante el período de evaluación. Usted podría elegir cualquier intervalo, desde una vez por hora hasta una vez al mes o más, dependiendo de lo que esté observando. La regularidad facilita la programación de las observaciones y ofrece una visión continua, intervalo por intervalo, de lo que está ocurriendo.
• A intervalos irregulares durante el período de evaluación. La razón de este tipo de programación puede ser logística (usted observa cuando puede); puede tener que ver con asegurar que las observaciones no sean esperadas, de modo que se obtenga una imagen más auténtica de lo que se está evaluando; o puede ser un intento de observar el programa o esfuerzo de manera aleatoria, nuevamente con el fin de obtener una representación precisa.
• En momentos específicos durante el período de evaluación. En este caso, usted podría querer observar lo que sucede o lo que los participantes están haciendo en distintos momentos identificables que implican diferentes condiciones. Por ejemplo, al observar el uso del parque comunitario mencionado anteriormente, usted podría asegurarse de visitarlo entre semana, los fines de semana, por la mañana, por la tarde y por la noche, en cada una de las cuatro estaciones, con lluvia, nubes, sol y nieve, así como en los días en que se realicen eventos especiales, para ver quiénes usan el parque y cómo lo hacen bajo diversas condiciones y en distintos momentos. Si está monitoreando el proceso y el progreso del programa, es importante asegurarse de observar cada una de sus etapas -la planificación, la preparación, la implementación, la evaluación y cualquier seguimiento- para obtener una visión completa de lo que se hizo y cómo se hizo. Esto le proporcionará la información necesaria para analizar y realizar los ajustes pertinentes en la manera en que lleva a cabo su labor.
• De forma continua. Cuando el observador es un miembro del personal que trabaja con los participantes del programa (o uno o más de los propios participantes), puede ser posible realizar observaciones de manera continua. En este caso, el observador podría observar directamente utilizando listas de verificación, mantener un diario, pedir a los participantes que registren información, grabar las sesiones en video o audio, o registrar lo que ocurre de alguna otra manera, de modo que exista un registro continuo y diario del comportamiento y de lo que sucede en el entorno del programa.

En el centro de salud local, parte de la observación -particularmente el monitoreo de la presión arterial y el peso de los participantes- se realizaría a intervalos regulares, durante las reuniones mensuales. También habría cierta observación continua, consistente en que los participantes llevarían un registro de sus programas de ejercicio en diarios personales. Finalmente, averiguar si los participantes continuaron con sus rutinas implicaría una o dos observaciones de seguimiento, posiblemente seis meses y un año después de que el programa haya concluido.

Defina y describa los comportamientos, productos, condiciones y/o eventos que deben ser observados

Si desea asegurarse de que los observadores comprendan a qué se refieren en sus informes, debe ser específico sobre lo que desea que observen. El grupo de planificación, o un subgrupo del mismo -lo ideal sería un grupo que incluya una alta proporción de personas que serán realmente los investigadores y observadores-, debe establecer estándares de identificación para cada elemento a observar. Estos estándares deberían explicar cómo se manifiesta, cuándo es probable que ocurra, quiénes probablemente estén involucrados, etc.
Por ejemplo, para observar el acoso escolar o la violencia interpersonal en un patio de recreo, sería necesario contar con definiciones claras de dicho comportamiento, ejemplos y contraejemplos, e instrucciones para la puntuación. De esta manera, todos los observadores podrían comenzar con la misma guía sobre lo que deben buscar.

Diseñe la capacitación para los observadores

A menos que toda la observación vaya a ser realizada por quienes participan directamente en la planificación (lo cual no es imposible en una organización pequeña), y dependiendo de su experiencia previa, los observadores podrían necesitar capacitación en una o más áreas:

• Qué es importante registrar y por qué. Las personas sin experiencia en investigación podrían no darse cuenta de la importancia de registrar detalles como la fecha, la hora, la duración de la evaluación, el lugar y las circunstancias de cualquier observación, una descripción de quiénes estuvieron involucrados y por cuánto tiempo, si hubo personas o condiciones inesperadas presentes, etc. Por ejemplo, una observación realizada temprano en la mañana podría proporcionar un conjunto diferente de observaciones que una realizada a última hora de la tarde o noche. La presencia de otras personas en una situación o entrevista -parientes, amigos, personal del programa- puede cambiar el carácter de los comportamientos observados o de la información ofrecida. Por lo tanto, es crucial que los observadores comprendan que el contexto de la observación puede ser tan importante como su contenido.
• Las definiciones y descripciones de los comportamientos, condiciones, eventos o situaciones a observar. Definiciones y descripciones cuidadosas de lo que se debe observar no serán de mucha utilidad si quienes realizarán las observaciones no están familiarizados con ellas.
• Efectos de la observación. En algunos casos, el comportamiento de los participantes podría cambiar como resultado de sus reacciones al ser observados. Los observadores deben ser conscientes de esa posibilidad y procurar que su propia conducta sea lo más discreta posible, para no influir en los comportamientos de los participantes.

Además de los observadores humanos, la presencia de equipos de audio o video también puede tener un efecto. Una manera de contrarrestarlo es esperar para comenzar a recopilar datos hasta que los participantes se hayan acostumbrado a la presencia del equipo. También es importante obtener el permiso de los participantes con anticipación para utilizar equipos de grabación.

• Sesgo del observador. Especialmente en situaciones donde los observadores también son parte del personal del programa, sus relaciones con los participantes o simplemente su vínculo con el esfuerzo en general pueden afectar sus informes u observaciones. Si sienten simpatía o antipatía por un participante en particular, eso podría influir en cómo interpretan o describen el comportamiento de esa persona. Si están muy comprometidos con el éxito del programa que se evalúa, pueden -de manera intencional o no- presentar los resultados de la forma más favorable posible. Además, tanto si forman parte del personal como si no, los observadores pueden verse influidos por sus suposiciones personales, su contexto cultural, religioso o educativo, o por sus circunstancias psicológicas o de vida actuales. Si se les ayuda a reconocer estos sesgos y a comprender por qué y cómo deben ser reconocidos o eliminados, habrá una mayor probabilidad de que realicen observaciones más confiables.
• Desviación del observador. En ocasiones, después de un tiempo de estar observando, las observaciones de las personas tienden a adquirir cierta regularidad basada en reglas personales en lugar de definiciones compartidas y estandarizadas. Por ejemplo, podrían tender a evaluar el comportamiento de ciertos participantes basándose más en experiencias pasadas que en lo que realmente observan en el momento.

También puede ser necesario corregir los efectos, sesgos o desviaciones del observador a lo largo del proceso de evaluación. Esto forma parte de diseñar mecanismos de verificación de la precisión y la fiabilidad basados en un estándar establecido.

Diseñar mecanismos de verificación de la fiabilidad y la precisión

Si la información ha de ser confiable, es importante que cuando dos observadores registren un comportamiento determinado, ambos signifiquen exactamente lo mismo. Esto depende tanto de la capacitación (como se mencionó anteriormente) como de la verificación, ya sea al inicio o periódicamente, para asegurarse de que todos los observadores estén interpretando las situaciones de la misma manera. Un diseño participativo del sistema puede ser útil en este aspecto. Si los observadores participan en la definición de lo que van a observar, hay muchas más probabilidades de que lo perciban de forma similar.

Algunas maneras de asegurar el acuerdo entre los observadores:

• Utilizar un estándar externo. Una forma de definir lo que se está buscando es emplear un estándar que todos los observadores usen y acepten. “El comportamiento X se presenta de esta manera, ocurre en estas circunstancias, dura este periodo de tiempo y tiene estos efectos o resultados posteriores.” El uso de estándares externos suele implicar una lista de verificación o un instrumento similar. El observador marca los componentes de un comportamiento o condición, documentando así lo que observa de un modo que permitiría a otro observador calificar el mismo evento de manera equivalente. Dichos estándares ayudan a garantizar la precisión continua del sistema de observación.

Los equipos de investigación y los laboratorios suelen utilizar estándares para garantizar la coherencia en la identificación de diversas condiciones. Cada condición se describe con detalle e incluye distintos indicadores posibles, como las mediciones de la presión arterial o la presencia de toxinas ambientales.

• Verifique la fiabilidad entre evaluadores. La fiabilidad entre evaluadores es el término utilizado en la investigación para evaluar si todos los observadores interpretan de la misma manera los mismos elementos, ya sean comportamientos, condiciones o eventos. Una forma de abordarla consiste en comparar a los observadores entre sí. Dos o más observadores son expuestos a las mismas situaciones o a la misma información y luego se comparan sus registros, por ejemplo, de casos de acoso. Si todos coinciden esencialmente en sus observaciones, la fiabilidad entre evaluadores es alta, y todo está en orden. Por lo general, en investigación, si los observadores concuerdan en un 80 % o más de las veces, las observaciones se consideran confiables. Si no coinciden en lo que observaron, se debe identificar la fuente del desacuerdo. Puede que definan los términos de manera diferente o que sus antecedentes influyan en cómo interpretan una misma situación. Sea cual sea la causa, es necesario descubrir esas diferencias y encontrar una manera de lograr que todos los observadores perciban las situaciones de manera similar y precisa.
• Utilice verificaciones aleatorias de terceros. Un investigador, director del programa u otra persona que tenga claro qué información es importante y cómo se presentan las distintas condiciones o comportamientos puede realizar observaciones en situaciones elegidas al azar junto con un observador habitual, para verificar si sus registros coinciden razonablemente. Si discrepan una vez, puede no tener importancia; pero si las discrepancias son constantes, entonces hay un problema que debe abordarse.

Determine cómo revisar y ajustar su sistema de observación para la próxima evaluación

Esta sección es la versión de “manténgase en ello”. Al igual que su programa, su evaluación -incluido su sistema de observación- debe ser evaluada y ajustada para que sea lo más eficaz posible.

Ahora usted está listo para comenzar a recopilar y analizar los datos. Con una planificación cuidadosa y una buena capacitación, debería poder obtener la información que necesita para su evaluación.

En resumen

Para llevar a cabo una evaluación que le permita ver su programa o esfuerzo con claridad y ajustarlo o mejorarlo, usted debe contar con una manera de recopilar información precisa y útil sobre él. El sistema de observación que utilice es la forma en que usted observa lo que está haciendo: su propio proceso, el comportamiento de los participantes, su progreso y resultados, así como las condiciones que afectan su esfuerzo o que su esfuerzo busca cambiar. Todo esto con el fin de obtener la información que analizará para evaluar su trabajo. Ese sistema debe ser viable dentro de sus recursos y debe ajustarse a la naturaleza de su programa; por lo tanto, diseñarlo es una parte esencial de su evaluación.

El diseño de sistemas de observación se lleva a cabo mejor mediante un proceso participativo, especialmente uno que involucre tanto a investigadores o evaluadores como a quienes realizarán la recolección de datos. Esa participación les permitirá comprender claramente el sistema, la información necesaria y los posibles obstáculos que podrían encontrar durante la recolección de datos. El resultado debería ser un sistema más confiable y, en última instancia, datos más precisos para su evaluación.

What do we mean by an observational system?

___An observational system is the system you use to collect the data that you need to analyze in order to evaluate your program

___It details the way you’ll look at the process, progress, and outcomes of your work, and how you’ll examine the behavior, conditions, or events that you’re concerned with

Why design an observational system?

___It can help you get reliable information

___It can help you find out exactly what you need to know, eliminating or reducing wasted effort

___It can ensure that observations are made

___It can make it easier to analyze your data

___It can help you avoid haphazard evaluation

___It will make it easier to justify your findings

___It can help you gain credibility with funders and policy makers

___It can let you pass on your practices with confidence

___Most important, it can give you the best information possible about what’s working in your program, and what you need to adjust

When should you design an observational system?

___If you can, you should design the system before your program begins, so that you can watch it and its effects from the very beginning

___If that’s not possible, you should design your system before you start your evaluation, ideally at the start of a program cycle

Who should design an observational system?

___Observational systems are usually best designed by a participatory group that includes both researchers or evaluators and people who will do the actual observation

How do you design an observational system?

___Review your evaluation questions

___Decide what you need to observe to answer your questions:

• Participants’ behavior
• Someone else’s behavior
• Conditions
• Observations of results of behavior
• Participants’ knowledge or attitudes
• Someone else’s knowledge or attitudes
• Goal attainment
• Interactions
• Program process or implementation (e.g., number of participants)

___Decide how the observations will be conducted:

• Direct observation
• Participant observation
• Self-reports, including individual and group interviews, focus groups, journals, surveys, etc.
• Second-hand reports, including interviews, journals, surveys, etc.
• Electronic or mechanical observation
• Tests or other similar observation tools
• Public records and the like for community-level indicators

___Decide when you need to observe:

• Pre- and post- observation
• At regular intervals during the evaluation period
• At irregular intervals during the evaluation period
• At specific times during the evaluation period
• Continuously

___Define and describe the behaviors, conditions, and/or events that observers should be concerned with

___Train observers in:

• What it’s important to record, and why
• The definitions and descriptions of the behaviors, conditions, events, or situations to be observed
• Effects of observation
• Observer bias
• Observer drift

___Devise checks for reliability and accuracy:

• Use an external standard
• Check for inter-rater reliability
• Use random third-party checks

___Adjust the system for the next evaluation

• ¿Qué queremos decir  por un diseño para la evaluación?

• ¿Por qué se debería escoger un diseño para su evaluación?

• ¿Cuándo debería hacerse?

• ¿Quién debería estar involucrado en la selección de un diseño?

• ¿Cómo seleccionar un diseño apropiado para su evaluación?

Cuando usted escucha la palabra “experimento,” pueden venir a su mente imágenes de personas en largas gabachas blancas mirando detenidamente a través de microscopios. En realidad, un experimento es solo tratar algo para ver cómo o por qué o si en realidad funciona. Esto puede ser tan simple como poner una especia en su platillo favorito, o tan complejo para desarrollar y evaluar un esfuerzo comprensivo para mejorar los resultados de la salud infantil en una ciudad o estado.

Los académicos y otros investigadores en la salud pública y las ciencias sociales llevan a cabo experimentos para entender cómo los ambientes afectan el comportamiento y los resultados, así sus experimentos usualmente involucra personas y aspectos del ambiente. Un nuevo programa comunitario o intervención es un experimento, también, uno que involucra a una organización gubernamental o comunitaria para encontrar una mejor manera de tratar un asunto comunitario.Esto usualmente comienza con la suposición acerca de qué funcionará – algunas veces llamado la teoría del cambio – la suposición no es una garantía. Como cualquier experimento, un programa o intervención tiene que ser evaluado para ver si realmente funciona y en qué condiciones.

En esta sección, nosotros veremos algunas de las mejores maneras que usted podría estructurar una evaluación para examinar si su programa está trabajando, y explorar cómo escoger la que mejor satisface sus necesidades. Estas disposiciones para el descubrimiento son conocidos como diseños experimentales (o evaluativos).

¿Qué queremos decir por un diseño para la evaluación?

Cada evaluación es esencialmente un proyecto de investigación o de pruebas documentales. Su investigación podría tratar de determinar cuán efectivo su programa o esfuerzo es en general, cuales partes del todo están funcionando bien y cuáles necesitan ajustarse, o si algunos participantes responden a ciertos métodos o condiciones de manera diferente de los otros. Para que sus resultados sean confiables, usted tiene que darle a la evaluación una estructura que le dirá qué es lo que usted quiere saber. Esa estructura – la disposición de pruebas documentales- es el diseño de la evaluación.

El diseño depende de qué tipos de preguntas su evaluación intenta responder.

Algunos de las preguntas (investigativas) de evaluación más comunes son:

• ¿Causa un programa o intervención particular – ya sea un programa instructivo o motivacional, que mejora el acceso y las oportunidades, o un cambio de política – un cambio particular en el comportamiento de los participantes o de otros, en condiciones sociales o físicas, en resultados de desarrollo o de salud, u otros indicadores de éxito?
• ¿Qué componente(s) y elemento(s) del programa o intervención fueron responsables del cambio?
• ¿Cuáles son los efectos no previstos de una intervención, y cómo ellos influenciaron los resultados?
• Si usted trata un método o actividad nuevo, ¿qué pasa?
• ¿El programa que funcionó en otro contexto, o el que usted leyó en una revista profesional, funcionará en su comunidad, o con su población, o con su asunto?

Si usted quiere respuestas confiables a preguntas de evaluación como éstas, usted tiene que preguntarles de manera que refleje si usted en realidad obtuvo resultados, y si esos resultados se dieron debido a sus acciones o las circunstancias que usted creó, o a otros factores. En otras palabras, usted tiene que crear un diseño para su investigación – o evaluación -  que le dé respuestas claras a sus preguntas. Nosotros discutimos cómo hacer esto más adelante en esta sección.

¿Por qué debería escoger un diseño para su evaluación?

Una evaluación puede parecer simple: si usted ve progreso hacia su meta al final del periodo de evaluación, usted está muy bien; si usted no lo ve, usted necesita cambiar. Desafortunadamente, esto no es tan simple. Primero, ¿cómo medirá su progreso? Segundo, si parece no haber ninguno, ¿cómo sabe usted lo que debe cambiar para aumentar su efectividad? Tercero, si hay progreso, ¿cómo sabe qué fue causado por (o contribuido por) su programa, y no por algo más? Y finalmente, aún si le está yendo bien, ¿cómo decidirá qué puede hacer mejor, y que elementos de su programa pueden ser cambiados o eliminados sin afectar su éxito? Un buen diseño para su evaluación le ayudará a responder preguntas importantes como éstas.

Algunas razones específicas para invertir tiempo para diseñar su evaluación cuidadosamente incluye:

• Para que su evaluación sea confiable. Un buen diseño le dará resultados precisos. Si diseña su evaluación bien, usted puede confiar en ella para que le diga si usted realmente está teniendo un efecto, y el por qué. Entender su programa hasta este punto hace que sea más fácil obtener y mantener el éxito.
• Para que se puedan ubicar con exactitud áreas a mejorar, así como en aquellas que son exitosas. Un buen diseño puede ayudarlo a entender exactamente donde están los puntos fuertes y los débiles de su programa o intervención, y darle pistas de cómo ellos pueden más aún fortalecer o cambiar para tener un mayor impacto.
• Para que sus resultados sean creíbles. Si su evaluación está diseñada apropiadamente, otros tomarán sus resultados seriamente. Si su bien diseñada evaluación muestra que su programa es efectivo, usted tiene más posibilidad de convencer a otros de usar métodos similares, y de convencer a financiadores que su organización es una buena inversión.
• Para que usted pueda identificar factores no relacionados con lo que usted está haciendo que tengan un efecto –positivo o negativo – en sus resultados y en las vidas de los participantes. Los antecedentes de los participantes, eventos nacionales o locales cruciales, el paso del tiempo, las crisis personales, y muchos otros factores pueden influenciar los resultados de un programa o intervención para bien o para mal. Un buen diseño evaluativo puede ayudarle a identificar estos, y puede o corregirlos si usted puede, o crear métodos para tratarlos o incorporarlos.
• Para que usted pueda identificar consecuencias no intencionadas (ambas positivas o negativas) y corregirlas. Un buen diseño puede mostrarle todo lo que resultó de su programa o intervención, no solo lo que usted esperaba. Si usted entiende que su trabajo tiene consecuencias que son negativas así como positivas, o que tiene más y/o diferentes consecuencias positivas de las que usted anticipó, usted puede ajustarlo como corresponde.
• Para que usted tenga un plan coherente y una estructura organizada para su evaluación. Será mucho más fácil llevar a cabo su evaluación si ésta tiene un diseño apropiado. Usted sabrá mejor qué es lo que usted necesita para así obtener la información que usted necesita. Invertir tiempo para escoger y organizar un diseño evaluativo le dará muy buenos resultados de vuelta con respecto al tiempo que se ahorra después y a la calidad de la información que usted obtiene.

¿Cuándo debería escoger un diseño para su evaluación?

Una vez que usted haya determinado sus preguntas de evaluación y haya reunido y organizado toda la información que usted pueda acerca del asunto y las maneras de tratarlo, lo siguiente es escoger un diseño para la evaluación.  Idealmente, esto todo se lleva a cabo al comienzo del proceso al juntarlo todo en un programa o intervención. Como hemos discutido un número de veces, su evaluación debería ser una parte integral de su programa, y su planeamiento debería por lo tanto ser una parte integral de la planeación de su programa.

Este es el ideal; ahora hablemos acerca de la realidad. Si usted está leyendo esto, las posibilidades son probablemente por lo menos 50-50 que usted está conectado a alguna agencia gubernamental poco financiada o a una organización no gubernamental o basada en la comunidad, y que usted está planeando una evaluación de un programa o intervención que ha estado en funcionamiento por algún tiempo – meses o años.

Aún si esto fuera cierto, los mismos lineamientos aplican. Escoja sus preguntas, reúna información, escoja un diseño, y luego siga a través de los pasos presentados en  la evaluación es lo suficientemente importante que usted no logrará realmente nada si toma atajos en el planeamiento. Si su programa tiene un ciclo, entonces probablemente tenga sentido comenzar su evaluación al comienzo de éste – al inicio de un año o en una fase del programa, donde todos los participantes estén comenzando desde el mismo lugar, o desde el comienzo de su participación.

Si esto no es posible – si su programa tiene una política de admisión continua, o brinda un servicio en el momento que la gente lo necesita – y los participantes están en diferentes puntos, eso puede algunas veces presentar problemas de investigación. Usted puede querer evaluar los efectos del programa solo con los nuevos participantes, o con algún otro grupo específico. Por otro lado, si su  programa funciona sin un comienzo y final particular, usted puede obtener la mejor imagen de su efectividad al evaluarlo como tal, al comenzar cuánto usted está listo. Cualquiera que sea el caso, su diseño debería seguir conforme a su obtención de información y su síntesis

¿Quién debería estar involucrado en la selección de un diseño?

Si usted es un usuario regular de la Caja de Herramientas, y particularmente usted ha estado leyendo este capítulo, usted sabe que el equipo de la Caja de Herramientas generalmente recomienda un proceso participativo – que involucre tanto a compañeros de trabajo de la comunidad así como de investigación, incluyendo a todos aquellos interesados en o los cuales son afectos por el programa en planeación o implementación.  Seleccionar un diseño para la evaluación presenta una política que de alguna manera hace una excepción a esta regla, debido a que los compañeros de la parte de evaluación y científica podrían tener un mejor entendimiento de lo que se requiere para llevar a cabo la investigación y los factores que pueden intervenir en él.

Como veremos en la parte “Cómo hacerlo” de esta sección, existen un número de consideraciones que tienen que ser tomados para obtener información precisa que realmente le diga lo que usted quiere saber. Los estudiantes en posgrado generalmente toman cursos para obtener el conocimiento que ellos necesitan para llevar a cabo investigación de la mejor manera, aún más algunos investigadores veteranos tienen dificultad en elaborar un diseño de investigación apropiado. Eso no significa que un grupo comunitario no pueda aprender a hacer todo esto, pero del tiempo que ellos tendrían que gastar en la adquisición del conocimiento necesario podría ser demasiado. Por lo tanto, lo que parece ser más lógico es asignarle esta tarea (o por lo menos su coordinación) a una persona o grupo pequeño con experiencia en investigación y diseño evaluativo. Tal persona no tiene solamente que ayudarle a escoger entre los diseños posibles, sino explicarle qué conlleva cada diseño, en tiempo, recursos, y habilidades/destrezas necesarias, para que así usted pueda juzgar su conveniencia y factibilidad con respecto a su  contexto

¿Cómo seleccionar un diseño para su evaluación?

¿Cómo hace para decidir qué tipo de diseño investigativo será el mejor para los propósito de su evaluación?

La respuesta a esta pregunta involucra una revisión de cuatro áreas:   

• La naturaleza de las preguntas de la investigación que usted intenta responder.
• Los retos de la investigación, y las maneras que ellos pueden ser resueltos o reducidos.
• Los tipos de diseños investigativos que son generalmente usados, y lo que cada diseño involucra.
• La posibilidad de adaptar un diseño investigativo particular a su programa o situación – qué estructura de su programa le dará apoyo, qué participantes darán su consentimiento, y cuáles son sus recursos y restricciones con respecto al tiempo.

Comenzaremos esta parte de la sección con una revisión de los aspectos que los diseños investigativos deben tratar, luego seguiremos con las consideraciones de algunos diseños comunes y cómo ellos tratarán esos aspectos, y finalizaremos con algunos lineamientos para escoger un diseño que tanto sea posible de implementar y que a la vez le dé la información que usted necesita acerca de su programa.

Una nota: en esta parte de la sección, estamos tratando a la evaluación como un proyecto investigativo. Como resultado, utilizaremos el término “investigación/investigativo” en muchas partes donde nosotros podríamos fácilmente solo decir, para propósitos de esta sección, evaluación.  La investigación es más general, y algunos usuarios de esta sección podrían estar más interesados en la investigación en general que en la evaluación en particular.

Aspectos/asuntos que los diseños investigativos deberían tratar

La consideración más importante en el diseño de un proyecto investigativo – excepto tal vez por el valor de la investigación de ella misma- es si su plan le dará información válida. Si usted no diseña y establece su proyecto de investigación apropiadamente, sus conclusiones (descubrimientos) no le darán la información precisa y que tiene posibilidad de ser verdadera para otras situaciones. En el caso de una evaluación, eso significa que usted no tendrá una base para adaptar lo que hace con el fin de  fortalecerlo y mejorarlo.

Aquí está un ejemplo exagerado que ilustra este punto.  Si usted midió la altura de los niños a la edad de 6 años, luego los alimenta con largas cantidades de un alimento específico  por tres años –digamos zanahorias- y los midió de nuevo al final del periodo, usted probablemente encontrará que la mayoría de ellos eran considerablemente más altos a los nueve años de edad que cuando tenían seis años.  Usted podría concluir que fue la ingesta de zanahorias la que hizo que los niños fueran más altos debido a que su diseño de investigación no le dio bases para comparar el crecimiento de estos niños con el de otros niños.

Existen dos tipos de amenazas contra la validez de una pieza de investigación. Ellos son usualmente llamados como amenazas a la validez interna (si la intervención produjo el cambio) y amenazas a la validez externa (si los resultados tienen la posibilidad de ser aplicados a otras personas y situaciones).

Amenazas a la validez interna. Estas son amenazas (o explicaciones alternativas) a su propuesta de que lo que usted hizo causó cambios en la dirección que usted estaba procurando. Ellas son por lo general presentadas por factores que operan al mismo tiempo que su programa o  intervención que podrían tener un efecto en el asunto que se estaba tratando de dirigir. Si usted no tiene una manera de separar sus efectos de aquellos del programa, usted no puede decir si los cambios observados fueron causados por su trabajo, o por uno o más de estos otros factores. Estos son llamados amenazas a la validez interna debido a que son parte interna del estudio –tienen que ver si su intervención – y no algo más – es responsable de la diferencia.

Existen aquí varios tipos de amenazas a la validez interna:

• Historia.Tanto las historias personales de los participantes – sus antecedentes, culturas, experiencias, educación, etc. – y los eventos externos que ocurrieron durante el periodo de investigación – un desastre, una elección, un conflicto en la comunidad, una nueva ley – pueden influenciar si existe o no algún cambio en los resultados que usted está tratando.
• Maduración. Esto se refiere a los procesos sociales, psicológicos, físicos naturales que toman lugar conforme pasa el tiempo. El crecimiento de los niños que comieron zanahorias en el ejemplo anterior es un resultado de la maduración, por ejemplo, como lo podría ser  un descenso en el comportamiento arriesgado una vez que se haya pasado de la adolescencia a la edad adulta, el desarrollo de la artritis en las personas mayores, o participantes cansados durante actividades de aprendizaje hacia el final del día.
• Los efectos de la evaluación u observación en los participantes. El mero hecho de la existencia de un programa, o de que ellos sean parte de él, puede afectar el comportamiento o actitudes de los participantes, como podría hacerlo la experiencia de ser evaluado, grabado en vídeo, o de alguna otra forma observado o medido.
• Cambio en la medición. Un instrumento – un manguito para la presión arterial o una escala, por ejemplo – puede cambiar con el tiempo, o diferentes aparatos pueden no dar los mismos resultados. De igual manera, los observadores – aquellos que reúnen la información -  podrían cambiar sus estándares con el tiempo, o dos o más observadores podrían no estar de acuerdo con las observaciones.
• La regresión hacia  la media. Esto es un término estadístico que se refiere al hecho de que, a través del tiempo, las puntuaciones muy altas o muy bajas de una medición (un examen, por ejemplo) a menudo tienden a desplazarse hacia el promedio del grupo. Si usted comienza un programa con participantes los cuales, por definición, tienen muy bajos o altos niveles de lo que sea que se está midiendo – habilidades de lectura, exposición a la violencia doméstica, un comportamiento particular hacia las personas de otras razas o antecedentes, etc. –sus puntuaciones pueden terminar siendo cercanas al promedio a través del curso del periodo de evaluación aún sin ningún programa.
• La selección de participantes. Aquellos que escogen participantes pueden inclinar su selección hacia un grupo particular que tiene más o menos tendencias a cambiar que una muestra representativa de la población para la cual el grupo fue elegida. (Un buen ejemplo es el de los programas para la capacitación laboral a los cuales se les paga dependiendo de la cantidad de personas que colocan en posiciones laborales. Ellos tienen la tendencia a elegir a participantes los cuales tienen todos o casi todas las habilidades que ellos necesitan para llegar a ser empleados, y rechazan a aquellos que tienen menos habilidades… y quienes en realidad necesitan más el servicio.)  La selección puede jugar una parte cuando los participantes de cuenta propia escogen inscribirse en un programa (auto-selección), ya que aquellos que deciden participar están probablemente motivados a hacer cambios. También puede ser un asunto de oportunidad: los miembros de un grupo en particular pueden, simplemente por coincidencia, compartir una característica que posicionará los resultados de dichos miembros en sus mediciones a parte de la norma de la población que se está representando.

La selección puede también ser un problema cuando dos grupos están siendo comparados por diferentes estándares. Discutiremos más de esto adelante cuando hablemos de los grupos de control y de comparación.

• La pérdida de datos o de participantes. Si muy poca información es recolectada acerca de los participantes, o si demasiados de ellos desertan mucho antes que el periodo de investigación esté terminado, sus resultados pueden estar basados en muy poca información que pueda ser confiable. Esto también ocurre cuando dos grupos son comparados.Si sus pérdidas de datos o de participantes son demasiado diferentes, el compararlos puede no darle  ya más información válida.
• La naturaleza del cambio. A menudo, el cambio no es estable y constante. Esto puede involucrar saltos hacia adelante y saltos hacia atrás antes de que se llegue a un lugar estable – si es que alguna vez se llega. (Piense en observar el rendimiento de un equipo de deportes a la mitad de la temporada. No importa cuál es su posición en ese momento, usted no podrá decir cuán bien terminará hasta que la temporada finalice.)  Sus mediciones pueden llevarse a cabo durante un periodo muy corto o darse en momentos no oportunos para rastrear el curso del cambio o la falta de cambio que está ocurriendo.
• Una combinación de los efectos de dos o más de estos. Dos o más de estos factores puede combinarse para producir o prevenir los cambios que su programa trata de producir. Un currículo del estudio del lenguaje que es evaluado solo en estudiantes que ya hablan dos o más idiomas corre problemas tanto con la historia de los participantes – todos los estudiantes tienen experiencia al aprender idiomas además del propio - como con la selección – usted ha escogido estudiantes los cuales tienen tendencias a ser exitosos en el aprendizaje de idiomas.

Amenazas a la validez externa.

Estos son factores que afectan su habilidad para aplicar sus resultados de investigación en otras circunstancias – para aumentar las oportunidades que su programa y sus resultados puedan ser reproducidos en cualquier lugar o con otras poblaciones. Si, por ejemplo, usted ofrece clases en la crianza de niños solo a madres solteras, usted no puede asumir, sin importar cuán exitoso estas puedan ser, que las mismas clases funcionarán de igual manera para los hombres.

Amenazas a la validez externa (o generalizabilidad) pueden ser el resultado de las interacciones de otros factores con el programa o la intervención por ella misma, o puede ser debido a condiciones particulares del programa.

Algunos ejemplos:

• Interacción de la prueba o recolección de datos y el programa o intervención. Una prueba inicial u observación podría cambiar la manera que los participantes reaccionan al programa, hacer una diferencia en los resultados finales. Ya que usted no puede asumir que otro grupo tendrá la misma reacción u obtendrá resultados finales similares como resultado, la validez externa o generalizabilidad de los hallazgos se vuelve cuestionable.
• Interacción de los procedimientos de selección y el programa o la intervención. Si los participantes seleccionados o auto-seleccionados son particularmente sensibles a los métodos o el propósito del programa, no puede asumirse que éste sea efectivo con participantes los cuales son menos sensibles o no están listos para el programa.

Los padres que han sido amenazados por el gobierno con la pérdida de sus niños debido a abusos a menores podrían ser más receptivos a aprender técnicas para mejorar su manera de llevar la crianza de sus hijos, por ejemplo, en comparación con los padres quienes no están bajo esa presión.

• Los efectos de la preparación de la investigación. Los participantes podrían cambiar de comportamiento como resultado de ser observados, o podrían reaccionar a individuos particulares de maneras que ellos no suelten reaccionar ante otros.

Un ejemplo clásico aquí es el del famoso investigador de mandriles (babuinos), Irven DeVore, el cual después de años de observar manadas de mandriles, se dio cuenta que ellos se comportaban de forma diferente cuando él estaba ahí que cuando no estaba.  Aunque su meta era observar su comportamiento natural, su presencia por sí sola constituía una intervención, al hacer que el comportamiento de los mandriles que él observaba fuera diferente del de una manada que no estaba siendo observada.

• La interferencia de tratamientos o intervenciones múltiples. Los efectos de un programa particular pueden ser cambiados cuando los participantes están expuestos a él anteriormente en un contexto diferente, o están expuesto a otro antes o al mismo tiempo de cuando estaba siendo evaluado. Esto puede ocurrir cuando los participantes están recibiendo servicios de diferentes fuentes, o están siendo tratados simultáneamente por dos o más asuntos de salud u otras condiciones.

Dado la cantidad de los programas comunitarios que existen, hay muchas posibilidades aquí. Los adultos podrían ser miembros de clase para completar la secundaria mientras participan en un programa de recuperación de abuso de sustancias.  Un diabético podría ser tratado con una nueva droga mientras al mismo tiempo participa en un programa de actividad física y de nutrición para tratar con la obesidad.  Algunas veces, la secuencia de los tratamientos o los servicios en un solo programa puede tener el mismo efecto, con uno que influencia cómo los participantes responden a aquellos que siguen, aún si cada tratamiento está siendo evaluado de forma separada.

Diseños investigativos comunes

Muchos libros han sido escritos sobre el tema de diseño investigativo. Mientras ellos contienen demasiado material para resumir aquí, existen algunos diseños básicos que podemos introducir. Las diferencias importantes entre ellos se basan en cuántas mediciones se llevarán a cabo, cuándo se tomarán, y cuántos grupos de qué tipo estarán involucrados.

Las evaluaciones de los programas generalmente buscan por las respuestas de tres preguntas básicas:

• ¿Hubo algún cambio- en el comportamiento de los participantes o de otros, en las condiciones físicas o sociales, o en los resultados o indicadores de éxito – durante el periodo de evaluación?
• ¿Fue cualquier cambio que se dio – o la falta de cambio – causado por su programa, intervención, o esfuerzo?
• ¿Qué, en su programa o fuera de él, realmente causó o impidió el cambio?

Como hemos discutido, los cambios y las mejoras en los resultados pueden haber sido causados por algunos o todos los aspectos de su intervención, o por factores externos. La historia de los participantes o de la comunidad podría haber sido crucial.  Los participantes podrían haber cambiado como resultado de simplemente hacerse más mayores y más maduros o con más experiencia en el mundo – lo cual es a menudo un asunto clave cuando se trabaja con niños o adolescentes.  Los factores ambientales – eventos, cambios de política, o condiciones en las vidas de los participantes – pueden a menudo facilitar o impedir el cambio de igual manera.  Comprender exactamente de dónde viene el cambio y dónde están las barreras para que el cambio suceda, le da la oportunidad de ajustar su programa para tomar ventaja o combatir esos factores.

Si todo lo que usted tuvo que hacer fue medir cualquier comportamiento o condición que usted quería influenciar al inicio y al final de la evaluación, escoger un diseño sería una tarea fácil.  Desafortunadamente, esto no es tan sencillo – existen esas amenazas desagradables a la validez que nos deben preocupar.  Y tenemos que tomarlas en cuenta que mientras observamos algunos diseños investigativos comunes.

Los diseños investigativos, en general, se diferencian en una o más de dos formas: el número y el tiempo de las mediciones que ellos usan; y si ellos observan un grupo individual o grupos múltiples. Veremos los diseños de un solo grupo primero, luego seguiremos con los grupos múltiples.

Los investigadores usualmente se refieren a sus primeras medición(es) u observación(es) – las que usted toma antes de comenzar su programa o intervención – como una medición de referencia o observación de referencia, debido a que establece una referencia – un nivel conocido – al cual usted compara mediciones u observaciones futuras.

Algunos términos de investigación importantes son:  

Variables independientes son el programa por el mismo y/o los métodos o condiciones que el investigador – en este caso, usted – quiere evaluar. Ellas son llamadas variables debido a que ellas pueden cambiar – usted podría haber escogido (y podría todavía escoger) otros métodos.  Ellas son independientes debido a que su existencia no depende de si algo existe ocurre: usted las ha escogido, y ellas seguirán  constantes a través del periodo de evaluación.

Variables dependientes son las que podrían cambiar o no como resultado de la presencia de las variable(s) independiente(s).  En una evaluación, su programa o intervención es la variable independiente.  (si usted está evaluando un número de métodos o condiciones diferentes, cada uno de ellos es una variable independiente.)  Lo que sea que usted está tratando de cambiar es la variable dependiente.  (Si usted está tratando ver cambios en más de un comportamiento o resultado, cada tipo de cambio es una variable dependiente diferente.)  Ellas son llamadas variables dependientes debido a que los cambios en ellas dependen de la acción de la variable independiente… o de algo más.

 Las mediciones son solo eso –medidas de las variables dependientes. Ellas usualmente se refieren a procedimientos que tienen resultados que pueden ser traducidos en números, y que pueden tomar la forma de evaluaciones, observaciones, encuestas, entrevistas, o pruebas comunitarias. Ellas también podrían contar incidentes o medir la magnitud de la variable dependiente (número o porcentaje de niños que tienen sobrepeso o son obesos, crímenes violentos en 100,000 habitantes, etc.)

  Las observaciones podrían involucrar mediciones, o ellas podrían simplemente registrar lo que pasa en circunstancias específicas: las formas en que la gente usa un espacio, los tipos de interacción que tienen los niños en un aula, la naturaleza de las interacciones durante una evaluación.  Para conveniencia, los investigadores a menudo usan “observación” para referirse a cualquier tipo de medición y nosotros usaremos la misma convención aquí.

Diseño inicial y final de un grupo individual.

El diseño más simple es también probablemente el menos preciso y deseado: la medición u observación inicial (antes de) y final (después de). Esto consiste en simplemente medir lo que sea que a usted le interese con un grupo – la tasa de mortalidad infantil, el desempleo, la contaminación del agua – utilizar su intervención a ese grupo o comunidad, y luego observar de nuevo. Este tipo de diseño asume que una diferencia en las dos observaciones le dirá si hubo un cambio durante el periodo entre ellos, y también asume que cualquier cambio positivo fue causado por la intervención.

En la mayoría de los casos, un diseño inicial-final no le dirá mucho, debido a que no trata realmente ninguno de los asuntos investigativos que hemos discutido. No toma en cuenta la influencia de otros factores en la variable dependiente, y no le dice nada acerca de las tendencias de cambio o del progreso de cambio durante el periodo de evaluación –solo dónde estaban los participantes al principio y dónde estaban al final.  Puede ayudarle a determinar si ciertos tipos de cosas han pasado – si existió una reducción en el nivel de logros educativos o la cantidad de contaminación ambiental en un río, por ejemplo – pero no le dirá el por qué.  A pesar de sus limitaciones, tomar mediciones antes y después de la intervención es mucho mejor que ninguna medición.

Aún mirar a algo tan meramente simple para medir, antes y después, como la presión sanguínea (en un programa para la prevención de enfermedades del corazón) es cuestionable. La presión sanguínea puede ser más baja al final de la observación que al inicio, pero eso no le dice nada acerca de cuánto haya bajado o subido en medio.  Si las lecturas fueron tomadas por diferentes personas, el cambio puede ser en parte a las diferencias en su habilidad, o a cuán relajado pudo cada uno hacer sentir a los participantes. La familiaridad con el programa podría también haber reducido la presión sanguínea de la mayoría de los participantes desde la medición inicial a la medición final, como lo pudo haber hecho algún otro factor que no fuera específicamente parte de la variable independiente que estaba siendo evaluada.

Diseño de series de tiempo interrumpido con un solo grupo (series de tiempo simple). 

Una serie de tiempo interrumpido usó mediciones repetidas antes y después de la implementación retrasada de la variable independiente (p.ej., el programa, etc.) para ayudar a excluir otras explicaciones.  Este diseño relativamente fuerte – con comparaciones entre el grupo – trata la mayoría de las amenazas a la validez interna.

La forma más simple de este diseño es tomar observaciones repetidas, implementar el programa o intervención, y observar un número de veces durante el periodo de evaluación, incluyendo el final. Este método es una gran mejoría sobre el diseño inicial-final ya que rastrea la tendencia del cambio, y puede por lo tanto, ayudar a ver si fue realmente la variable independiente la que causó algún cambio. Este puede también ayudar a identificar la influencia de los factores externos tales como cuando la variable dependiente muestra un cambio significativo antes de que la intervención es implementada.

Otra posibilidad para este diseño es implementar más de una variable independiente, ya sea al tratar dos o más, una después de la otra (a menudo con un lapso en medio), o al agregar cada una a lo había antes. Esto presenta una visión no solo del progreso del cambio, sino también muestra muy claramente qué causa el cambio. Esto le da al evaluador la oportunidad no solo de ajustar el programa, sino de descartar elementos que no tienen efecto.

Existen un número de variaciones acerca del tema: series de tiempo interrumpido, incluir una variación de los tiempos de observación; implementar la variable independiente repetidamente; e implementar una variable independiente, luego otra, luego ambas juntas para evaluar su interacción.

En cualquier variedad del diseño de series de tiempo interrumpido, es importante saber qué es lo que se busca. En una evaluación de un programa de control de muertes en las vías de tránsito en el Reino Unido  que se enfocaba en reducir la conducción de vehículos bajo los efectos del alcohol, mediciones mensuales parecían mostrar solo una disminución pequeña en los accidentes mortales. Cuando las estadísticas de los fines de semana, cuando había más posibilidades de encontrar conductores ebrios en las carreteras, eran separados, entonces, ellas mostraron que la mortalidad en los fines de semana había bajado considerablemente debido a la implementación del programa, y se mantenía bajo después de éste. Si los investigadores no se hubieran dado cuenta de  que ese era el caso, el programa podría haber sido cancelado, y la tasa de accidentes de los fines de semana no se hubiera reducido.

Diseño de series de tiempo interrumpido con grupos múltiples (referencia múltiple/series de tiempo).

Este tiene la misma posibilidad como el diseño de series de tiempo con el grupo individual, con la adicción de usar mediciones repetidas con uno o más otros grupos (lo que se llama referencia múltiple). Al usar referencias múltiples (grupos), la validez externa o la generalidad de los descubrimientos es mejorada – podemos ver si los efectos ocurren con grupos diferentes o bajo condiciones diferentes.

Este diseño de series de tiempo múltiple –usualmente una introducción paulatina (por etapas) de la intervención con diferentes grupos o comunidades – le da al investigador más  oportunidades:

• Usted puede tratar un método o programa con dos o más grupos del mismo.
• Usted puede tratar un método o programa con diferentes poblaciones, para ver si es efectivo con otros.
• Usted puede variar el tiempo o intensidad de una intervención con grupos diferentes.
• Usted puede examinar diferentes intervenciones al mismo tiempo.
• Usted puede tratar las mismas dos o más intervenciones con cada uno de los dos grupos, pero revertir su orden para ver si la secuencia hace alguna diferencia.

De nuevo, existen más variaciones posibles aquí.

Diseño del grupo de control.

Una manera común de evaluar los efectos de una variable es usar un grupo de control. Este grupo de control es usualmente similar al grupo participante, pero o no tiene ninguna intervención del todo, o recibe un tipo de intervención diferente con el mismo propósito que se le da al grupo participante. Un diseño del grupo de control es usualmente el más difícil de establecer – usted tiene que encontrar grupos apropiados, observarlos a los dos regularmente, etc. – pero es generalmente considerado como el más confiable.

El término grupo de control viene del intento de controlar influencias externas y otras influencias en la variable dependiente. Si todo acerca de los dos grupos excepto su exposición al programa siendo evaluado promedia lo mismo, entonces cualquier diferencia en los resultados se debe a la exposición. El término grupo de comparación es más modesto; este típicamente presenta a una comunidad observada para estar pendiente de niveles similares del problema/meta y características relevantes de la comunidad o la población  (p.ej., educación, pobreza).

El patrón oro aquí es el grupo de control al azar, uno que es elegido totalmente al azar, ya sea de entre la población que el programa o la intervención está tratando – aquellos en riesgo de enfermedades del corazón, hombres desempleados, padres jóvenes – o, si es apropiado, la población en general. Un grupo al azar elimina los problemas de selección que nosotros hemos discutido anteriormente, así como asuntos que podrían salir de las diferencias en cultura, raza, u otros factores.

Un grupo de control que es cuidadosamente escogido tendrá las mismas características como el grupo de intervención (el foco de la evaluación). Si, por ejemplo, los dos grupos vienen del mismo tipo de personas que tienen una condición de salud particular, y son escogidos al azar ya sea para ser tratados con la manera convencional o con el nuevo enfoque/método, puede ser asumido que – debido a que ellos fueron escogidos al azar de la misma población – ambos grupos será sujetos, en promedio, a las mismas influencias externas, y tendrán la misma diversidad de antecedentes/orígenes/formación. Por lo tanto, si existe una diferencia significativa en sus resultados, es  bastante seguro asumir que la diferencia viene de la variable independiente – el tipo de intervención, y no de algo más.

La dificultad para las organizaciones gubernamentales y basadas en la comunidad es encontrar o crear un grupo de control al azar. Si el programa tiene una larga lista de espera, puede ser capaz de crear un control al seleccionar a aquellos que reciben la intervención al azar de primero. Eso por si solo crea problemas, ya que la gente a menudo deserta de las listas de espera debido a la frustración u otras razones.  Ser incluido en la evaluación puede ayudar a mantenerlos, por el otro lado, al darles una conexión más cercana al programa y al hacerlo sentir valorados.

Un programa de ESOL (Inglés como segunda u otra lengua) en Boston con una lista de espera de tres años trató el problema al ofrecer a aquellos en la lista de espera una opción diferente.  Ellos recibieron cintas de video (videocasetes) para usar en la casa, en conjunto con una tutoría bisemanal por estudiantes avanzados y estudiantes de posgrado del programa.  Así, ellos se convirtieron en un grupo de comparación con una intervención de alguna manera diferente que, como se esperaba, fue menos efectiva que el programa mismo, pero fue más efectiva que ninguna intervención, y los mantuvo en la lista de espera.  Esto también les dio una ventaja una vez que ellos empezaron a ir a clases, muchos de ellos empezaron en un nivel intermedio en vez de hacerlo a nivel de principiantes.

Cuando no existe una lista de espera o un grupo similar para comparar, las organizaciones comunitarias a menudo usan un grupo de comparación – uno compuesto de participantes en otro lugar o programa y cuyas características, antecedentes y experiencia de los miembros pueden o no pueden ser similares a aquellos del grupo participante. Esta situación puede suscitar algunos de los mismos problemas relacionados a la selección vista cuando no existe un grupo de control. Si las únicas comparaciones potenciales involucran grupos muy diferentes, puede ser mejor usar un diseño, como el diseño de series de tiempo interrumpido que no involucra un grupo de control del todo, donde la comparación se da dentro (no entre) los grupos.

Los grupos pueden verse similares, pero pueden diferir de una manera importante. Dos grupos de participantes  de un programa de intervención de abuso de sustancias, por ejemplo, pueden tener historias similares, pero si un programa es voluntario y el otro no, los resultados tienen la tendencia a no ser comparables. Un grupo probablemente estará más motivado  y menos resentido que el otro, y estará compuesto de personas las cuales ya conocen que tienen un problema potencial.  La motivación y la determinación de los participantes, en vez de la efectividad de los dos programas, puede influenciar la magnitud del cambio observado.

 

Este asunto puede darse en el diseño de un grupo individual también. Un programa que pueda, en promedio, parecer que es relativamente poco efectivo puede probar, al hacer una inspección profunda, ser bastante efectiva con ciertos participantes –aquellos con un antecedente educativo específico, por ejemplo, o con experiencias de vida particulares.  Ver los resultados desde esta visión puede ser una parte importante de una evaluación, y darle información valiosa y  utilizable.

Escoger un diseño

La discusión sobre diseños investigativos de esta sección no está en ninguna manera completa.  Aquí tratamos de brindar una introducción de lo que está disponible.  Existen literalmente cientos de libros y artículos escritos acerca de este tema, y usted probablemente querrá más información.  Existen un número de métodos estadísticos que pueden compensar por diseños menos-que-perfectos, por ejemplo: algunos grupos comunitarios tienen recursos para juntar a un grupo de control al azar, o para implementar dos o más programas similares para ver cuál funciona mejor.

 

Dado esto, el material que sigue se trata solo de una guía general.  Nosotros no intentamos ser específicos acerca del tipo de diseño que usted necesita en qué circunstancias, solamente tratamos de sugerir algunas cosas para tener en mente en situaciones diferentes.  Existe ayuda disponible en un gran número de lugares: Mucho puede ser encontrado en la Internet (ver la parte de “Recursos” de esta sección para encontrar algunos sitios); existen libros y artículos numerosos (el texto clásico en el diseño de investigación está también citado en “Recursos”); y las universidades son un gran recurso, tanto a través de sus bibliotecas como de los profesores y estudiantes de posgrado los cuales podrían estar interesados en lo que usted está haciendo y estar dispuestos a ayudar con su evaluación.  Use cualquiera o todos estos para encontrar qué funcionará mejor para usted.  Financiadores podrían también estar dispuestos a ya sea brindar asistencia técnica para las evaluaciones, o a incluir dinero en su subvención o contrato específicamente para pagar por una evaluación profesional.

Su meta al evaluar su esfuerzo es obtener la información más confiable y certera posible, dadas las preguntas de su evaluación, la naturaleza de su programa, a lo que sus participantes consienten (acceden), sus limitaciones de tiempo, y sus recursos. Lo importante aquí no es establecer un estudio investigativo perfecto, pero diseñar su evaluación para obtener información real, y ser capaz de separar los efectos de los factores externos de los efectos de su programa. Entonces ¿cómo hacer para escoger el mejor diseño que será funcional para usted? Los pasos están en la primera oración de este párrafo.

Tenga en cuenta las preguntas de su evaluación. 

¿Qué necesito saber?  Si la intención de su evaluación es simplemente ver si algo específico pasó, es posible que un diseño simple inicial y posterior se haga. Si, como es lo más probable, usted quiere conocer tanto el cambio que ha ocurrido, y si ha ocurrido, si ha en efecto sido causado por su programa, usted necesitará un diseño que ayude a  descartar los efectos de influencias externas y los antecedentes de los participantes.

Para muchos programas comunitarios, un grupo de control o comparación es útil, pero no es absolutamente necesario. Piense detenidamente acerca de la frecuencia y el momento oportuno de sus observaciones y la cantidad de tipos de información que usted puede recolectar. Con medidas repetidas, usted puede obtener un panorama bastante acertado sobre la efectividad de su programa desde un diseño de series de tiempo simple. Los diseños de series de tiempo interrumpido con un solo grupo, los cuales son a menudo los más factibles para organizaciones pequeñas, pueden darle una evaluación muy confiable si ellos están estructurados adecuadamente. Eso generalmente significa obtener observaciones de referencia múltiples (lo suficiente para establecer una tendencia) antes que el programa comience; observar frecuentemente y documentar sus observaciones cuidadosamente (a menudo tanto con datos cuantitativos – expresados en números – y cualitativos – expresados en registros de incidentes y acerca de lo que hicieron y dijeron los participantes); e inclusive durante la intervención y las observaciones de seguimiento para ver si los efectos son mantenidos.

En muchas de estas situaciones, un diseño de series de tiempo interrumpido con múltiples grupos es razonablemente posible, pero como  un experimento “que ocurre naturalmente”. Si su programa incluye dos o más grupos o clases, cada uno trabajando hacia las mismas metas, usted tiene la oportunidad de escalonar la introducción de la intervención a través de los grupos. Esta comparación con (y a través de) los grupos le permiten a usted eliminar factores como la habilidad del facilitador y las influencias comunitarias (asumiendo que todos los participantes vienen de la misma población en general.)  Usted podría también tratar diferentes métodos o secuencias en tiempo, para ver cuál funciona mejor.

En algunos casos, la pregunta real no es si su método o programa funciona o no, sino si funciona mejor que otros métodos o programas que se podrían estar usando. Enseñar una habilidad – por ejemplo, la capacitación laboral, la crianza de niños, el control de la diabetes, la resolución de conflictos – a menudo calza en esta categoría. Aquí, usted necesita una comparación de este tipo. Mientras que las evaluaciones de algunas de éstas – tratamiento médico, por ejemplo – pueden requerir un grupo de control, otros pueden ser comparados con datos en el área específica, con resultados publicados de otros programas, o al usar indicadores a nivel comunitario  de evaluaciones en otras comunidades.

Existen programas comunitarios donde el factor crucial es muy simple. Si usted está trabajando para controlar la contaminación del agua, su preocupación mayor podría ser la cantidad de contaminación que sale de la cañería de las aguas residuales, o la cantidad encontrada en el río. Su única medición del éxito podría ser mantener la contaminación por debajo de cierto nivel, lo cual significa que tener un control regular de la calidad del agua es la única evaluación que se necesita. Existen probablemente pocos programas comunitarios donde la evaluación sea tan fácil – usted podría, por ejemplo, querer conocer cuál de las actividades de control de contaminación es la más efectiva – pero si la suya es solo una, un diseño simple puede ser todo lo que usted necesita.

Tenga en cuenta la naturaleza de su programa.

¿Qué características tiene su programa -¿cómo se ve?-, y qué es lo que intenta hacer? ¿Qué es lo que funciona con los participantes en grupos, o individualmente, por ejemplo? ¿Tiene ciclos – clases o talleres que comienzan o terminan en ciertas fechas, o un programa de tiempo limitado que los participantes pueden tomar solo una vez? ¿O pueden los participantes tomar dichas clases/talleres cuando ellos estén listos y mantenerse hasta que alcancen sus metas? ¿Cuánto del trabajo del programa depende del personal, y cuánto hacen los participantes por su cuenta? ¿Cuán importante es el contexto del programa –manera que se relacionan el personal, los participantes y otros, la filosofía general del programa, el entorno físico, la organización cultural?  (La cultura de una organización consiste en las maneras tradicionales y aceptadas de hacer las cosas, los patrones de relaciones, cómo se viste la gente, cómo actúan y se comunican con los demás, etc.)

Si usted trabaja con participantes en grupos, un diseño de grupos múltiples – uno de series de tiempo interrumpido o un grupo de control – podría ser más fácil de usar. Si usted trabaja con participantes individualmente, tal vez una serie de tiempo simple o un diseño de grupo individual sería más apropiado.

Si su programa tiene el tiempo limitado – uno de solo una vez nada más, o con sesiones que siguen a la anterior – usted querrá un diseño que calce con su programa y tiempo, y que pueda darle resultados confiables en el tiempo que usted tiene.  Una posibilidad es usar un diseño de grupo múltiple, con grupos que siguen a los siguientes, sesión por sesión. El programa para cada grupo podría ser ajustado, basado en los resultados del grupo anterior, para que así usted tenga la posibilidad de poner a prueba nuevas ideas cada sesión.

• Si su programa no tiene un comienzo o final claro, usted probablemente tendrá la necesidad de usar un diseño de grupo individual que considere a los participantes individualmente, o por el nivel de su desempeño inicial. Usted podría también tener que compensar el hecho que los participantes pueden ingresar al programa con diferentes niveles, o con diferentes metas.

Un proverbio dice que usted nunca camina en el mismo río dos veces, debido a que el agua que pasa por él siempre está cambiando.  Lo mismo es verdad para la mayoría de los programas comunitarios. Alguien que ingrese a un programa en un momento particular podría tener una experiencia totalmente diferente a la de una persona similar ingresando en un momento diferente, aún si el proceso del programa es el mismo para ambos. Un participante particular podría animar a los demás alrededor de ella, y crear una atmósfera abrumadoramente positiva diferente a la experimentada por los participantes que ingresaron al programa después de que ésta persona se fue, por ejemplo. Es muy difícil controlar este tipo de diferencia a través del tiempo, pero es importante estar consciente de que puede existir, y a menudo existe, y puede afectar los resultados de una evaluación del programa.

• Si el contexto y la cultura organizacional o del programa son importantes, entonces usted probablemente querrá comparar sus resultados con participantes en un grupo de control en una situación similar donde esos factores son diferentes, o son ignorados.

Existe, por supuesto, una gran variedad de posibilidades aquí: casi cualquier diseño puede ser adaptado a casi cualquier situación en las circunstancias adecuadas. Este material tiene el propósito solamente de darle una idea de cómo comenzar a pensar acerca del diseño para una evaluación.

Tenga en cuenta que sus participantes (y personal) estén de acuerdo.

Además del efecto que podría tener en los resultados de su evaluación, usted podría encontrar que mucha observación puede  hacer que surjan protestas por parte de participantes los cuales sienten que su privacidad está siendo amenazada, o de los miembros del personal que ya de por sí tienen demasiado trabajo y ven la evaluación solo como una carga más a su trabajo. Usted podría ser capaz de superar estos obstáculos, o usted podría tener que llegar a un acuerdo – menos o diferentes tipos de observaciones, un diseño menos molesto/ intruso – con el objetivo de ser capaz de conducir la evaluación del todo.

Existen otras razones por las cuales los participantes podrían oponerse a la observación, o por los menos a una observación intensa.  La posibilidad de ser avergonzado, un deseo de confidencialidad (mantener su participación en el programa en secreto de los miembros de su familia u otros), aún la auto-protección (en el caso de violencia doméstica, por ejemplo) puede contribuir a la falta de voluntad de ser un participante en la evaluación.  Los miembros del personal podrían tener algunas de las mismas preocupaciones.

 

Existen maneras de tratar con estos asuntos, pero no hay forma de garantizar que ellas funcionarán.  Una es informar a los participantes al comienzo acerca de qué exactamente se espera hacer, escuchar sus objeciones, y reunirse con ellos (más de una vez, si es necesario)  para llegar a una propuesta satisfactoria.  Los miembros del personal tienden a quejarse menos si ellos estuvieron involucrados en el planeamiento de la evaluación, y así tienen algo que decir acerca de la frecuencia y la naturaleza de las observaciones.

Tenga en cuenta sus limitaciones de tiempo.

Como hemos mencionado anteriormente, lo importante aquí es escoger un diseño que le dará información razonablemente confiable. En general, su diseño no tiene que ser perfecto, pero tiene que ser lo suficientemente bueno para tener una indicación lo suficientemente razonable de que se están dando cambios, y que ellos son el resultado de su programa. Cuán preciso usted puede ser es por lo menos parcialmente controlado por las limitaciones de su tiempo debido a la financiación, las consideraciones del programa, y otros factores.

Las limitaciones de tiempo podrían también ser obligatorias. Algunas de las más comunes son:

• La estructura del programa. Una evaluación puede tener más sentido si es conducido para coincidir con un ciclo de un programa regular.
• Financiación. Si usted es financiado solo como un proyecto piloto, por ejemplo, usted tendrá que llevar a cabo su evaluación en el mismo lapso de tiempo de la financiación, y pronto para mostrar que su programa es lo suficientemente exitoso para volver a ser financiado. Un horario de tiempo para la evaluación podría ser parte de su subvención o contrato, especialmente si el financiador está pagando por él.
• Horarios de los participantes. Un programa educativo rural podría necesitar  una pausa varios meses al año para permitirles a los participantes plantar y  cuidar los cultivos, por ejemplo.
• La seriedad del asunto. Un retraso en conocer si un programa de prevención de violencia es efectivo o no podría costar vidas.
• La disponibilidad de evaluadores profesionales. Tal vez el equipo de evaluación puede solo trabajar durante un marco de tiempo particular.

Tenga en cuenta sus recursos.

Los planificadores estratégicos a menudo aconsejan que los grupos y organizaciones consideren los recursos de último: ya que si no ellos terminarían rechazando muchas buenas ideas debido a que ellas son muy caras o difíciles, en vez de tratar de encontrar maneras de hacerlas funcionar con los recursos que se tienen a mano. Los recursos incluyen no solamente el dinero, pero también el espacio, materiales y equipo, personal, y habilidades y pericia. A menudo, uno de estos puede ser substituido por otro: una persona del personal con experiencia en investigación puede tomar el lugar del dinero que se utilizaría para pagar a un consultor, por ejemplo. Una asociación con una universidad cercana podría no solo darle pericia si no además el equipo necesario.

La lección aquí es comenzar a determinar el mejor diseño posible para sus propósitos, sin contemplar los recursos. Usted podría tener que decidirse por algo de menor tamaño, pero si usted comienza por lo que usted quiere, usted tiene más posibilidad de acercarse a ello que si usted asume que no tiene la posibilidad de obtenerlo.

En resumen

La manera que usted diseña su evaluación investigativa estará muy relacionada con cuán  preciso y confiable son sus resultados, y cuán bien usted puede usarlos para mejorar su programa o intervención. El diseño debería ser uno que trate de la mejor manera  las amenazas claves a la validez interna (ya sea que la intervención cause el cambio) y la validez externa (la habilidad de generalizar sus resultados en otras situaciones, comunidades, y poblaciones).

Diseños investigativos comunes –tales como diseños de tiempo interrumpido grupo de control – puede ser adaptado a varias situaciones, y combinado de varias formas para crear un diseño que es tanto apropiado como posible para su programa. Eso podría ser necesario para buscar ayuda de un asesor, un socio universitario, o simplemente alguien con experiencia en investigación para así identificar un diseño que calce con sus necesidades.

Un buen diseño tratará sus preguntas de evaluación, y tomará en consideración la naturaleza de su programa, cuáles participantes  y personal del programa estarán de acuerdo, sus limitaciones de tiempo, los recursos que usted tiene disponible para la evaluación. A menudo tiene sentido considerar los recursos de último, para que así usted no rechace buenas ideas debido a que ellas parecen demasiado caras o difíciles. Una vez que usted escoja un diseño, usted puede a menudo encontrar una manera de compensar la falta de recursos para hacerlo realidad.

¿Qué queremos decir por un diseño para la evaluación?

___El diseño de la evaluación es la disposición que asegura que dicha evaluación confiablemente le diga a usted lo que usted necesita saber.

___Un diseño apropiado le mostrará a usted si realmente obtuvo resultados, y si esos resultados se produjeron debido a sus acciones o a las circunstancias que usted creó, o a otros factores.

¿Por qué se debería escoger un diseño para su evaluación?

___Para que su evaluación sea confiable.  

___Para que usted pueda ubicar con exactitud las áreas a mejorar, así como aquellas que son exitosas. 

___Para que sus resultados sean creíbles.

___Para que usted pueda identificar factores no relacionados con lo que usted está haciendo que tengan un efecto –positivo o negativo – en sus resultados y en las vidas de los participantes.  

___Para que usted puede identificar consecuencias que no intencionadas (tanto positivas como negativas) y corregirlas.   

___Para que usted tenga un plan coherente y una estructura organizada para su evaluación.    

¿Cuándo debería escoger un diseño para su evaluación?

___En lo ideal, cuando usted está planeando el programa y la evaluación, antes de que usted comience cualquier implementación.   

___En la realidad, para muchas organizaciones, al comienzo de un ciclo del programa, o cuando un grupo nuevo de participantes  comienza. 

¿Quién debería estar involucrado en la selección de un diseño?

___Es de extremada utilidad  involucrar a alguien con experiencia en investigación para ayudar en la decisión de un diseño apropiado, y para ayudar entender de que se trata cada posible diseño. 

¿Cómo seleccionar un diseño apropiado para su evaluación?

1.  Tener en cuenta las consideraciones de investigación necesarias.

___Entender las amenazas a la validez interna (si es que la intervención produce el cambio)

• Historia

• Maduración 

• Efectos de la evaluación u observación en los participantes  

• Cambios en la medición   

• Regresión hacia la media    

• Selección de los participantes     

• Pérdida de datos o participantes    

•  Naturaleza del cambio   

• Combinación de los efectos de dos o más de estos    

___Entender las amenazas a la validez externa (generalizabilidad de sus hallazgos) 

• Interacción de la prueba o la recolección de datos y el programa o intervención

• Interacción de los procedimientos de selección y el programa o la intervención   

• Los efectos de la preparación de la investigación   

• La interferencia de programas o intervenciones múltiples    

2.  Entender diseños de investigación comunes   

___Diseño inicial y final de un grupo individual

___Diseño de series de tiempo interrumpido con un solo grupo (series de tiempo simple)

___Diseño de series de tiempo interrumpido con grupos múltiples

___Diseño del grupo de control o comparación

3.  Escoger un diseño 

___Tenga en cuenta las preguntas de evaluación 

___Tenga en cuenta la naturaleza de su programa  

___Tenga en cuenta que sus participantes y personal estén de acuerdo 

___Tenga en cuenta sus limitaciones de tiempo   

___Tenga en cuenta sus recursos

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué queremos decir por recolectar información?

• ¿Qué queremos decir por analizar información?

• ¿Por qué se debería recolectar y analizar información para su evaluación?

• ¿Cómo se recolecta y se analiza la información?¿Qué queremos decir por recolectar información?

En secciones previas a este capítulo, hemos discutido el estudiar el asunto, decidir en el diseño para la investigación, en crear un sistema de observación para la obtención de información para su evaluación. Ahora es el momento para recolectar su información y analizarla –descifrar que es lo que significa – para que así usted pueda usarla para sacar conclusiones acerca de su trabajo. En esta sección, nosotros examinaremos cómo hacer exactamente eso.

¿Qué queremos decir por recolectar información?

Esencialmente, recolectar información significa poner su diseño para recolectar información en acción. Usted ha decidido cómo usted va a obtener información – ya sea por medio de observación directa, entrevistas, encuestas, experimentos y evaluaciones, u otros métodos – y ahora usted y/u otros observadores tienen que implementar su plan. Sin embargo, todavía hay más que recolectar. Si ustedes están llevando a cabo observaciones, por ejemplo, usted tiene que definir qué está observando y programar para hacer las observaciones en los momentos indicados, así usted puede realmente observar lo que usted necesita. Usted tiene que registrar las observaciones de maneras apropiadas y organizarlas para que así ellas sean lo más útiles posibles.

El documentar (registrar) y organizar la información puede tomar diferentes formas. Eso depende del tipo de información que usted está recolectando. La manera en que usted recolecta su información deberá estar relacionada a cómo usted está planeando analizarla y usarla. Dejando de lado el método que usted decida usar, documentar debe hacerse simultáneamente con la recolección de información si es posible, o muy pronto después, para que así nada se pierda y la memoria de lo que se observó no se vuelva borrosa.

Algunas de las cosas que usted podría hacer con la información que usted recolecta incluye:

• Recolectar información de todas clases de fuentes y observaciones.
• Hacer fotocopias de todos los formularios, registros, grabaciones de audio y vídeo, y cualquier otro tipo de material recolectado para prevenir cualquier pérdida o eliminación accidental de información, u otra clase de problema.
• Digitalizar los relatos, números, y otra información y guardar en un programa de computación, donde ellos puedan ser organizados y/o pueden ser utilizados en diversas maneras.
• Llevar a cabo cualquier operación matemática o similar necesaria para tener la información cuantitativa lista para el análisis. Estas podrían, por ejemplo, incluir ingresar observaciones numéricas en un diagrama, tabla, u hoja de cálculo, o calcular la media (promedio), la mediana (valor que ocupa el lugar central), y/o la moda (valor más repetido) de un set de números.
• Transcribir (hacer una versión exacta palabra por palabra de) los contenidos de las grabaciones de audio o vídeo.
• Codificar información, particularmente información cualitativa que no está expresada en números, de una manera que permita ser procesada por un programa específico de software o puede ser sometido a un análisis estadístico.)
• Organizar la información de manera que sea más fácil de trabajar. Cómo lo haga depende del diseño de su investigación y sus preguntas de evaluación. Usted podría agrupar las observaciones con base a la variable dependiente (indicador de éxito) al cual ellos se relacionan, por los individuos o grupos de participantes, por el tiempo, por la actividad, etc. Usted podría también agrupar las observaciones en diferentes maneras, así usted puede estudiar interacciones entre las diferentes variables.

Existen dos tipos de variables en investigación. Una variable independiente. Una variable independiente (la intervención) es una condición implementada por el investigador o comunidad para ver si eso creará un cambio o mejoría. Esto podría ser un programa, método, sistema u otra acción. Una variable dependiente es lo que puede cambiar como resultado de la variable independiente o la intervención. Una variable dependiente podría ser un comportamiento, resultados/beneficios, u otra condición. Un programa para dejar de fumar, por ejemplo, es una variable independiente que puede cambiar el comportamiento de los miembros del grupo hacia el fumado, la variable dependiente primaria

¿Qué queremos decir por analizar información?

Analizar información incluye examinarla de maneras que muestran las relaciones, patrones, tendencias, etc. que puedan ser encontradas. Eso podría significar el someterlo a operaciones estadísticas que puedan mostrarle no solo qué tipos de relaciones parecen existir entre las variables sino a qué nivel usted puede confiar en las repuestas que usted está obteniendo. Eso podría significar comparar su información con la de otros grupos (un control o un grupo de comparación, figuras a nivel estatal, etc.), para ayudar a sacar conclusiones de la información obtenida. El punto, en términos de su evaluación, es el obtener una evaluación/valoración precisa con el objetivo de entender de mejor manera su trabajo y sus efectos en aquellos por los cuales usted está preocupado, o con el propósito de entender de mejor maneras la situación a nivel general.

Existen dos tipos de información con la cual usted está propenso a trabajar, aunque no todas las evaluaciones necesariamente incluirán ambos. Información cuantitativa se refiere a la información que es recolectada como, o puede ser transformada en, números, lo cual puede ser mostrado y analizado matemáticamente. Información cualitativa es recolectada como descripciones, anécdotas, opiniones, citas, interpretaciones, etc. y son generalmente o no capaces de ser reducido a números, o considerados más valiosa o informativa si es dejada como un relato (narrativamente). Como usted podría esperarse, la información cuantitativa y la cualitativa necesitan ser analizadas de diferente forma.

Información cuantitativa.

Como hemos mencionado, la información cuantitativa es recolectada normalmente directamente como números.

• La frecuencia (índice, duración) de los comportamientos o condiciones específicas.
• Puntuaciones de pruebas (ej., puntuaciones/niveles de conocimientos, habilidad, etc.)
• Resultado de encuestas (ej., comportamiento reportado, o consecuencias de las condiciones ambientales; índices de satisfacción, estrés, etc.)
• Números o porcentajes de las personas con ciertas características en una población (diagnosticados con diabetes, sin empleo, hispano-hablantes, menores de 14 años de edad, nivel educativo completado, etc.)

La información puede también ser recolectada en formas diferentes de la numérica, y ser convertido en información cuantitativa para el análisis. Los investigadores pueden contar el número de veces que un evento es documentado en las entrevistas o registros, por ejemplo, o asignarle números a los niveles de intensidad de un evento o comportamiento observado. Por ejemplo, las iniciativas comunitarias a menudo quieren documentar la cantidad e intensidad de los cambios ambientales que ellos promueven – los nuevos programas y las políticas que surgen como resultado de sus esfuerzos. Si esta clase de conversión es necesaria o útil depende de la naturaleza de lo que usted está observando y en los tipos de preguntas que su evaluación necesita responder.

La información cuantitativa es usualmente sometida a procedimientos estadísticos como calcular la media o promedio de veces que un evento o comportamiento ocurre (por día, mes, año). Estas operaciones, debido a que los números son información “sólida” y no se interpreta, pueden dar respuestas definitivas, o cercanas a ser definitivas a diferentes preguntas. Varios tipos de análisis cuantitativo pueden indicar cambios en una variable dependiente relacionada a – frecuencia, duración, momento (cuando el asunto particular pasó), intensidad, nivel, etc. Ellos pueden permitirle comparar esos cambios con otros, los cambios en otra variable o cambios en otra población. Ellos podrían ser capaces de decirle, en un grado particular de fiabilidad, si esos cambios son propensos a ser causados por su intervención o programa, o por otro factor, conocido o desconocido.Y ellos pueden identificar relaciones entre las diferentes variables, lo cual puede o no significar que uno causa el otro.

Información cualitativa.

Diferente de los números o “datos rigurosos”, la información cualitativa parece ser “blanda”, lo que quiere decir que no puede ser siempre reducida a algo definido. Eso es en algunas maneras una debilidad, pero es a su vez una fortaleza. Un número puede decirle cuán bien salió un estudiante en una prueba (examen); la expresión en su cara después de ver su nota, sin embargo puede decir mucho más acerca del efecto del ese resultado en su vida. Esa expresión no puede ser traducida por un número, ni lo puede hacer el conocimiento del maestro acerca de la historia, progreso, y experiencia del estudiante, todo lo cual termina en la interpretación del maestro de esa expresión facial. Y esa interpretación puede ser más valiosa en ayudar a la superación del estudiante que saber la nota o la puntuación numérica de la prueba.

Como explicamos anteriormente, la información cualitativa puede ser muchas veces convertida en números, usualmente al contar el número de veces que situaciones específicas ocurren en el curos de observaciones o entrevistas, o al asignar números o índices a dimensiones (ej., importancia, satisfacción, facilidad del uso).

Los retos de traducir datos cualitativos en cuantitativos tienen que ver con el factor humano. Aún si la mayoría de las personas están de acuerdo con lo que 1 (más bajo) o 5 (más alto) significa con respecto a los índices de “satisfacción” con un programa, los índices 2, 3 y 4 pueden ser muy diferentes para diferentes personas. Además, los números no dicen nada acerca de por qué las personas reportaron de la manera que lo hicieron. Uno pudo no gustarle el programa debido al contenido, el facilitador, la hora del día, etc. De igual manera puede ser cierto cuando usted está contando los momentos que fue mencionado un evento, tal como al comienzo de una nueva política o programa en una comunidad basada en entrevistas o registros de archivo. Donde una persona pueda ver un cambio en el programa que él considera importante otra persona puede omitirlo debido a que es percibido no importante.

Los datos cualitativos pueden algunas veces decirle cosas que los datos cuantitativos no pueden. Eso puede revelar el por qué ciertos métodos están trabajando o no, si parte de que se está haciendo entra en conflicto con la cultura del participantes, lo que los participantes ven como importante, etc. Eso puede también mostrar patrones – en comportamiento, ambiente físico y social, u otros factores – que los números en sus datos cuantitativos no y ocasionalmente aún identifica variables que los investigadores no estuvieron conscientes.

Es a menudo útil recolectar tanto la información cuantitativa y cualitativa

El análisis cuantitativo es considerado a ser objetivo – sin ningún prejuicio humano adherido a él- debido a que depende de la comparación de números de acuerdo a cálculos matemáticos. El análisis de datos cualitativos es generalmente logrado con métodos más subjetivos – que dependen de las opiniones de las personas, su conocimiento, suposiciones, e inferencias (y por lo tanto prejuicios) – que aquella llevada a cabo de los datos cuantitativos. La identificación de patrones, la interpretación de lo que dijo la gente u otra comunicación, el reconocimiento de tendencia – todos estos pueden ser influenciados por la forma en que el investigador ve el mundo. Esté consciente, sin embargo, que el análisis cuantitativo está influenciado por un número de factores subjetivos de igual manera. Lo que el investigador escoge medir, la precisión de las observaciones, y la manera que la investigación está estructurada al preguntar solo ciertas preguntas puede todo influenciar los resultados, así como lo puede hacer el entendimiento y la interpretación del investigador de los posteriores análisis.

¿Por qué se debería recolectar y analizar información para su evaluación?

Parte de la respuesta aquí es que no cada organización – particularmente las pequeñas con bases comunitarias o no gubernamentales – necesitará tener recursos amplios para conducir una evaluación formal. Ellos pueden tener que estar satisfechos con evaluaciones menos formales, las cuales pueden aún ser extremadamente útiles al brindar dirección para un programa o intervención. Una evaluación informal involucrará alguna recolección de datos y análisis. Esta recolección de datos y que tenga sentido es crítico para una iniciativa y su éxito futuro, y tiene un número de ventajas.

• Los datos pueden mostrarse si hubo cualquier cambio significativo/importante en las variables dependientes que se esperando influenciar. La recolección y el análisis de datos ayudan a ver si su intervención produjo los resultados deseados.

El término “importancia” tiene un significado específico cuando usted está discutiendo estadísticas. El nivel de importancia de un resultado estadístico es el nivel de confianza que usted puede tener en la respuesta que usted obtiene. Generalmente, los investigadores no consideran un resultado significativo/ importante solo si muestra por lo menos un 95% de certeza de que es correcto (llamado el nivel .05 de importancia, debido a que existe un 5% de posibilidad de que eso esté equivocado.) El nivel de importancia está construido en fórmulas estadísticas: una vez que se obtiene un resultado matemático, una tabla (o el software que se está usando) le dirá el nivel de importancia.

Así, si el análisis de datos encuentra que la variable independiente (la intervención) influenció la variable dependiente en el 0.5 nivel de importancia, eso significa que existe una probabilidad o posibilidad de un 95% de que su programa o intervención obtuvo el efecto deseado. El nivel .05 de importancia es generalmente considerado un resultado razonable, y el .01 nivel (99% de probabilidad) es considerado a ser lo más cercano a la certeza que ser puede llegar.

Un 95% de nivel de certeza no significa que el programa trabaja en un 95% de los participantes, o que eso va a trabajar un 95% de las veces. Esto significa que existe sólo un 5% de posibilidad que el programa no es realmente lo que está influenciando la(s) variable(s) dependiente(s) y causando los cambios que deberían estar asociados a él.

• Ellos pueden sacar a la luz factores que pueden estar asociados con cambios en las variables dependientes. Los análisis de datos pueden ayudar a descubrir influencias inesperadas; por ejemplo, que el esfuerzo fuera dos veces tan largo para aquellos participantes que también eran parte del grupo de apoyo. Esto puede ser usado para identificar aspectos claves de implementación.
• Ellos pueden mostrar conexiones entre varios factores que pueden tener un efecto en los resultados de su evaluación. Algunos tipos de procedimientos estadísticos buscan conexiones (“correlaciones” es el término de investigación) entre las variables. Ciertas variables dependientes pueden cambiar cuando otros cambian. Estos cambios pueden ser similares – ej., ambas variables aumentan o disminuyen (ej., por forme la habilidad de en la lectura aumenta, la cantidad de lectura hecha por ellos también aumenta.) O lo opuesto puede pasar – ej., las dos variables cambian en direcciones opuestas (conforme la cantidad de ejercicio que hacen aumenta, el peso de las personas disminuye). Correlaciones no significan que una causa la otra, o que ambas tiene la misma causa, pero ellos pueden brindar información valiosa acerca de asociaciones esperables en una evaluación.
• Ellos pueden ayudar a esclarecer las razones por las cuales su trabajo fue efectivo o, tal vez, no tan efectivo como usted esperaba. Al combinar los análisis cuantitativos y los cualitativos, usted puede a menudo determinar no solo que funcionó o que no, pero el por qué. El efecto de factores culturales, cuán bien se están usando los métodos, lo apropiado que es su enfoque para la población – estos así como otros factores que influencian el éxito pueden ser esclarecidos por la recolección cuidadosa de datos y su análisis. Este conocimiento le da una base para adaptar y cambiar lo que usted hace para que sea más factible que usted logre los resultados deseados en el futuro.
• Ellos pueden brindar evidencia creíble para mostrarle a los socios (interesados) que su programa fue exitoso, o que usted había sacado a la luz, y tratado las limitaciones. Los socios, tal como los financiadores y las juntas comunitarias, quieren saber que sus inversiones están siendo invertidas de la mejor manera. Al mostrar evidencia de los resultados intermedios (ej., nuevos programas y políticas) y resultados a largo plazo (ej., las mejorías en educación o los indicadores de salud) se está volviendo más y más importante para recibir – y mantener- la financiación.
• Su uso muestra que usted es serio acerca de la evaluación y acerca de mejorar su trabajo. Ser un buen fideicomisario o administrador de las inversiones comunitarias incluye revisiones regulares de datos relacionados al progreso y a la mejoría.
• Ellos pueden mostrarle al área de estudio lo que se está aprendiendo, y así pavimentar el camino para que otros implementen métodos y enfoques exitosos. De esa manera, usted estará ayudando a mejorar los esfuerzos comunitarios y, ultimadamente, la calidad de vida para las personas que se benefician.

¿Cuándo y por quién debería ser la información recolectada y analizada?

Al hablar de recolección de datos, la parte del “cuándo” de la pregunta es relativamente simple: la recolección de datos debería no después de que se comience a trabajar – o antes de que usted comience con el objetivo de establecer una línea de fondo o punto de comienzo – y continuar a lo largo. Idealmente, usted debería recolectar datos por periodo de tiempo antes de comenzar su programa o intervención con el propósito de determinar si existe alguna tendencia en los datos antes del comienzo de la intervención. Además, con el propósito de evaluar los efectos a largo plazo de su programa, usted debería recolectar datos posteriores (para el seguimiento) por un periodo de tiempo después de la conclusión del programa.

El momento del análisis puede ser visto de por lo menos dos maneras: Una es que es mejor analizar su información cuando usted la ha recolectado en su totalidad. La otra es que si usted la analiza conforme usted la va recolectando, usted es capaz de cambiar de opinión acerca de la información que usted realmente necesita, y de ajustar su programa para que responda a la información de usted está obteniendo. El enfoque que se decida tomar depende de los propósitos de su investigación. Si usted está más interesado en una evaluación sumativa – encontrar si su enfoque fue efectivo, usted podría estar más inclinado hacia la primera opción. Si usted está orientado hacia la implementación – la evaluación formativa – nosotros recomendamos obtener información a lo largo del camino. Ambos enfoques son legítimos, pero la recolección de datos en proceso continuo y su revisión puede particularmente traer mejorías en su trabajo.

El “quién” de la pregunta puede ser más complejo. Si usted está razonablemente familiar con las estadísticas y los procedimientos estadísticos, y usted tiene recursos de tiempo, dinero, y personal, es probable que usted haga un estudio relativamente formal, al usar pruebas estadísticas estandarizada. (Existen muchos tipos de software –tanto para comprar y gratuito o como open-source o “código abierto” – disponible para ayudarlo. Vínculos de algunos de estos recursos están disponibles en esta sección debajo de “Recursos”.)

Si ese no es el caso, usted tiene algunas opciones:

• Usted puede contratar o encontrar a un evaluador externo voluntario, tal como los de una Universidad o institución de estudios superiores cercana, para que se encargue de la recolección de datos y/o el análisis por usted.
• Usted puede llevar a cabo una evaluación menos formal. Sus resultados pueden no ser tan sofisticados como si usted lo hubiera llevado a cabo por medio de procedimientos estadísticos rigurosos, pero ellos pueden aún decirle mucho acerca de su programa. Solo los números – el número de deserciones (y cuándo desertan más), por ejemplo, o las características de la gente a la que usted le sirve – puede darle información importante y utilizable.
• Usted puede tratar de aprender suficiente acerca de estadísticas y software estadísticos para llevar a cabo una evaluación formal usted mismo. (Lleve un curso, por ejemplo.)
• Usted puede recolectar los datos y luego enviársela a alguien –un programa universitario, un amigo o un investigador, o alguien contratado – para procesarlo todo para usted.
• Usted puede recolectar y basarse principalmente en datos cualitativos. Si esto es una opción depende principalmente de lo que se trate el programa. Usted no querrá llevar a cabo una evaluación formal de efectividad de un medicamento nuevo usando solamente datos cualitativos, pero usted podría ser capaz de mostrar algunas conclusiones razonables acerca de patrones de uso o cumplimiento con base en la información cualitativa.
• Si es posible, use un grupo de control al azar o uno lo más similar al otro para compararlos. Si su control está apropiadamente estructurado, usted puede sacar algunas conclusiones bastantes confiables simplemente al comparar sus resultados con aquellos de su grupo de intervención. De nuevo, estos resultados no serán tan confiables como si la comparación fuera hecha usando procedimientos estadísticos, pero ellos pueden indicar si usted está en la dirección correcta. Es suficientemente fácil ver si hay o no una diferencia mayor entre los números de los dos o más grupos. Si el 95% de los estudiantes en su clase pasó la prueba, y sólo un 60 aquellos en un grupo similar pero no instruido pasaron, usted puede estar seguro que su clase hizo la diferencia de alguna manera, aunque usted pueda que no sea capaz de decir exactamente qué fue lo que importó. De la misma manera, si un 72% de sus estudiantes pasaron y un 70% del grupo de control también pasaron, parece ser bastante claro que su instrucción tenía esencialmente ningún efecto, si los grupos comenzaron aproximadamente en el mismo lugar.

Quién debería realmente recolectar y analizar los datos depende de la manera de su evaluación. Si usted está haciendo un evaluación participativa, mucho de la recolección de datos – y analizarlos- será hecha por los miembros de la comunidad o los participantes del programa ellos mismos. Si usted está llevando a cabo una evaluación en la cual la observación es especializada, los recolectores de datos podrían ser miembros del equipo de trabajo, profesionales, voluntarios altamente entrenados, u otros con habilidades o capacitación específica (estudiantes de maestría, por ejemplo). El análisis también puede ser logrado por un proceso participativo. Aún donde procedimientos estadísticos complicados son necesarios, los participantes y/o los miembros de la comunidad podrían ser involucrados al explicar que es lo que esos resultados realmente significan una vez que la matemática está hecha y los resultados están listos. Otra manera en que el análisis puede ser logrado es por medio de los profesionales u otros individuos capacitados, dependiendo de la clase de la naturaleza a ser analizada, los métodos de análisis, y el nivel de sofisticación al cual se intenta tener en las conclusiones.

¿Cómo recolectar y analizar información?

Aún si su evaluación incluye procedimientos formales o informales, usted todavía tiene que recolectar y analizar la información, y existen algunos pasos básicos que usted puede tomar para hacerlo.

Implementar su sistema de medición.

 Hemos discutido acerca de diseñar un sistema observacional para obtener información. Ahora es el momento de poner ese sistema a cabo.

• Claramente defina y describa cuáles mediciones u observaciones son necesarias. La definición y descripción debería ser lo suficientemente clara para permitirle a los observantes estar desacuerdo en qué es lo que ellos están observando y de buena fuente documentar los datos de igual manera.
• Seleccionar y capacitar a los observadores. Particularmente si esto es parte de un proceso participativo, los observadores necesitan capacitación para saber qué documentar; para reconocer los comportamientos clave, eventos, y condiciones; y para alcanzar un nivel aceptable de confiabilidad interna (acuerdo entre los observadores.)
• Llevar a cabo observaciones en momentos apropiados para el periodo apropiado. Esto puede incluir revisar material archivado; llevar a cabo entrevistas, encuestas, o grupos focales; enfocarse en la observación directa, etc.
• Documentar los datos en las maneras acordadas. Esto puede incluir papel y lápiz, computadoras (al usar una computadora portátil u otro aparato de uso manual en el área, ingresar números en el programa, etc.), audio o vídeo, revistas, etc.

 Organizar los datos que usted ha recolectado.

La manera que usted haga esto depende de qué es lo que usted está planeando hacer con eso, y en qué se está interesado.

• Ingresar cualquier dato a la computadora. Esto puede significar simplemente digitalizar los comentarios, descripciones, etc., e incluirlos en un programa de procesamiento de palabras, o al ingresar información variada (posiblemente incluir el audio o vídeo) a una base de datos, hoja de cálculo, un programa GIS, o algún otro tipo de software o archivo.
• Transcribir cualquier audio- o cintas de vídeos. Esto los hace más fáciles para trabajar y copiar, y permite la oportunidad para aclarar cualquier segmento de dicción que sea difícil de entender.
• Darle una puntuación a cualquier prueba y documente las puntuaciones apropiadamente.
• Clasificar su información en maneras apropiadas de su interés. Esto puede incluir clasificar por categoría de observación, por evento, por lugar, por individuo, por grupo, por el tiempo de observación, o por una combinación o algún otro estándar.
• Cuando sea posible, necesario, y apropiado, transforme los datos cualitativos en datos cuantitativos. Esto puede involucrar, por ejemplo, contar el número de veces que asuntos específicos fueron mencionados en las entrevistas, o cuán a menudo ciertos comportamientos fueron observados.

Llevar a cabo gráfica de datos, inspecciones visuales, análisis estadísticos, u otras operaciones en los datos de forma apropiada.

Nos hemos referido varias veces a los procedimientos estadísticos que usted puede aplicar a los datos cuantitativos. Si usted tiene los números correctos, usted puede descubrir mucho acerca de si su programa está causando o contribuyendo a un cambio o mejoría, cuál es ese cambio, si existen conexiones esperadas o inesperadas entre las variables, cómo se compara su grupo con otro que usted esté evaluando, etc.

Existen otras posibilidades excelentes para el análisis además de los procedimientos estadísticos, sin embargo. Algunas de ellas incluyen:

• Conteo simple, inspección visual y gráficos de frecuencia o índices de comportamiento, eventos, etc., a través del tiempo.
• Usar inspección visual de los patrones a lo largo del tiempo para identificar discontinuidades (aumentos, disminuciones marcadas) en las medidas a través del tiempo (sesiones, semanas, meses).
• Calcular la media (promedio), la mediana (valor que ocupa el lugar central), y/o la moda (valor más repetido) de una serie de medidas u observaciones. ¿Cuál fue la presión sanguínea promedio, por ejemplo, de las personas que se ejercitaron por 30 minutos al día por lo menos cinco días a la semana, en contraposición a aquellos que se ejercitaron dos días a la semana o menos?
• Usar entrevistas cualitativas, conversaciones, y observación participativa para observar (y seguirle a pista a los cambios) en las personas o situaciones. Los diarios pueden ser particularmente reveladores en esta área debido a que ellos documentan las experiencias de las personas y sus reflexiones a través de un tiempo.
• Encontrar patrones en los datos cualitativos. Si muchas personas se refirieron a problemas o barreras similares, estos pueden ser importantes en el entendimiento del asunto, al determinar qué funciona o qué no y por qué, o más.
• Comparar los verdaderos resultados con las metas o puntos de referencia previamente determinadas. Una medida de éxito podría ser alcanzar una meta para el planeamiento o programa de implementación, por ejemplo.

Tome nota de cualquier resultado significativo o interesante.

Dependiendo de la naturaleza de su investigación, los resultados podrían ser estadísticamente significativos (el 95% o mejor certeza de la que hemos discutido anteriormente), o simplemente importantes o inusuales. Ellos pueden o no ser socialmente significativos (p.ej., suficientemente grandes para resolver el problema).

Existen un número de tipos diferentes de resultados que usted puede estar buscando.

• Diferencias entre las personas o los grupos. Si usted ha repetido mediciones para individuos/grupos a través del tiempo, podemos ver si existen aumentos/disminuciones marcadas en (la frecuencia, tipo) de comportamiento (eventos, etc.) después de la introducción del programa o intervención. Cuando los efectos son vistos y solo cuando la intervención es introducida – y si la intervención es escalonado (retrasado) a lo largo de la gente o los grupos – esto aumenta nuestra certeza que la intervención, y no algo más, está produciendo los efectos observados.
• Diferencias entre dos o más grupos. Si usted tiene uno o más grupos de control al azar en un estudio formal (grupos que son escogidos al azar con una misma población como el grupo en su programa, pero no están recibiendo el mismo programa o intervención, o no está recibiendo una del todo), luego la significancia estadística de las diferencias entre los grupos debería decir si su programa tiene una alguna influencia mayor en la(s) variable(s) dependiente(s) que la que se está experimentando por los otros grupos.
• Los resultados que muestran cambios significativos estadísticamente hablando. Con o sin un grupo de control o de comparación, muchos procedimientos estadísticos pueden decirle si los cambios en las variables dependientes son verdaderamente significativos (o posiblemente no lo sean debido al cambio). Estos resultados pueden decir muy poco acerca de las causas del cambio (o ellos pueden, dependiendo de cómo usted ha estructurado su evaluación), pero ellos le dicen a usted que es lo que está pasando, y le dan un lugar para comenzar.
• Correlaciones. Correlación significa que existen conexiones entre dos o más variables. Correlaciones pueden algunas veces resaltar a relaciones importantes que usted podría no haber predicho. Algunas veces ellos pueden dar luz al asunto por el mismo, y algunas veces en los efectos de las prácticas culturales de un grupo. En algunos casos, ellos pueden realzar las causas potenciales de un asunto o condición, y así pavimentar el camino para intervenciones futuras.
• Patrones. En ambos, tanto la información cuantitativa y cualitativa, patrones a menudo emergen: ciertas condiciones de salud parecen agruparse en áreas geográficas particulares; las personas de un grupo en particular se comportan de maneras similares; etc. Estos patrones podría no ser específicamente lo que usted está buscando o espera encontrar, pero ellos podrían ser importantes por ellos mismos o sacar a la luz áreas en las que usted esté interesado. En algunos casos, usted podría necesitar someterlos a procedimientos estadísticos (análisis de regresión, por ejemplo) ver si, en realidad, ellos están al azar, o si ellos constituyen patrones reales.
• Descubrimientos importantes evidentes. Si es el resultado de un análisis estadístico, o la evaluación de sus datos y la aplicación de lógica, algunos descubrimientos pueden resaltar. Si el 70% de un grupo de participantes con sobrepeso en un programa de actividad física y nutrición saludable bajan su peso y presión sanguínea significativamente, comparado con solamente el 20% de un grupo similar no en el programa, usted puede probablemente asumir que el programa ha sido efectivo. Si no existe ningún cambio del todo en los resultados en educación después de dos años de su programa educativo, entonces usted puede estar o llevando a cabo un programa no efectivo, o simplemente no está alcanzando a aquellos que tienen más tendencias de tener pobres resultados (lo cual también puede ser interpretado como que está llevando a cabo un programa que no es efectivo.)

No todos los descubrimientos importantes necesariamente le dirán si su programa trabaja o que es el método más efectivo. Podría ser obvio para la recolección de datos, por ejemplo, que, mientras la violencia o las lesiones en la carretera no sea visto como un problema a nivel de ciudad, ellos son mucho más altos en una o más áreas particulares, o que los índices de diabetes están marcadamente mucho más altos para grupos particulares o para aquellos viviendo en áreas con mayores diferencias de ingresos. Si usted tiene los recursos, es sabio ver los resultados de su investigación en un número de maneras diferentes, ambos para encontrar cómo mejorar su programa, y aprender qué más usted podría hacer para afectar el asunto.

Interpretar los resultados.

Una vez que usted ha organizado sus resultados y que los revise a través ya sea de un análisis estadístico u otro que usted ya haya planeado, es el momento para descifrar qué es lo que significa su evaluación. Probablemente la pregunta más común que la investigación evaluativa es dirigida hacia si el programa que está siendo evaluado trabajo o hace una diferencia. En términos de investigación, que a menudo se traduce en “¿Cuáles fueron los efectos de la variable independiente (el programa, intervención, etc.) en la(s) variable(s) independiente(s) (el comportamiento, las condiciones, u otros factores que se intentaba cambiar)?” Existen un número de posibles preguntas a esta pregunta:

• Su programa tuvo exactamente los efectos en las variables dependientes que usted esperado y deseaba que tuviera. Estadísticas u otros análisis mostraron claros efectos positivos en un alto nivel de importancia para las personas en su programa y – si usted usó un diseño de grupo-múltiple – ninguno o muy pocos, con los mismos efectos para un grupo de control similar y/o para un grupo que recibía una intervención diferente con el mismo propósito. Su programa educativo en infancia, por ejemplo, grandemente aumentó los resultados de desarrollo para los niños de la comunidad, y también contribuyó a un aumento en el porcentaje de los niños que mejoraron en la escuela.
• Su programa no tuvo efecto. Su programa no produjo resultados significativos en la variable dependiente, por sí misma o al ser comparada con otros grupos. Esto significaría que no hubo ningún cambio como resultado del programa o la intervención.
• Su programa tuvo un efecto negativo. Por ejemplo, la violencia entre compañeros íntimos aumentó (o por lo menos parece ser) parte del resultado de su intervención. (Es relativamente común para los eventos reportados, tales como la violencia o las lesiones, que se aumente cuando la intervención resulta en una mejoría de vigilancia o facilidad de reporte).
• Su programa tuvo los efectos esperados y otros efectos también.
• Estos efectos podrían ser positives.Su programa de prevención de la violencia juvenil, por ejemplo, podría haber resultado en una reducción grande de la violencia entre los adolescentes, y podría también haber tenido resultados en una mejoría significativa del rendimiento académico por parte de los jóvenes involucrados.
  • Estos efectos podrían ser neutrales. El mismo programa de prevención de la violencia juvenil podría de alguna manera dar como resultado que los jóvenes vean más televisión después de la escuela.
  • Estos efectos podrían ser negativos. (Estos efectos son usualmente llamados consecuencias sin intención.) La violencia juvenil disminuyó significativamente, peor la incidencia de las jóvenes embarazadas o el consumo de alcohol entre los jóvenes podría aumentar significativamente al mismo tiempo.
  • Estos efectos podrían ser múltiples, o mixtos. Por ejemplo, un programa para reducir el VIH/SIDA podría disminuir los rangos de sex sin protección pero también podría aumentar el conflicto y los casos de violencia entre parejas.
  • Su programa no tuvo efecto o tuvo un efecto negativo y otros efectos al mismo tiempo. Como con los programas con efectos positivos, estos pueden ser positivos, neutrales; individuales o múltiples; o consistentes o mixtos.

Si su análisis le da una indicación clara de que lo que usted está haciendo está logrando sus propósitos, la interpretación es relativamente simple: Usted debería seguir haciéndolo, mientras trata otras maneras de hacerlo aún más efectivo, o mientras trata de alcanzar otros asuntos relacionados de igual manera.

Como lo hemos discutido a lo largo y ancho de la Caja de Herramientas Comunitarias, los programas buenos son dinámicos – constantemente buscando formas de mejorar, en vez de asumir que lo están haciendo de la mejor manera que puede ser.

Si su análisis muestra que su programa no es efectivo o es negativo, sin embargo –o, en ese caso, si un análisis positivo lo deja a usted preguntándose cómo hacer que sus esfuerzos exitosos sean aún más exitosos – la interpretación se vuelve aún más compleja. ¿Está usted usando un método absolutamente erróneo? ¿Está usted usando un enfoque que podría ser efectivo, pero está muy mal implementado? ¿Existe un factor particular que está contribuyendo a que usted no esté tomando en cuenta_ ¿ Existen barreras hacia el éxito – culturales, experiencias, características personales, discriminación sistemática – presentes en la población de la cual son los participantes? ¿Existen componentes particulares o elementos que usted puede cambiar para hacer a su programa más efectivo, o debería usted comenzar de nuevo de cero? ¿Hacia qué se debería dirigir para hacer un buen programa aún mejor?

Interpretación cuidadosa y muy perspicaz de sus datos podría permitirle responder a preguntas como éstas. Usted podría ser capaz de usar correlaciones, por ejemplo, para generar hipótesis acerca de sus resultados. Como lo hemos discutido antes, si los cambios positivos o negativos en variables particulares son consistentemente asociados con cambios positivos o negativos en otras variables, las dos pueden ser conectadas. (La palabra “pueden” es importante aquí. Las dos pueden estar conectadas, pero podrían no estarlo, o ambos podrían estar relacionados a una variable tercera de la cual no se está consciente o que se considera trivial.) Tal conexión puede mostrarle la dirección hacia un factor (p.ej., acceso al apoyo) que está causando los cambios en ambas variables, y que debería ser tratada para hacer su programa exitoso. Las correlaciones podrían también indicar patrones en sus datos, o podría dirigirlo hacia una manera no esperada de ver el asunto al que usted se está dirigiendo.

Usted puede a menudo usar datos cualitativos para entender el significado de una intervención, las reacciones de las personas hacia los resultados. La observación que los participantes están constantemente sufriendo de una variedad de problemas de salud podría ser localizado, a través de datos cualitativos, en problemas de nutrición (debido a la pobreza o a la ignorancia) o a restricciones culturales (algunas mujeres musulmanas podría no estar dispuestas – no ser capaces debido a una prohibición familiar - a aceptar la asistencia o tratamiento por parte de doctores varones, por ejemplo).
Una vez que usted organizó sus datos, tanto los resultados y cualquier cosa que pueda ser analizado estadísticamente necesita ser analizado lógicamente. Esto podría no brindar información convincente pero de seguro le dará algunas ideas para desarrollar a futuro, y algunos indicadores de conexiones y posibilidades que usted podría no haber considerado todavía. Eso también le mostrará algunos resultados adicionales - gente reaccionando de forma diferente al programa que antes, por ejemplo. Los números pueden decirle si existe un cambio, pero ellos no pueden siempre decirle qué lo causa o por qué (aunque algunas veces si lo hacen), o por qué algunas personas se benefician mientras otros no. Estos son a menudo asuntos que importan para análisis lógicos, o para el pensamiento crítico.

El análisis y la interpretación de los datos que ha recolectado lo llevan, de alguna manera, de vuelta al comienzo. Usted puede usar la información que ha obtenido para ajustar y mejorar su programa o intervención, evaluarlo de nuevo, y usar esa información para ajustar y mejorarlo aún más, mientras esté vigente. Usted tiene que mantener el proceso para asegurarse que se está haciendo el mejor trabajo que se puede hacer y para promover cambios en individuos, sistemas, y políticas que hagan a una comunidad más saludable y mejor.

Usted tiene que convertirse en un detective cultural para entender su iniciativa, y, de algunas maneras, cada evaluación es un estudio antropológico.

En resumen

El corazón de la investigación evaluativa es obtener información acerca del programa o la intervención que usted está evaluando y analizando para determinar qué le dice acerca de la efectividad de lo que usted está haciendo, así como acerca de cómo puede mantener y mejorar esa efectividad.

La recolección de los datos cuantitativos – información expresada en números – y llevarla a la inspección visual o al análisis estadístico formal puede decirle si su trabajo está teniendo los efectos deseados, y podría de igual manera ser capaz de decirle por qué o por qué no. Puede también resaltar las conexiones (correlaciones) entre las variables, y llamar la atención hacia factores que usted podría no haber considerado.

Recolectar y analizar datos cualitativos – entrevistas, descripciones de factores ambientales, o eventos, y circunstancias –pueden brindar una idea de cómo los participantes experimentan el asunto que usted está tratando, qué barreras y ventajas experimentan ellos, y qué se podría cambiar o agregar para mejorar lo que usted hace.
Una vez que usted haya obtenido el conocimiento que brinda su información, es hora de comenzar el proceso de nuevo. Use lo que usted ha aprendido para continuar a evaluar lo que usted hace al recolectar y analizar los datos, y continuamente mejorar su programa.

¿Qué queremos decir por recolectar información?

­­___Recolectar datos significa poner su diseño de un sistema de evaluación (medición) en operación

___Recolectar datos involucra reunir información a través de observaciones, entrevistas, evaluaciones, encuestas, y/u otras maneras; y organizarlo para que sea más fácil trabajar con ellos.

¿Qué queremos decir por analizar información?

___Analizar los datos involucra examinar la información que se ha recolectado de maneras que revelen las relaciones, patrones, tendencias, etc. que pueden encontrarse en ella.

___Los datos pueden ser cuantitativos (recolectados como números) o cualitativos (recolectados como información narrativa, registros, grabaciones, notas de diarios, etc.)

___Los datos cuantitativos son usualmente analizados al someterlos a uno o más muestras gráficas o a operaciones estadísticas que demuestran la importancia de relaciones entre las variables.

___Los datos son usualmente analizados lógicamente, al buscar patrones y relaciones reveladas entre ellos.

___Los datos cualitativos pueden algunas veces convertirse en datos cuantitativos, por ejemplo, al contar (p.ej., el número de veces que un comportamiento ocurrió en varias circunstancias) o al estimar en una escala numérica tales dimensiones como importancia, satisfacción, o calidad (p.ej., la calidad de vivienda o calidad de vida en los vecindarios).

___Una combinación de datos cuantitativos y cualitativos a menudo produce el mejor panorama general.

¿Por qué se debería recolectar y analizar datos para su evaluación?

___Esto puede mostrar si existió o no realmente algún cambio significativo en las variables dependientes las cuales esperaba influenciar.

___Esto puede mostrarle conexiones entre varios factores que podrían tener un efecto en los resultados de su evaluación.

___Esto puede implicar o mostrar las razones por las cuales su trabajo fue efectivo o ineficaz.

___Esto puede brindarle a usted evidencia creíble para mostrarle a sus financiadores y la comunidad que su programa es exitoso, o lo que usted ha revelado, y está arreglando, los elementos que son barreras hacia el éxito.

___Esto puede mostrar que usted es serio acerca de la evaluación y acerca de mejorar su trabajo.

___Esto puede mostrarle al área de trabajo que usted está haciendo sus trabajos bien, y así pavimentar el camino para que otros usen métodos y enfoques similares como las mejores prácticas.

¿Cuándo y por quién debería ser la información recolectada y analizada?

__ La recolección de datos debería de comenzar no más tarde de cuando se comienza a trabajar y debería de continuar a lo largo del proceso.

__ Si usted quiere ver si cualquier cambio es parte de la tendencia a largo-plazo, usted debería recolectar datos de los participantes un tiempo después antes de que su programa realmente comience.

___Si usted quiere entender los efectos a largo plazo, usted debería recolectar datos de los participantes un tiempo después de que ellos hayan dejado/terminado su programa.

___Los datos deberían ser recolectados y analizados por personas capaces de hacerlo.

___La recolección y análisis de datos puede ser hecho por cualquiera desde los miembros de la comunidad los cuales han sido entrenados hasta por profesionales con experiencia para realizar estudios.

¿Cómo recolectar y analizar información?

___Implementar el sistema observacional que usted ha planeado.

___Organizar los datos que usted ha recolectado.

___Llevar a cabo gráficas de datos, inspección visual , análisis estadístico, u operaciones en los datos como sea apropiado. Conduct data graphing, visual inspection, statistical analysis, or other operations on the data as appropriate.

___Tomar nota de cualquier resultado significativo o interesante.

___Interpretar los resultados.

Example #1: Santa Monica’s Use of Data to Lift All Boats: A Deeper Look

Four years ago, Santa Monica took a data-driven approach to become a true City of Wellbeing where everyone thrives. The city used a Wellbeing Index to produce a data-based guide for steering policy. The city used existing information from city departments and fresh input from surveys. The Wellbeing index sets a framework for priorities and promotes initiatives on health and wellness.

Contributed by Lia Thompson, University of Kansas, Community Tool Box Intern.

 

 

Una presentación en PowerPoint que resume los puntos principales de la sección.

• What is ethnographic information?

• Why might ethnographic information be important to evaluation?

• When might you want to collect ethnographic information?

• Who should collect and interpret ethnographic information?

• How do you gather ethnographic information?

• How do you interpret ethnographic information?

Someone watching a baseball game or cricket match for the first time might be baffled by seeing a batter perform a series of actions before each pitch – touching his helmet, knocking the dirt off his shoes, stepping out of the batters’ box. Any long-time fan, however, knows what’s happening: first, many players have superstitious or calming rituals they perform when batting; second, some of the batter’s motions may be acknowledgements of signals from coaches; and third, there is an intense psychological battle between hitter and pitcher that plays itself out in stalling, distracting motions and other actions meant to make it difficult for the opposition. Without this knowledge, the first-time observer sees only a series of random, seemingly purposeless actions and could be left with the impression that players are afflicted with a strange disease.

Understanding why people do what they do can be tremendously important in trying to understand a culture. When anthropologists want to understand a culture, they often immerse themselves in it, so they can study it from the inside. Margaret Mead popularized this type of research in the 1920s in Samoa, where she lived for nine months as part of an island community. A researcher who is embedded in a culture in this way can gain insight not only into what happens – how people go about their daily lives, what rituals they perform, what their celebrations are like, etc. – but also how members of the culture view what happens. They can begin to piece together the culture’s structure – the beliefs and assumptions that underlie everything people do and the world view that creates and supports them.

Depending on what you’re trying to change, your evaluation may have to look at more than just the behavior of individuals. The whole context of the community may be involved if, for instance, you’re attempting to address social exclusion based on race or gender or to alter a culture of violence. Deep knowledge of a community, or a segment of it, can’t necessarily be gained by administering tests or counting the number of times individuals perform certain actions. Rather, it takes an understanding of the community’s whole world view and what leads to it – whether religion, social or political factors, economics, some combination, or something else entirely. That kind of deep knowledge may best be gained by immersion in the culture of the community you’re serving. This section will explore the use of ethnographic research – the kind of cultural immersion we’ve been describing – as a method for evaluation.

What is ethnographic information?

Ethnographic information is data about a particular culture or group gathered specifically from members of that culture or group, defining and using their own perspective and world view as much as possible. It’s meant to provide an understanding of the culture from the inside – to describe and explain its assumptions, customs, and accepted behavior from the point of view of those who live by them.

These can include community norms, health conditions and knowledge, political realities, religion, economics, and world view.

The terms “culture,” “group,” and “community” are all used in this section to refer to a group that can be seen as having its own set of norms and practices and the formal or informal rules that guide them. By that definition, we may be referring to a culture as large as that of a whole ethnic or religious group (e.g., Latinos, Hindus, Navajos) or as small as that of a single elementary school classroom. It may encompass people of many backgrounds (e.g., English as a Second or Other Language students; low-income families) or people from a single neighborhood or informal settlement. No culture or group or community is completely homogeneous, of course, – not everyone thinks and believes exactly the same things as everyone else – but you can generally find basic cultural elements on which most people agree, and those are what define the culture.

Community norms. These encompass what the community or group considers normal and acceptable in everyday behavior and activity. We can look at community norms through a number of filters:

• Gender roles. These define what men and women are each expected to do, how they’re expected to act, dress, etc., and how they are expected to relate to one another in different circumstances.
• Social structure. Social structure establishes who is accorded higher status in the community, how one gains status, how social groups are made up and what forms they take, and who are the social arbiters – those who make the rules or set the standards. It also defines who is considered lower status, who is socially excluded, and how possible it is to improve one’s status through merit, entrepreneurship, illegal activity, education, etc. It also determines whether and how the community’s world is divided up into social classes or hierarchies, and whether some are perceived to have higher status than others.
• Behavior. What is considered acceptable behavior and language in public? This encompasses, for example, how people greet one another (and how much this depends on status, gender, age, etc.). It also refers to how they respond to real or perceived compliments and insults (and what are considered compliments and insults), ritual or other behavior unique to the population, and behavior accepted or condoned (or encouraged) by the community. Most communities and groups also set standards for behavior that is so unacceptable or harmful to the group, whether public or private, that it is punished in official ways, including exclusion from the group.

In some communities and cultures, behaviors that people in other communities and cultures have come to consider unhealthy or antisocial are seen as acceptable – if sometimes regrettable – or normal. Domestic and other physical violence, alcoholism, racism and racial discrimination, smoking, traffic violations – even slavery – are examples of illegal, unethical, unhealthy, or undesirable behaviors that have been or still are tolerated in some communities.

Understanding the level of tolerance or encouragement for these kinds of behaviors is absolutely necessary for understanding how to change them. An ethnographic investigation can show you how people view your efforts, and what you can do to make it more likely that they’ll respond to your program or initiative.

Health conditions and knowledge. What do the folks you’re concerned with know about health and health conditions in general and in the community, and what healthy (or unhealthy) practices do they engage in? Some areas to examine:

• Knowledge about and practices related to prenatal, infant, and child health.
• The understanding and frequency of the effects of drugs, alcohol, and tobacco, and of addiction in general.
• Awareness of chronic or other health conditions that are common in the community, and of environmental threats or benefits to health.
• Knowledge about nutrition and physical activity, and their relationship to health, as well as practices that reflect that knowledge.
• Engagement in regular health screenings, vaccinations, and other health protection strategies.
• Relationships with a regular primary care provider whom people see regularly.
• The percentage of the population with access to health care.

In the developing world, how many people have access to clean drinking water, sanitation, and basic medications? Do they know how to treat dysentery and other common diseases in order to prevent infant mortality? How far must they go to see a health care provider, and will they consider doing so?

 

Power and Political realities. Who holds positions of power? Who are the opinion leaders and policymakers? How is power exercised – formally or informally, fairly or ruthlessly, for self-interest or the public good? How are civic goals or actions accomplished (or are they at all)? Who is or feels powerless? Whose concerns are most often attended to? Are laws enforced differently for some people than for others? The answers to these and similar questions can help paint a clear picture of the power relationships and political realities of a community or group.

Religion. Faith can be a complex issue, since the extent of its influence, depending upon the population, can range from none to all-encompassing. How large a role does religion play in the daily life of the community? How does religion affect daily life? Asking more specific questions along these lines can help you develop a picture of religion’s role in the community:

• Are most people in the community of one faith, or is it made up of members of a number of different faiths, as well as many with no religious affiliation?
• What roles do religious institutions play – spiritual guide, social center, political adviser, information source, community leader (in the person of the clergy), or some or all of the above?
• If most of the community subscribes to a particular religion, how inclusive and tolerant is it of different beliefs?
• What are the major elements of the belief system (e.g. tolerance, alms-giving)?
• Do people try to convert others?
• Do they understand and believe in the separation of church and state?

Economics. What is the community or group’s economic situation?

• Is there a problem with unemployment or underemployment?
• Is the community dependent on a single industry, occupation, or employer (e.g., manufacturing, farming, a military base)?
• Is there discrimination in hiring or promotion? Against or in favor of whom?
• How does the community view education in relation to economic opportunity, and how good is its education system?
• How strong is its work ethic?
• How easy is it to advance economically?
• Is decent housing affordable and available?
• Are most people able to provide for their families’ basic needs, or is poverty a serious problem? Homelessness? Hunger?

“Basic needs” is a relative term. In a village in a developing country, it may mean one or two meals a day, a simple one-room shelter, access to water and firewood or other cooking fuel, one change of clothing (which may or may not include shoes), and occasional basic health care. In the developed world, it usually means three substantial meals a day; a solid, enclosed, multi-room dwelling that includes a modern kitchen and bathroom; decent clothes for all weather conditions; regular access to health care; and even such amenities as a telephone, a TV set, and – at least in rural areas – a vehicle. The definition of “basic needs” (beyond what it takes simply to survive) depends on what is normal for the rest of the society.

• How large are the disparities in income and wealth? What groups experience greater disparities?

World view. This idea overlaps with several of the categories above and encompasses the way individuals in a community (and, therefore, often the community as a whole) see themselves and their lives. A “world view” is really the set of assumptions about the “rightness” of things that everyone applies to the world around her. Some of the most important elements of world view are:

• Attitudes toward authority. There are three elements here: how authority is defined; which definition, if any, is considered legitimate; and how authority is viewed and treated. The definitions can vary from authority that comes from official position (judges, police, teachers, politicians, bureaucrats) to authority enforced by physical or economic power (warlords, gang leaders, employers and supervisors) to authority conferred by knowledge or respect and position in the social structure (elders, doctors, business leaders, clergy, academics, individuals known for their integrity and intelligence). Who is considered legitimate authority depends on loyalty and solidarity (you give your allegiance to “one of your own”). So the gang leader of the same ethnic background as most people in the neighborhood may wield more authority than the police. It also relates to who has real power (that same gang leader can have you beaten – or worse – if you disobey) and who can best advance the community’s interests. For instance, many Palestinians voted for Hamas in the 2006 election not specifically because they supported the violent overthrow of Israel, but because they believed that Hamas could improve economic conditions for Palestinians in the West Bank and Gaza. The basic view of authority might range from unquestioning respect (authority is always right and must be trusted and obeyed) to profound lack of respect (authority is always self-serving and wrong and must be resisted actively or passively).

Obedience to authority has been of tremendous importance as a topic in history. The obvious example is that of Nazi Germany in the 1930s and ’40s, where much of the population blindly followed an authoritarian government into world war, wholesale murder, and genocide. We have since apparently seen many other examples, where blind obedience to authority – or the resistance to that obedience – has led to violence, overthrow of governments, and yet more genocide. Street and gang violence can be a result of ignoring authority altogether. The questions of how a culture views authority and whom it considers to be legitimate authority are extremely significant, and may have a great deal to do with your evaluation and the success of your initiative.

• Sense of efficacy and control of the environment. Do people see their lives as totally or mostly under their own control, or out of their control entirely? Do they feel their actions make a difference, or that they can effect change in their lives or in the community? If not with them, where do they think control lies? With politicians? With the wealthy? With those who exercise control by force? If the population is made up of many young people (or socially excluded groups), what is their sense of control or lack of control?

Control might be seen to reside in a person or a group of people in “official” authority (the President, the landlord, the school principal, the boss, parents, police); in an institution or set of institutions (government, welfare, the university, the church, the army); in a set of legal, ethical, or religious principles (the Constitution, Islam, the law, the Hippocratic Oath); in the conventions of a group of which the individual is a member (Latinos, the football or soccer team, upper class, the Catholic Church, etc.); or in the decisions and actions of the individual herself. The way an individual sees her ability to control her life depends on a number of factors, including family background and upbringing, education, emotional issues, and life experience. Obviously, perspectives on this issue will differ among individuals even in a highly homogeneous community, but community norms generally reflect the views of most community members.

• Relationships and trust. Do members of the population see most others as generally trustworthy, or is trust reserved only for family or for those within a small inner circle? Are marital (or, among youth, sexual) relationships viewed differently by men and women, and, if so, how? How are marital relationships viewed in general (positive, negative, mutually supportive, exploitative, etc.)? Are children indulged, beaten, expected to work, treasured, seen as burdens? Are there spoken or unspoken rules for economic and social relationships, and relationships among people of different economic and social classes?
• Obligations and rights. Do most members of the community or group feel obligated to consider the general interest as well as their own? Do they see the group as a community, or does their sense of obligation extend only to family and/or close friends? What do they expect from the community or group? What rights do they feel they can exercise, both in the larger society and in the community?​

The issue of rights and obligations can vary tremendously with the nature of the group or community in question, and with the nature of the society that group is part of. In a farming village in a developing country, people may grow up with a sense of obligation to others because everyone in the village is dependent on everyone else. If one family’s crops fail, the village may feel obligated to feed them, knowing that the next year, it could be one of the helping families that is without food. The same might be true, at least to a certain extent, in small towns in the more industrialized world.

In large cities, neighborhoods may be like villages and small towns, if many residents have grown up there or lived there for many years, or they may be impersonal places where people seldom know their neighbors and feel very little sense of obligation to them. More often, if people feel an obligation at all, it’s to their particular group, however it’s defined, and/or to the society as a whole. Obligation becomes more an expression of principle, whether religious or ethical/philosophical, than a personal connection to a group of others with whom one lives.

The same may be true for rights. In the Global North, we take for granted a certain set of political rights under the law – rights to property, to political choice (voting), to fair and equal treatment under the law, etc. When those rights don’t exist or are often violated, people may define their rights more locally, in terms of the obligations owed to them by those in their group or community (I helped your family get through a bad time last year, and I have a right to your help this year.)

• Tolerance and inclusiveness. Is the community or group inclusive – does it welcome those from other communities and cultures and generally accept their differences? Does it discriminate against or distrust “outsiders”? Are there laws or customs that guarantee everyone’s rights, and are they honored or enforced? Are behaviors that are different tolerated? Who is socially excluded, and what basis (e.g. racial or ethnic group, social class).
• Sense of identification. How do members of the population identify themselves, and with whom do they identify and claim solidarity? Family? Ethnic group? Peer group (teens, musicians, political party, close friends, sports team)? Community (neighborhood, municipality, state, region)? As individuals, or simply as part of the human race?

You may not need to know about all these aspects of the community unless the issue you’re dealing with is so rooted in the culture (racism or gang violence, for example) that you really can’t understand the context of your evaluation without understanding the culture as a whole. It’s more likely that you’re concerned with a specific situation, and you’ll need to focus on gathering ethnographic information as it relates to that situation. (How do young people who leave school view education, for instance? What can you learn from an ethnographic investigation that can make it more attractive to them?)

The major points about ethnographic information are these:

• Ethnographic information is obtained directly from those who live in the community of interest. In the case of gathering information for an evaluation, that means participants in a program or initiative, or the specific group in which they’re members (Black men over 40, Hispanic teens, single mothers, non-English speakers, unemployed workers, etc.) It’s not exactly the same as simple qualitative information, although some researchers see it that way, but rather a specific and more focused instance of qualitative information gathering. (See Chapter 3, Section 15, Qualitative Methods to Assess Community Issues, for more about qualitative data.)
• The gathering of ethnographic information takes place in a natural, rather than an artificial setting. That means it happens in the environment where people in the group normally spend their time. If you’re running a program, you want to understand participants’ normal lives, not just the ways they behave and function in the program.
• Ethnographic information is meant to help you understand a culture from the point of view of its members.
• Ethnographic information is simply descriptive, not judgmental. Valuing may come later, but the point of the research is simply to understand how the individuals you’re concerned with see the world, and how they understand and view what they do. That can give you the entry you need to devise or revise programs in order to effect change and improvement.

Why might ethnographic information be important to evaluation?

In many circumstances, ethnographic information explains why approaches work or don’t work in ways that quantitative information can’t.

The U.S. Census Bureau used ethnographic studies to understand what populations were undercounted and why. The bureau had long acknowledged the difficulty of counting people who were homeless but knew that many others went uncounted as well. By using interviews, observation, surveys, and other methods, investigators found that undercounting resulted from several factors:

• Record-keeping errors (uncounted residences listed as unoccupied or nonexistent, which in fact did exist and were occupied)
• Different definitions of residence (some older or young family members might have their care shared by several siblings or cousins and might live with different people at different times so that their permanent residence was difficult to determine)
• Attempts to avoid losing benefits (men living with women receiving public assistance would simply not be reported)
• General distrust of government, especially among those who were in the country illegally
• Difficulties with reading or understanding the census form
• Difficulties with English (no accommodations for other languages)

As a result, the U.S. Census Bureau decentralized some of the data collection function, put more collectors on the streets, simplified and translated the form, and made other adjustments trying to include as many as possible of those previously uncounted. None of this information would have been found and none of the adjustments to address the issues it demonstrated would have been made without an ethnographic approach in the areas where undercounting was most common.

Ethnographic information gives real insight into the ways participants or beneficiaries of programs and initiatives experience them, as opposed to what staff members and others predict or think about how they’re experiencing them. Successful programs learn how their participants are actually experiencing the program (e.g. delays, how people are treated, time and effort to participate). An ethnographic study can help you understand if and why there’s a gap between how you view your program or initiative and how participants actually see it.

Ethnographic information helps clarify what needs to be addressed in order for participants to respond to your approach. If there are differences in the ways you and the participants see your work, an understanding of their point of view can help you make adjustments that will either make clearer to them what the intent of the program is, or adjust the program so it starts closer to what they perceive and moves toward your shared goals.

Ethnographic information can clarify the issue and its effect on, and importance to, the population of interest. Seeing the issue you’re concerned with from the perspective of current and potential participants – its seriousness, its effect on their lives, its causes, its possible alternatives – can guide the way you frame your program for greatest effectiveness.

Ethnographic information can help you gain a clearer and more complex understanding of the culture you’re working with, so you can make better plans and adjustments in the future. A true picture of the culture of the community or group can inform all your work, and allow you to participate in that culture, to be a better advocate, and to plan and run more effective initiatives in the future.

When might you want to collect ethnographic information?

Ethnographic information is useful, but an ethnographic study, even a very specific one, takes some effort. Especially if you’re part of a small community-based or non-governmental organization, you may not want to spend staff or volunteer time on gathering information that isn’t really necessary. When might ethnographic information in fact be necessary?

• When you’re engaged with a population or cultural group that you’re not familiar with or part of. Ethnographic information can prevent you from unintentionally causing harm, or from ignoring “obvious” factors that everyone in the population takes for granted and that might be key to the success or failure of your program.
• When you’re working with a clearly-defined group that has had a chance to develop its own culture. This might be a class, a church, a gang, a club, a team … any group that has been together long enough to have created norms for itself that might be even slightly different from those of the larger society. The more mainstream the group, the easier it is to miss these norms and to misunderstand how to approach them.
• When an understanding of the context and culture of the community is fundamental to what you’re doing. If you’re addressing an issue, such as racism or violence, it’s essential to understand the real attitudes of the people you’re working with – not only what they think, but why they think it, how they react to various aspects of the issues, what the history is for them, etc. If you don’t understand that at least part of the attraction of a gang is that it functions as a family for kids who often have no real connection or belonging to their actual family, you’re not likely to be able to make any headway in working with gang members.
• When you’re addressing, as is often the case in an evaluation, a focused, clearly-defined situation that involves a specific population group. Understanding exactly how that population sees that situation (e.g., a job training program, or an initiative to increase physical activity among children) will make it easier to understand what is and is not working and why.

Who should collect ethnographic information?

This depends on such factors as how much time you have, whether you already have a foothold in the community (or are part of it), the size of the group you’re concerned with, your financial resources, etc. In some circumstances, anyone trained to do so can become a participant or non-participant observer; in others, you might do best to get the cooperation of one or more key individuals in the community. When outsiders are universally mistrusted, the information might best be gathered by actual members of the community who are trained in interviewing and other data collection techniques.

How do you gather ethnographic information?

Now that you’ve decided to gather and use ethnographic information in your planning and evaluation, how do you go about getting it? The first step is to decide what kinds of information you need. Then you’ll have to determine how to get it, gain the trust of the group you want to learn about, plan your field study, and carry it out.

1. Decide what kinds of information you need. As we’ve discussed, you might want to understand the whole context and content of the group’s culture, or you may only be concerned with a very specific topic. If you’re dealing with a distinct cultural group – one defined by ethnicity or religion, for instance, whose culture has developed over centuries – gaining an understanding of the whole culture may take years. If, on the other hand, the group is part of the general culture – a middle school classroom, a workplace – but has developed a culture of its own within that confined physical and psychological space, a useful ethnographic study may only take days or weeks. In most cases, when you’re gathering ethnographic data for an evaluation, you’ll be looking at culture in relation to a very specific topic.

To conduct ethnographic research on a specific topic, you have to make sure you’ve defined that topic well enough so that you can zero in on it in your observations and conversations. What exactly is it that you need to understand about your population that will inform your evaluation? One question often asked is “How do participants (or members of the population that participants are drawn from) view the program or initiative?” Other related questions might be asked as well: Is the program and its activities culturally appropriate and respectful? Are participants’ goals similar to those of the organization, or are they very different? Are there cultural advantages or barriers that make it more or less likely that the program will succeed or that individuals will be able to participate? What would enhance those advantages or remove those barriers? Are cultural differences between participants and staff or volunteers – or cultural ignorance on one or both sides – getting in the way of program effectiveness?

Suppose, for example, you want to find out how an ESOL (English as a Second or Other Language) program was viewed by students. In this case, you’d be dealing not with a coherent ethnic or religious culture, but with the culture of the classroom, unless all the students came from the same background.

Some questions you might ask:

• How do the ESOL students view education (as something for the upper classes, as necessary for them and their children, as an imposition, as time away from earning a living, as a ticket to a better life, as part of becoming part of the country)?
• How do they view teachers (great respect, fear, intimidation, scorn, confusion)?
• How do they approach their learning (enthusiastically, with a strong work ethic, with no knowledge or experience of how to do it, collaboratively, with fear and trepidation, hopefully)?
• What are the cultural barriers to learning? The cultural advantages? (In many families, for example, family support may be an extremely important factor.)
• What arguments for learning and techniques of teaching do students respond to?
• What do they discuss among themselves?
• Are there intercultural dynamics in the classroom, rooted in people’s cultures, that enhance or detract from the learning environment (gender discrimination or racial or ethnic prejudice, for instance)?

Answers to these and other questions might lead to such adjustments as restructuring classes by language group or ethnicity, changing the vocabulary and topics discussed in the course of lessons, changing the atmosphere in the classroom to be more or less teacher-centered, assigning more or less independent work and more or less group work, changing the teacher-student ratio, etc.

Knowing what kinds of questions you want to answer will help you plan whom you need to gather information from, how long it might take, and – perhaps most important – how you should go about it. (We’ll look at that in more detail when we discuss planning a field study.)

2. Determine what you have the resources to do. If you’re part of a small non-governmental organization (NGO) serving Haitian immigrants, it’s unlikely that you’ll have the money or the time to spend two years in Haiti. You may have the resources to spend a good bit of time in your participants’ neighborhoods, however, learning about their assumptions and their lives. That will probably be far more useful ethnographic information for your evaluation than a years-long study of Haitian culture, anyway.

3. Gain the trust of the group you’re engaged with. If you’re an anthropologist looking for a site to conduct a field study, you’ll have to find an appropriate situation, perhaps get permission to travel there (if you’re venturing onto tribal lands, for instance), find the people you’re looking for, and convince them not only to let you stay but to answer your questions, show and explain to you their ways and customs, and help you understand their lives.

In the case of an evaluation, you won’t have to choose your field study site – it’s the program you’re evaluating and/or the community from which your participants come. But no matter whether you’re an outside evaluator or you’re gathering ethnographic information from your program’s participants’ community (Hispanics, laid-off workers, Haitian immigrants, migrant laborers), you’ll have to establish enough trust so that people will tell and show you what you want to know.

This is easier if you have a presence in the community of concern – if your program has been running for a while and has the community’s support and respect, for instance. You may already know and have the trust and support of many in the community who can vouch for you and what you’re doing.

Often the best strategy is to enter the community under the auspices of someone community members trust – a clergy person, a community leader or tribal leader, a respected long-time community member or elder, a coach, etc. This is often how a new program is introduced to a community.

An ESOL program in a community with a large Portuguese population received a boost when the outreach worker helping to establish it made contact with the president of the local soccer club. The club’s headquarters and teams were central to the social life of the Portuguese community, and when the club president began promoting the program, the community immediately accepted and flocked to it.

If you can’t do that, then you’ll have to gain entry on your own. Find out where you can meet community members – sports events, festivals, bars and cafes, parks, shopping places, etc. Choose a place that’s comfortable for you to start with, since you’re far more likely to make others comfortable with you if you feel comfortable yourself. (If you don’t normally spend time in bars, you may not want to start with bars, for example, unless that’s the only place to meet the population you’re interested in. If you’re a sports fan or athlete, the local soccer field or recreational center may be the best place for you to start.) Also make sure it’s a place that feels safe and comfortable to people you’re likely to approach, so they don’t feel threatened or rudely intruded upon. Once you start meeting people, they’ll introduce you to others.

4. Plan your field study. The core of ethnographic research is the field study. This is essentially your observational system (see Section 3 of this chapter). It involves going into the normal environment of the population of interest and observing and interviewing members there, rather than in an artificial environment such as an office or laboratory, or under artificial conditions such as a test or an experiment. This could involve anything from spending time in the ESOL classroom we’ve talked about to living for years in a West African village to working for a year or two in an auto assembly plant. Most ethnographic information for evaluations is likely to be the kind that focuses on a specific topic and that can be collected over the course of the evaluation – usually a year or less.

By this point, you’ve already done some of the work planning your field study. The basic steps are:

• Decide on your questions. You may have already set these out when you determined what information you needed. They’ll probably be related to, but not the same as, your evaluation questions. They’re meant to inform your evaluation questions by providing such information as how participants perceive the program and their (and your) role in it. Questions might be focused on a specific topic (See “How do ESOL students perceive their classes?” above), or might be more general and relate to the larger elements of the culture. They should make sense in terms of the group you’re concerned with (i.e., they should be able to be answered by observation and/or interviews and other methods of data collection) and in terms of the evaluation (they should give you information that helps you look at what you’re doing and adjust it for the better).
• Determine what method(s) you’ll use to gather information. There are a number of ways to gain insight into the culture of a community or group:
  • Individual or group interviews can range from casual conversation to relatively formal, recorded semi-structured or structured interviews.
  • Participant or non-participant direct observation.
  • Casual interaction
  • Participation in community events, celebrations, work, etc.
  • Surveys. If you use them, they should be open-ended (e.g., Tell me about…), rather than agree/disagree.
  • Third-party informants (others with knowledge).
  • Documents – texts, AV, budgets, posters, brochures, manuals, art, etc. – by, about, important to (religious texts, for example), and directed at (instructions, policies) the group.
  • Demographic data and public records – census, court records, public health data, etc.
  • For more detail on several of these data collection methods, see Chapter 3, Section 15, Qualitative Methods to Assess Community Issues.
• Decide whom you’ll need to contact for information, and how. These may be specific people, chosen for their position in the community, appropriateness for the research at hand, or particular characteristics; or they may simply be members of the general population – whoever you happen to be able to make contact with. Will you contact targeted individuals directly, by mail, e-mail, personal approach, or phone? Will you contact people at random – striking up conversations at community events, approaching people in public places, knocking on doors? Or, will you work through intermediaries – community leaders, clergy, translators, etc.?

Ethical considerations: Ethically, your first obligation is to those whom you’re studying. The essentials include informing people about the existence and purpose of your research and obtaining their permission to be included; giving them the choice of anonymity and honoring their decision; giving them access to the final report if they wish; and being careful not to exploit or harm them.

While ethnographic research is by its nature subjective, you also have ethical obligations to be as truthful as possible about what you see, hear, and experience, and to paint as clear a picture as you can of the culture in question. Your interpretation of your data will undoubtedly be colored by your assumptions, experience, and background (and by the norms of your own culture), but your description of the group and its individual members should be impeccably accurate with biases filtered out. (See Chapter 19, Section 5, Ethical Issues in Community Interventions, for a more detailed discussion of research ethics.)

5. Carry out your fieldwork and keeping fieldnotes. An ethnographic study requires fieldwork – going to where the population you want to find out about is and observing and interacting with them in their own environment. That might be as simple as walking down the street to a particular corner or as complex as flying into a remote Arctic village on a seaplane. Whatever the character of your study, the elements of it will be the same.

Fieldwork is really carrying out the details of your plan – establishing trust, contacting people, and gathering information using the methods you worked out beforehand. You might find yourself changing some of your strategies and adjusting to the conditions and the people as you learn more about them. Your understanding of the culture will evolve as you get deeper into it and observe, listen, and participate more. This evolution should be reflected in your fieldnotes, both as they describe what you’ve seen, heard and taken part in, and as they describe your own reactions to your experience.

Fieldnotes are notes taken about your conversations, observations, and other data collection. They should be taken during or as soon as possible after each visit, conversation, experience, etc., before memory fades or changes. Where possible, audio and/or video recording is helpful to get an accurate rendering of what was said and done.

Elizabeth Chiseri-Strater and Bonnie Stone Sunstein (FieldWorking: Reading and Writing Research, 1997. P. 73. Blair Press: Upper Saddle River, NJ.) propose a list of elements that should be included in all fieldnotes:

• Date, time, and place of observation.
• Specific facts, numbers, details of what happens at the site.
• Sensory impressions: sights, sounds, textures, smells, tastes.
• Personal responses to the fact of recording fieldnotes.
• Specific words, phrases, summaries of conversations, and insider language.
• Questions about people or behaviors at the site for future investigation.
• Page numbers to help keep observations in order.

Fieldnotes come in four categories, which should be separated to reflect different forms and functions (from How to Do Ethnographic Research: A Simplified Guide, by Barbara Hall (U. of Pennsylvania):

• Jottings are the brief words or phrases written down while at the fieldsite or in a situation about which more complete notes will be written later. Usually recorded in a small notebook, jottings are intended to help you remember things you want to include when you write the full-fledged notes. They’re the kind of notes that newspaper reporters take when they’re talking to sources about a story. Although not all research situations are appropriate for writing jottings all the time, they do help a great deal when sitting down to write afterwards.
• Description of everything you can remember regarding the occasion you are writing about - a meal, a ritual, a meeting, a sequence of events, etc. While it is useful to focus primarily on things you did or observed that relate to the guiding question, some amount of general information is also helpful. This information might help in writing an overall description of the site later, but it may also help to link related factors to one another or to point out useful research directions later.
• Analysis of what you learned in the setting regarding your guiding question and other related points. This is how you will make links between details and the larger things you are learning about how culture works in this context. What themes can you begin to identify regarding your guiding question? What questions do you have to help focus your observation on subsequent visits? Can you begin to draw preliminary connections or potential conclusions based on what you learned?
• Personal reflection on what you learned. What was it like for you to be doing this research in this context? What felt comfortable for you about being in this situation and what felt uncomfortable? In what ways did you connect with informants, and in what ways didn't you? While this is extremely important information, be especially careful to separate it from analysis.

In evaluation, this information can help you identify your biases, and may make it clearer why your program is less effective than you’d like, or how it’s challenging or in conflict with some of the participants’ important beliefs or assumptions. (Challenging beliefs and assumptions isn’t necessarily wrong, but denying them – even if you find them unacceptable or clearly misguided in some way – is usually counterproductive. Challenging is asking people to reassess their actions or assumptions; denying is telling them they’re wrong or stupid.) If you’re ignoring your participants’ culture, or presenting things in ways that they’re likely, for cultural reasons, to understand differently, you may not be reaching them, and may, in fact, be driving them away.

These notes are the basis for the study, so their timeliness, completeness, and accuracy are extremely important.

How do you interpret ethnographic information?

The ethnographic information you’ve gathered won’t do you any good unless you use it to understand the dynamics of your program and the results of your evaluation. You can begin by organizing your fieldnotes and whatever other information you’ve collected.

Organize the final version of your completed notes. Categorize them by patterns, by demographics (gender, age, education level, socio-economic status, etc.), by topic or theme– whatever makes sense in relation to what you were trying to find out. Sometimes, this may mean categorizing them in more than one way. Often, just the act of putting your notes together in particular ways can reveal patterns or highlight issues you weren’t previously aware of.

Starting from the point of view of your original interest, write up a description of the culture as you understand it to be seen by its members. Depending on your purposes, this might range from a complete description of the culture to a very narrow description of how members of that culture – a village, an office, an agency, a consumer sector, a country – perceive a particular aspect of your program.

This type of description can encompass great complexity if you’ve gotten a true picture of the culture you’ve been studying. Many elements may fit together in patterns you didn’t expect, and these may stand out as you put all your information together or organize it in certain ways. The goal here is to understand how the elements of the culture blend and influence one another, and how those elements and the culture as a whole affect participants’ performance, responses, behavior, communication, etc., in your program or initiative. That understanding can lead to adjustments that will make the program more successful with the group intended to benefit.

Let’s look at that ESOL program again. If most of the class members are from a culture where women defer to men as a matter of course, it may be difficult to persuade women in a coed class to participate actively. This is a particular problem in such a class, because the teaching method is based in part on encouraging as much speaking in English as possible from the beginning. If women are reluctant to speak out – even if their grasp of the new language is improving – their progress will be slower.

Understanding the underlying reasons for women’s silence in class allows the instructor to respond to the real situation, rather than simply assuming that the women don’t get it, or that calling on them will solve the problem. One solution is to break the class up into single-gender groups for part of each lesson. (This could be explained either forthrightly – to give the women a chance to speak more – or as a way to let men and women discuss what interests each.) Another is to explain that in this country, at least in public, customs are different, and that women need to learn to speak out so that they’ll be able to hold their own in shopping, jobs, and other daily tasks. Whatever the method, knowing the reasons for the women’s silence makes devising a solution possible.

Reexamine the analyses from your field notes. What did you find out about the culture’s perceptions, norms, and customs as they interacted with the focus of your questions? Seeing the study whole, do you still agree with most of your initial analyses? Set aside those ideas you think are probably incorrect or misinformed, and reformulate analyses to replace them that reflect your subsequent learning, if you haven’t already.

Try to understand the answer to your original question from the point of view of those you’re concerned with.

• Do local people see the question in the same way you do?
• Are there factors you didn’t know about that affect their perspective on the answer to the question?
• Are there factors that they perceive or act on in a different way than you expected?
• How important to the group is what’s important to you?
• Do you and they have the same expectations for outcomes? If so, do they have the same expectations about how to get to those outcomes? If not, are your and their expectations in opposition or totally different? Are they starting with the same view of reality that you have?
• Do some of their perceptions, cultural norms, or culturally-rooted behaviors present barriers to the success of your program that you’re either already working to counter or could work to counter?
• Do some of their perceptions, norms, or culturally-rooted behaviors support the success of your program in ways that you do already or could take advantage of?
• Does the program have unintended or unexpected consequences – positive or negative – as a result of cultural factors?

Some possible examples from our ESOL class: Are the younger members of the class intentionally holding back in answering questions or even in demonstrating their developing English skills so as not to show up or embarrass older class members whom they have been taught to defer to out of respect? Are class members specifically slowing down the rate of learning/instruction to that of the slowest learners so as not to embarrass anyone? Are there conflicts caused by cultural differences along these lines?

Translate what you’ve learned about participants into supporting information or answers to your evaluation questions. Some of the questions you might want to pose for yourself include:

• How do the culture, attitudes, and norms of the population you’re engaged with affect the effectiveness of the program for them?
• Are your methods appropriate for the culture you’re working with?
• Are you creating rather than eliminating barriers with some of your activities or methods, or, indeed, with your program as a whole?
• How can you make things easier and more rewarding for participants?
• What are you doing that is most effective? Can you understand from your ethnographic data why it is effective?

Continue to gather ethnographic information to guide your work. Just as evaluation continues as long as your program or initiative lasts, your ethnographic investigation should continue as well, so that you can use the information to continue to improve your program and adapt it to the culture of the community.

In Summary

Ethnography – the attempt to understand a culture from the perspective of its members – can be extremely helpful in conducting a valid evaluation of a program or initiative. Ethnographic information can tell you why participants behave or respond in certain ways, what parts of your program conflict with or are reinforced by participants’ cultural norms, and why particular program elements are more or less effective. This knowledge can help you adjust what you’re doing to be more effective and more valuable for participants.

The culture you’re engaged with might be as small and self-contained as that of a classroom or as large as a major world religion or ethnicity. Whatever the case, an ethnographic study involves approaching the culture from the inside by embedding yourself in it to the extent possible. That may mean spending many days in that classroom, observing and talking to the teacher and students, or spending years in another country, absorbing the language, customs, and behavior that define it as a distinct culture. You’ll have to decide whether an ethnographic study is necessary for your evaluation, and, if so, what resources you can devote to it.

Planning and conducting an ethnographic study requires deciding on the information you need and the resources you have to devote to it; gaining access to the group you’re interested in; choosing your specific research questions, the methods you’ll use to collect information, and whom you’ll collect it from; and then carrying out your plan, taking careful notes and/or audio or video recordings of your observations and conversations throughout. Organizing and analyzing your notes and other information can then give you a picture of the group’s culture that can help you better understand your evaluation results and improve your program. Continuing to gather ethnographic data will result in a continuing growth of your understanding and knowledge, and, ultimately, can mean a more successful program.

We encourage the reproduction of this material, but ask that you credit the Community Tool Box: /.

What is ethnographic information?

__ Ethnographic information is information about a particular culture or group gathered specifically from members of that culture or group, defining and using their own perspective and world view.

__ Elements of ethnographic information include:

• Community norms
• Health conditions and knowledge
• Power and political realities
• Religion
• Economics
• World view

__ Ethnographic information is obtained directly from those who live it.

__ The gathering of ethnographic information takes place in the environment where members of the culture normally spend their time (natural setting).

__ Ethnographic information is meant to help you understand a culture from the point of view of its members.

­­__ Ethnographic information is simply descriptive, not judgmental.

Why might ethnographic information be important to evaluation?

__ In many circumstances, ethnographic information explains why approaches work or don’t work in ways that quantitative information can’t.

__ Ethnographic information gives real insight into the ways participants or beneficiaries of programs and initiatives experience them.

__ Ethnographic information helps to clarify what needs to be addressed in order for participants to respond to your approach.

__ Ethnographic information can clarify the issue and its effect on and importance to the population of interest.

__ Ethnographic information can help you gain a clearer and more complex understanding of the culture you’re working with, so you can make better plans and adjustments in the future.

When might you want to collect ethnographic information?

__ When you’re engaged with a population or cultural group that you’re not familiar with or part of.

__ When you’re working with a clearly-defined group that has had a chance to develop its own culture.

__ When an understanding of the context and culture of the community is fundamental to what you’re doing.

__ When you’re addressing, as is often the case in an evaluation, a focused, clearly-defined situation that involves a specific population group.

Who should collect and interpret ethnographic information?

__ That depends on such factors as how much time you have, whether you already have a foothold in the community (or are part of it), the size of the group you’re concerned with, your financial resources, etc.

How do you gather ethnographic information?

__ Decide what kinds of information you need.

__ Determine what you have the resources to do.

__ Gain the trust of the group you’re concerned with

__ Plan your field study

• Decide on your questions.
• Decide on your methods of data collection.
• Decide whom you’ll need to contact and how.
• Work out ethical issues.

__ Carry out your field study, taking careful field notes, including jottings, descriptions, analyses, and personal reflections on what you learned.

How do you interpret ethnographic information?

__ Organize your data.

__ Write as complete a description as possible of the culture or the element(s) of the culture you’re concerned with from the perspective of its members.

__ Reexamine the analyses from your field notes.

__ Try to understand the answer to your original question from the point of view of those you’re concerned with.

__ Translate what you’ve learned about participants into answers to, or supporting information for answers to, your evaluation questions.

__ Continue to gather ethnographic information to guide your work.

You’re evaluating your teen pregnancy prevention program, and you’d like to know whether it will result in a reduction in pregnancy rates among young girls in the community. There are statistics on pregnancy rates for the state and county collected by the Public Health Service, but none at the community level, and none that separate the rates for girls under 16, the population you’re most concerned with.  You could do a community survey to try to find out the local rate, but there are two problems with that idea. The first is that you have neither the time nor the resources to conduct the survey, and the second is that you’re unlikely to get an accurate picture– there may be embarrassment in asking the questions or other reasons.

There might be another way of getting the information, however. A number of other agencies in the community work with youth, and one of them, or a combination, might have the figures you’re looking for. Rather than generating or collecting it yourself, you can save a great deal of time and trouble by using data that already exist.

We have previously discussed ways to find existing information to help you conduct a community assessment of assets and needs, but now our goal is somewhat different, because we’re seeking data that you can use to evaluate your work.This means that it needs to be in a form that can be analyzed, and may have to refer to a very specific population, issue, and/or method. As a result, it may be harder to find, and may have to be converted in some way once you do find it.  In many situations, however, using existing information still can be much easier than collecting the data yourself. In this section, we’ll try to help you make the use of archival data as easy as possible.

What are archival data?

Archival data refer to information that already exists in someone else’s files. Originally generated for reporting or research purposes, it’s often kept because of legal requirements, for reference, or as an internal record. In general, because it’s the result of completed activities, it’s not subject to change and is therefore sometimes known as fixed data.

Some researchers make a distinction between archival and secondary data. They see archival data as information specifically collected for bureaucratic procedures and the like – applications, reports, etc. – that can then be made usable for other purposes.  Secondary data refer to research information, collected as a result of studies and similar efforts, that can then be used by others either as comparison data or as part of new research.  For the purposes of this section, we’ll include both of these types of data in our discussion, and not distinguish between them.

Sources of archival data

Archival data can exist almost anywhere that information is collected.

Some of the most common sources (we’ll look at these and others later in more detail) are:

• Public records from governmental agencies
• Research organizations
• Health and human service organizations
• Schools and education departments
• Academic and similar institutions
• Business and industry

Archives are often stored as paper files or on electronic storage – computer disks, CDs, DVDs, etc. – and may include photographs and audio and video recordings as well. It may also take the form of encoded information expressed in numbers, or in computer language. Computer files, of course, may include various media and text, all in the same place.

Many organizations have archives so large that they store most of the material off-site, either with a data storage firm, or in their own or a rented facility. Some archives are made available on a website maintained by the government or other organization.

Types of archival data you might look for

As explained above, much of the data you’re likely to use for evaluation purposes will probably be more focused than data you’d use for an assessment of the level of a problem. Evaluation information would be more likely than assessment data to come in the form of study results, for example, than as narrative history or original documents. There’s a good deal of overlap: census data, for instance, could be used in both assessment and evaluation. In general, however, the possibilities below would refer to the types of data available, including information for a specific population or geographic area on:

• Knowledge and awareness of issues
• Demographics of the population (e.g., age, education, income)
• Behavior
• Health and development outcomes
• Environmental conditions or risk/protection factors affecting the population

Why collect and use archival data?

There are sometimes good reasons for using original data, including that the information you need just isn’t available elsewhere. Additionally, if a researcher collects original data, he or she has more control what data are collected.

On the other hand, if the information you need, or something very close to it, already exists, there are several good reasons to find and use it.

• It’s easier and less time-consuming than collecting all the data yourself. This is probably the most obvious and most common reason for taking advantage of archival data. Especially if you’re looking for a large amount of information or information about a large group of people, you may be able to save yourself an enormous amount of time and trouble by using archival data.
• Archival data may have already been processed by people with more statistical expertise. Unless you’re a statistician or a health or human service researcher with an advanced degree (and often not even then), the chances are that you don’t have a flawless grasp of data analysis. You can hire someone or find a volunteer to help you, but if the hard work has already been done, it will make your work that much easier.
• Even with raw data, the basic organization and preparation (transcription of interviews, entry of numbers into a spreadsheet or specific software, etc.) may have already been done, again saving time and resources.
• It’s quite possible that you can find more information than you’d be able to gather if you did it yourself. The archival data you find may be more sweeping or more specific than what you’d be able to gather. It may involve more people than you’d be able to, cover a larger geographic area, or provide more detail.
• Archival data could touch on important areas you have not considered, or identify patterns or relationships you wouldn’t have looked for  In cases like these, the use of pre-existing data might change your whole view of your work, and help bring you to a level of effectiveness you wouldn’t have reached otherwise.
• It may eliminate the need to correct for problems, such as improper sampling, lack of inter-rater reliability, or observer bias.
• Archival data allows the possibility of looking at the effects of your work over time. Is the change in your population part of a trend that seems to be reflected in data from a similar population or the entire state or nation? You may not have the capacity to collect data over a long enough period to answer such questions, but if the data already exist, it makes longer-term analysis possible.
• Archival data can make it possible for small organizations with limited resources to conduct thorough evaluation studies. Most small community-based organizations simply have neither the money nor the personnel to gather large amounts of data – but, there’s no need to when the data you need exists elsewhere.

When should you collect and use archival data?

• When it’s available. This is the key question. If you know the data exist and you can get access, use it. If the data doesn’t exist, if finding it would take more time and effort than it’s worth, or if you have no access to it, then it’s not possible.
• When it’s relevant. As with its availability, the relevance of the data to what you’re trying to find out is a key issue. All the archival data in the world won’t do you any good if it doesn’t help you answer your evaluation questions.
• When you don’t have the time and/or resources to collect the data yourself. Whether it’s a matter of the size and scope of your organization, time pressure from a funder to produce an evaluation, or some other factor, archival data may be the only source of the information you need.
• When it can inform your evaluation. There are large amounts of archival data available almost everywhere. The mere fact that it exists doesn’t mean that it will do you any good. You have to be selective about what you gather and use. Make sure it is actually what you need, that it refers to the population and/or other elements of your program that will make it truly useful to you.  If not, you’ve not only wasted your effort, but the resulting evaluation won’t give you a realistic picture of your work and how to improve it.

How do you collect and use archival data?

As you search out and collect archival data, there are several questions you should ask.

What information are you looking for and why?

To answer this question, you first might think about what information you need for your evaluation that doesn’t necessarily require gathering data on current participants.

Some possibilities include:

• Data on past participants. You may want to compare the results for current participants with data on past participants, especially if you’ve changed your methods or the population has changed significantly.
• General information on the population and/or the community you’re working with. You may want to see how well various characteristics of your participants match those of the general population or you may simply want to understand the context of the evaluation better. You may also be looking for information to choose community-level indicators. Community-level indicators are specific, measurable units that help us determine success of an initiative or intervention in the community; examples of community-level indicators include program participation rates, services delivered, levels of crime, or new cases of HIV/AIDS.

Community-level indicators show trends for the community as a whole.  You can often use them to find out whether your efforts have had any effect in the community.  If, for example, you are conducting a program to reduce alcohol use among youth, one indicator of success might be a reduction in the number of weekend and nighttime one-car crashes involving teens. In many cases, you might choose community-level indicators according to the data that’s available.  For example, if there are reliable figures for exactly the kinds of car crashes described, then using those figures as a community-level indicator would probably make sense.

• Specific information on appropriate characteristics of the population you’re working with. This may be used to compare your participants to the population they’re part of, as well as to track specific differences that might be a result of your program.

Both general and specific information might include several categories to choose from. These categories include:

• Demographics:
  • Demographic statistics – age, race, gender, ethnicity
  • Geographical location and distribution, population density, etc.
  • Economics – income, employment, living conditions
  • Housing – household size and ownership
  • Education level Other characteristics –primary language spoken, etc.
• Behavior:
  • Health-related – tobacco use, physical activity, diet, etc.
  • Substance use and abuse
  • Sexual behavior Various other behaviors – work habits, consumer patterns, etc.
• Health and Development Outcomes:
  • Incidence (new cases) and prevalence (existing cases) of specific health conditions (e.g., diabetes, injuries, infant mortality)
  • Development outcomes (e.g. those completing primary education, high school; those with disabilities)
  • General health and well being characteristics of the population or community Access to health and human services (e.g. those with access to clean water and sanitation
  • Knowledge and awareness of issues (e.g. survey data on public concern with violence)
  • Environmental conditions or risk/protective factors (e.g. exposures to pollution or toxins)

• Cultural information. Norms, customs, celebrations, beliefs, and practices related to culture. If you can see whether and where your group’s efforts are fitting with participants’ cultures, it will help you to determine whether that’s an issue, and where you might need to make changes.
• Data on a similar group that can be used as a control or comparison. This might be a group from the same population that signed up for but did not experience the program, or another comparable community in a different place.
• Results of previous studies. You’d probably be most interested in studies that looked at the same issue and population group you’re addressing. These can provide a standard of comparison, as well as some sense of what kinds of results might be reasonable to expect.

Suppression of Statistics

An issue that you should be aware of and prepared to encounter during your research is suppression of statistics.  When research deals with small populations or data pools, in order to protect the privacy of individuals, it is sometimes necessary to suppress data. In other words, when the number of cases in a category - i.e., females in Wyandotte County who died from lung cancer in 2004 - is small enough that disclosing the data might allow a specific individual to be identified, steps are taken to protect the privacy of individuals.

The most common method of preventing the identification of specific individuals is through cell suppression. This means not providing counts in individual cells where doing so would potentially allow identification of a specific person. Cell suppression can also be done by combining cells from different small groups to create larger groupings that reduce the risk of identifying individuals.

The table below, from the Kansas Department of Health and Environment's Bureau of Epidemiology and Public Health Informatics, shows a break-down by race of deaths due to chronic liver disease and cirrhosis in Wyandotte County, KS in 2010. Because the numbers for Black and Other individuals are small enough that it might be possible to identify individuals from those statistics, the data is suppressed, as indicated by the #.

Death Statistics for Chronic liver disease & cirrhosis for Wyandotte County, 2010
White	Black	Other	All races
14	#	#	20
# Indicates numbers below 6

The National Association of County and City Health Officials (NACCHO) has a useful tip sheet that explores this and other challenges of data collection and analysis in jurisdictions with small populations and provides useful information for overcoming these challenges.

In addition to the question of confidentiality, low numbers in a given category can also be an issue when considering the stability of data. In other words, when there are low numbers or incidences in the data you are researching, it is more difficult to accurately calculate rates and it can give an inaccurate picture of the categories you are researching.  For instance, if the number of lung cancer deaths in 2004 was 20, and in 2005 it was 30, statistically that is a 50% rise over one year, which is quite a substantial fluctuation; however, it may be that it is simply a normal variation in reporting. Because the numbers reported are so small, even minor changes can seem substantial, and this can result in unreliable or unstable data. The table below, from the Kansas Department of Health and Environment's Bureau of Epidemiology and Public Health Informatics, shows a break-down by race of deaths due to breast cancer in 2010 in Wyandotte County, KS. Because the numbers available for White, Black, and Other are too small to allow for an accurate, reliable calculation of the rates for that year, the information is suppressed, indicated by the @.@ symbols.

Death statistics for malignant neoplasms of breast, Wyandotte County, 2010
	White	Black	Other	All Races
Number	15	6	#	23
Rate	@.@	@.@	@.@	15.5
@.@ indicates numerator too small for rate calculation # indicates numbers below 6

However, there are a couple of strategies that can be used to help avoid or address these problems of instability.

One way to increase the reliability of data where you are dealing with small data sets is to combine multi-year data (for instance, results of cancer deaths in a community for three years instead of one).  A drawback to this option is that looking at multi-year data limits the ability to monitor program interventions and identify new trends.  Rolling year averages (e.g., looking at data for 1997-2000 one year, and 1998-2001 the following year) may overcome this drawback and should is an option that should be considered.

Another way to decrease the possibility of statistical instability is to expand the geographic area you are investigating by looking at regional health assessments conducted by collaborating neighboring jurisdictions, or in the example above, expanding from county to state.  A drawback to this option is that you may then be examining results for a geographical area that does not necessarily apply to your assessment.   Analyzing data at the regional level may also mask interesting local variations in the data.

Who is likely to have collected that information?

In some cases, you might know for certain that it exists; in others, you’ll have to search around. Some places to start:

Public records.

Government records at all levels – including federal state, county, and local. Copies of publicly-funded studies (after publication), financial information, crime statistics, demographic information, and much more are available in public records.

Some you might be most interested in:

• Census Bureau. In most developed countries, the census covers a broad range of demographic, economic, and geographic information.
• Federal and state departments and ministries. From environmental data to farming practices and subsidies to poverty statistics to public health issues, the federal government is a vast storehouse of information.
• Various levels of the court system. In the U.S., where civil and criminal trials and their results are public, their records are public also.
• Police records. Arrests, domestic disputes, injury reports, and other information can be found in police reports.
• Securities Exchange Commission and other business regulators. The SEC and other regulators require businesses to file various information, usually annually, including annual financial reports and environmental statements, all of it public.
• County commissions, agencies, and authorities. County Extension Services in the U.S. (part of the U.S. Department of Agriculture) can be particularly helpful.
• City and town clerks’ offices.

Sometimes, government agencies are reluctant to share information, even though it’s public.  The Freedom of Information Act (FOIA) deals with this issue in the U.S.  It allows for access to a wide range of federal government records.  Similar laws at the state level do the same for state documents.

• Research organizations. Think tanks, independent oversight organizations, and research organizations all issue reports on various topics, often backed up by studies.

Some of these organizations aren’t, and don’t pretend to be, politically neutral.  They have agendas, conservative or liberal, and some of them interpret their research in light of those agendas.  It’s important to be aware of the bias of any archival data that you use if you want reliable data.  However, many organizations with a political stance nonetheless try to make their studies as objective as possible.

• Academia. Much research in health, human services, social issues, education, the environment, and the sciences is conducted by universities and institutions connected to them. This includes theses and dissertations for advanced degrees, as well as the results of funded research web search engines, such as Google scholar, can help locate research information.
• News media. Newspapers, magazines, and radio and TV outlets all keep archives, often going back to the founding of the publication or station. These are often available to the public – sometimes on line – either free or for a fee. Although they are unlikely to contain detailed study results, they often have summaries of important studies, and may serve to point you in the right direction to find what you need.
• Foundations and other private funders.These organizations fund studies of all kinds, and many publish or otherwise make available the results as a condition of funding.
• Hospitals and other health care providers are sometimes university-related, and may conduct studies of various health issues. They also may collect, as an administrative necessity, demographic and other statistics on their patients, as well as information on the frequency, geographical location, and intensity of various medical conditions.
• Mental health providers may have data on particular types of conditions, or on who is most at risk for particular behaviors or conditions (e.g. depression).
• Human service and other non-governmental community-based organizations. The information most likely to be gleaned from these organizations is administrative, and to cover such areas as demographics and the location and character of community issues.

Depending on its nature, some of the research carried out or administrative data gathered by universities, health and mental health providers, and human service organizations may have some restrictions on them because of confidentiality. These restrictions usually only cover access to individual records and identification of study participants, and generally don’t pose a barrier to obtaining aggregate results of studies, assessments, or surveys with no identification of individuals.

• Advocates and watchdog organizations may collect data (either locally, statewide, or nationally) on businesses, on the environment, and on other particular issues – nearly anything that pertains to their causes – and they’re usually willing to share it.
• Community activists. These folks tend to focus on specific issues, but if your issues are similar to theirs, they may have a great deal of information that’s useful to you.
• Community economic development organizations are likely to have economic data, land-use maps and patterns (perhaps including population distribution by race, ethnicity, age, etc.), environmental information, and other similar material you might find useful.
• Businesses and corporations, particularly large ones, often collect information on their workforces, economics and economic trends, and similar topics.

Where should you look for archival data?

The question here is not only where to find archival information, but where to find it most quickly and easily. Some of this material will be published, some only available from the organizations that collected it. Looking in the right place first can save you a lot of time and trouble.

Your own archives

Unless it’s brand new, your own organization should have an archive of administrative records, past evaluations, assessments, and other data that might be helpful to you. Don’t ignore this obvious and easily accessible source of information.

The Internet

Most public documents are either on the Web or can be found and/or ordered through a website. The place to start is usually the website of the government agency most likely to have collected the data. The Resources portion of this section contains a list of U.S. government websites. In the U.S., states and most cities and towns have websites as well, with links to state or municipal agencies and departments. (The URL’s for all state websites take the same form: http:// www .[state abbreviation].gov.  Municipal websites can easily be found by searching the name and state of the community.) States or provinces and communities in most of the developed, and much of the developing, world have websites as well.

Many of the other sources of information mentioned above are likely to have websites also. Whether their data is available on those sites is another matter, and depends to some extent on what kind of information you’re seeking. Watchdog organizations and some think tanks are likely to post at least some of the results of their research on websites because they want it to be as public as possible. Community economic development organizations likewise usually have informative websites, since they’re trying to attract businesses and residents to an area.

Health providers and academics, on the other hand, may post their research on a website, but only after it’s been published in a journal or book, or presented at a conference. That means that you’re not apt to find very recent data (from the past year, for example). Local health and human service providers and schools rarely conduct formal research, and rarely post any administrative data on their websites, for two reasons: confidentiality, to which we’ve already referred, and the fact that most of that data are intended for internal use, and therefore not seen as useful to anyone outside the organization.  Business websites generally include material only of interest to potential customers. Community activists may or may not have websites at all.

As always when using the Internet, you should be cautious about where you find your information. There are enormous numbers of reliable websites...and huge numbers of unreliable ones as well.  If you’re not sure of a website or of the information you get from it, try to find that information elsewhere as well. In general, you can rely on websites when you know where they get their information, and when you trust the reputation and integrity of the site’s owner.

Go directly to the source

Often, the best way to find information from health and human service organizations, schools, and businesses, as well as from advocates and community activists, is to go to them directly.  If you do, be prepared to explain exactly what you’re looking for, what you plan to use it for, and what you can offer in return. Unless the organization is willing to let you comb through its files – confidentiality is often a barrier to that – someone will have to spend some time finding what you need.  It’s only fair to offer something in return, whether it’s payment, data analysis services, advocacy for the cause, or something else the other organization needs.

If you’re asking another similar organization for data so you can use it as a comparison or control group, the request has to be extremely tactful.  In a sense, you’ll be telling the staff of that organization that you expect your results to be better than theirs.  Depending upon how they see their work – and how they perceive you and your organization – they may take this as an opportunity to find better methods to serve their participants, or as a grave insult.  If it’s the latter, they’re hardly likely to agree to the use of their data.  You’ll have to frame the request in the right way, and offer a good exchange as well.  It will help if you’re dealing with an organization with which you already have a good relationship of mutual respect.

Libraries

Librarians have always been world-class experts at finding what library users needed.  With current technology, they’ve become even better. Many have an encyclopedic knowledge of not only what’s available in the library itself, but what’s on the web as well.  They may be familiar with sources of archival information you’d never think of, and be able to help you find what you need quickly and with minimum effort.  When in doubt, head to (or communicate with) an available library.

What are you planning to do with the data once you have it?

This question has to do not only with what form you need the data in, but also just what data you actually need. If you’re planning to use it as a comparison to the group participating in the program you’re evaluating – whether as a formal control group or as baseline data – you’ll need information on the variables you’re planning to look at, as they relate to the population you’re working with, or at least a population that’s reasonably similar. If, for example, you’re evaluating a chronic disease prevention program intended to benefit Latinos, and you’ve found archival data on physical activity and nutrition among Native Americans, you can’t compare your results with those of the archival data because the groups are likely to be too different.

If you’re planning to subject your data to statistical analysis, you’ll want information that either is, or can be made, quantitative. If the information you’re collecting on your participants is largely qualitative, then the archival data should be qualitative as well. Furthermore, the information you get either should determine or should match the way you collect your own data, so that there’s a reasonable comparison, assuming a comparison is what you’re intending.

Using archival data

It’s difficult to imagine evaluating a program or approach without actually collecting your own data on participants.  You might be able to find data on those participants from an earlier time, which you can then use as a baseline. You might be able to find appropriate data on a similar group that you can use as a comparison or control. But you can’t find data elsewhere on what those participants are currently experiencing, and that’s what you’re evaluating in almost every case.

The “almost” here refers to a situation where you’re evaluating a program in retrospect – looking back at it after it’s underway or been completed.  It may be possible in that case to find archival data that will allow you to determine the program’s effectiveness in terms of process, outcomes, or both.

Although you’ll probably collect information on the participants in the program you’re evaluating, there are a number of ways you might use archival data:

• To better understand the context of your evaluation. These might be ethnographic data (see Section 6 of this chapter), oral histories, assessment information, interviews, etc. You’d use it to get a clearer picture of the community in a number of ways, and to help you interpret the results of your evaluation.  It might, for instance, give you insight into why a particular approach did or didn’t work, or why some participants stayed in the program while others didn’t.
• To identify areas to address. Along with a clearer picture of the community goes a deeper understanding of the community’s needs and concerns.
• To establish a baseline against which to measure your results. For this purpose, you’d need recent information about where the population you’re working with stands on the dependent variables or outcomes you’re concerned with. That would tell you where the participants started from (on average), so that you could see from the measures you used in your evaluation whether and how much they might have improved as a result of your work.

There are two kinds of variables (things that may change) in research.  An independent variable or intervention is a program, treatment, method, system, or other action or condition set up by the researcher to see if it will create change and improvement.  A dependent variable is a behavior, condition, or other element that may change as a result of the independent variable.  A violence prevention program, for example, is an independent variable that may change community members’ engagement in violent behavior and associated injuries, the dependent variables.

• To identify already-existing trends that may affect the results of your evaluation study. The fact that there’s been a change in participants between the beginning and end of your evaluation doesn’t necessarily mean that you’ve caused it. Among other things, it may be part of an ongoing trend toward change that started well before your program did, and may continue after it.  Archival data might show such a trend over a number of measures of your dependent variable in the population your participants come from.
• To establish a standard of comparison against which to measure your efforts. There are two ways that you could use archival data for this purpose.  One is to use census, statewide, and/or community-wide data to compare with that of the population you’re working with. That comparison can give you a sense of how serious the issue is for your group, compared to the general public.  The second way is to use similar data to compare your outcomes with the data on the larger population. This might work especially well when you’re using community-level indicators (e.g., rate of injuries, percentage of girls completing different education levels).

You might find, for example, that even though community-level indicators moved in the right direction – the sale of tobacco products went down, say – they still compared unfavorably with the state or national averages for the same indicators.  That knowledge might be important in future goal-setting and in using your evaluation results to gain community support or funding.

• To act as a control or comparison group. One of the best ways to learn whether or not your program had an effect is to compare the participants you’re working with to those in another group that received no program or a different one. The best alternative here is to create a group from the same population as participants – so that all participants will have approximately the same background, environmental influences, cultural norms, etc. – and to conduct the same observations on both groups at the same times, so that the only difference between them is the program that one of them is exposed to. In practice, creating or finding a perfect control group is often difficult.  Archival data may be able to provide a reasonable alternative, in the form of data collected on a comparison group or population similar to that of participants in your program.

Often, the most likely possibility is a group that was part of another program with the same goal as yours, but using different methods. This has the advantage not only of providing a control, but of letting you infer whether your approach works as well as, not as well as, or better than that of the comparison group.

• To provide data for a longitudinal study.  If you think your program might have a long-term effect, or if you think it will interact with the effects of past events, circumstances, or programs, you might want to conduct a longitudinal study – one that looks at participants over a longer period of time – for your evaluation. You may not have the time or resources to collect data over a period of years, but you may be able to find archival information that allows you to draw some conclusions about long-term effects.

There are at least two circumstances where you might be able to use archival data for a longitudinal perspective.  The first is one in which you’re looking at the effect of an issue on the population for a length of time before your program began. This might make it easier to see program results in context, and to understand whether the program broke a cycle and started real change.The second circumstance is when you’re looking back at the effects of a program that was completed some time ago.  In some circumstances, the effects of a program multiply or accelerate over time. Particularly if your program was aimed at changes throughout the community (reducing intimate partner violence, for instance), you may be able to find archival data that tells you whether the effects of your program continued, kept growing, or trailed off.

In Summary

Most government agencies and departments, community-based health and human service providers, advocacy organizations, universities, and many other entities keep archival records of information. You may be able to use these as part of the data for your evaluation, saving time and trouble. Especially for small organizations with limited resources, the use of archival data can make it possible to produce an evaluation that provides the information needed to accurately assess a program’s effectiveness and make the changes necessary to improve it.

What are archival data?

___Archival data is data that already exists as a result of administrative procedures or past studies or evaluations

___Be aware of sources of archival data:

• Public records
• Research organizations
• Health and human service organizations
• Schools and education departments
• Academic and similar institutions
• Business and industry

___Be aware of the possible types of data available:

• Demographics
• Behavior
• Health and development outcomes
• Attitudes – racial, political, social, etc.
• Knowledge and awareness of issues
• Environmental conditions or factors affecting the population and/or your work

Why collect and use archival data?

___It’s easier and less time-consuming than collecting all the data yourself

___Archival data may have already been processed by people with more statistical expertise than you, making it easier to use in analysis

___Even with raw data, the basic organization and preparation (transcription of interviews, entry of numbers into a spreadsheet or specific software, etc.) may have already been done, again saving time and resources

___It’s quite possible that you can find more information than you’d be able to gather if you did it yourself

___Archival data could touch on important areas you might not have thought of, or identify patterns or relationships you wouldn’t have looked for

___It may eliminate the need to correct for such problems as lack of inter-rater reliability or observer bias

___Archival data allows the possibility of looking at the effects of your work over time

___Archival data can make it possible for small organizations with limited resources to nonetheless conduct thorough evaluation studies

When should you collect and use archival data?

___When it’s available

___When it’s relevant

___When you don’t have the time and/or resources to collect the data yourself

___When it can truly inform your evaluation

How do you collect and use archival data?

___Determine what information you’re looking for and why

Possible categories of information you’d be interested in:

___Data on past participants

___General information on the population and/or the community you’re working with

___Specific information on appropriate characteristics of the population you’re working with

___Cultural information

___Data on a similar group that can be used as a control or comparison

___Results of previous studies

___Determine who is likely to have collected that information:

• Government departments and agencies, the census, and other entities whose data are likely to be available in public records
• Research organizations
• Academia
• News media
• Foundations and other private funders
• Hospitals and other health care providers
• Mental health providers
• Human service and other community-based organizations
• Advocates and watchdog organizations
• Community activists
• Community economic development organizations
• Businesses and corporations

___Decide where you should look for archival data

• Your own archives
• The Internet
• The original source
• Libraries

___Decide what you plan to do with the data once you have it

Use archival data:

___To better understand the context of your evaluation

___To identify areas to address

___To establish a baseline against which to measure your results

___To identify already-existing trends that may affect the results of your evaluation study

___To establish a standard of comparison against which to measure your efforts

___To act as a control or comparison group

___To provide data for a longitudinal study

Tool 1: Common Secondary Data Sources Used to Address Gender-Based Violence

This tool from Strategic Prevention Solutions provides descriptions of common secondary data sources useful for addressing gender-based violence, along with common challenges with secondary sources.

• ¿Qué significa evaluar una iniciativa comunitaria?

• ¿Por qué se debe evaluar un iniciativa comunitaria?

• ¿Cuándo se debe evaluar un iniciativa comunitaria?

• ¿Cómo iniciar la evaluación?

Cuando usted inicia un nuevo trabajo o un proyecto, probablemente desea evaluarlo. Se preguntará si está cubriendo sus expectativas y las de su jefe, administrador o audiencia meta.

En una fase similar, los programas comunitarios necesitan ser “evaluados” durante toda su aplicación. Un ejemplo de como iniciar una evaluación sería preguntar a la comunidad si sus planes de acción están funcionado realmente. Si los resultados son positivos, esto sugiere que su programa esta apuntando hacia la dirección correcta y probablemente se mantendría apuntando hacia allá. La evaluación es también esencial para ayudarle a ver cuales son “las correcciones”, que serían necesarias si el programa no apunta hacia la dirección planeada.

Este capítulo explicará la importancia de la evaluación y ofrecerá paso a paso los métodos para evaluar el trabajo de su grupo. De tal manera que, cuando usted descubra que sus esfuerzos están funcionando, pueda continuar con aún más energía y entusiasmo.

¿Qué significa evaluar una iniciativa comunitaria?

Básicamente, significa determinar el valor del trabajo. Si usted ha desarrollado e implementado un programa en su comunidad y desea saber que tan bien esta trabajando, la evaluación le proveerá esta retroalimentación.

En muchas avenidas de la vida, obtenemos retroalimentación inmediata. Si pisa el freno, el carro se detiene. Si tira una canasta, puede ser que entre o no. Esto es una evaluación instantánea, no hay ambigüedad. Pero con eventos más complejos, tales como intervenciones sociales, los resultados no son siempre así de claros. Algunas veces lo son, ya que puede suceder que usted estructure un evento y la gente lo siga al pie de la letra; esta es una rápida y clara evaluación, pero es muy raro que ocurra así. Esta es la razón por la cual usted necesita poner más energía y creatividad para saber como logró su objetivo. Y esto es básicamente a lo que se refiere la evaluación: darle información sobre el valor de su trabajo.

En este capítulo, hablaremos acerca de la evaluación como un medio para obtener retroalimentación, datos e información acerca de su grupo y sus actividades. Por medio de esta información, usted puede decidir que aspectos del plan de acción y que áreas necesitan mejorarse. Cuando usted evalúe su programa, estará recabando información para ayudarle a concluir acerca de su proyecto y de los esfuerzos de su grupo. Después de que haya concluido, puede hacer los cambios necesarios a sus metas y plan de acción.

Por lo tanto, las secciones de este capítulo se enfocarán en las formas de obtener estos datos valiosos. Usar el sistema de evaluación para entender y mejorar la iniciativa, se discutirán los métodos para un mejor uso de los datos colectados de tal manera que se fortalezca y mejore el programa.

Por otro lado, es importante señalar que la resistencia a la evaluación es común. Para obtener los mayores beneficios de la evaluación, es necesario conocer algunos de los conceptos erróneos más comunes en relación con esto.

Miedos de la evaluación

La evaluación puede asustar a mucha gente. Generalmente, estos miedos se reflejan en 3 formas: “No se como hacerlo”, “No tengo tiempo”, o “Los resultados pueden ser negativos y dolorosos”. Todos estas son preocupaciones válidas. Pero no deberían ser tan desanimadoras como para ignorar los beneficios de hacer una evaluación. A continuación presentaremos algunas respuestas ante esta preocupaciones:

“No se como realizar la evaluación.”

Bueno, esta es la razón de porque estamos aquí. Le ayudaremos a través de los pasos acerca de como planear una evaluación de su programa, como hacer la evaluación misma y como usarla para ayudar a su grupo.

“No tengo tiempo”.

La evaluación puede tomar algo de tiempo para hacerla. Esto es absolutamente cierto. Sin embargo, hacer una evaluación ahora, le ahorrará mucho tiempo a lo largo de su trabajo, además de señalarle los problemas cuando todavía son pequeños, en lugar de esperar a que se conviertan en un desastre.

Y hay otro beneficio acerca del ahorro de tiempo. Una vez que inició el registro del tipo de información que necesitará para su evaluación, esto se convertirá solo en una parte regular de sus operaciones de rutina. Esto tomará menos tiempo más adelante. La parte más difícil es al inicio.

“Los resultados pueden ser negativos o lastimarnos”

Esto es probable. Sin embargo, es poco probable que esto ocurra si usted utiliza la evaluación desde el principio y no permite que los problemas pequeños crezcan hasta convertirse en grandes problemas. Y recuerde que cualquier resultado negativo que pueda encontrar debería, más bien, ser útil para usted, por lo menos a largo plazo. Estos le ayudarán a mejorar la calidad de su programa, lo cual debería ser una de sus metas desde el principio.

¿Por qué se debe evaluar un iniciativa comunitaria?

Ser exitoso demanda atención cuidadosa desde el inicio, durante y al final de un proyecto. Por ejemplo, si una violinista quiere aprender una pieza nueva de música para un concierto, ella se debería preparar practicando muchas horas al día. Pero, si nunca le pide a su profesor que la escuche tocar, puede ser que toque muy lento, o muy rápido o muy suave o muy fuerte. Si ella no conoce la forma apropiada de tocar esa pieza, (es decir, si nunca obtiene retroalimentación), toda la practica del mundo no ayudara para obtener un resultado satisfactorio la noche de la ejecución.

Como la violinista, los grupos comunitarios necesitan poner atención en la retroalimentación desde el inicio, durante y al final de sus proyectos. Un programa puede tomar mucho tiempo y energía para alcanzar sus metas. Pero, si el trabajo no apunta en la dirección correcta, todas esas largas horas de trabajo duro pueden llevar a la frustración en lugar de un sentimiento de éxito. La evaluación le indica al grupo como va y le ayuda a identificar cualquier cambio necesario a lo largo del camino, que le permita estar “en tono” con sus metas y necesidades de la comunidad.

Hay muchas razones por la cuales las evaluaciones son válidas. Veamos algunos ejemplos de formas en las cuales la evaluación puede beneficiar a un grupo comunitario.

•  El éxito es reforzante - atrae mas recursos. Entre más exitoso pruebe ser el trabajo de su grupo, mas apoyo y motivación puede recibir de los miembros de la comunidad y de los organizadores. La evaluación puede documentar su éxito, con hechos, figuras y ejemplos. Si las horas de los voluntarios en su organización incrementaron un 100% el año pasado, o si cada niño en su comunidad estuvo al corriente en sus vacunas, estos tipos de logros pueden traer nuevos recursos a su proyecto. En otras palabras, si la evaluación puede proveer ejemplos concretos del éxito de su grupo, esto será muy ventajoso.
• Los fracasos instruyen. Aún si su trabajo se queda corto en sus metas y aún si su programa fracasara, el conocimiento también puede ser útil. Puede ser doloroso a corto plazo, sin embargo la retroalimentación negativa, o una evaluación negativa, puede ayudarle a largo plazo. Por lo menos usted sabría cual es la verdad y donde se encuentra. Es probable que tenga pocas ilusiones y una vez que haya tocado fondo, aprenda de la evaluación recibida. Las oportunidades consisten en que usted no cometa los mismos errores otra vez. Estará ahora en una mejor posición para trabajar.
• La evaluación puede hacerlo sentirse bien. Ser capaz de ver sus éxitos y el valor de su trabajo obviamente levantará su espíritu y lo motivará a continuar con su trabajo. Otra vez, esto funciona de dos formas, o sea también los aspectos negativos deben ser vistos como una oportunidad para aprender sobre lo que funciona y no como un fracaso.
• La evaluación incrementa las oportunidades de más acción. Una vez que ha completado su primera evaluación, usted sabe que ha funcionado y que no. Usted puede modificar las tácticas que no funcionaron tan bien como planeó y reforzar aquellas áreas que fueron exitosas. Así, puede tomar medidas con una gran oportunidad de tener éxito. Otros notaran este éxito y pueden disfrutarlo o ayudarle a su grupo, incrementando sus oportunidades para que su programa tenga un impacto positivo.
• Finalmente, la evaluación puede ayudarle a comprender los aspectos importantes del programa. Al terminar su primera evaluación, los resultados pueden señalar algunas partes del programa que funcionaron realmente bien. Por ejemplo, la pantalla libre de colesterol en la clínica local que usted patrocinó resulto ser exitosa, ya que hubo una gran cantidad de gente esperando hacer su prueba. Por el otro lado, nadie asistió a sus clases mensuales de cocina saludable. Puede ser que el horario de las clases no haya sido el más adecuado, o puede ser que el salón de clases se encuentre muy lejos para la mayoría de la gente de la comunidad. Hay muchas posibles razones por las cuales su proyecto pudo no funcionar como lo planeó. La evaluación le ayudará a comprender por qué las cosas funcionaron o no, como sucedió.                               

¿Cuándo se debe evaluar un iniciativa comunitaria?

La evaluación debe tomar lugar durante varios estadios de la vida de su grupo.

A continuación se presentan algunos consejos para cuando su plan este en acción:

• Determine líneas base para las conductas que desee cambiar. Si usted quiere saber cuanto cambió su programa, necesitará conocer que estaba pasando antes de que su grupo iniciara.
• Enfóquese en el impacto que su trabajo tiene sobre la comunidad.
• Continúe revisando y actualizando los planes de acción.
• Mantenga al grupo fuerte y enfocado en las metas. Es posible que desee usar una medición que aprecie las metas de su comunidad, y usar la retroalimentación para cambiar sus prioridades planeadas.

Cuando algunos de sus planes de acción se hayan completado.

• Es importante el uso de la evaluación para ayudar al grupo a continuar la medición de su impacto sobre la comunidad y crear planes para continuar los programas de ayuda para el futuro. Por ejemplo, los indicadores de la comunidad le dirán si su intervención esta teniendo un impacto.

¿Cómo iniciar la evaluación?

Suponga que usted desea conducir una evaluación. Pero ¿Por donde empezar?. El proceso de evaluación puede sonar abrumador. Sin embargo, recuerde que lo que usted ha logrado puede ser duro de imaginar al inicio. La evaluación puede descomponerse en varias partes para hacerla más manejable.

Antes de continuar, aquí se presenta un pensamiento general para compartirlo con los miembros de su grupo: Su evaluación se debe dirigir a responder preguntas que son importantes para usted, los miembros de su comunidad y aquellos que proveen el apoyo financiero. Por supuesto, restricciones financieras y de tiempo, podrían limitar el tipo de información que se puede obtener. Trate de hacer preguntas que ayudarán a su grupo a tener éxito. Debido a que cada grupo es único, la evaluación debe serlo también. A pesar de esto, a continuación se presentan algunas preguntas de interés para muchos grupos. ¿Podrían ser de su interés?

• ¿Qué tanto participó la comunidad?
• ¿Qué programas, pólizas o prácticas han cambiado en la comunidad?
• ¿Ha cambiado la conducta de la gente?. Si es así, ¿Qué tipos y como?
• Esos cambios ¿Se deben a su esfuerzo?

El corazón de la materia: Pasos para llegar a una evaluación exitosa.

Usted debe querer evaluar.

El primer paso es interno, ya que usted tiene que estar motivado para hacer la evaluación. Necesita ser claro en el propósito de su evaluación. ¿Porque quiere hacerlo?. Por ejemplo, si su proyecto consistió en reducir la conducta de fumar entre los adolescentes, es probable que desee saber si su programa se ha dirigido hacia una aplicación estricta de las leyes que regulan la venta de tabaco a menores.

Usted necesita evaluar en términos de sus metas y/u objetivos.

Cuando usted planeo su programa, debió tener identificados sus objetivos específicos. ¿Qué esta tratando, exactamente, de lograr?. Una gran ventaja de tener objetivos específicos es que sus objetivos guiarán su evaluación. Por ejemplo, suponga que su objetivo es reducir el porcentaje de estudiantes de la preparatoria local que fuman hasta un 5% para Mayo del 2002. Esto objetivo, permite que su evaluación estándar sea fácil de identificar: Es, simplemente el porcentaje de estudiantes que fumen en esa fecha meta.

Para cada uno de sus objetivos, usted necesita identificar el criterio o los indicadores que proveerán medidas confiables y validas para cada uno de sus objetivos.

Es muy probable que necesite desarrollar medidas que le indiquen que es lo que realmente esta ocurriendo. Una vez más, sus medidas (o indicadores) deberían basarse en sus objetivos.

Por ejemplo: Si su objetivo es reducir la violencia juvenil en su preparatoria local, entonces algunas medidas posibles podrían ser: registros de admisiones hospitalarios por daños relacionados con la violencia, asistencia al seminario de entrenamiento en solución de conflictos de la escuela, registros policiacos de arrestos de jóvenes por asalto o portación de armas prohibidas.

Si su objetivo fue incrementar la disponibilidad de comida saludable en su comunidad, para la prevención de enfermedades del corazón, algunas medidas posibles son el numero de restaurantes que tienen una sección en el menú de comida, baja en grasas; el porcentaje de leche que es entera en tiendas locales de abarrotes; o la cantidad de espacio en los anaqueles utilizada para mostrar carne sin grasa contra aquellos de grasa elevada.

Usted necesita colectar los datos en cada uno de estos indicadores.

Algunas veces usted puede encontrar los indicadores que necesita en los recursos existentes. Por ejemplo, si usted estaba interesado en incrementar el préstamo de la biblioteca, o en reducir las falsas alarmas de fuego, usted puede obtener datos ya existentes de la biblioteca o del departamento de bomberos. Sin embargo, a veces los datos en sus indicadores elegidos pueden no estar disponibles. Suponga por ejemplo, que su principal preocupación fue la velocidad en las calles residenciales. Puede ser que desafortunadamente, la información clave aquí, no exista. En estos casos, la policía local podría ser de ayuda para colectarlos; o usted y su grupo podría necesitar colectarlo por si mismos.

De cualquier forma, si usted puede obtener datos estadísticos “antes” y “después” en relación a sus indicadores elegidos, puede usarlos para ayudarle a determinar si su programa resultó ser efectivo con una diferencia significativa. ¿El préstamo de libros incrementó?, ¿Disminuyo la velocidad del tráfico?. Los datos generarán comentarios.

Utilice los resultados para ajustar el programa o intervención tanto como sea necesario.

¿Está alcanzando los objetivos que planeó?. Si es así, puede ser que no sean necesarios los ajustes. Si usted no está alcanzando sus objetivos, los datos pueden indicar qué cambios se pueden llevar a cabo para seguir adelante. Por ejemplo, si en el caso de los fumadores de la preparatoria, el porcentaje de estos estudiantes que dejaron de fumar no es muy alto, es probable que desee cambiar el contenido del programa educativo sobre tabaco de la preparatoria para que les demos o adicionemos un nuevo programa que les ayude a dejar el cigarro.

En resumen

pregúntese “¿Qué preguntas deseo responder?”. Este es el primer paso clave. Ahora ¿Cómo contestar estas preguntas? Cada una de las siguientes secciones en este capítulo explicarán métodos que puede utilizar para evaluar su programa.

___Entiende que evaluar significa determinar el valor de su trabajo.

___Entiende los miedos de la evaluación:

1. “No sé cómo hacer una evaluación”

2. “No tengo tiempo”

3. “Los resultados pueden ser negativos y lastimarnos”

Sabe por qué debe evaluar su programa:

___El éxito es reforzante.

___Las fallas instruyen.

___La evaluación puede hacerlo sentir bien.

___La evaluación incrementa las oportunidades de más acción.

___La evaluación puede ayudarle a comprender los aspectos importantes de la programa.

___Debe evaluar su programa cuando su plan está en acción o cuando alguno de sus planes se han completado.

Sabe cómo hacer una evaluación.

___Desea evaluar.

___Ha evaluado en términos de objetivos o metas.

___Ha identificado los criterios indicadores que proveerán formas de medir sus objetivos

___Ha colectado los datos para cada uno de los indicadores.

___Ha utilizado los resultados para ajustar el programa o la intervención tanto como sea necesario.

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Cuál es el significado de dar seguimiento a tu progreso?

• ¿Por qué necesitas darle seguimiento a tu progreso?

• ¿Cómo le das seguimiento a tu progreso?

 

 

¿Cuál es el significado de dar seguimiento a tu progreso?

La supervisión de tu iniciativa comunitaria puede ayudarte a sopesar tus acciones con relación a los resultados para observar si estás cumpliendo con las metas de la comunidad y de tu iniciativa. En cierto sentido, la supervisión de la información te puede ayudar a entender cuán bien está la iniciativa funcionando. Es decir, la supervisión puede señalar dónde las acciones de la iniciativa no están produciendo el efecto deseado. Además, el sistema de supervisión puede ayudarle a

• Entender la iniciativa;
• Tomar decisiones relativas a la programación de la iniciativa;
• Promover la toma de consciencia de los logros;
• Reclutar apoyo,
• Asegurar la financiación

A pesar de lo amenazante que suena ¨sistema de supervisión,¨ probablemente ya habrás observado ejemplos de supervisión en sus variadas formas. Los candidatos políticos supervisan el estado de su campaña realizando encuestas y analizando los resultados. Los profesores dan seguimiento al progreso de sus estudiantes dando pruebas al comienzo y al final del año escolar para observar si ellos han dominado los secretos de las materias. Puedes controlar tus facturas si mantienes un registro mensual según estas suben o bajan. La supervisión tiene entonces una  amplia variedad de aplicaciones. Como miembro de la iniciativa comunitaria, la supervisión significa un modo de dar seguimiento a las actividades principales y a los logros de la iniciativa.

 Para refrescar tu memoria de manera rápida, estás partes son:

• Medidas de procesos y de los resultados
• Sistema de observación
• Información periódica sobre la ejecución

En esta sección, explicaremos lo que queremos decir por medidas de procesos y de los resultados, y el sistema de observación. Proporcionar retroalimentación para mejorar la iniciativa, abordaremos las formas de dar retroalimentación a los miembros de la coalición o de la comunidad.

Medidas de los procesos y de los resultados

Las medidas del proceso son las actividades que se realizan durante la iniciativa que te ayudan a determinar como van las cosas.

Las mediciones del proceso pueden incluir muchos aspectos de tu iniciativa, tales como:

• Miembros que participan. Esto incluye el número, tipo, frecuencia de la asistencia, y la tasa de renovación de los miembros.
  • Ejemplo: En la última reunión general de la iniciativa, asistieron 17 personas. De estas personas, 10 eran asistentes regulares, y 7 asistían a la reunión por primera vez.
• Productos de la planificación. Por ejemplo, objetivos escritos, estatutos, o los comités que contribuyen con la iniciativa.
  • Ejemplo: El plan de acción de la coalición fue aprobado por la coalición y se implementará inmediatamente.
• Cobertura de los medios de comunicación. Por radio, televisión, y medios impresos.
  • Ejemplo: Varios anuncios de cinco minutos describiendo uno de los proyectos del grupo en una estación local de radio en la frecuencia de FM.
• Recursos financieros. Por ejemplo, subvenciones o donaciones. Los recursos financieros pueden ser “en especies”, tales como anuncios gratuitos o productos que un individuo o un comercio puede ofrecer en lugar de dinero.
  • Ejemplo: Se recibieron $8000 de un almuerzo donde el costo del plato era de $50, el cual fue realizado para captar fondos para los esfuerzos locales sobre el abuso de alcohol y drogas.
• Servicios que son provistos en últimas instancias. Estos incluyen clases, programas, talleres, publicaciones u otros servicios o comunicaciones provistos por la iniciativa a la comunidad.
  • Ejemplo: Talleres de educación en nutrición fueron realizados para los proveedores de cuidados para niños.
• Acciones comunitarias. Estas involucran las medidas adoptadas para promover el cambio en la comunidad.
  • Ejemplo: Se les pidió a los comerciantes exponer carteles donde se describen la pena por la venta de alcohol a menores y la necesidad de presentar una identificación apropiada.

Las medidas de los procesos

son los detalles específicos que puedes incorporar en los registros de sucesos para medir mejor el progreso de tu grupo de trabajo. Hablaremos sobre un ejemplo de registro de sucesos más tarde en esta sección.

Mientras las medidas del proceso documentan los métodos específicos que usaste para crear el cambio, las medidas de los resultados explican el impacto global que ocurre como resultado de estas acciones individuales. La medida  de los resultados resalta los cambios que ocurren en la comunidad como consecuencia del trabajo hecho.

Esto incluye:

• Cambios en los programas, tales como un programa de servicios nuevo o modificado.
  • Ejemplo: Una clase para padres que fue implementada por la iniciativa.
• Cambios en las políticas, tales como una política nueva o modificada.
  • Ejemplo: Una ordenanza municipal  fue aprobada donde se requería colocar en cada máquina un cartel que dijera “No se vende cigarrillos a menores de edad” La legislación se introdujo a instancias de y la Comisión de Gobierno y Justicia.
• Cambios en las prácticas, tales como una práctica nueva o modificada.
  • Ejemplo: Los comerciantes muestran carteles que describen la penalidad que se imponen al vender alcohol a menores de edad y la necesidad de una identificación adecuada.

Como puedes ver, el sistema de supervisión involucra varios elementos claves que te podrán ayudar a determinar a tu grupo como lo están haciendo, qué se está haciendo en la forma correcta y qué puede ser mejorado. ¿Suena interesante? ¡Siga leyendo más!

¿Por qué necesitas darle seguimiento a tu progreso?

Ahora puede ser que estés pensando, “Quieres que ahora yo recoja información sobre nuestra iniciativa. Pero luego ¿qué haré con todos esos números y comentarios? ¿Por qué es esto importante para nuestro grupo?” No te preocupes, los datos que recojas usando el sistema de supervisión puede ayudar a tu agrupación en varias formas.

• Los datos pueden decirte dónde la iniciativa pone su énfasis. Por ejemplo, el sistema de supervisión puede revelar que tu iniciativa se enfoca en los servicios más que en los cambios. Si es cambio lo que quieres, el sistema de supervisión te ayudará a descubrir esto de manera temprana.
• Los datos pueden señalar cuáles grupos en la comunidad son afectados por la iniciativa. ¿Está tu iniciativa produciendo muchos cambios en las escuelas, pero pocos cambios en el sistema de justicia penal? ¿Es esto lo que tú o tu comunidad quieren y necesitan? ¿Quiénes son el objetivo? Con el resultado del sistema de supervisión estarás más capacitado para poder responder mejor a estas preguntas.
• Los datos pueden mostrar cuáles estrategias se están abordando. El sistema de supervisión puede determinar si tu iniciativa está ofreciendo información sin darle seguimiento con los pares de apoyo o el acceso a otros recursos.
• Los datos pueden ser usados por el personal para lograr una serie de resultados. El personal y el liderazgo pueden usar la información para promover la sensibilización de la comunidad sobre las actividades y los logros de la iniciativa, captar apoyo comunitario, y asegurar los recursos financieros.

¿Cómo le das seguimiento a tu progreso? Una guía paso a paso

Como muchos aspectos en la construcción de una iniciativa comunitaria, el sistema de supervisión incluye varios pasos importantes. Antes de que usted pueda comenzar a analizar sus datos, debe primero hacer acopio de la información.

Los datos pueden ser recogidos al completar el registro de sucesos y otros formularios de manera regular. Los registros de sucesos son informes escritos de las principales actividades de la iniciativa. Pueden además ser usados para registrar cualquier cambio en la comunidad que haya sido logrado por la iniciativa, como nuevos programas, políticas, o prácticas relacionadas con los objetivos y la misión de la iniciativa.

El registro de sucesos puede incluir informaciones importantes como:

• El mes/día/año del suceso
• Una descripción del suceso que incluya
  • Por qué este es importante
  • Lo que ocurrió como resultado
• Una descripción detallada del suceso, que incluya
  • Quién participó
  • Cuales organizaciones contribuyeron con personas y recursos
  • Con cuál sector de la comunidad u objetivo este se relaciona
  • Si fue la primera vez que ocurrió este suceso.

Ejemplo: Un grupo en el Condado de Franklin, Kansas, denominado Iniciativa para la Prevención del Embarazo en Adolescentes, participó en un evento para ayudar a realizar cambios en la comunidad que estuvieran relacionados con reducir el embarazo en la adolescencia. En la siguiente reunión de la coalición, Maggie B., un miembro de la coalición  que ayudó a organizar el evento, rellenó el registro de eventos con la información. Ella escribió:

"Shannon P. and Gary M. participaron en la reunión en la Escuela Superior Ottawa el 14 de Febrero, 1996. Se reunieron con el director de la escuela para obtener el permiso para organizar un Comité de Acción Adolescente en la escuela. El Comité de Acción Adolescente fue aprobado por el director. Esto es importante porque puede crear oportunidad de liderazgo para los jóvenes."

Maggie registró esta información en un cuadro donde se identificaban detalles como mes, día, y año del evento, una descripción del evento en si mismo, una descripción de los detalles del evento. La tabla que ella hizo se muestra como un ejemplo al final de esta sección.

Estos registros de sucesos pueden ser realizados por varias personas, como el personal clave del proyecto y miembros activos de la iniciativa.

Las personas que rellenan estos registros podrán ser aquellas personas que estén tomando medidas en nombre de la iniciativa. Idealmente, todos los que estén haciendo algo para la iniciativa podrán rellenar los registros. Los registros de eventos deben estar completos a más tardar una semana después de realizado el evento. De este modo, ¡los detalles importantes estarán frescos en la mente de todos! Los registros de eventos completos pueden entonces ser entregados a las personas del grupo responsables de la evaluación.

Hemos encontrado que completar la recolección de datos en nuestro propio trabajo tomaba dos horas a la semana.

Por supuesto, si tu iniciativa se involucra en un proyecto particularmente complejo que se reúnen una vez a la semana, podrás necesitar pasar el doble o el triple del tiempo recogiendo la información. La cuidadosa recopilación de la información traducirá que los resultados así generados sean más precisos, y por lo tanto mas valioso para tu iniciativa.

Una vez la información ha sido recopilada, es necesario que sea entregada a las personas en tu grupo,

Quienes podrán poner los datos de una cierta forma organizada a fin de que la iniciativa pueda usarla de forma beneficiosa. Este paso en el proceso puede tomar una buena cantidad de tiempo, pero, ¡No te asustes! Como ya has escuchado muchas veces, los beneficios que recibes del proceso de evaluación solamente serán mejores si pasas tiempo para analizar detenidamente los resultados. Mientras esto puede tomar algunas horas, al final, ¡estarás feliz por haberlo hecho!

Quienes organizan la información que es recopilada deben tomar tiempo para resumir los eventos registrados.

Los resultados después podrán ser distribuidos a los miembros del grupo.

¡Felicitaciones! Ya has terminado de leer una explicación de una de las más importantes formas de evaluar una iniciativa comunitaria. Sigue leyendo para que observes los ejemplos de registros de sucesos, y los otros cuadros de seguimientos. ¡Pero no te detengas aquí! Mas secciones emocionantes esperan por ti y tu iniciativa. El siguiente capítulo hará la introducción a los componentes de la encuesta de los objetivos, procesos, y resultados, y otros métodos para medir el progreso y el éxito de tu iniciativa. Recuerda, supervisar tu iniciativa ayuda al grupo a ser ¡lo mejor que ellos pueden ser!

Entiendes que el supervisar la iniciativa de la comunidad puede ayudarte a:

___sopesar las acciones contra los resultados observados para ver si estamos logrando los objetivos de la comunidad y de la iniciativa

___entender la iniciativa

___adoptar las decisiones en relación a la programación de la iniciativa  

___promover la toma de conciencia de los logros;

___conseguir apoyo

___asegurar financiación

Entiendes estas 3 partes claves del sistema de supervisión:

___Medidas del proceso y del resultado

___Sistema de observación

___Retroalimentación regular de la ejecución  

Entiendes que las medidas de los procesos pueden ser usadas para supervisar lo siguiente:

___miembros participantes

___productos de la planificación

___cobertura de los medios de comunicación

___recursos financieros

___servicios que se están proveyendo últimamente

___acciones communitarias

Entiendes que la medida de  los resultados puede ser usada para supervisar lo siguiente:

___cambios en los programas

___cambios en las políticas

___cambios en las prácticas

Entiendes que los datos que recolectas con el uso del sistema de supervisión pueden ayudar al grupo de los modos siguientes:

___Los datos pueden decirte dónde la iniciativa pone su énfasis.

___Los datos pueden señalar cuáles grupos son  afectados por tu iniciativa.

___Los datos pueden revelar cuáles estrategias se están abordando.

___Los datos pueden ser usados por el personal para alcanzar una variedad de resultados.

Listado de Verificación de Recogida de datos

___Tenga un personal clave del proyecto y miembros activos de la iniciativa para tener registro de sucesos de TODOS los eventos.

El registro de sucesos incluye las siguientes informaciones:

___día /mes/año del suceso

___una descripción del suceso en si mismo, incluyendo:

___por qué fue importante y,

___qué ocurrió como resultado

___una descripción de los detalles del suceso, incluyendo

___quién estuvo involucrado

___cuáles organizaciones contribuyeron con personas y recursos

___con cual sector comunitario u objetivo este se relaciona

___si es la primera vez que este suceso ocurre

___Complete los registros de sucesos a más tardar una semana después que el evento haya tomado lugar.

___Dé  los registros de suceso llenos a las personas del grupo que estén encargados de la evaluación.

___Entregue la información reunida a las personas del grupo que pondrán los datos de forma organizada en los formularios para que la iniciativa los pueda usar de una manera beneficiosa.  

___Aquéllos quienes organizan la información reunida resumen los registros de sucesos.

___Los resultados son distribuidos entre los miembros del grupo.

___what happened as a result

___a description of the details of the event, including

___who was involved

___what organizations contributed people and resources

___what community sector or objective this relates to

___if this is the first time this event happened

___Complete event logs no later than one week after the event has taken place.

___Give completed event logs to the people in the group who are in charge of evaluation.

___Turn over the information gathered to the people in your group who will put the data into some kind of organized form so that the initiative can use it in a beneficial way.

___Those who organize the information that is gathered summarize the event logs.

___The results are distributed to members of the group.

Ejemplo: Registro de sucesos de la Iniciativa Embarazo en Adolescentes

Sitio: Condado de Franklin

Registradora: Maggie B.

Fecha	Suceso	Descripción
(DD/MM/AA)	Describa el evento en detalle. Incluya: ¿Por qué es importante? ¿Qué ocurrió como resultado?	¿Quién se involucró? ¿Cuáles organizaciones fueron las colaboradoras? ¿Con cuáles sectores de la comunidad u objetivos esto se relaciona mejor? ¿Fue esta la primera vez que este suceso ocurrió?
14/2/96	Reunión con el director de la Escuela Superior de Ottawa para obtener el permiso para organizar los Comités de acción  adolescente en la escuela. El comite de acción adolescente fue aprobado. Esto fue importante porque creará oportunidades de liderazgo para los jóvenes.	Shannon P. y Gary M. Escuela Superior Ottawa Escuelas Sí
21/2/96	La reunión de la Junta Directiva Escolar del distrito fue realizada para tratar sobre la administración de un cuestionario sobre la sexualidad. La encuesta fue autorizada para ser usada en la escuela. Esto es importante ya que es una nueva práctica para recoger información sobre el conocimiento, actitudes y comportamientos relacionados a la sexualidad.	Midge R. y los miembros de la Junta Escolar USD 288 Escuelas Sí

 

 Las siguientes herramientas están disponibles en esta sección:

• Registro de Suceso: El registro de suceso está diseñado para ayudarte a anotar las principales actividades, tales como las acciones comunitarias. También son usados para anotar cualquier cambio que ocurra en la comunidad como consecuencia de la iniciativa.
• Códigos para Clasificar los Sucesos: Estos cuadros proveen una lista de eventos claves, definiciones, y ejemplos de temas usando el código de observación  para el sistema de supervisión así como también instrucciones generales para codificar sucesos claves en el registro de sucesos. Para instrucciones más detalladas,  definiciones, registros y procedimientos, consulte el Manual de Evaluación del Grupo de Trabajo.

Herramienta #1: Registro de Evento

Registro de Evento para ____________________________

Lugar:___________________________ Registrador:________________________________

En este formulario por favor describa:

• Acciones adoptadas para lograr cambios en la comunidad relacionados con tu iniciativa.
• Cambios en los programas, políticas, y prácticas relacionados con tu iniciativa

Fecha	Suceso	Descripción
(DD /MM/AA)	Describa  el  evento en detalle. Incluya:    ¿Por qué es importante? ¿Qué ocurrió como resultado?	¿Quién estuvo involucrado? ¿Cuáles organizaciones colaboraron? ¿Con cuáles sectores u objetivos esta se relaciona ? ¿Fue este la primera vez que ocurrió este suceso?

 

Herramienta #2: Códigos de Observación para el Sistema de Supervisión

Sucesos Internos (Ocurren en el interior de la iniciativa)

Codigo	Definición	Ejemplos
PP Planificación de Productos	Productos o subproductos de la planificación en el interior del grupo	Declaración de objetivos Formación de comités o grupos de trabajo con los miembros reconocidos Solicitud de subvención
Resources Generated (RG)	Adquisición de fondos a través de subvenciones, donaciones, o regalos de materiales	Materiales recibidos Tiempo de las personas (excepto los voluntarios) Dinero

Eventos Externos (Ocurren fuera de la iniciativa)

Codigo	Definición	Ejemplos
Community Action (CA)	Acciones adoptadas para realizar cambios en la comunidad relacionados con las metas de la iniciativa	Acciones que intentan modificar o crear un nuevo programa, política, o práctica Peticiones
CC Cambios en la Comunidad	Cambios en los programas, políticas, o prácticas de los cuerpos gubernamentales, agencias, negocios, y de otros sectores de la comunidad que están relacionados con las metas de la iniciativa	Un programa de servicio nuevo o modificado Una política nueva o modificada (ej. control del tabaco) Una práctica nueva o modificada (ej. Respecto al horario de oficina)
SP Servicio Provisto	Eventos que son diseñados para informar o educar a las personas	Clases Talleres Communicaciones como folletos
M Medios	En cada caso el uso de tiempo en la radio, tiempo en la televisión, articulo es el periódico, folleto o carta.	Radio TV
Otro (O)	Componentes para los cuales no se le han creado códigos o no se le ha creado una definición

 

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué significa evaluar las metas de la comunidad?

• ¿Por qué debemos evaluar las metas de la comunidad?

• ¿Cuándo debemos evaluar las metas de la comunidad?

• ¿Cómo evaluar las metas de la comunidad?

• ¿Qué significa evaluar las metas de la comunidad?

Evaluar las metas de la comunidad que se han desarrollado a través de un proceso de planificación (para más información sobre planificación, véase Desarrollando un Plan Estratégico) es una manera de descubrir si la comunidad cree que sus metas son deseables y realistas. Las metas deben ser evaluadas por personas tanto dentro como fuera de su grupo. Debe pedírseles que expliquen cuáles metas creen que son las más importantes y más factibles para la comunidad. Pedirle a varios individuos que expresen sus opiniones acerca de cuáles metas servirían mejor a la comunidad incrementa la probabilidad de que las acciones tomadas posteriormente cuenten con el apoyo y el respaldo de la comunidad. Las metas pueden ser cualquier cambio en una política, programa, o práctica que pueda tener impacto en la situación que su grupo haya decidido resolver.

¿Por qué evaluar las metas de la comunidad?

Cuando su grupo evalúa las metas de la comunidad, está escuchando a la comunidad --¿Cuáles deben ser las metas? ¿Cómo se deberán alcanzar?  Así, su grupo refina estas metas, las clarifica y define cuidadosamente. Entonces su grupo le solicita a la comunidad las metas corregidas para asegurarse que reflejan las visiones de la comunidad, y lo que ellos consideran que trabajará de manera efectiva.

Por ejemplo: Digamos que usted y algunos vecinos deciden desarrollar un programa para reducir la enfermedad cardiovascular en su comunidad.  Para entender lo fundamental, usted lee libros útiles de promoción de la salud, desarrollo comunitario y enfermedad cardiovascular.  Usted reúne información de miembros de la comunidad sobre los tipos de programas que la gente prefiere más.  Pero, ¡suponga que la visión de todos no es la misma!  Tal vez un grupo de gente piensa que usted debería trabajar en un sendero para caminatas en la comunidad.  Otros no lo creen así.  Ellos han vivido en esta parte del país por muchos más años que usted.  Su experiencia les dice que programas similares anteriores  que pretendían incrementar la actividad física en la comunidad fallaron y solamente las clases de aeróbicos han funcionado en el pasado, por una variedad de razones.  Otros tienen diferentes sugerencias.  Para satisfacer los sueños de todos, probablemente usted intentará incorporar en su plan global tantas sugerencias como le sea posible.

Seguidamente, usted organiza las visiones de todos en metas y presenta los resultados a la comunidad.  Los miembros de la comunidad votan por las metas que creen son las más importantes, y más fáciles de cumplir.  Basado en la votación, usted prioriza las metas.  Se crea un plan de 5 años o diseña la descripción de los pasos que tomará para poder ver a una comunidad previamente pasiva y apática llenarse de actividad e interés para realizar acciones para reducir enfermedades del corazón.

De manera similar, su grupo puede beneficiarse al preguntarle tanto a miembros de su grupo como a miembros de la comunidad, lo que ellos creen funcionaría mejor para resolver un problema en su comunidad.

Evaluar las metas de la comunidad puede ayudar a la comunidad y a su grupo a:

• Llegar a un consenso entre los miembros
• Continuar el establecimiento de prioridades
• Validar las elecciones que se hicieron sobre sus metas

¿Cuándo debemos evaluar las metas de la comunidad?

En este paso del proceso de evaluación, “a quien madruga Dios le ayuda”.  Eso significa que, el mejor momento para evaluar las metas es antes de escribir “en piedra” su plan de acción, y ciertamente, antes de que se inicie a tomar acciones. De esta manera, su grupo puede realizar cualquier ajuste necesario antes de iniciar el trabajo para alcanzar los objetivos.

¿Cómo evaluamos las metas de la comunidad?

Realizar encuestas a los participantes acerca de las metas de la comunidad

¿Quiere escuchar las opiniones de la gente? ¿Quiere saber qué piensa la comunidad acerca de las metas que su grupo ha desarrollado? ¿Quiere sentirse seguro de que los planes de su grupo tienen una posibilidad real de producir cambio en la comunidad? Si la respuesta a estas preguntas es sí, usted está listo a realizar una encuesta a los miembros de su grupo o comunidad los cuales tienen algo que decir acerca del tema.

El proceso real de “cómo hacerlo”, incluye cuatro pasos.  Estos son:

• Desarrollar una encuesta
• Realizar la encuesta
• Revisar los resultados de la encuesta
• Utilizar la información obtenida para afinar los detalles el plan

Pero, antes de que usted aborde estos pasos, revise las razones para realizar la encuesta.  Esto es, ¿qué espera aprender al preguntar por opiniones acerca de la importancia y factibilidad de las metas de la comunidad?

Su grupo realizará la encuesta para:

• Verificar la importancia de las metas
• Priorizar las metas
• Revisar las metas

Ahora, el meollo del asunto:

Desarrolle una encuesta que enliste y explique los diferentes objetivos que su grupo espera alcanzar.

En este punto, los miembros o empleados de su grupo deberán crear una encuesta que busque la importancia y la tasa de factibilidad de las metas propuestas.  Una iniciativa pequeña o incipiente puede tener solamente unas doce metas, mientras que una iniciativa grande y extensiva a largo plazo, puede tener cientos de metas.  Si su grupo desea disminuir la tasa de embarazos en adolescentes, una de las metas programadas en la encuesta podría ser:

Distribuir material escrito en escuelas y la zona objetivo acerca del problema del embarazo en adolescentes.

Usted le solicitará a la persona que completa la encuesta que evalúe la importancia y la factibilidad de cada meta. ¿Qué tan importante es esta meta para alcanzar su misión de reducir el embarazo en adolescentes? ¿Qué tan sencillo será alcanzar este objetivo?

La importancia de la meta en su misión se relaciona con cuánto impacto tendrá ésta en el problema. Distribuir panfletos de las consecuencias legales de vender tabaco a menores de edad en tiendas de conveniencia en su comunidad, probablemente ayudará a reducir el fumado en estudiantes de colegio, más que la meta de crear un sendero para caminar y andar en bicicleta.

La factibilidad, por otro lado, es preguntarle a la gente que evalúe las posibilidades de que se alcance la meta.  Esto es, cuántas barreras u obstáculos, tales como la cantidad de recursos disponibles, se interponen para que usted alcance la meta.

Por ejemplo, el objetivo de establecer un grupo educativo de compañeros en un colegio local para ayudar a reducir el embarazo en adolescentes es probablemente más factible que distribuir métodos anticonceptivos gratuitos a cualquier estudiante de colegio que los solicite.  La segunda opción, por supuesto, es muy controversial y podría toparse con oposición política.

Los miembros de su equipo que son responsables de la evaluación o los miembros de un equipo de evaluación externo (si se tienen recursos para contratarlos) deben proponer un formato para la encuesta.  Estas personas luego ayudarán con el diseño y el desarrollo del mismo.  Sin embargo, ésta es una manera sencilla de montar la encuesta:

Para cada meta, establezca una escala de 1 a 5, donde 1 sea “poco importante” y 5 sea “muy importante”. Así, cada encuestado podrá evaluar cada meta tanto con respecto a la importancia como a la factibilidad (cuán factible es).

La siguiente figura ilustra una muestra de una encuesta de metas itilizado en una comunidad escolar para prevenir el embarazo adolescente.

Encuesta de Metas para la Iniciativa Escolar/Comunitaria para la Prevención del Embarazo en Adolescentes

Qué tan importante y factible es que la iniciativa…

Meta propuesta (por ejemplo, desarrollar un programa de tutoría)	Importante	Factibilidad
	Poco                 Muy Importante importante	Poco factible      Muy factible
Distribuir material escrito en escuelas y el área objetivo acerca del problema del embarazo en adolescentes.	1          2          3          4          5	1          2          3          4          5
Entrenamiento para la juventud y los jóvenes impartido por el grupo de apoyo.	1          2          3          4         5	1          2          3          4          5
Trabajar con USD 259 para facilitar la interacción padre de familia/profesor y el involucramiento en actividades de reducción del riesgo sexual.	1          2          3          4         5	1          2          3          4          5
Reclutar y entrenar profesores y estudiantes relacionados con clubes de teatro, periodismo y otras asociaciones para iniciar presentaciones de jóvenes y promocionar las actividades de grupos de apoyo acerca de la sexualidad adolescente.	1         2         3         4         5	1          2          3          4          5

 ¿Parece lo suficientemente sencillo?

Realice una encuesta para los integrantes

Ahora es el momento para distribuir la encuesta a los integrantes o a aquellas personas más interesadas en el problema. A saber,

• Miembros de su grupo
• Expertos externos
• Patrocinadores
• Aquellas personas afectadas por el problema
• Otros miembros de la comunidad interesados

Estos son los individuos que proveerán diferentes perspectivas e ideas acerca de los planes que su grupo está proponiendo. Al muestrear una diversidad de voces, usted aplicará en las metas las vastas experiencias y el conocimiento de la comunidad.

Idealmente, se podrán distribuir las encuestas cuando tenga una audiencia ya congregada --en reuniones o eventos similares. Enviar las encuestas por correo también es una opción, aunque se debe tener en cuenta que los índices de devolución pueden ser bajos. También, ¡no olvide incluir una dirección de remitente para que la gente sepa a dónde devolver la encuesta! Los sobres membretados también son de ayuda... Si cuenta con los recursos.

Revise las evaluaciones de las encuestas devueltas

Idealmente, la información que usted recibe debe separarse en dos categorías.  La encuesta va a preguntar:

• ¿De qué manera es importante la meta para la misión?
• ¿Cuál es la factibilidad, o posibilidad, de que este objetivo se convierta en realidad?

Al examinar la información devuelta en la encuesta, usted puede evaluar de una mejor manera la importancia y factibilidad de los planes de su grupo. ¿Cómo empezar a trabajar con la evaluación de esta información? Primero, alguien del grupo será responsable de promediar los resultados de importancia y factibilidad de cada meta propuesta.

Veamos un ejemplo de cómo pueden aparecer los resultados. Digamos que 10 personas devolvieron una encuesta que incluía las 4 metas de nuestro ejemplo anterior.  Las respuestas fueron promediadas y los resultados fueron:

Muestra de las Evaluaciones sobre la Importancia y Factibilidad de las Encuestas de las Metas

Meta Propuesta	Evaluación de Importancia	Evaluación de Factibilidad
Distribuir material escrito en escuelas y el área objetivo acerca del problema del embarazo en adolescentes.	1.5	1.7
Entrenamiento para la juventud y los jóvenes impartido por el grupo de apoyo.	4.5	4.1
Trabajar con USD 259 para facilitar la interacción padre de familia/profesor y el involucramiento en actividades de reducción del riesgo sexual.	1.8	3.9
Reclutar y entrenar profesores y estudiantes relacionados con clubes de teatro, periodismo y otras asociaciones para iniciar presentaciones de jóvenes y promocionar las actividades de grupos de apoyo acerca de la sexualidad adolescente.	3.7	1.6

Pero, ¿qué significan estos números? En esta etapa, puede ser importante ordenar los objetivos por su evaluación de importancia.  Las evaluaciones son importantes porque le dicen cómo se siente la comunidad acerca de las metas. ¿Un 3.0 de importancia significa que la meta deberá ser incluida en el plan de acción?  No necesariamente.  La parte 4 le ayudará a priorizar aún más sus metas.

Utilice los resultados de la encuesta para concretar el plan

Realizar la encuesta resultará útil solo si su grupo utiliza los resultados para seleccionar e implementar metas apoyadas por la comunidad y para reevaluar aquellas que se perciben como menos favorables.

Existen diversas maneras para ordenar las metas basadas en las respuestas de la comunidad a las mismas. Éstas son:

• Se deben hacer: Son las metas que la comunidad piensa son importantes y factibles. Usted querrá empezar inmediatamente con éstas.
• Importantes de intentar: La comunidad piensa que estas metas son importantes, pero serán difíciles de alcanzar. Se debe intentar realizarlas pero se debe tener presente que necesitarán un esfuerzo extra para poder alcanzarse.
• Fáciles de hacer: La comunidad piensa que estas metas son fáciles de alcanzar, pero que no son tan importantes. Se deben hacer si se necesita incrementar la credibilidad del grupo.
• Último recurso: Estas metas tienen poca importancia para su comunidad y son difíciles de hacer. La única situación en la cual se deberían realizar es si se conoce algo que la comunidad no conoce; debido a que no se obtendrá mucho apoyo y aunque se lleven a cabo de manera exitosa, podrían no tener importancia.

Matriz para la Priorización de Metas

	Mucha Importancia	Poca Importancia
Mucha Factibilidad	Deben hacerse	Fáciles de hacer
Poca Factibilidad	Importantes de intentar	Último Recurso

 

¿Cómo decidir cuáles evaluaciones de importancia y factibilidad son altas o bajas?

 Ésta es una decisión un tanto arbitraria.  Se pueden dividir por la mitad y agruparlas en categorías de mucho y poco.

Utilizando las evaluaciones de importancia y factibilidad del ejemplo anterior acerca de las evaluaciones de importancia y factibilidad, la primera meta, “Distribuir material escrito en escuelas y el área objetivo acerca del problema del embarazo en adolescentes”, recibió un 1.5 de importancia y un 1.7 de factibilidad. Estos resultados colocan esta meta en el cuadrante de “Último Recurso”, ya que son de poca factibilidad y poca importancia. Por lo tanto, probablemente se querrá dejar de lado esta meta pues será demasiado difícil de alcanzar, y probablemente tendrá poco significado o efecto en su comunidad en caso de que se logre alcanzar.

Por otra parte, la segunda meta, “Entrenamiento para la juventud y los jóvenes impartido por el grupo de apoyo”, obtuvo cifras altas para los valores de factibilidad e importancia (4.5 y 4.1 respectivamente). Esta meta, con mucha factibilidad e importancia, cae dentro del cuadrante de “Se deben hacer”. Usted seguramente querrá alcanzar esta meta rápidamente, así como será muy probable que llegue a ser exitoso y que este éxito le dará credibilidad a su organización /grupo.

En relación con la tercera meta, “Trabajar con USD 259 para facilitar la interacción padre de familia/profesor y el involucramiento en actividades de reducción del riesgo sexual”, que obtuvo una evaluación de importancia de 1.8 y un 3.9 para la factibilidad, se cae dentro de la categoría “Fáciles de Hacer”.  Esto significa que no es tan importante para la comunidad pero sería sencilla de realizar. ¿Qué se debe hacer? Podría intentar seguir adelante con la misma pues este éxito construirá la credibilidad del grupo.

Finalmente, la cuarta meta, de “Reclutar y entrenar profesores y estudiantes relacionados con clubes de teatro, periodismo y otras asociaciones para iniciar presentaciones de jóvenes y promocionar las actividades de grupos de apoyo acerca de la sexualidad adolescente” recibió 3.7 de importancia y 1.6 de factibilidad. Esto coloca la meta dentro del cuadrante de “Importantes de intentar” de la matriz. Probablemente se debe seguir adelante e intentarlo, pues definitivamente será de importancia para la misión. Sin embargo, probablemente no será una tarea fácil, así que hay que tener en mente el esfuerzo extra que se necesitará para alcanzarla.

Evaluar las metas de la comunidad le permite obtener una mejor idea de la probabilidad de que los integrantes se unan al grupo para alcanzar el objetivo. Para más ideas acerca de retroalimentación y utilización de esta información para fortalecer al grupo, vea “Colocarlo/ Ponerlo todo de manera conjunta. Bringing it all together”.

El proceso completo (desde desarrollar las preguntas hasta el resumen final de los datos) puede tomar largo tiempo, dependiendo del tamaño del grupo. Para grupos pequeños, el tiempo de realización puede ser de unas cuantas semanas, mientras que grupos de trabajo para comunidades grandes pueden tardarse meses. En nuestra experiencia, los miembros de su equipo pueden tardarse pocas horas o hasta más de 10, dependiendo del tamaño, para desarrollar las preguntas, distribuir las evaluaciones y tabular los resultados. A la larga, toda la cuidadosa preparación dará como resultado un plan con un gran potencial de utilidad para desarrollar consenso y dirección en el grupo.

___Comprende lo que significa evaluar las metas de la comunidad.

___Entiende por qué se deben evaluar las metas de la comunidad.

___Entiende cuándo se deben evaluar las metas de la comunidad.

___Entiende cómo evaluar las metas de la comunidad.

___Entiende cómo encuestar a los participantes acerca de las metas de la comunidad.

___Sabe cómo desarrollar una encuesta que enliste y explique diferentes los objetivos que su grupo espera alcanzar.

___Sabe cómo conducir una entrevista de participantes.

___Sabe cómo revisar las evaluaciones de las encuestas realizadas.

___Sabe cómo utilizar los resultados de la encuesta para concretar el plan.

___You know how to use the survey results to finalize the plan

Herramienta #1: Encuesta de Metas

Llevar a cabo una encuesta de metas ayudará al grupo a desarrollar una lista de cambios que se deben buscar en la comunidad. Puede ser útil en los futuros esfuerzos de planificación estratégica.

Encuesta de metas para:

Proyecto:

El propósito de esta encuesta es ayudar a establecer prioridades para _______________.  Nos gustaría conocer su opinión acerca de la importancia y factibilidad de cada uno de los cambios propuestos.

En la primera columna (Importancia), por favor encierre con un círculo el número que muestra cuán importante cree usted que es el cambio mencionado para prevenir o reducir _______________________.  En la segunda columna (Factibilidad), por favor encierre con un círculo el número que muestra que tan sencillo (factible) es que se alcance el objetivo.

Por favor utilice el siguiente sistema de evaluación:

Qué tan importante y factible es que la iniciativa…

Meta propuesta (por ejemplo, desarrollar un programa de tutoría)	Importancia					Factibilidad
	Poco                                            Muy importante    Importante					No factible     Muy factible
1.	1	2	3	4	5	1	2	3	4	5
2.	1	2	3	4	5	1	2	3	4	5
3.	1	2	3	4	5	1	2	3	4	5
4.	1	2	3	4	5	1	2	3	4	5
5.	1	2	3	4	5	1	2	3	4	5
6.	1	2	3	4	5	1	2	3	4	5
7.	1	2	3	4	5	1	2	3	4	5
8.	1	2	3	4	5	1	2	3	4	5
9.	1	2	3	4	5	1	2	3	4	5
10.	1	2	3	4	5	1	2	3	4	5
11.	1	2	3	4	5	1	2	3	4	5
12.	1	2	3	4	5	1	2	3	4	5
13.	1	2	3	4	5	1	2	3	4	5
14.	1	2	3	4	5	1	2	3	4	5
15.	1	2	3	4	5	1	2	3	4	5