Capítulo 37. Algunas operaciones para evaluar intervenciones comunitarias | Community Tool Box

• ¿Qué queremos decir con “seleccionar las preguntas”?

• ¿Por qué es necesario seleccionar cuidadosamente las preguntas de la evaluación?

• ¿Cuándo se deben  seleccionar las preguntas y planear la evaluación?

• ¿Quién deberá estar involucrado en el proceso?

• ¿Cómo se seleccionan las preguntas y se planea la evaluación?

Los Capítulos 36-39 de la Caja de Herramientas Comunitarias se refieren a la evaluación de los programas comunitarios. Hemos elegido dedicar tanto espacio a la evaluación porque es una de las partes más importantes de cualquier esfuerzo para mejorar  la vida comunitaria y realizar un cambio social duradero. Ella puede ayudarlos a comprender mejor qué tan bien anduvieron el planeamiento y los preparativos para su programa, si ustedes lo llevaron a cabo como pretendían,  y cuáles fueron las consecuencias.Ella puede decirles si cumplieron sus metas y objetivos originales o no, y darles información sobre lo que necesitan cambiar para ser más efectivos.

El Capítulo 36 explica cómo funciona una evaluación, y da alguna guía sobre cómo desarrollarla. El Capítulo 38 los ayudará a reunir y analizar la información que desean, y el Capítulo 39 trata sobre cómo usar esa información para mejorar su programa y acumular apoyo comunitario y financiero. Aquí, en el  Capítulo 37, observamos a la evaluación desde un punto de vista investigativo - cómo planear y estructurar una evaluación que pueda ayudarlos a comprender mejor y a mejorar lo que hacen.

En esta sección, discutiremos el primer, y tal vez más importante paso, en la investigación de la evaluación: decidir exactamente qué evaluar. Cada parte del resto de las secciones en el capítulo tratará en detalle cada paso que se tendrá que dar para diseñar, implementar, y usar la evaluación. El objetivo del capítulo es proporcionar lineamientos que sean útiles para las organizaciones de base local o comunitaria así como para estudiantes o investigadores académicos.

¿Qué queremos decir con “seleccionar las preguntas”, y por qué ello es necesario?

Cada evaluación, como cualquier otra investigación, comienza con una o más preguntas. Algunas veces, las preguntas son simples y fáciles de responder. (¿Estaremos más o menos cerca de las 50 personas que esperamos ayudar?) A menudo, sin embargo, las preguntas pueden ser complejas, y las respuestas menos fáciles de obtener. (¿Cuál, o qué combinación, de las tres partes de nuestra intervención afectarán a cuál de los dos cambios de comportamiento que buscamos en nuestros participantes?) Las preguntas que se haga su organización guiarán no sólo su evaluación, sino su programa también. Mediante su selección de preguntas, también se está definiendo qué es lo que se está tratando de cambiar.

Ustedes eligen las preguntas de su evaluación mediante el análisis del problema o tema comunitario al que están apuntando,  y al decidir cómo quieren afectarlo. ¿Por qué quieren hacer esta particular pregunta en relación con su  evaluación? ¿Cuál es la parte del asunto que es más urgente o vital cambiar? ¿Qué indicadores les dirán si ese cambio está teniendo lugar? ¿Es eso todo lo que les preocupa? Las respuestas a cada una de estas y otras preguntas ayudan a definir qué es lo que se está tratando de hacer, y, por extensión, cómo van a tratar de hacerlo.

¿Cuál es el verdadero objetivo de un programa para introducir comidas más saludables en los almuerzos escolares? Podría ser simplemente convencer a los niños de que coman más frutas, vegetales y granos enteros. Podría ser conseguir que ellos coman menos comida chatarra. Podría ser alentar la pérdida de peso en niños que tienen sobrepeso o que están obesos. Podría ser educarlos sobre la alimentación saludable,  y persuadirlos de ser más aventurados en la elección de sus comidas.

Las preguntas de evaluación que se hagan tanto reflejarán cómo determinarán las metas para el programa. Si no se mide la pérdida de peso, por ejemplo, entonces claramente eso no es a lo que están apuntando. Si solamente se toma en cuenta el aumento de alimentos saludables que consumen los niños,  se ignorará el hecho de que si ellos no dejan de comer otras cosas (comida chatarra, por ejemplo), simplemente aumentarán de peso. ¿Es eso de todos modos mejor que el que no coman alimentos saludables? Ustedes contestarán esa pregunta por lo que elijan examinar – si es mejor, les podrá no preocupar qué más están comiendo los niños; y si no, entonces sí les preocupará.

Algunas de las preguntas básicas a hacerse al seleccionar las preguntas evaluativas son:

¿Qué es lo que quieren saber?

Los académicos y otros investigadores pueden enfocar la elección de las preguntas de la investigación de manera diferente a aquéllos involucrados en los programas comunitarios. Además de sus aplicaciones prácticas y sociales, ellos pueden seleccionar problemas para investigar simplemente por qué son interesantes, o por qué se relacionan con otro trabajo que ellos o sus colegas están haciendo. Los trabajadores de servicios comunitarios y otros directamente involucrados en los programas, por el otro lado, están específicamente interesados en mejorar lo que están haciendo para poder ayudar a  elevar la calidad de vida de los participantes de sus programas, y a menudo, de la comunidad como un todo. Puesto que asumimos que la mayoría de los que usen este capítulo de la Caja de Herramientas es probable que sean trabajadores de la comunidad, veamos algunas de las razones por las que ellos podrían seleccionar un área en particular para evaluar.

Si se está aplicando o por aplicar, un programa para afectar un tema o problema comunitario,  se querrá contestar una o más de las siguientes preguntas:

¿Existe una relación causa-efecto (es decir, una acción o condición que directamente cause otra) entre una acción determinada y un cambio determinado? Generalmente, a su organización le preocupará esto en relación con su programa. (Nuestro grupo de apoyo para dejar de fumar ¿ayuda a los miembros a abandonar el cigarrillo?) Algunas veces, sin embargo, puede ser importante mirarlo en relación con la comunidad. (La prohibición de fumar en edificios públicos, bares y restaurantes, ¿lleva a una disminución en el número de residentes de la comunidad que fuman?)

Si nosotros probamos este nuevo método, ¿qué sucederá?

El programa que funcionó en el pueblo vecino, o sobre el que leímos en un periódico profesional, ¿funcionará con nuestra población, o con nuestro problema?

¿Por qué están interesados?

Algunas de las mismas diferencias entre las preocupaciones de los investigadores y las preocupaciones de los trabajadores pueden persistir aquí. Aquéllos interesados sobre todo en investigar podrán simplemente ser movidos por la curiosidad o por la urgencia de solucionar un problema difícil.  Como trabajador comunitario, por otra parte, se querrá saber los efectos de lo que está haciendo sobre las vidas de los participantes o de la comunidad.

Su interés, por lo tanto, podrá crecer por:

• Su experiencia con un problema y sus consecuencias en una determinada población o comunidad.
• Su conocimiento de prometedoras intervenciones y sus efectos sobre temas similares.
• La singularidad del tema para su particular comunidad o población.
• La similitud del tema con otros temas en su comunidad, o la interacción del tema con otros temas.

Su interés como trabajador comunitario tiene que ser considerado en relación con su evaluación y el propósito de su programa. Su intención básica es probablemente mejorar las cosas para la población o para la comunidad, pero ¿de qué modos y mediante qué medios? ¿Probarán ustedes algunas cosas nuevas con la esperanza de hacer aún más exitoso a un programa ya exitoso? ¿Se está importando una práctica promisoria para ver si funciona con su población? ¿Se está tratando de solucionar un problema profesional particularmente difícil?

Un programa de mediación comunitaria encontró que estaba teniendo poco éxito en casos que involucraban a adolescentes. Después de conversarlo con otros programas similares –todos los cuales estaban luchando con el mismo problema – los mediadores del programa idearon una serie de estrategias para tratar de llegar a los jóvenes. La pregunta general que les preocupaba - "¿Estas estrategias harán posible que mediemos exitosamente en lo que los adolescentes estén involucrados?" – era una con consecuencias reales.

¿El problema que se está enfocando es importante para la comunidad o para la sociedad?

Los informes en los medios o los intentos de la comunidad de tratar el problema son claros indicadores de que es socialmente importante. Si afecta a un grupo en particular - violencia en determinado vecindario, un alto porcentaje de enfermedades del corazón entre hombres negros de mediana edad – tiene un impacto obvio en la comunidad y en la sociedad. Si su programa o intervención tiene el potencial de ayudar a resolver el asunto en otros lugares, de ser usado por trabajadores comunitarios en otros campos, o de ser aplicado de otras maneras, la importancia de su análisis aumenta todavía más. Si el tratamiento del asunto puede llevar a un cambio social positivo y duradero, entonces el análisis es vitalmente importante.

Todo esto afecta su evaluación y las preguntas que formulen. Si el asunto es uno de importancia social, entonces la evaluación de su propio trabajo es socialmente importante también. ¿Está ejecutando los elementos de su programa o intervención que son de mayor valor para los participantes, la comunidad, y la sociedad? Si no es así, ¿cómo puede empezar a hacerlo?

¿Cómo se relaciona el asunto con el campo?

La pregunta real aquí no es si el asunto es importante en su campo de acción– lo que interesa  es si el mismo es importante para la comunidad. Sin embargo, se debe explorar si hay evidencia de campo aplicable al asunto en consideración. ¿Lo que usted está haciendo tiene más probabilidades de ser efectivo que otros enfoques que se han intentado? Si su enfoque no es efectivo, ¿hay otros enfoques que parezcan más promisorios? ¿Puede el material publicado acerca del tema ayudar a comprenderlo mejor, y a darle mejores ideas acerca de cómo encararlo?

¿Es el asunto general, en vez de específico, con respecto a su población o comunidad?

Considere si hay evidencia de que el asunto se da en distintas poblaciones y bajo una variedad de condiciones. También considere si las observaciones o métodos usados para determinar la existencia del problema son precisos y si pueden ser usados en diferentes situaciones y con diferentes grupos.Su evaluación podrá darles valiosa información para compartir con otros profesionales en diferentes campos o diferentes circunstancias.

¿Quiénes podrían usar los resultados de la evaluación?

Si su evaluación muestra que su programa o intervención tuvo éxito, esa es obviamente información valiosa, especialmente si lo que están evaluando es novedoso y no ha sido probado antes. Aún si en la evaluación aparecen problemas importantes con la intervención, esa es incluso información importante para otros  - les dice qué no funcionará, o qué barreras deben ser vencidas con el objeto de hacerlo funcionar.

Algunos de los que podrían usar sus resultados son individuos y grupos afectados por el tema; proveedores de servicios y otros que tienen que lidiar con el problema (en el caso de la violencia juvenil, por ejemplo, este último grupo podría incluir a la policía, a funcionarios escolares, a propietarios de pequeños comercios, a los padres, y a personal médico, entre otros); a defensores y activistas comunitarios y a dirigentes públicos y otros políticos. El valor de la información lleva a la pregunta de cómo pasarla, la que examinaremos en la Sección 10 de este capítulo, Preparar la intervención para su divulgación.

¿A quién concierne el asunto?

¿Quién tiene que cambiar para tratar el problema? El foco de la intervención les dirá en quiénes deberán centrarse la evaluación.

Algunas posibilidades son:

• Aquellos directamente afectados por el problema.
• Aquellos en contacto personal directo con los directamente afectados: padres, cónyuges e hijos, otros familiares, amigos, vecinos, compañeros de trabajo.
• Aquellos que trabajan o tratan de otros modos con los directamente afectados: personal médico, policías, docentes, trabajadores sociales, terapeutas, etc.
• Administradores y otros que trabajan o tratan con aquellos que son afectados indirectamente: directores de clínicas u hospitales, jefes de policía, directores escolares, directores de agencias, etc.
• Funcionarios designados o electos y otros políticos.

¿Por qué es necesario seleccionar cuidadosamente las preguntas de la evaluación?

Usted bien sabe por qué están aplicando su programa. Evaluarlo sería simplemente un tema de decidir si las cosas están mejor cuando usted las evalúa con respecto a como estaban antes de que la intervención empezara, ¿No es así? Bueno, en realidad no es así. No es tan simple. Primero, se necesita determinar qué "cosas" se están realmente analizando (¿recuerdan el ejemplo del almuerzo escolar?) Segundo, es necesario considerar la manera en que se determinará que la intervención se está haciendo bien, y qué se necesita cambiar. Aquí hay una lista parcial de razones por las que es importante la elección de las preguntas de antemano.

• Ayuda a comprender los diferentes efectos de la intervención. Al enmarcar las preguntas cuidadosamente, se puede evaluar los diferentes componentes de su esfuerzo. Si se añade un elemento después del inicio del programa, por ejemplo, podrá tal vez ver su efecto separado del resto del programa...si se propone examinarlo. De la misma manera, se puede mirar diferentes posibles efectos del programa como un todo. (Los adultos que estudian educación básica ¿leen más como resultado de estar en el programa? ¿Es más probable que ellos se registren para votar? ¿Sus niños mejoran su desempeño escolar?)
• Hace que se defina con claridad qué es lo que se está tratando de hacer. Lo que usted decide evaluar define lo que se espera conseguir. Seleccionar las preguntas de evaluación al inicio de un programa o esfuerzo deja en claro qué es lo que se está tratando de cambiar, y cuáles quiere que sean sus resultados.
• Les muestra dónde necesitan hacer cambios. El seleccionar cuidadosamente las preguntas y hacerlas específicas para sus objetivos reales debería mostrarles exactamente dónde el programa está funcionando bien y dónde no está teniendo el efecto deseado.
• Destaca consecuencias inesperadas. Cuando se reciben respuestas inusuales a las preguntas que eligen, a menudo significa que su programa ha tenido algunos efectos que no se esperaban. Algunas veces estos efectos son positivos –la gente del programa de ejercicios cardiovasculares no sólo mejoraron su estado físico, sino que la mayoría informa haber mejorado su dieta y haber perdido peso también – y algunas veces los efectos son negativos – los niños obesos de un programa para comer saludablemente realmente ganaron peso, aún cuando estuvieron comiendo una dieta más sana - y algunas veces ninguna de las dos cosas. Como los efectos secundarios de los medicamentos, las consecuencias no premeditadas de un programa pueden ser tan importantes como el programa mismo. (En el caso del programa de ejercicios, los cambios en la dieta pueden hacer tanto o más que el ejercicio para mantener la salud del corazón, por ejemplo, y pueden señalar de algún modo hacia un cambio en el enfoque del programa.)
• Guía sus elecciones futuras. Si encuentra que su programa es particularmente exitoso en ciertas partes y no en otras, por ejemplo, usted podrá decidir enfatizar más las áreas exitosas, o cambiar completamente su enfoque en las áreas no exitosas. Esto, a su vez, cambiará el énfasis también en la futura evaluación.
• En  las evaluaciones participativas, la evaluación involucra a los interesados en el establecimiento del curso del programa, haciendo de ese modo más probable que cumpla con las necesidades de la comunidad.
• Proporciona enfoque en la evaluación y en el programa. El seleccionar cuidadosamente las preguntas evaluativas evitará que usted se disperse y trate de hacer demasiadas cosas a la vez, diluyendo por lo tanto su efectividad en todas.
• Determina qué registros anotar con el objeto de reunir datos para la evaluación. Una clara elección de las preguntas evaluativas hace la recolección de datos mucho más fácil, puesto que generalmente vuelve obvio qué clase de registros deben ser llevados y qué áreas necesitan ser examinadas.

¿Cuándo debería usted seleccionar las preguntas y planear la evaluación?

Ya que las preguntas de evaluación ayudan a dar forma al trabajo, deberían seleccionarse junto a la evaluación al planear el programa completo. Eso le dará tiempo y espacio para conseguir un proceso participativo, y le dará la oportunidad de usar la evaluación como parte integral del programa. A medida que el programa se desarrolla, se encontrará agregando o ajustando preguntas para reflejar la realidad de lo que está sucediendo, pero a no ser que sus preguntas originales estuvieran  mal encaminadas (estaba equivocado acerca de qué comportamiento debía cambiar con el objeto de producir determinados resultados, por ejemplo), ellas les serán de utilidad.

Ahora discutamos la realidad de muchos programas comunitarios y  programas de base local. A menudo tienen poco personal y fondos.  Los empleados reciben pagos bajos y a menudo trabajan muchas más horas a la semana de las que les pagan debido a su dedicación a la justicia y al cambio social. La mayoría o todos los funcionarios del programa pueden incluso ser voluntarios, con trabajos de tiempo completo y  responsabilidades familiares además de su trabajo en el programa. La evaluación inicial en estas circunstancias es a menudo anecdótica – o sea, basada en comentarios e historias de los participantes sobre su progreso y observaciones personales, informales de los funcionarios. Una evaluación formal probablemente esperará hasta que haya fondos para hacerla, o hasta que alguien tenga el tiempo de coordinarla o de encargarse de ella.

En ese caso, el "cuando" se convierte en "tan pronto como se pueda". Usted puede estar trabajando con un programa que acaba de empezar, o con uno que ha estado operando por un largo tiempo. Puede saber que se necesita hacer cambios, o puede parecer que el programa está realmente logrando sus metas. Cualquiera sea la situación, se deben seleccionar las preguntas evaluativas y planear una evaluación que le dé la información que necesita para mejorar su trabajo. Aún con un programa que ha estado funcionando por un tiempo, las preguntas pueden igual ayudarle a definir o redefinir su trabajo, y ciertamente le ayudará a mejorarlo en el largo plazo.

¿Quiénes deben estar involucrados en la elección de las preguntas y el planeamiento de la evaluación?

Si ha consultado otras secciones de la Caja de Herramientas relacionadas con evaluación, se habrá dado cuenta que estamos a favor de que todos los interesados se involucren en la planeación de la evaluación. Creemos que la mejor evaluación es la participativa. Eso significa que hay representación de las opiniones y los conocimientos de la gente afectada sobre el asunto a encararse. La lista de potenciales participantes es esencialmente la misma que vimos en "¿A quién concierne el asunto?" en la primera parte de esta sección: aquéllos directamente afectados y sus contactos cercanos; aquéllos que trabajan con los directamente afectados, o que tratan directa o indirectamente con ellos y el problema; y funcionarios públicos. A estos grupos debemos agregar otros ciudadanos preocupados, y aquéllos indirectamente afectados por el tema. (Un comerciante puede no ser víctima de la violencia del vecindario, pero el temor a esa violencia puede no obstante mantener a los clientes alejados de su negocio, por ejemplo.)

Las evaluaciones que involucran a todos los interesados tienen una serie de ventajas sobre aquéllas conducidas en vacío por evaluadores externos o personal de la agencia o del programa. Es más probable que ellos reflejen las verdaderas necesidades de la comunidad, y que ejerzan presión sobre el conocimiento de la comunidad acerca de su propio contexto - historia, relaciones, cultura, etc. – sin los cuales un programa y su evaluación pueden desviarse.

La participación puede ir desde una simple consulta hasta una completa participación en todos los aspectos de una evaluación – valoración, planeamiento, recolección de datos, análisis, y trasmisión de la  información. En general, cuanto mayor sea el involucramiento de los interesados mucho mejor, pero una profunda implicación de los interesados no siempre es posible. Como el Capítulo 36, Sección 6 lo explica, hay desventajas temporales en la evaluación participativa – lleva más tiempo – e inquietudes logísticas también. Los participantes pueden no tener nada en su formación que los haya preparado para la investigación, de modo que sería necesario entrenarlos en una cantidad de áreas que requieran aptitudes, cuidadoso planeamiento, y todavía más tiempo. El nivel de participación que su evaluación puede sustentar, por lo tanto, depende en alguna medida de sus límites de tiempo y su capacidad para capacitar y apoyar a los participantes.

¿Cómo seleccionar las preguntas y planear la evaluación?

Elección de preguntas:

Al elegir preguntas evaluativas, se está realmente eligiendo un tema de investigación  - qué quiere examinar con su investigación. (La evaluación, tanto formal como informal, es en realidad investigación.). Usted debe analizar el asunto y su programa, considerar varias maneras de enfocarlos, y seleccionar la(s) que más cercanamente le digan lo que quiere saber sobre lo que está haciendo. ¿Está sólo tratando de determinar si están dando suficiente cobertura a la gente apropiada con su programa? ¿Quiere saber cómo está funcionando una intervención en poblaciones específicas? ¿Qué clases de cambios conductuales, si los hay, están teniendo lugar como resultado? ¿Cuáles son los verdaderos resultados para la comunidad? Cada una de estas – así como cualquiera de las muchas otras cosas que usted puede desear saber, implica un conjunto diferente de preguntas evaluativas. Para encontrar las preguntas que mejor se adaptan a su evaluación, hay una serie de pasos que se pueden seguir.

Describa el asunto o problema que va a tratar.

Un problema es una diferencia entre una condición ideal  (todas las personas de 10 años o más deben poder leer;  todo el mundo tiene que poder encontrar un empleo decente) y una condición real en la comunidad o sociedad  (hay un 25% de analfabetos entre quienes asisten a determinada secundaria; 50%  de los jóvenes de minorías en cierta ciudad están desempleados). Esto puede indicar la ausencia de algún factor positivo (maestros calificados y adecuadas instalaciones educacionales; empleos que no requieren experiencia y que se encuentran cercanos a vecindarios de minorías) o la presencia de algún factor negativo (dificultad de los estudiantes con el inglés; discriminación contra los solicitantes de trabajo provenientes de minorías), o alguna combinación de ellos.

Para describir el asunto o problema:

• Describa la condición ideal, incluyendo los factores positivos presentes y los factores negativos ausentes. ¿Cómo se vería todo si fuera como usted quisiera que fuera?
• Describa las condiciones reales que constituyen el problema de interés, incluyendo las condiciones negativas presentes y las condiciones positivas ausentes. ¿Cómo son realmente las condiciones?
• Describa el problema real en términos de lo que usted espera cambiar. ¿Qué factores positivos quiere crear y/o qué factores negativos quiere eliminar?

Describa la importancia del problema.

Para estar seguros de que este es un problema que se debería tratar de solucionar,  considere su importancia para los afectados y para la comunidad.

• ¿Es la discrepancia entre las condiciones ideales y las reales del tipo y tamaño como para ser consideradas importantes?
• ¿Cuáles son las consecuencias (positivas y negativas) del problema?
• ¿Quién experimenta estas consecuencias (o sea, participantes del programa, sus familias, amigos, y pares; proveedores de servicios, políticos, y otros)? ¿Cuántas personas son afectadas?
• ¿Cuán a menudo o por cuánto tiempo son afectados? ¿Cuál es la intensidad del efecto?
• ¿Cuánto importa a estas personas el hecho de que el problema es experimentado hasta este grado?
• Ustedes también podrían preguntar si los efectos del problema le importan a la sociedad  pero en realidad, eso no haría diferencia. Si le importan a la gente que los experimenta, son importantes. La sociedad no siempre considera importante un problema si es sólo un problema para una minoría, o para un grupo que es generalmente ignorado (los pobres, los sin hogar).

A la luz de estos factores, decida si el problema es importante para la evaluación.

Describa a los que contribuyen con el problema.

¿El comportamiento de quién, por su  presencia o ausencia, contribuye al problema? ¿Están ellos en el entorno personal de los participantes del programa (los participantes mismos, familiares, amigos), en el entorno de servicio (maestros, policía), o en un entorno más amplio (políticos, medios, público en general)? Para cada uno de ellos, considere los tipos de conducta que,  por su presencia o ausencia, contribuyen a la  discrepancia que constituye el problema.

Calcule la importancia y factibilidad de cambiar esos comportamientos.

¿Cuán importante es cada uno de estos comportamientos para la solución del problema? ¿Cuáles son las posibilidades de que su esfuerzo pueda tener algún efecto en cada uno de ellos?

Describa el objetivo de cambio.

 Basados en el análisis arriba mencionado, elija cambios de comportamiento para tratar en personas específicas. Donde se pueda, especifique los niveles de cambio deseados en los comportamientos y resultados seleccionados (aquellos cambios en las condiciones que deberían ocurrir para que el problema pueda solucionarse).

Por ejemplo, una meta de cambio de comportamiento podría ser un aumento en la capacitación previa al empleo – presentación personal, búsqueda de trabajo, técnicas para la entrevista, competencia interpersonal, elaboración del currículum, conocimientos básicos, etc. – para los buscadores de trabajo de entre 18 y 24 años, de las minorías. O por otro lado se podría en cambio o además enfocarse en los políticos, con el objetivo de hacer que ellos ofrezcan incentivos fiscales a los negocios que se instalen en o cerca de las comunidades de minorías.

Esta es una manera de definir su trabajo. Si se planea la evaluación mientras se planea el programa – como se debería hacer idealmente – entonces las preguntas que están pidiendo que evaluación examine reflejan los problemas que se están tratando de resolver, y este tipo de análisis es importante. Si se está comenzando la evaluación de un programa que ha estado funcionando por algún tiempo, entonces se tiene que analizar qué tipo de consecuencias se creen (esperan) que el programa está teniendo, y adónde ellas conducen. Se podría estar hablando de cambios en conductas específicas de participantes, conductas que actúan como indicadores de otros cambios, o de resultados de otros tipos  (participantes que obtengan empleo, por ejemplo, lo que puede tener una relación directa con la conducta del participante o puede tener más que ver con condiciones económicas locales.)

Asegúrese de que los cambios esperados constituyan una solución o una contribución sustancial al problema.

Si se concluye que los cambios no resultarían en una contribución sustancial, revise la escogencia del problema y/o su selección de la población meta y las acciones como sea necesario. Si se piensa que lo que se está mirando en una evaluación no se enfoca en el problema, entonces se debería estar observando otra cosa. Si los objetivos que se han elegido sí constituyen toda o una parte sustancial de la solución, entonces ya se han encontrado sus preguntas.

Una vez llegados a este punto, usted ha elegido sus preguntas evaluativas y -si se está en el comienzo del proceso de planificar su programa y su evaluación – el enfoque de su programa también. Cómo planear la implementación del programa es el tema de varios otros capítulos de la Caja de Herramientas Comunitarias, particularmente, en el resto de esta sección, nos ocuparemos de los otros factores que se necesitan considerar para armar su evaluación. Entonces, en el resto de este capítulo, discutiremos en detalle cómo encontrar las respuestas a las preguntas evaluativas que se han escogido, y qué hacer entonces con esa información.

Ahora que se han elegido sus preguntas, habrían dos factores más a considerar: los lugares en los que la evaluación se realizará, y los participantes cuyos comportamientos, actividades, o circunstancias serán evaluados. Si su programa es relativamente pequeño y/o tiene sólo un entorno o lugar, nada de esto será un problema – tanto los lugares como los participantes serán simplemente los del  programa. Sin embargo, si no se tienen los recursos – tanto financieros, como de tiempo o de personal - para evaluar al programa completo.

 Hay algunas situaciones en las que la elección del lugar y/o de los participantes puede ser importante:

• Si su programa es muy grande y/o tiene múltiples locaciones.
• Si los diferentes lugares conllevan diferentes servicios, actividades, o condiciones, o usan diferentes métodos.
• Si su programa incluye diferentes grupos de participantes (grupos que están en diferentes etapas del programa, o que están expuestos a diferentes métodos o servicios).
• Si los grupos de participantes pertenecen a poblaciones con culturas claramente diferentes, provenientes de raza, etnia, clase, religión, u otros factores.
• Si usted es un evaluador externo (alguien no conectado a un programa que es traído para evaluarlo) o un académico u otro investigador independiente.

Lugar

Múltiples locaciones.

Las locaciones múltiples pueden presentar un desafío para una evaluación, porque, aunque se hicieran todos los esfuerzos posibles para hacer el programa exactamente igual en todos los lugares, raramente será así. Si el programa depende de la interacción humana - maestro/alumno, consultor/consultado, entrenador/entrenado, doctor/paciente, etc. – habrá diferencias de lugar en lugar dependiendo del personal en cada uno. (La excepción es cuando las mismas personas trabajan en todos los lugares, proporcionando los mismos servicios en cada lugar a diferentes horas o en diferentes días.) Aún cuando todos sean igualmente competentes,  no hay dos miembros del personal o equipos que hagan las cosas exactamente de la misma manera o se relacionen con los participantes exactamente del mismo modo, y las diferencias pueden verse reflejadas en diferencias en los resultados. Si los métodos u otros factores varían de lugar en lugar, ello complicará todavía más la situación.

Además, el carácter físico de un lugar puede influenciar no sólo la efectividad del  programa, sino también el reclutamiento de participantes y si ellos permanecerán o no al programa el tiempo suficiente para que tenga algún efecto (a menudo llamado "retención.") La disposición del lugar, comodidad, aparente protección y seguridad, y – a menudo lo más importante – la facilidad para llegar a él, todo afecta a que los participantes se inscriban y permanezcan en el programa.

Donde se tenga la posibilidad de evaluar a todos los lugares, será útil incorporar a la evaluación un método para compararlos. Esto  permitirá identificar y adoptar en todos los lugares métodos, condiciones, o actividades que parecen hacer particularmente exitoso un lugar, e identificar y cambiar en todos los lugares los métodos, condiciones, o actividades que parecen crear barreras contra el éxito.

Si no se puede evaluar cada lugar por separado, se tendrá que decidir cuál o cuáles darán la información que ayudará más a ajustar y mejorar su  programa. Si se está especialmente preocupado por evaluar su efectividad total, esto significará evaluar el o los sitios más apegados a la normativa del programa, en cuanto a métodos, condiciones, actividades, metas, interacción participante/personal, etc. Si, por otro lado, su consideración principal es saber si un método o una situación especial o inusual está funcionando, se podría evaluar el lugar (o los lugares) menos parecido(s) a los otros.

Si los lugares parecen sólo mínimamente diferentes, algunas otras consideraciones que pueden entrar en el juego son:

• El número y la característica  de los participantes en el lugar. Los participantes en un determinado lugar pueden estar experimentando los efectos del problema más severamente, o pueden tener una característica particular importante, tal como una barrera de lenguaje.
• La capacidad y disposición de participantes y personal para apoyar la investigación evaluativa. Si el personal en un determinado lugar no puede o no quiere registrar observaciones, asistencia, y otros datos clave, o si los participantes no pueden o no quieren ser entrevistados o monitoreados, la evaluación en ese lugar puede ser dificultosa.
• La estabilidad de la población en la localidad. Si los participantes en un lugar van y vienen continuamente – a menos que esa sea la intención del programa – puede ser difícil obtener información que contribuya a una evaluación precisa.
• La excepción, por supuesto, ocurre aquí si uno de los puntos de la evaluación es averiguar por qué los participantes permanecen por tan corto tiempo, y tratar de desarrollar métodos o crear condiciones para ayudarlos a quedarse en el programa el tiempo suficiente para alcanzar sus objetivos.

Lugares con diferentes métodos, condiciones, actividades, o servicios.

Los programas son a veces organizados de modo que diferentes métodos sean usados o diferentes servicios sean provistos en diferentes lugares. En otros casos, las condiciones pueden variar de lugar en lugar a causa de las ubicaciones geográficas de los lugares  o el espacio disponible. La situación ideal es evaluar todos los lugares y comparar los efectos de los diferentes métodos, condiciones, o servicios. Cuando esto no es posible, se tendrá que decidir qué es lo más importante de averiguar.

Si los métodos, servicios, o condiciones en un lugar determinado son nuevos o innovadores, usted podrá querer evaluarlos, en vez de aquellos que ya son conocidos y han sido evaluados. Puede haber un método o servicio en particular que se quiera evaluar, en cuyo caso la decisión acerca de qué lugar seleccionar es obvia. La decisión debe estar basada en lo que tenga más sentido para su programa, y en lo que les dé la mejor información para mejorar su efectividad.

Cuando se tenga la posibilidad de seleccionar más de un lugar para evaluar, generalmente tiene más sentido seleccionar dos o tres lugares que sean diferentes – especialmente si cada uno es representativo de otros lugares del programa o de iniciativas del programa – de modo que se pueda comparar su efectividad. Aún donde los lugares parecieran esencialmente similares, se obtendrá más información evaluando a todos lugares que se puedan.

Participantes

Grupos Múltiples.

Hay una cantidad de razones por las cuales pueden existir grupos múltiples de participantes en un programa. Usted podría iniciar grupos diferentes en momentos diferentes, ya sea debido a que el programa tiene un esquema de inicio progresivo (se inicia cuando hay suficiente gente para una clase o grupo de capacitación), o porque el programa está dirigido a diferentes grupos  (por ejemplo, de 5 años de edad, de 8 años, y de 14 años). También se podría probar diferentes estrategias con diferentes grupos. El Proyecto Brookline de Educación Temprana (BEEP), un programa que apunta a disponer escuelas para niños desde antes de nacer y hasta los 5 años, inscribió familias las cuales esperaban un bebé en tres estudios de seguimiento en el curso de tres años. Además, a las familias de cada estudio se les asignó a uno de tres niveles de servicio. De este modo, había realmente nueve grupos diferentes entre los participantes del BEEP, aún cuando en el tercer año, todos estaban recibiendo servicios al mismo tiempo.

Una vez más, si no hay problema para evaluar el programa completo, los participantes simplemente serán todos. Si ello no es posible, hay una cantidad de elecciones potenciales:

• Evaluar su trabajo con sólo un grupo, con la esperanza de que el trabajo con los otros será evaluado en el futuro. En este caso, probablemente se querrá seleccionar el grupo que parece necesitar más el programa (o sea es más crucial). Ellos podrían tener un mayor riesgo  (de ataque al corazón, de fracaso escolar, de quedarse sin casa, etc.) o podrían estar experimentando el asunto o problema en un mayor nivel de intensidad (incidentes diarios de disparos en el vecindario, altas tasas de embarazo juvenil, desempleo masivo).
• Incluya un número pequeño (2-4) de grupos en su evaluación. Tal vez se quieran seleccionar grupos con características contrastantes (diferentes edades, por ejemplo, o encarados con diferentes estrategias). Por otro lado, dependiendo del enfoque de su evaluación, se podría querer grupos que son esencialmente similares, para ver si su trabajo es consistente en sus efectos.
• Elija a unos pocos participantes de cada grupo para enfocar su evaluación en ellos. Aunque esto no les dará un panorama completo, debería darles información suficiente para saber dónde su programa está cumpliendo con sus objetivos y dónde necesita mejorarse. Las diferencias en los modos en que los participantes en los diferentes grupos responden a su programa (asumiendo que haya diferencias) pueden también darles ideas para maneras de cambiar lo que se está haciendo.

Participantes de diferentes poblaciones y culturas.

Los factores culturales pueden tener un enorme efecto en las respuestas de los participantes a un programa. Ellos pueden influenciar las concepciones de los roles sociales, las responsabilidades familiares, los comportamientos aceptables y no aceptables, las actitudes hacia la autoridad (y sobre quien constituye la autoridad), los temas permitidos de conversación, la moralidad, el rol de la religión – y la lista sigue y sigue. Al planear un programa que involucra a miembros de diferentes poblaciones y culturas, se tienen esencialmente tres opciones:

• Planear su programa e implementarlo de la misma manera para todos los involucrados. Si el programa involucra grupos  - clases, grupos de apoyo, etc. – la afiliación de los participantes está determinada no por el grupo poblacional sino por el momento en que ellos se inscriben, a qué hora del día  pueden asistir, para qué se inscriben, o cualesquiera que sean los otros criterios que tengan sentido lógico.
• Planear su programa para que sea tan culturalmente sensible como sea posible, y tratar de dejar afuera cualquier cosa que pudiera ser ofensiva o difícil para cualquier grupo. En esta instancia, se debe estar preparado para responder si los participantes de una población determinada pidieran a un grupo de los suyos (o sea de personas de su mismo grupo cultural).
• Dividir a los participantes por grupo cultural y planear diferentes propuestas culturalmente sensibles para cada uno. Su propuesta general puede ser la misma para todos, pero la manera en que se aplica puede diferir según la cultura.

En cualquiera de estas instancias, probablemente sería importante comprender qué tan bien está funcionando su enfoque con los miembros de las distintas poblaciones. Si se puede evaluar el programa completo, asegúrese de incluir suficientes miembros de cada grupo con el fin de poder comparar resultados (y sus opiniones del programa) entre ellos. Si sus posibilidades de evaluación son limitadas, entonces sus opciones son similares a aquéllas para grupos múltiples de otras clases, y dependerán de qué exactamente es lo más útil para su organización o iniciativa.

Aquí hay interacciones entre la elección de lugares y la elección de participantes. Se puede estar preocupado de los efectos de su  programa sobre una determinada población, la que puede estar en gran parte concentrada en un lugar. En ese caso, si se dispone de recursos limitados,  se podría evaluar sólo ese lugar, o ese lugar y otro más.

Sin tomar en cuenta otras consideraciones, se puede querer fijar algunos lineamientos acerca de quiénes incluir en la evaluación.¿Cuánto tiempo tiene que estar la gente en el  programa, por ejemplo, antes de ser incluida? En otras palabras, ¿qué se considera como participación? (Esto también fija un criterio sobre quién deberá ser considerado como desertor: cualquiera que empieza, pero deja el programa antes de cumplir con el estándar de participación.) ¿Qué sucede con aquéllos cuya asistencia es errática – unos días aquí, unos días allá, algunas veces con semanas  de ausencia? ¿Tendrán que haber asistido un cierto número de horas para ser considerados participantes?

Estos asuntos pueden ser más complejos de lo que parecen. La gente puede comenzar y abandonar un programa numerosas veces, y luego finalmente volver y completarlo. Muchos otros comienzan los programas numerosas veces, y nunca llegan a completarlos. Es generalmente imposible adivinar la diferencia hasta que algunos realmente llegan al punto de finalización, lo que sea que ello signifique para el programa en cuestión.

En sentido inverso al escenario de los que comienzan-muchas-veces-antes-de-completarlo, puede haber unas pocas personas que permanecen en un programa justo hasta llegar al final, y allí abandonan.  Esto puede tener que ver con el miedo de tener que sobrellevar el éxito y un cambio en la imagen propia, o puede simplemente ser un patrón que la persona ha aprendido, y que tendría que “des-aprender” antes de poder completar el programa.

¿Deberían alguna o todas estas personas ser incluidas en o excluidas de una evaluación, tanto antes (a causa de su historia en el programa) como después del hecho? Esa es una decisión que se tendrá que tomar, basados en lo que su inclusión o exclusión les diga. Sólo asegúrese de que su evaluación claramente describa los criterios que se decidieron usar para sus participantes.

Si usted es un evaluador externo o un académico u otro investigador independiente

Hasta este momento, hemos ignorado grandemente las dificultades de evaluación que enfrentan los evaluadores que no están directamente conectados con la organización o institución que lleva a cabo el programa que ellos están evaluando. Si usted ha sido contratado o designado por la organización o por uno de los patrocinadores para evaluar el programa, usted debe establecer un vínculo de confianza, tanto con la organización y su personal como con los participantes, si se espera obtener buena información con la cual trabajar. También se debe aprender bastante en poco tiempo acerca de la comunidad, la organización, el  programa, y los participantes, para idear un buen plan de evaluación,  y para analizar los datos que usted y otros reúnan.

Si se es un investigador independiente – un estudiante graduado, un académico, un periodista – Usted encontrará obstáculos aún mayores. Primero, tiene que encontrar un lugar donde desarrollar su investigación - un programa a evaluar – que calce con sus intereses de investigación. Entonces, usted tiene que convencer a la organización que está llevando a cabo ese programa de que le permita hacer la investigación. Una vez que haya logrado esto, todavía se enfrentará con todas las mismas tareas que un evaluador externo: establecer confianza,  entender el contexto, etc.

Veamos primero el proceso que como investigador independiente deberá seguir para seleccionar y ganar acceso a un lugar apropiado para sus intereses. Una vez que haya logrado ese acceso, se habrá convertido en un evaluador externo, por lo tanto desde ese punto en adelante,  el proceso de preparación para la evaluación será igual para ambos.

Elija un lugar/localidad.

Si usted es un académico o un estudiante, probablemente podrá encontrar un programa apropiado preguntando a colegas, profesores, y otros investigadores de su institución. Si ninguno de ellos sabe de alguno en ese momento, alguien casi seguramente podrá ponerlo en contacto con agencias de servicios humanos y otras que lo harán. Otras posibles fuentes de información incluyen el Internet, patrocinadores, asociaciones profesionales, coaliciones de servicios humanos y de salud, y organizaciones comunitarias. La información sobre fondos públicos está a menudo disponible en la web, en las bibliotecas, o en los archivos de los diarios. Cuanto más ampliamente usted extienda su red, más probabilidades tendrá de encontrar el programa que está buscando.

El programa adecuado obviamente dependerá de sus intereses de investigación, pero algunas preguntas que  serán parte de su elección incluyen:

• ¿El escenario incluye personas que están realmente experimentando el problema que es de interés para usted?
• ¿Es el escenario similar a otros de este tipo? (Si no lo es, su programa puede no ser útil a otros que estén trabajando con el problema, aún cuando funcione bien en su propio contexto.)
• ¿Proporciona el escenario de trabajo apoyo para la investigación? ¿Ayudarán los empleados, los participantes, y otros con la recolección de datos,  serán serviciales acerca de las preguntas de contexto, cooperarán con usted?
• ¿El lugar cuenta con los recursos para mantener el programa después de que su evaluación esté hecha?
• ¿El lugar de trabajo permite los cambios en la operación requeridos por la investigación? Si el planeamiento de la evaluación y la elección de las preguntas apuntan a hacer las cosas de manera diferente, el programa ¿podrá hacer y hará los cambios necesarios?
• ¿Es el la propuesta de evaluación y el lugar de trabajo accesible?

La accesibilidad incluye no solamente la de los discapacitados, sino también si un lugar está en un vecindario  que hace sentir bienvenidos o seguros a los participantes, si es fácilmente accesible por el transporte público o se puede llegar a pie desde las áreas de las cuales se extraen los participantes, y si está ubicado en un edificio o institución que no se sienta intimidante o extraño (un campus o un edificio universitario pueden parecer tan amenazantes como una fortaleza para alguien que se sienta inseguro acerca de sus antecedentes educativos, por ejemplo.) La accesibilidad puede ser el factor determinante para que los participantes consideren ser parte de un programa, o para que permanezcan en él.

¿Es estable la iniciativa? El programa y la organización, ¿son lo suficientemente estables como para saber que se podrá mantener el trabajo en el nivel necesario, al menos hasta que se complete la evaluación?

Una vez que se haya encontrado un escenario de trabajo apropiado, tendrá que convencer a la organización de colaborar con usted en una evaluación. Los tres pasos siguientes están dirigidos hacia ese objetivo.

Aprenda lo más que pueda sobre la organización que ha elegido.

Así como usted no iría a una entrevista de trabajo sin hacer algunas averiguaciones acerca del empleador, tampoco debería tratar de ganar la cooperación de una organización sin saber algo acerca de ella - su misión, sus metas, a quién responde, quiénes son el director y los miembros directivos, etc. Si alguien le habló de la organización, esa persona puede tener, o conocer a alguien que tenga, mucha de la información que usted necesita. Si la organización mantiene un sitio Web, mucha de esa información estará disponible allí. Si está registrada, la oficina de la Secretaría de registro del estado y/u otras oficinas estatales tendrán información acerca  de los miembros oficiales (o sea,  el Consejo Directivo) y otros aspectos de la organización. Las agencias de financiamiento pueden también tener la información que sea motivo de registro público, incluyendo las propuestas. (Ver "Averigüe todo lo que se pueda sobre el contexto" más abajo.)

Contacte a la(s) persona(s) apropiada(s) y solicite una entrevista.

Averigüe a quién (nombre, así como posición) debe dirigirse para hablar sobre la realización de un proyecto de investigación en la organización que usted ha elegido.

Dependiendo de la organización, éste podría ser el presidente del consejo directivo, el director ejecutivo, o el director del programa (si el programa que a usted le interesa es sólo una parte de una organización más grande). En cualquier caso, sería inteligente involucrar al director del programa aún cuando él no sea el que tome la decisión final, puesto que su cooperación será crucial para completar su investigación.

• Si puede, consiga una presentación personal. Siempre es mejor si usted llega recomendado por alguien conocido por la persona con la cual usted necesita hablar.
• Si no puede conseguir una presentación personal, lo mejor es enviar una carta solicitando una reunión y explicando la razón de dicha reunión, y seguidamente hacer una llamada telefónica.
• Antes de la reunión, envíe una propuesta delineando lo que pretende hacer.Esta debería tener la suficiente sustancia como para ayudar a la organización a decidir si quiere trabajar con usted,  pero no ser tan específica como para no permitir un planeamiento colaborativo de la evaluación.

Planee y prepárese para la reunión inicial. Hay varios propósitos para esta reunión, además del primordial de obtener el permiso y el apoyo para su proyecto (o al menos un acuerdo para seguir discutiendo la posibilidad). Ellos incluyen:

• Establecer sus credenciales - la experiencia, la formación educativa, y cualquier otro factor que lo habilite a conducir esta  evaluación. Esto puede incluir referencias de colegas, profesores, u otras organizaciones con las que haya trabajado.
• Aprender más acerca del programa y la organización.
• Explicar qué quiere hacer y por qué, cómo se presentarán probablemente los resultados de la evaluación, qué se hará con ellos, quién tendrá acceso, etc. Esta explicación también deberá cubrir los temas de confidencialidad y autorización de los participantes.
• Explicar lo que se necesita de la organización y/o del programa - participación de los  participantes y el personal, por ejemplo, cualquier apoyo logístico, acceso a registros, o acceso a actividades del programa.
• Explicar lo que usted está ofreciendo a cambio – sus servicios para una evaluación formal y extensa, todos los gastos, equipos y materiales, otros servicios de apoyo, o cualquier otra cosa más que se tenga para ofrecer.
• Aclarar las necesidades de la organización, y discutir cómo encajan con las suyas – y cómo ambas pueden satisfacerse.

Asumiendo que su presentación ha sido convincente, y usted es ahora el  evaluador del programa, el resto de los pasos que siguen se aplican tanto a los investigadores independientes como a  los evaluadores externos.

Averigüe todo lo que se pueda sobre el contexto.

Esto puede resultar diferente para los evaluadores externos que para los investigadores independientes, pero es igualmente importante para ambos.Significa averiguar de antemano todo lo que se pueda sobre la comunidad, la organización, el programa, y los participantes  – la estructura social de la comunidad y dónde encajan los participantes dentro de ella, la historia del problema en cuestión, cómo es vista la organización, las relaciones entre grupos e individuos,  la política comunitaria etc.

Si usted es un evaluador externo, puede tomar ideas de los administradores del  programa, del personal, y de los participantes acerca de la comunidad, la organización, y el asunto en cuestión. Pídales que lo dirijan a otros  - líderes comunitarios, funcionarios, residentes de mucho tiempo, clérigos, miembros confiables de determinados grupos – que puedan también darle sus perspectivas. Si es posible, conozca la comunidad físicamente: camine y/o conduzca por ella, visite comercios, parques, restaurantes, la biblioteca. El comprender cómo el problema incide en la comunidad, la naturaleza de las relaciones entre grupos e individuos, y cómo es la vida en los vecindarios donde viven los participantes, le ayudará mucho al analizar la evaluación del programa.

Si usted es un investigador independiente, aprenda lo más que pueda sobre el contexto antes de contactar al programa. Los sitios web  (de la organización y/o la comunidad) y las bibliotecas son dos posibles fuentes de información, como también lo son la literatura sobre la comunidad y la organización. y la gente que conoce la comunidad. Aprender de antemano sobre la comunidad, la organización, y los participantes, le ayudará a determinar si este programa encaja con su investigación  y a abogar por su cooperación con su proyecto. Una vez que usted cuente con esa cooperación, puede seguir el mismo sendero que un evaluador externo (puesto que eso es lo que usted es) para aprender lo más que pueda sobre el contexto del programa.

Establezca confianza con los administradores del programa, el personal, y los participantes.

Esta puede ser la parte más difícil de una evaluación para alguien de afuera de la organización. No hay ningún acto de magia o línea de tiempo predecible, pero hay varias cosas que se pueden hacer:

• Sea usted mismo. No sienta que debe actuar de cierta manera: trate con la gente del programa como lo hace con amigos y conocidos en otras circunstancias.La gente se da cuenta cuando alguien está siendo falso, y es  poco probable que confíen en usted si ese es el caso.
• Trate a todo el mundo con el mismo respeto, como colegas en un proyecto de investigación.
• No asuma que sabe más que nadie por ser el profesional.
• Comparta libremente lo que sabe, pero no se ate a ningún proceso o método determinado, especialmente en respuesta a una posición opuesta de un individuo importante.
• Pregunte a los administradores, personal, y participantes lo que ellos quieren de la evaluación, y discuta cómo la evaluación podría proporcionárselo.
• No tenga miedo de decir "No lo sé, pero lo voy a averiguar," y hágalo.
• Ejecute fielmente cualquier cosa que diga que va a hacer. No prometa nada que no podrá cumplir, y fije plazos de entrega razonables, con el fin de poder cumplirlos.

Los últimos dos pasos se aplican a todos, evaluadores internos y externos.

Apunten a una evaluación participativa.

Hemos discutido más arriba el involucramiento de todos los interesados al máximo posible. El involucrar a los participantes, personal del programa, y otros interesados en un planeamiento y una investigación participativa puede a menudo otorgarles los datos más precisos, y darles acceso a personas y lugares que normalmente no tendrían. Por otro lado, el planeamiento y la investigación participativa,  como hemos explicado, llevan tiempo y energía. Si se tiene un tiempo limitado, tal vez no se pueda armar un proyecto totalmente participativo.  Se puede, sin embargo, todavía consultar a los interesados, e involucrarlos en maneras que no requieran necesariamente capacitación o grandes cantidades de su tiempo.Ellos pueden ayudarlos a programar las entrevistas con los participantes u otros informantes importantes, por ejemplo, y/o actuar como informantes ellos mismos en lo relativo a condiciones y relaciones comunitarias.

Por lo menos la gente a cargo del programa, y probablemente aquéllos que lo implementan también, esperarán tomar parte en el planeamiento de la evaluación. Ellos son, después de todo, los que necesitan saber si su trabajo es efectivo, y cómo mejorarlo. El involucrar a los participantes también, en roles que van de informantes acerca del contexto a verdaderos investigadores, probablemente enriquezca la cantidad y calidad de la información que ustedes obtengan.

Planeen la evaluación, en colaboración con los interesados.

Esa colaboración deberá darse en el más alto nivel de participación posible, dada la naturaleza del programa, el tiempo disponible, y la capacidad de los involucrados (si los participantes del programa son niños de cinco años, ellos probablemente tendrán relativamente poco que contribuir al planeamiento de la evaluación... pero sus padres podrían querer involucrarse.)

El planeamiento mismo comprende diez  áreas diferentes, cada una de las cuales será tema de una de las restantes secciones en este capítulo:

• Recolección y síntesis de la información.
• Diseño de un sistema de observación.
• Desarrollo y prueba de una intervención prototipo.
• Selección de un diseño experimental apropiado.
• Recolección y análisis de los datos.
• Recolección e interpretación de la información etnográfica.
• Recolección y uso de los datos de archivo.
• Alentar la participación a través de la investigación.
• Refinar la intervención basándose en la evaluación.
• Preparación de los resultados de la evaluación para su divulgación.

Una vez que el planeamiento está hecho, es tiempo de empezar a llevar a cabo la evaluación.Y cuando se haya terminado – después de haber analizado la información y planeado y realizado los cambios que se necesitarán – es tiempo de comenzar el proceso otra vez, con el fin de poder determinar si esos cambios tuvieron los efectos que se pretendían. La evaluación, como gran parte del trabajo comunitario, es un proceso que sigue así por la misma cantidad de tiempo que el trabajo mismo. Ella es absolutamente esencial para la mejora continua de su programa.

En resumen

La selección de las preguntas evaluativas - las áreas de su trabajo que se examinarán como parte de la evaluación de su programa - es clave para definir exactamente qué es lo que se está tratando de lograr. Por esa razón, esas preguntas deben ser elegidas cuidadosamente como parte del proceso de planeamiento para el programa mismo, de modo que las preguntas puedan guiar su trabajo así como la evaluación de él. Cuanto más se pueda involucrar a los interesados en esa selección y ese planeamiento, más probable será que se cree un programa que logre exitosamente sus metas de servicio para la comunidad.

La buena selección de esas preguntas supone comprender el contexto del programa - la comunidad, los participantes, la cultura de todo grupo que esté involucrado, la historia del problema y de la estructura social de la comunidad y de la organización - y (si usted es un evaluador externo sin ataduras con el programa) el establecimiento de una confianza con administradores, miembros del personal, y participantes. Esa confianza le permitirá realizar una evaluación participativa que extraiga el conocimiento y los talentos de todos los interesados, y planear una evaluación que se ajuste a las metas de su programa y que analice con precisión  sus fortalezas y sus debilidades. Con ese análisis en la mano,  se podrán hacer cambios para mejorar el programa. Entonces se estará cercano a comenzar todo el proceso otra vez, con el fin de poder evaluar los efectos de los cambios que se han realizado.

¿Qué queremos decir con seleccionar las preguntas?

___Las preguntas evaluativas son aquellas que su evaluación debe responder acerca de su trabajo.

___Las preguntas evaluativas ayudan a fijar la dirección del trabajo, así como a evaluar su efectividad.

___Idealmente, la selección de las preguntas evaluativas es parte del planeamiento del programa total.

Preguntas a hacerse al seleccionar las preguntas evaluativas:

___¿Qué es lo que quieren saber?

___¿Por qué les interesa?

___¿Es el asunto el cual se está tratando importante para la comunidad o para la sociedad?

___¿Cómo se relaciona el asunto con el campo de trabajo?

___¿Es un asunto general, en vez de específico a su población o comunidad?

___¿Quién podría usar los resultados de su evaluación?

___¿A quién concierne el  problema?

¿Por qué es  necesario seleccionar cuidadosamente las preguntas evaluativas?

___Les ayuda a comprender qué efectos están teniendo diferentes partes de su esfuerzo.

___Les hace definir claramente qué es lo que se está tratando de hacer.

___Les muestra dónde se necesitan hacer cambios.

___Resalta las consecuencias inesperadas.

___Guía sus elecciones futuras.

___En las evaluaciones participativas, involucra a los interesados en la fijación del curso del programa, haciendo de esta manera más probable que se cumplan con las necesidades de la comunidad.

___Proporciona el enfoque para la evaluación y para el programa.

___Determina qué se necesita registrar con el objetivo de recolectar datos para la evaluación.

¿Cuándo se debe seleccionar las preguntas y planear la evaluación?

___Si es posible, la selección de las preguntas y el planeamiento de la evaluación deberían ser una parte integral del planeamiento de su programa.

___Si su realidad lo hace imposible, seleccionar las preguntas y planear la evaluación debería hacerse tan pronto como sea posible después de que el programa empieza.

¿Quiénes deben estar involucrados en el proceso?

___Hasta donde sea posible, el proceso debe involucrar a todos los interesados,  incluyendo a los  participantes y a los beneficiarios del programa.

¿Cómo seleccionar las preguntas y planear la evaluación?

Al seleccionar las preguntas:

___Describa el asunto o problema que se está tratando.

___Describa la importancia del problema.

___Describa a los que contribuyen al problema.

___Evalúe la importancia y la factibilidad de cambiar esos comportamientos.

___Describa  el objetivo de cambio.

___Asegúrese de que los cambios esperados constituyan una solución o una contribución sustancial a la solución del  problema.

Al hacer el planeamiento:

___Tome en cuenta los problemas que surjan debido a lugares múltiples o muy diferentes.

___Tome en cuenta los problemas que surjan por grupos participantes con diferentes culturas, posibilidad de completar el programa, localización geográfica, y otros factores.

Para los evaluadores externos, específicamente:

___Elijan un escenario de trabajo.

___Aprendan lo más que se pueda sobre la organización que han elegido.

___Contacten a la(s) persona(s) apropiada(s)  y soliciten una entrevista.

___Planeen y prepárense para la reunión inicial.

Para todos los evaluadores:

___Averigüen todo lo que puedan sobre el contexto.

___Establezcan confianza con los administradores del programa, el personal y los participantes.

___Apunten a una evaluación participativa.

___Planeen la evaluación en colaboración con los interesados.

___Consideren todos los elementos de una evaluación en su planeamiento:

___Recolección y síntesis de la información.

___Diseño de un sistema de observación.

___Desarrollar y probar un  prototipo de intervención.

___Seleccionar un diseño experimental apropiado.

___Recolectar y analizar los datos.

___Reunir e interpretar la información etnográfica.

___Recolectar y usar los datos de archivos.

___Alentar la participación a través de la investigación.

___Afinar la intervención basados en la evaluación.

___Preparar los resultados de la evaluación para su divulgación.

Example 1: Using Miro Board for Collaborative Development of Evaluation Goals and Questions

 

Noah Goodman shares the process he used to prepare for and conduct a kick-off meeting to develop evaluation goals and questions for the Right Question Institute.

Integrating Technology in Evaluation TIG Week: Using Miro Boards to Engage Clients in Collaborative Development of Evaluation Goals and Questions by Noah Goodman

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué se entiende por recolección y síntesis de información?

• ¿Por qué llevar a cabo la recolección y síntesis de información?

• ¿Cuándo conviene realizar la recolección y síntesis de información?

• ¿Quién debe llevar a cabo la recolección y síntesis de información?

• ¿Cómo se lleva a cabo la recolección y síntesis de información?

Supongamos que quisiera diseñar una casa que utilizara muy poca energía, requiriera pocos recursos para construirse y mantenerse, y fuera asequible para la mayoría de las familias. Podría tener algunas ideas originales sobre cómo lograrlo, pero también querría conocer las ideas que han tenido otras personas. Probablemente leería acerca de las casas semienterradas (construidas en una ladera o montículo de tierra), los paneles solares o los molinos de viento para producir electricidad, las ventanas aislantes eficientes, el reciclaje de aguas residuales y los materiales de construcción no tóxicos que reutilizan madera y metal de desecho. Hablaría con personas que han construido o vivido en casas eficientes en energía, para conocer la realidad de vivir de manera sostenible. También aprendería sobre las barreras de algunas estrategias ecológicas, así como las formas de superarlas. Hay una enorme cantidad de información disponible, y tendría sentido recopilar la mayor cantidad posible, para poder integrarla, incorporar los elementos adecuados en tu diseño y obtener nuevas ideas a partir de lo que ya se ha hecho.

Lo mismo ocurre si está diseñando una intervención o un programa para abordar un problema de salud comunitaria u otro tipo de cuestión, o bien una evaluación de ese programa. Sin duda, otras personas también han intentado enfrentar ese problema, algunas con éxito y otras sin él. Conocer qué hicieron, cómo lo hicieron y cuáles fueron los resultados puede ayudarte a decidir cómo diseñar tu propio esfuerzo. Quizá logre encontrar un método aquí y una técnica allá que, al combinarse, se adapten exactamente al programa que mejor responda a las necesidades y condiciones de su comunidad. O bien podría darse cuenta de que algo que pensaba implementar simplemente no ha funcionado en numerosos casos anteriores, y por lo tanto, tampoco tendría muchas probabilidades de funcionar en su situación.

Recopilar y utilizar las ideas de otros no significa que no pueda usar las suyas o crear algo nuevo. De hecho, las ideas nuevas suelen surgir a partir de lo que otros han intentado. La mayoría de los artistas comienzan imitando a otros antes de desarrollar sus propios estilos. Einstein no llegó a la teoría de la relatividad por casualidad; estaba familiarizado con ella porque otros ya habían trabajado en el tema. Por lo general, se puede innovar de manera más efectiva cuando se sabe qué se ha probado previamente.

Esta sección se centra en recopilar toda la información posible sobre el problema de su comunidad y sobre los intentos de abordarlo, y en integrar esa información para diseñar una evaluación que responda a sus preguntas. Aunque este capítulo trata sobre la evaluación, gran parte del contenido de estas secciones también se aplica a la planificación de la intervención (o programa) y a la evaluación: en realidad, ambos aspectos no pueden separarse.

Una evaluación es un proyecto de investigación: lo que buscamos es descubrir qué funciona y bajo qué condiciones. Los pasos para diseñar y utilizar una evaluación, el tema de este capítulo, son, en esencia, los mismos que los de diseñar el programa que se está evaluando. Los elementos que tomé de los esfuerzos exitosos de otros, junto con los que cree por su cuenta, darán lugar a una intervención y a las preguntas de evaluación correspondientes. Aunque en esta sección se hable del diseño del programa, lo expuesto también se aplica al diseño de la evaluación. 

¿Qué se entiende por recolección y síntesis de información?

La recopilación de información se refiere a obtener datos sobre el problema que enfrenta y sobre las formas en que otras organizaciones y comunidades lo han abordado. Cuanta más información tenga acerca del problema en sí y de las maneras en que se ha intentado resolver, más probabilidades tendrá de poder diseñar un programa o una intervención eficaz propia.

Existen, por supuesto, muchas fuentes de información, que varían según lo que esté buscando. En general, puede consultar fuentes existentes o examinar “ejemplos naturales”, es decir, ejemplos de programas e intervenciones reales que han abordado el problema. Aquí mencionaremos dónde encontrar ambos tipos de fuentes y más adelante en la sección entraremos en mayor detalle sobre ellas.

• Fuentes existentes. Este término se refiere a material publicado de diversos tipos que puede dar luz sobre el problema o alternativas de cómo enfrentarlo. Estas fuentes pueden dividirse, de manera práctica, en: publicaciones académicas, dirigidas principalmente a investigadores y a la comunidad universitaria; fuentes de divulgación, escritas en un estilo accesible y dirigidas al público en general; e información estadística y demográfica publicada por diversas organizaciones de investigación y organismos gubernamentales.
• Ejemplos naturales. Se trata de programas o intervenciones desarrollados y probados en comunidades que han abordado su problema. Estudiarlos puede mostrarle qué les funcionó y qué no, y por qué. Al ofrecerle una visión de cómo se manifiestan los problemas en su comunidad u otras, pueden proporcionarle ideas prácticas sobre cómo (o cómo no) llevar a cabo un programa o intervención exitosa. En la mayoría de los casos, las fuentes de información aquí son las personas involucradas en esfuerzos para abordar problemas similares al suyo, o aquellas que pueden orientarlo hacia ellas. Además, existen varios ejemplos naturales (como estudios de caso individuales) que han sido descritos en la literatura de la psicología comunitaria o de la salud pública y que pueden ser relevantes para su trabajo.

Síntesis proviene del griego; significa “juntar” o “reunir”. En inglés su significado es el mismo: la acción de juntar algo a partir de dos o más fuentes distintas. Por ejemplo, las telas sintéticas tienen ese nombre porque están construidas de varios componentes químicos.

En esta sección hablamos de ideas. La síntesis, en este contexto, se refiere a analizar lo que ha aprendido durante la recopilación de información y a construir un programa o enfoque coherente tomando ideas de diversas fuentes y uniéndolas para crear algo nuevo que responda a las necesidades de la comunidad y la población con las que trabaja. 

Sintetizar de esta manera requiere identificar los elementos funcionales de cada idea o programa que haya revisado y que parezcan aportar enseñanzas útiles para su trabajo. Los elementos funcionales son los componentes centrales de cada programa, los métodos, el marco, las actividades, las técnicas y otros aspectos que conforman el programa específico que está analizando. Una vez que haya separado estas partes, puede combinar aquellas que respondan a sus necesidades con lo que ha aprendido sobre el problema y con sus propias ideas, para construir un programa que se ajuste específicamente a su situación.

Como ya hemos mencionado, las actividades de recopilación y síntesis de información son necesarias tanto para crear el programa original como para desarrollar una evaluación que le ayude a mantenerlo y mejorarlo. Ambos procesos parten, en realidad, del mismo lugar: de lo que piensa que permitirá abordar el problema, la forma que debería adoptar el programa o intervención, con quién debería aplicarse y qué conductas o condiciones busca cambiar. Esto también orienta cuáles deben ser sus metas a corto y largo plazo, y por qué medios intentará alcanzarlas. Una vez que estas metas se han definido, a su vez determinan sus preguntas de evaluación. No se puede construir una evaluación sin saber exactamente qué es lo que se intenta evaluar.

¿Por qué llevar a cabo la recolección y síntesis de información?

Si está en proceso de iniciar un programa para abordar un problema comunitario, como la violencia o la educación en la primera infancia, probablemente ya sepa bastante sobre ese tema. Tal vez lo haya enfrentado de diferentes maneras y tenga ideas bastante claras acerca de qué tipo de programa podría funcionar. Entonces, ¿por qué dedicar tiempo y esfuerzo, suyo y de otras personas involucradas en una planificación participativa, a leer mucho material escrito por otros y a contactar a quienes ya han dirigido programas? Si piensa de esa manera, hay muchas buenas razones para considerarlo. Recopilar información de antemano y organizar lo que ha aprendido podría ser lo más importante que haga para que su programa sea efectivo. Aquí le explicamos por qué:

• Le ayudará a evitar descubrir el hilo negro. Es muy probable que muchas organizaciones hayan abordado este problema antes que usted. Algunas quizá hayan tenido éxito y otras no, pero todas seguramente aprendieron algo en el proceso que podría serle útil. No tiene por qué cometer los mismos errores que alguien más ya cometió si conoces su experiencia, ni tiene que crear algo desde cero, que puede o no funcionar, cuando ya existe un modelo que sí ha funcionado.

Le permitirá distinguir entre buenas y malas ideas. No está nada mal que tenga algunas de las mismas buenas ideas que otros ya han tenido, pero es útil saber que realmente son buenas. También existe la posibilidad de que tenga algunas de las mismas malas ideas que otros han tenido, y en ese caso resulta aún más valioso reconocer que son malas. Esto puede ahorrarle muchos problemas y, quizás, marcar la diferencia entre crear un programa que cumpla bien su función y uno que fracase estrepitosamente y desaparezca. Eso es como querer descubrir el hilo negro; alguien ya lo sabía.

• Le ayudará a comprender profundamente el problema para poder abordarlo adecuadamente. El primer paso para resolver un problema es saber exactamente con qué está tratando. Cuanto mejor lo entienda, sus causas, cómo ocurre, cómo reaccionan las personas cuando se ven afectadas, cuáles son sus consecuencias para los individuos y la comunidad, y quién puede influir en él, mayores serán las probabilidades de que pueda determinar cómo enfrentarlo.​​
• Necesita todas las herramientas posibles para crear el mejor programa que pueda. Y, ante todo, las herramientas más importantes para planificar e implementar un programa o intervención son: información, información y más información. Al igual que con el problema en sí, cuanto más sepa sobre qué funciona y para quién, cómo lograr que las cosas sucedan, y cómo establecer o eliminar ciertas condiciones, más probabilidades tendrá de diseñar un programa exitoso que aborde todos los aspectos del problema y no deje nada al azar. Diversos tipos de habilidades profesionales e interpersonales pueden ayudarle a implementar un programa, pero si lo que implementa no es efectivo, da igual cuán hábilmente lo lleve a cabo.
• Es probable que la mayoría de las soluciones no sean de talla única. Cuanta más información recopile, mayor será la variedad de enfoques, métodos y marcos de referencia entre los que podrá elegir. Armar la combinación adecuada le ayudará a responder con éxito a las necesidades particulares de su comunidad y de la población con la que trabaja.
• Puede ayudarle a ser culturalmente sensible. No solo podrá aprender más sobre la(s) cultura(s) de las personas con las que trabaja, sino que también es probable que encuentre una serie de enfoques que hayan funcionado con el grupo cultural al que espera beneficiar. Y quizá lo más importante: podrá aprender a evitar errores costosos que podrían requerir mucho tiempo y esfuerzo, o incluso ser imposibles de reparar.
• Conocer lo que se ha hecho en una variedad de circunstancias y comprender el problema desde diferentes puntos de vista puede darle nuevas perspectivas e ideas para su programa. Como mencionamos al inicio de esta sección, las ideas nuevas rara vez surgen de la nada. Se estimulan a partir de su propia experiencia y de las ideas y experiencias —buenas y malas, positivas y negativas— de otras personas. Vea la experiencia de otros campos, comunidades y países. Cuantas más ideas distintas conozca, y más formas encuentre de combinarlas, mayores serán las posibilidades de que genere algo nuevo que sea más efectivo que lo que se ha hecho antes.

¿Cuándo conviene realizar la recolección y síntesis de información?

La recopilación y síntesis de información es crucial para el éxito del programa y para la pertinencia y efectividad de la evaluación. Debe comenzar desde el inicio de cualquier esfuerzo y contribuir a la planificación inicial. También debe continuar a lo largo de toda la vida del programa, de manera que pueda seguir ajustándolo mediante la incorporación o modificación de elementos que mejoren los resultados y generen nuevas ideas.

Los ajustes principales, en general, deberían realizarse al final de un ciclo de evaluación, cuando ya se cuenta con información sólida sobre lo que funcionó y lo que no. Sin embargo, esto no significa que no se puedan hacer ajustes menores durante la implementación del programa para mejorar los resultados en el camino.

Existe aquí una tensión entre cambiar continuamente un programa para mejorarlo y obtener resultados de evaluación precisos. Si modifica un método o una actividad a mitad del proceso, su evaluación no podrá darle una valoración clara de su efectividad.

La cantidad de cambios que haga durante el desarrollo de un programa depende de su intención. Si su primera responsabilidad es averiguar qué funciona mejor, para luego transmitirlo, entonces es importante no hacer cambios hasta que se complete la evaluación. En cambio, si su responsabilidad principal es con los participantes actuales del programa, debería hacer los cambios necesarios en el momento en que sean necesarios para asegurar los mejores resultados para ellos.

Aquí también pueden surgir cuestiones éticas. En los experimentos médicos con nuevas terapias o fármacos, por ejemplo, algunos participantes reciben el nuevo tratamiento y otros no (todos aceptan voluntariamente esta condición y el hecho de no saber a qué grupo serán asignados). Si el nuevo tratamiento demuestra ser dañino, existe la obligación ética de suspender su aplicación. Por otro lado, si resulta ser notablemente eficaz, los investigadores suelen sentirse éticamente obligados a extenderlo a los demás participantes en cuanto pueden demostrar sus efectos positivos. No todos los programas plantean necesariamente dilemas éticos tan claros como los que surgen en los estudios médicos, pero siempre se deben tener en cuenta las consideraciones éticas.

¿Quién debe llevar a cabo la recolección y síntesis de información?

La premisa a lo largo de este capítulo es que todo el proceso —planificación, diseño, implementación y evaluación— involucra a múltiples actores interesados.

Los actores típicos en un programa o intervención comunitaria pueden incluir:

• Participantes o beneficiarios del programa
• Personal y administradores del programa
• Otras personas afectadas por el programa —policía, personal médico, docentes, etc.
• Académicos u otros investigadores
• Funcionarios locales
• Activistas comunitarios

Recopilación de información

En un proceso participativo, la recopilación de información puede potenciarse mediante una división del trabajo determinada por las habilidades y la experiencia de los participantes. Si hay académicos u otros investigadores profesionales involucrados, probablemente tenga más sentido que ellos —u otras personas con experiencia en investigación— revisen la literatura de evaluación. Los miembros de la población afectada podrían ser los más indicados para recopilar información sobre la historia del problema en la comunidad y sobre cómo afecta actualmente a las personas. Los directores y el personal del programa probablemente tengan los mejores contactos en el campo, y por lo tanto, mayores posibilidades de encontrar información sobre otros programas similares. Quienes tengan acceso a Internet y experiencia con computadoras podrían ser los buscadores en línea más lógicos, o bien actuar como apoyo técnico para ayudar a otros a encontrar lo que necesitan. Aquellos con conocimientos en derecho y legislación podrían ser los responsables de examinar políticas.

También existe la posibilidad de que se brinde capacitación a todo el grupo, o a distintas personas, para permitirles desarrollar diversas líneas de investigación. No hay razón, por ejemplo, para que personas sin experiencia en investigación no puedan aprender a comprender e interpretar información demográfica o a ponerse en contacto con programas en otros lugares. (Existen algunas limitaciones aquí: los niveles de educación relacionada, la disponibilidad de materiales o computadoras y/o la imposibilidad de conectarse con otras personas pueden influir en el tipo de investigación que tiene sentido pedir a otros que realicen).

Síntesis

Es especialmente importante que todos los participantes en el proceso estén involucrados en la integración de la información. Capacitar a nuevos participantes para sintetizar información dará frutos al final, porque ellos pueden ser capaces de ver cosas en la información que no son evidentes para los investigadores experimentados. Pueden saber cosas sobre la comunidad que arrojen luz sobre qué elementos de otros programas podrían ser apropiados y cuáles no.

En cualquier caso, la recopilación y la síntesis de información, al igual que cualquier otra parte del proceso, deben reflejar las necesidades, intereses y capacidades de todos los actores involucrados.

¿Cómo se lleva a cabo la recolección y síntesis de información?

Existen varios pasos para recopilar e integrar la información que necesita. La mayoría de estos pueden realizarse como actividades grupales, formando parte del proceso participativo. La recopilación de información en sí misma puede asignarse a personas o subgrupos específicos.

Decidir qué necesitas saber

No es sorprendente que el primer paso en la recopilación de información sea determinar qué información se debe obtener. Existen varias áreas que se pueden explorar:

• Detalles sobre el problema. Estos pueden incluir sus causas inmediatas y de raíz; sus efectos generales en las personas y en las comunidades; sus consecuencias; su desarrollo a través de diferentes etapas; su historia; y la historia de los intentos de abordarlo.
• Cómo se ha abordado el problema en otros lugares. Prácticas recomendadas o enfoques que cuentan con una base de evidencia; otros enfoques que han sido al menos parcialmente efectivos; y lo que no ha funcionado, lo cual puede brindarle información tan importante como lo que sí ha funcionado.
• Personas que pueden ayudar. Esta categoría abarca a expertos en el tema y a personas u organizaciones que han llevado a cabo o participado en intentos exitosos de abordar el problema.
• Quiénes se ven afectados localmente, y de qué manera. En realidad, esto comprende dos preguntas:
  a) ¿Qué grupos poblacionales – geográficos, étnicos, culturales, raciales, de clase, etc. – se ven particularmente afectados por este problema?
  b) ¿Qué otros grupos se ven afectados, aunque de manera menos visible? Estos podrían incluir a quienes trabajan con el(los) primer(os) grupo(s) en la comunidad (por ejemplo, maestros o trabajadores sociales), quienes dependen de ellos, y aquellos de quienes ellos dependen.
• La importancia del problema para la comunidad. Nuevamente, esto implica dos preguntas:
  • ¿Qué tan importante percibe la comunidad que es el problema? y
  • ¿Cuánto y de qué maneras afecta realmente el problema a la comunidad en su conjunto?
• Necesidades de la comunidad relacionadas con el problema. ¿Qué debe añadirse o eliminarse de la comunidad para mejorar la situación? ¿A qué tipos de enfoques responderá la comunidad o rechazará?
• Otra información contextual. Historia de la comunidad, relaciones entre grupos e individuos que puedan ser relevantes para su trabajo, cultura comunitaria, etc.
• Quién, si alguien, tiene cierta influencia o control para cambiar la situación. Los funcionarios públicos y otros responsables de formular políticas suelen estar en esta posición. Los líderes empresariales, los propietarios, las agencias gubernamentales de control, las escuelas, los empleadores, los hospitales y el personal de salud, así como los propios miembros del grupo afectado, también podrían estar en condiciones de cambiar la situación (aprendiendo nuevas habilidades o modificando prácticas).

Determine sus fuentes probables de información

Como se mencionó anteriormente, estas abarcan fuentes existentes (es decir, publicadas) y ejemplos naturales (es decir, experienciales). Las fuentes publicadas pueden dividirse en académicas, de consumo masivo y estadísticas, cada una de las cuales puede aportar información y una perspectiva diferente sobre el tema y los intentos de abordarlo. Dependiendo de lo que decida que está buscando, podría utilizar todas, o cualquier combinación, de estas fuentes.

El depósito de información más grande disponible es Internet. Muchos artículos académicos se publican en línea y son accesibles – a menudo de forma gratuita, a veces con costo – para cualquier persona interesada. Prácticamente todas las leyes y regulaciones de EE. UU., en todos los niveles de gobierno, se encuentran fácilmente, la mayoría en varios sitios web. El conocimiento general sobre casi cualquier tema está ampliamente disponible, al igual que las listas de prácticas recomendadas, organizaciones exitosas y los sitios web de esas organizaciones. Los datos del censo y otra información estadística similar también están disponibles. A esto se suma la información proporcionada por fuentes tan completas como Wikipedia (que recientemente, a pesar de sus peculiaridades, se ha comprobado que es casi tan precisa en sus más de un millón de entradas como la Enciclopedia Británica), lo que constituye un pozo casi inagotable de hechos y opiniones de donde extraer.

Como siempre, hay que ser cautelosos: la mayor parte del ciberespacio no está editado, y la calidad de la información varía. Si se ciñe a sitios razonablemente confiables, es probable que encuentre casi todo lo que necesite, o al menos una guía hacia ello.

Fuentes existentes

Las fuentes académicas pueden incluir:

• Revistas académicas y algunas revistas profesionales.
• Libros escritos para el mercado académico.
• Tesis doctorales – estas son accesibles para investigadores a través de bibliotecas universitarias y algunas fuentes en Internet.
• Ponencias e informes presentados en conferencias académicas y profesionales – a menudo disponibles en línea, ya sea en los sitios web de los autores o en las actas electrónicas de los congresos.
• Artículos ocasionales en revistas científicas de divulgación respetadas, como Nature o Scientific American.
• Archivos de periódicos.
• Contacto directo con académicos y otros investigadores que hayan trabajado en el tema de su interés, o que hayan realizado estudios sobre intentos de abordarlo.
• Listas de distribución (listservs) y grupos de noticias en Internet relacionados con el tema o el campo en cuestión.

Fuentes de información de consumo masivo:

• Libros de amplia distribución, a menudo comercializados como de “autoayuda” o “transformadores de vida”, dirigidos al público en general.
• Artículos en revistas populares, tanto las dedicadas a la ciencia o al comportamiento como las de interés general.
• Noticias en periódicos, a menudo en las secciones de revistas de los domingos.

Dónde encontrar información estadística y demográfica:

• Datos censales – disponibles en la web y en muchas bibliotecas.
• Informes comunitarios, como boletines de calificaciones de la comunidad, autoestudios y evaluaciones de necesidades, todos los cuales deberían poder obtenerse a través de las oficinas municipales correspondientes, y a veces también en la web.
• Datos de organizaciones y agencias, que por lo general son de dominio público si la agencia es pública o recibe fondos públicos.

Además de estas fuentes, los medios de difusión suelen presentar historias sobre temas críticos o sobre esfuerzos exitosos para abordarlos. En la mayoría de los casos, dichas historias solo rozan la superficie, ya que deben ajustarse a espacios de tiempo reducidos (la radiodifusión pública, tanto en radio como en televisión, rompe este molde más que otros medios). Sin embargo, pueden servir como introducción para investigaciones posteriores, resaltando la importancia de uno o más aspectos de un tema, o brindando información sobre programas efectivos con los que luego puedes ponerte en contacto.

Ejemplos naturales

Algunas de las fuentes más probables de ejemplos naturales incluyen:

• Directores de programas.
• Amigos o colegas en el campo.
• Financiadores (en particular las agencias públicas, porque sus transacciones –incluido a quién financian y por qué– son de dominio público).
• Líderes y miembros de coaliciones o asociaciones comunitarias.
• Funcionarios que coordinan esfuerzos comunitarios a gran escala.
• Miembros de la población más directamente afectada por el problema en cuestión.
• Participantes actuales o anteriores, o beneficiarios de programas efectivos.
• Personas que colaboran con los programas – policía, personal médico, docentes, etc.
• Informantes clave de la comunidad.
• Expertos – algunos de ellos los mismos académicos y otros investigadores mencionados en las fuentes académicas – que tengan experiencia con tu problema y con los intentos de abordarlo.
• Su propia experiencia en la comunidad.

No tema ampliar su búsqueda de modelos exitosos o de nuevas ideas. Sal de su propio campo y de su propia región, y observe lo que se ha hecho en otros lugares. Un modelo de trabajo social o de diseño urbano podría funcionar en salud pública, o viceversa. Hay suficiente solapamiento entre los campos que se ocupan de la salud y el desarrollo humanos como para que, a menudo, pueda encontrar exactamente lo que necesita en lugares que, a primera vista, parecen poco probables.

Diseñar un plan para recopilar información

Hay varias consideraciones aquí:

• ¿Quién recopilará qué información? Como hemos comentado, el grupo ideal es multisectorial y diverso en trayectorias y habilidades. La recopilación de información debe asignarse de acuerdo con las destrezas, intereses y contactos en la comunidad de los participantes. Hemos sugerido, por ejemplo, que las fuentes académicas podrían ser exploradas por académicos u otros investigadores con experiencia, mientras que los miembros de la población afectada podrían tener más éxito al acercarse a informantes clave de la comunidad. Sin embargo, esto no significa que, en un grupo determinado, estos y otros roles aparentemente lógicos no puedan o no deban variar, dependiendo de las personas involucradas.
• ¿Cómo se recopilará la información? Otra cuestión es cómo se obtendrá la información. Encontrar y leer material escrito es relativamente sencillo: está en la biblioteca o en la web, y puede leerlo y tomar notas sobre las partes relevantes. Obtener información directamente de otras personas, sin embargo, puede ser más complicado. ¿Realizará entrevistas formales o informales? ¿Observación? ¿Llevará a cabo encuestas o reuniones públicas? ¿Cómo contactará a personas que no conoce: por carta, por teléfono, a través de conocidos en común? Sus métodos de recopilación de información estarán determinados por el tiempo disponible, la información específica que necesite, la profundidad de la información requerida y las habilidades de los participantes.
• ¿Qué ajustes se harán para cubrir vacíos específicos de experiencia o habilidades? Las personas que no leen, escriben y/o hablan el idioma con fluidez quizá tengan que idear formas creativas de registrar la información. Los investigadores con experiencia pueden tener que traducir la escritura académica para casi todos los miembros del grupo que no sean académicos. En muchos casos, la mayoría o todos los integrantes del grupo pueden necesitar una orientación o capacitación antes de que pueda comenzar la recopilación de información. Será necesario identificar, como grupo, cuáles son las necesidades y diseñar maneras de satisfacerlas.
• ¿Cuál es el cronograma para la recopilación de información? Si bien la recopilación de información debería continuar a lo largo de toda la vida de un proyecto, la fase inicial debe tener un límite de tiempo, de modo que la acción no se retrase demasiado. El plazo depende de sus propias limitaciones de tiempo, de la gravedad e intensidad del problema, de la percepción de urgencia en la comunidad y de si existen restricciones externas de tiempo (por ejemplo, pasantes estudiantiles que solo estarán disponibles hasta el final del verano). Tener una fecha límite clara ayudará a enfocar las actividades del grupo y aumentará su eficiencia.

Recopilar información

Cuando su plan esté completo, es momento de ponerlo en práctica. Tendrá que llevar a cabo las capacitaciones necesarias y asegurarse de que todas las tareas relevantes estén asignadas de manera adecuada. También puede ser útil programar reuniones periódicas a lo largo del proceso de recopilación de información, con el fin de dar al grupo la oportunidad de revisar los avances, hacer sugerencias y compartir lo que han ido encontrando. Además de brindar apoyo a quienes son nuevos en la investigación, estas reuniones, al ofrecer un adelanto de los resultados del proceso, evitarán que todos tengan que digerir una cantidad abrumadora de información de una sola vez.

Sintetizar: Analizarlo en partes 

El proceso de síntesis implica dividir la información en sus componentes, analizar cuáles se ajustan mejor a su contexto y luego integrarlos en un enfoque que tenga probabilidades de funcionar en su comunidad.

Por lo general, hay tres áreas principales que deben considerarse:

• Lo que se sabe sobre el problema en sí. ¿Qué factores personales y ambientales contribuyen al problema? ¿Cuáles son sus causas fundamentales? ¿Tiene los recursos para abordarlas, o están más allá de su alcance (por ejemplo, las fuerzas económicas globales o el cambio climático)? ¿El problema tiene diversos efectos y, de ser así, cuáles son? ¿Cuáles son las consecuencias probables para la comunidad en su conjunto si el problema no se resuelve? (Un riesgo ambiental para la salud no solo puede causar la muerte o enfermedad de individuos, sino que también podría afectar la productividad empresarial, la disponibilidad y las tarifas de los seguros, los costos hospitalarios, el mercado de la vivienda o incluso –como en el caso del vecindario Love Canal en Niagara Falls, NY– la existencia misma de un vecindario o comunidad).
• El contexto comunitario del problema. ¿Cuáles son los efectos locales específicos del problema? ¿Quiénes son exactamente los afectados? ¿De qué manera exacta se ven afectados? ¿Cuáles son las consecuencias para esos individuos? ¿Para sus familias, amigos, vecinos y otras personas con quienes se relacionan? ¿Para la comunidad en su conjunto? ¿Cuál ha sido la experiencia de la comunidad con este problema en el pasado? ¿Cómo se ha abordado, si es que se ha hecho? ¿Qué condiciones locales cambiarían si el problema se resolviera y de qué manera cambiarían? ¿Existen condiciones subyacentes que deban cambiar antes de que el problema pueda abordarse? ¿Qué actitudes y/o comportamientos necesitan cambiar para tener un efecto sobre el problema (por ejemplo, entre los responsables de formular políticas, los afectados o ciertos funcionarios específicos)?
• Intentos exitosos y no exitosos de abordar el problema. Estos pueden haberse obtenido tanto de la literatura sobre prácticas recomendadas como directamente o de manera indirecta de quienes participaron en ellos. Aquí es importante desglosar los elementos de los distintos enfoques. ¿Qué procedimientos específicos – métodos y componentes de intervención – se utilizaron? ¿Qué tipos de capacitación – retroalimentación, juegos de roles, modelado, etc. – se proporcionaron a los participantes? ¿Se ofreció información a los participantes sobre cuándo, por qué y cómo actuar? ¿Hubo consecuencias positivas o negativas que ayudaron a establecer o mantener el cambio (o su contrario)? ¿Se implementaron o eliminaron barreras ambientales, políticas o regulaciones? ¿Cuál era la filosofía general detrás del enfoque? ¿Qué aspectos del problema abordaba? ¿En qué tipo(s) de comunidad se probó? ¿Qué grupos poblacionales (en términos de cultura, edad, clase social, etc.) participaron? ¿A quién debía beneficiar el enfoque? ¿Cuáles fueron los resultados específicos a corto plazo? ¿Y a largo plazo? ¿Qué hace que un programa, política o práctica en particular sea exitoso o no exitoso? ¿Qué eventos, si los hubo, fueron críticos para el éxito (o el fracaso)? ¿Qué condiciones – características organizacionales, de los participantes o factores ambientales más amplios – fueron determinantes? ¿Existe un modelo de programa exitoso? ¿Existe un modelo de programa no exitoso?

La existencia de un programa modelo no exitoso no significa que, si hace lo opuesto a todo lo que ese programa hizo, tendrá éxito. Incluso si fracasó estrepitosamente, gran parte del programa pudo haber sido potencialmente eficaz, pero uno o dos elementos – la manera en que se abordó, reclutó o trató a los participantes, o un método en particular – anularon lo que podría haber funcionado. De la misma manera, es posible que la mayoría de los elementos del programa hayan estado bien, pero que su premisa básica haya sido equivocada o ineficaz – por ejemplo, “Solo diga no” como estrategia para prevenir el SIDA entre adolescentes. Lo importante es tratar de averiguar por qué el programa no tuvo éxito. Un verdadero programa modelo no exitoso es aquel que hizo todo mal, pero esos casos son muy poco frecuentes.

Lisbeth Schorr (Common Purpose) hace una distinción útil entre “lo que funciona” y las condiciones bajo las cuales lo que funciona realmente funciona. A veces, la presencia de un líder o campeón carismático motiva al personal y/o a los participantes a lograr el éxito. Cuando ese líder o los miembros originales del personal se marchan, algunos programas colapsan, mientras que otros logran renovarse mediante contrataciones cuidadosas y una implementación fiel de los elementos que los hicieron funcionar.

Al buscar programas de los cuales inspirarse, es necesario comprender los componentes y elementos de intervención que hacen que dichos programas funcionen. Asimismo, conviene entender las condiciones que permiten que una intervención sea exitosa.

Sintetizar: Volver a armarlo

Analice los elementos que ha encontrado para determinar cuáles de ellos serían apropiados para la situación y el grupo con el que está trabajando.

• ¿Qué se ha utilizado específicamente con su población en sus circunstancias?
  ¿Los programas exitosos que ha revisado han sido específicos de su contexto (es decir, diseñados para sus comunidades y poblaciones particulares)?
  ¿Pueden adaptarse a su propio contexto si no fueron diseñados para él?
• ¿Qué puede adaptarse, si no estaba dirigido originalmente a su población?
  (Por ejemplo, técnicas utilizadas con niños o adolescentes que podrían modificarse para aplicarse con adultos, o viceversa).
• ¿Qué falta? ¿Qué aspectos del problema en su comunidad no están siendo abordados por lo que ha encontrado? ¿Son lo suficientemente importantes como para que deban ser atendidos?
• ¿Lo que ha encontrado confirma o contradice lo que pensaba que ya sabía?
• ¿Existen factores en su situación particular que hagan que el problema sea sustancialmente diferente para usted y sus participantes en comparación con otros programas o enfoques sobre los que ha obtenido información? ¿Cómo lo enfrentará?
• ¿Qué le dice la información que ha recopilado acerca de la posibilidad de abordar con éxito las causas fundamentales del problema (por ejemplo, la desigualdad de ingresos, la exclusión social, la falta de poder)?
• En general, ¿la mayoría o todos los programas exitosos dirigieron sus esfuerzos de cambio al mismo grupo de personas (por ejemplo, los responsables de formular políticas), o hubo variedad? Si fue lo segundo, ¿qué cree que es más probable que funcione en su comunidad?
• Quizá lo más importante, ¿cuál es su definición de éxito y qué programas de los que conoció se acercaron más a lograrlo? ¿Qué componentes y elementos de esos programas abordaron lo que se necesita en su comunidad?

Responder a estas preguntas le dará una buena idea de cuáles componentes de otros programas podrían funcionar para usted, y también deberían coincidir con lo que ya sabe, para proporcionarle ideas sobre nuevos elementos que pueda agregar o para confirmar (o advertirle en contra de) ideas para nuevos elementos que ya había considerado.

No queremos dar a entender que simplemente tomar muchos componentes diferentes de programas y mezclarlos proporcionará una forma eficaz de abordar un problema comunitario. Usted debe comenzar con un marco claro, basado en su visión y misión, y construir un programa que sea coherente y tenga sentido. Todos los elementos deben encajar; si encajan lo suficiente, el resultado será algo más grande que la simple suma de sus partes. Si los elementos no encajan entre sí o no forman parte de un programa con un marco bien definido, lo más probable es que termine con un resultado desordenado.

Siga adelante

La recopilación de información y la síntesis de conocimientos deben continuar a lo largo de todo el programa. Aunque pueda esperar a los resultados de una evaluación inicial para realizar algún cambio, siempre debe estar buscando mejoras y enfoques más efectivos. Ningún programa o esfuerzo es perfecto: todo puede mejorarse. Mientras usted siga intentando aprender más y profundizar en su comprensión de su trabajo, este continuará mejorando. Si se vuelve complaciente (es decir, si siente que ya sabe lo que está haciendo y puede relajarse), su programa podría empezar a perder efectividad.

En resumen

Recopilar la información que ya existe sobre su problema y sobre los intentos de abordarlo es uno de los aspectos más importantes al planificar un programa o una evaluación. Al reunir lo que se sabe sobre el problema y la historia de los éxitos y fracasos de distintos enfoques, usted puede construir una estructura de programa que incluya sus propias innovaciones y elementos que han funcionado para otros en situaciones similares. Esta síntesis también le permite evitar enfoques ineficaces e incorporar ideas y métodos que han sido particularmente apropiados, culturalmente o de otra manera, para la población y la comunidad con la que trabaja.

La recopilación de información y la síntesis deben continuar durante toda la vida del programa. Cuanta más información tenga y más cuidadosamente la organice, mayores serán sus probabilidades de implementar un programa exitoso.

What do we mean by information gathering and synthesis?

___Information gathering refers to gathering information about the issue you’re facing and the ways other organizations and communities have addressed it

___You can gather information using both existing sources and natural examples

­­___Synthesis here refers to analyzing what you’ve learned from your information gathering, and constructing a coherent program or approach by taking ideas from a number of sources and putting them together to create something that meets the needs of the community and population you’re working with

___Synthesis involves extracting the functional elements of both the analysis of the issue and approaches to it

___Functional elements are those that are indispensable either to understanding the issue, or to implementing a particular program

Why gather and synthesize information?

___It will help you avoid reinventing the wheel

___It will help you to gain a deep understanding of the issue so that you can address it properly

___You need all the tools possible to create the best program you can

___It’s likely that most solutions aren’t one size fits all

___It can help ensure your program is culturally sensitive

___Knowing what’s been done in a variety of other circumstances and understanding the issue from a number of different viewpoints may give you new insights and new ideas for your program

When should you gather and synthesize information?

___Information gathering and synthesis should continue throughout the life of the program

Who should gather and synthesize information?

___Information gathering and synthesis is often most effectively conducted by a multi-sectoral participatory group including all stakeholders in the issue

How do you gather and synthesize information?

___Decide what you need to know about the issue itself, successful and unsuccessful attempts to address it in various circumstances, and the local context

___Determine your likely sources for the various types of information you’re seeking

• Existing sources include scholarly, mass-market, and statistical/demographic published information
• Natural sources include some published information about programs, but can best be obtained by direct contact with those involved in planning, implementing, or participating in programs relevant to your issue
• It’s important to pay attention to both successful and unsuccessful attempts to address the issue, and to step outside your own field in search of solutions that work

___Devise a plan for gathering information

• Decide who will gather what information
• Decide how information will be gathered
• Decide what adjustments will be made for gaps in experience or skills
• Set a timeline for the initial information gathering

___Collect information

___Begin synthesis by taking it all apart – extract the functional elements of what you’ve learned

___Complete synthesis by putting the relevant pieces back together as a coherent program that speaks to your community’s needs

___Keep at it by continuing to gather and synthesize information throughout the life of the program

El centro comunitario de salud local estaba iniciando un programa para fomentar la actividad física regular entre las personas con presión arterial alta. El programa tenía un objetivo sencillo: lograr que los participantes realizaran 45 minutos de ejercicio aeróbico moderado al menos cuatro veces por semana durante seis meses. La esperanza era que este régimen ayudara a reducir la presión arterial, favoreciera la pérdida de peso y generara una sensación general de bienestar. Un objetivo relacionado era que los participantes continuaran ejercitándose por su cuenta después de que el programa terminara.

El Centro reunió a un grupo de 50 personas dispuestas a participar. Después de realizarles chequeos médicos, todos asistieron a talleres sobre alimentación, el funcionamiento y los riesgos de la hipertensión, y sobre cómo iniciar y mantener una rutina de ejercicio regular sin lesiones. También recibieron asesoramiento sobre los tipos de ejercicios que podían realizar -caminar, andar en bicicleta, nadar, etc. -- y sobre cómo hacer que el ejercicio resultara agradable. Para ayudar a los participantes a integrar el ejercicio en su vida diaria, el centro decidió permitirles hacerlo a su conveniencia, utilizando las actividades que eligieran, siempre que mantuvieran el patrón de 45 minutos, cuatro veces por semana. Además, se les pidió que llevaran un registro de la frecuencia y tipo de ejercicio realizado, y que se reunieran, en grupos de cinco, con los consejeros del Centro de Salud una vez al mes para revisar la presión arterial, el peso y los progresos, así como para recibir apoyo, motivación y orientación.

El centro debía entonces decidir cómo evaluar el programa. La meta de desempeño del programa -lo que los participantes debían hacer realmente- era mantener el programa de ejercicio durante el período de seis meses. Dado que cada participante lo hacía por su cuenta, sería difícil observarlos a todos cada vez que se ejercitaban. Sin embargo, el centro necesitaba saber si realmente lo estaban haciendo. Los otros objetivos del programa -reducir la presión arterial y bajar de peso- también debían observarse de alguna manera. ¿Cómo podría el centro diseñar un sistema para averiguar si el comportamiento de actividad física realmente estaba ocurriendo y si esto resultaba en una disminución de la presión arterial y del peso corporal?

Una vez que haya determinado sus preguntas de evaluación y reunido información sobre qué debe observar, debe encontrar una forma de hacerlo. De eso se tratan los sistemas de observación. Al igual que el centro en el ejemplo, usted deberá encontrar maneras de observar el comportamiento, las condiciones y los cambios -o la falta de ellos- que le permitan responder a sus preguntas de evaluación. Esta sección trata sobre cómo establecer sistemas de observación para lograr justamente eso.

¿Qué entendemos por diseñar un sistema de observación?

Un sistema de observación es la forma en que se obtiene información sobre su programa: lo que el programa, sus participantes y sus implementadores están haciendo realmente, y lo que parece estar ocurriendo como resultado. El término “observación” aquí puede referirse a la observación directa -es decir, observar a las personas, las condiciones, las actividades o los resultados para ver qué sucede-, pero también puede abarcar formas menos directas de monitorear el funcionamiento y los resultados de un programa. Sus modalidades incluyen el seguimiento del comportamiento de individuos y grupos para analizar los resultados en diferentes niveles. Algunos métodos de observación que pueden resultar útiles en distintas situaciones de evaluación son los siguientes:

• Observación directa. Esta es la forma más pura y verificable de observación: consiste en mirar directamente a las personas o en observar condiciones o situaciones de primera mano. Por ejemplo, si usted participa en un esfuerzo para aumentar el uso y el sentido de pertenencia vecinal hacia un parque público, podría observar directamente cuánto y cómo las personas utilizan el parque visitándolo en diferentes días, con distintos tipos de clima y bajo diversas circunstancias durante un período prolongado de tiempo.
  Los observadores directos pueden ser “invisibles”, como lo sería un observador de la actividad del parque, o pueden ser miembros del personal que trabajan con los participantes y registran lo que sucede. En cualquier caso, están tomando mediciones como observadores externos, no como participantes.
• Observación participante. Un observador participante forma parte de la acción y observa desde adentro. En el caso del parque, un observador participante podría ser un residente del vecindario directamente involucrado en el esfuerzo o alguien que se integre a la vida del parque con fines de observación. Podría trotar allí todos los días o unirse a un juego semanal de voleibol para conocer a otras personas que usan el parque con regularidad. Sus propias notas sobre lo que observa en el parque formarían parte de su registro.
• Autoinformes. Algunos de los resultados que se buscan tal vez no sean visibles en absoluto, al menos no para usted. Los cambios en lo que las personas hacen en privado -como el uso de anticonceptivos- no pueden (ni deben) ser observados directamente por un externo. De manera similar, cuando el objetivo es influir en el comportamiento de un gran número de personas, como promover una alimentación saludable en la comunidad, no será factible observar directamente a todos. En tales casos, se pide a las personas que informen sobre su propio comportamiento. Así, un sistema de observación puede incluir entrevistas, diarios, encuestas u otros medios de reporte en primera persona. Dado que este tipo de informe puede estar sujeto a sesgos, normalmente se complementa con otras formas de evidencia (por ejemplo, observar la pérdida de peso como resultado de conductas relacionadas con la alimentación saludable y la actividad física).
• Informes de terceros. Un sistema de observación puede incluir o depender de los informes de otras personas que tienen experiencia directa con las personas o las condiciones que son objeto de estudio. Maestros, oficiales de libertad condicional, guardaparques, enfermeras de salud pública, trabajadores sociales -incluso bartenders o peluqueros- pueden ser valiosas fuentes de información de segunda mano. Estos informes, al igual que los autoinformes, pueden recopilarse mediante entrevistas, diarios, encuestas, listas de verificación y otros medios similares.
• Observación electrónica o mecánica. En este caso, el observador no es una persona (aunque al final alguien revisará la información), sino un dispositivo operado automáticamente o en funcionamiento continuo: una cámara, una grabadora de audio, un monitor cardíaco, un podómetro, un rastreador GPS (sistema de posicionamiento global) u otro tipo de equipo. Por ejemplo, una cámara activada por un sensor de movimiento se utiliza con frecuencia para estudiar la densidad de una población animal en un área o en un trayecto determinado.
• Pruebas de diversos tipos. Dependiendo de lo que se desee medir, esta categoría puede abarcar desde pruebas escritas de aprendizaje académico hasta evaluaciones prácticas de habilidades o análisis de sangre. También puede incluir pruebas de nuevos métodos y procedimientos de programas, con el fin de verificar su eficacia antes de aplicarlos.
• Registros públicos y otros documentos. Informes policiales, datos censales, estadísticas de empleo, información de salud pública- todos estos y otros registros pueden proporcionar información sobre indicadores a nivel comunitario que ayuden a determinar los resultados de su trabajo.
• Productos o resultados del comportamiento. A veces es más práctico observar el producto o resultado de un comportamiento, en lugar del comportamiento en sí. Por ejemplo, si se está investigando la contaminación ambiental, podríamos observar la cantidad de desechos o toxinas en el suelo o en el agua, en lugar de observar directamente el vertido ilegal de esos materiales. De manera similar, una iniciativa orientada a prevenir la obesidad infantil podría utilizar los registros escolares de altura y peso para medir la obesidad, además de observaciones directas de los almuerzos escolares y los informes de los jóvenes en encuestas sobre alimentación.

Además de especificar qué tipos de observación va a utilizar, el diseño de un sistema de observación debe cubrir también cuándo, dónde, con qué frecuencia, por quién y bajo qué circunstancias se realizarán las observaciones, así como exactamente qué se va a observar. Todo esto depende de lo que esté observando y de la información que espere obtener de su evaluación (otra vez, vuelva a sus preguntas de evaluación).

Entre otras consideraciones: ¿analizará el proceso de su iniciativa o programa -los pasos que siguió para ponerlo en marcha y si se ajustaron fielmente a lo que pretendía-? ¿Examinará lo que realmente hizo -el número de participantes, los métodos utilizados, el tiempo que tomó todo, cuánto tiempo permanecieron los participantes, etc.? ¿Le interesa saber qué partes de lo que hizo fueron exitosas y cuáles no? ¿Y qué desea conocer acerca de los resultados -los efectos de su programa?

Diseñar un sistema de observación implica pensar con cuidado en lo que necesita saber y crear un sistema que sea lo más probable posible para proporcionarle esa información de forma precisa y sencilla. En la parte “cómo hacerlo” de esta sección analizaremos el proceso de diseño con más detalle, incluyendo los asuntos mencionados en los dos párrafos anteriores.

¿Por qué diseñar un sistema de observación?

Si se toma en serio la evaluación, existen varias razones para diseñar un buen sistema de observación:

• Ayuda a obtener información confiable. Diseñar un sistema que estandarice los métodos, los momentos y otros aspectos de la observación permitirá que la información obtenida de diferentes observadores y lugares sea más precisa y coherente, y por lo tanto, más útil para la evaluación general.
• Permite conocer exactamente lo que necesita saber, sin esfuerzos innecesarios. Puede diseñar un sistema que se enfoque en lo que realmente le interesa e ignore lo que no. Esto significa que no tendrá que clasificar datos innecesarios y que dispondrá de los medios adecuados para recopilar la información que necesita para responder sus preguntas de evaluación.
• Garantiza que las observaciones se realicen. Un sistema coherente, diseñado y aceptado por quienes realizarán las observaciones -cualquiera sea su forma- aumenta significativamente la probabilidad de que las observaciones se realicen en el momento, lugar y forma adecuados.
• Facilita el análisis de los datos. Un sistema de observación coherente y bien estructurado le proporciona información útil para el análisis científico, ya sea cuantitativo (basado en números y estadísticas) o cualitativo (basado en narraciones e interpretación del significado de los comportamientos y los eventos).
• Ayuda a evitar evaluaciones improvisadas. Un sistema de observación bien diseñado permite recopilar información de manera sistemática y evita terminar con una masa de datos desconectados que no necesariamente se relacionan con lo que se desea conocer.
• Facilita justificar sus hallazgos. Cuanto más precisa sea su información, más confiables serán las conclusiones que se deriven de ella. Si su sistema de observación está bien diseñado e implementado, será mucho más fácil argumentar que sus datos son fiables, exactos y una base sólida para las conclusiones alcanzadas.
• Aumenta la credibilidad ante financiadores y responsables de políticas. Las personas que controlan los fondos y las políticas se preocupan especialmente por la rendición de cuentas. Si usted puede presentarles una evaluación útil basada en datos recopilados mediante un sistema de observación bien diseñado y confiable, estarán más inclinados a considerarlo una voz experta y confiable en el campo.
• Permite compartir sus prácticas con confianza. Un sistema de observación bien diseñado hace posible confiar en que los resultados de su evaluación reflejan la realidad. Si esos resultados demuestran que su programa es altamente efectivo, puede transmitir sus métodos como una buena práctica a colegas y otros profesionales, sin preocuparse de estar recomendando enfoques que quizá no funcionen adecuadamente.
• Proporciona la mejor información posible sobre lo que funciona en su programa y lo que necesita ajustarse.

¿Cuándo se debe diseñar un sistema de observación?

Como hemos comentado, un sistema de observación no se refiere únicamente a la observación directa, sino a cualquier método para examinar y registrar el proceso, las actividades y los resultados de su programa. Un sistema de observación es parte fundamental de la evaluación, ya que es lo que le dirá qué ocurrió realmente. Por lo tanto, lo ideal es diseñar ese sistema antes de comenzar a implementar el programa, de modo que pueda monitorearlo a lo largo de toda su existencia.

Ese es el ideal. La realidad para muchos trabajadores comunitarios -especialmente quienes laboran en organizaciones comunitarias pequeñas- es que la evaluación comienza cuando hay tiempo, energía y recursos disponibles, lo que suele ocurrir meses o incluso años después de iniciado el programa. Sea cual sea el momento en que comience, el sistema de observación debe diseñarse para responder a las preguntas de evaluación que se plantee. Dado que las observaciones deben ser consistentes y confiables, vale la pena tomarse el tiempo necesario para asegurarse de diseñar un sistema de evaluación eficaz.

Es preferible poder observar todo el ciclo del programa, de principio a fin. Algunos programas no tienen un ciclo definido, y la observación puede centrarse en el comportamiento o los resultados de los participantes individuales más que en el programa en su totalidad. En estas situaciones, la evaluación puede comenzar cuando nuevos participantes inician el programa y se les observa desde el comienzo.

Si ha estado registrando eventos, llevando diarios, etc., antes de comenzar la evaluación, es posible que ya disponga de información que pueda incorporarse a los resultados de su observación. Sin embargo, si su diseño requiere observaciones directas específicas, la definición de estas puede ser tan precisa que observaciones similares registradas en los diarios del personal quizás no cumplan los criterios para ser incluidas. Por otro lado, si los diarios o registros del personal forman parte del sistema que está implementando, es posible que pueda utilizar toda o la mayor parte de la información que ya tiene (y, de hecho, podría diseñar el sistema de observación para que así sea).

El verdadero riesgo aquí es que, para cuando su sistema de observación esté operativo, ya podría haber pasado por alto algo importante. Puede ocurrir que la primera parte del programa sea crucial, al menos para algunos participantes o ciertos cambios, y usted empezará a observar después de que esos cambios ya se hayan producido. Por eso, es importante iniciar las observaciones desde el principio, de modo que su sistema pueda captarlos.

¿Quién debe diseñar un sistema de observación?

Como hemos mencionado varias veces, la Community Tool Box tiene un sesgo a favor de los procesos participativos, y en particular de la investigación y evaluación participativa. En el caso de un sistema de observación, éste funcionará mejor si lo diseña un grupo que incluya a quienes serán los observadores reales. Si ellos participan en la planificación, estarán familiarizados con el sistema, sabrán exactamente qué información se espera que observen y comprenderán sus roles dentro del sistema de observación.

En una organización comunitaria o pequeña, es probable que el tiempo sea un factor limitante, ya que probablemente haya pocas personas haciendo demasiadas tareas. En ese caso, el nivel y la naturaleza del sistema de observación deben ser manejables por el personal, ya sea que ellos mismos sean los observadores o que faciliten la observación para evaluadores externos o voluntarios. Si ayudan a planificar y establecer el sistema, tendrán mucho más incentivo para asegurarse de que funcione que si se les impone.

El diseño del sistema de observación debe incluir específicamente a las personas que realizarán la observación, quienes a menudo son miembros del personal o miembros del grupo que se beneficiará del programa. Además, es útil incluir a investigadores u otras personas que comprendan los sistemas de observación y puedan ayudar a diseñar un sistema que satisfaga las necesidades específicas del proyecto de evaluación o investigación. También puede ser beneficioso incluir a individuos de los grupos que serán observados, para abordar cuestiones culturales y proporcionar retroalimentación sobre su respuesta al diseño. Por lo tanto, el equipo de diseño del sistema de observación podría estar formado tanto por miembros del grupo general de planificación de la evaluación como por otros reclutados específicamente para trabajar en el sistema de observación.

La lista de quienes podrían participar incluye:

• Personal y administradores del programa
• Personal de apoyo (quien a menudo realiza registros o ingreso de datos)
• Evaluadores externos o consultores de investigación
• Participantes o beneficiarios
• Observadores voluntarios

Si, por alguna razón, el grupo de diseño no incluye a nadie con experiencia en investigación, una capacitación que incluya información sobre los diferentes métodos de observación y sobre qué métodos son más propensos a producir ciertos tipos de información podría ser de gran ayuda para orientar el proceso de diseño. Si el grupo sí incluye investigadores, esa información podría presentarse como parte de la discusión sobre el diseño y las distintas posibilidades, en lugar de en formato de capacitación o taller.

¿Cómo se diseña un sistema de observación?

Entonces, ya ha definido las preguntas de evaluación y planificado la evaluación. Ahora es momento de determinar cómo obtendrá los datos necesarios para responder a esas preguntas.

Revise sus preguntas de evaluación

¿Recuerda estas preguntas? Usted decidió qué quería saber para determinar si su programa era efectivo. Volvamos al ejemplo del inicio de esta sección: el programa del centro comunitario de salud local. El centro estaba iniciando un programa de actividad física para personas con hipertensión. Su objetivo era que los participantes realizaran 45 minutos de ejercicio moderado al menos cuatro veces por semana durante seis meses.

Se esperaban varios resultados de esta actividad:

• Que la presión arterial de los participantes disminuyera
• Que los participantes que necesitaban perder peso lo hicieran
• Que los participantes experimentaran una sensación de mayor bienestar
• Que los participantes continuaran con la rutina de ejercicio después de que finalizara el programa de seis meses

Algunas preguntas de evaluación, por lo tanto, podrían ser:

• ¿Cumplieron los participantes con la rutina de ejercicio recomendada durante el período del programa?
• ¿Disminuyó la presión arterial de los participantes al final de los seis meses?
• ¿Perdieron peso, al final de los seis meses, aquellos participantes que necesitaban hacerlo?

Podrían surgir muchas otras preguntas, algunos ejemplos son:

• ¿Cuál fue la asistencia a los talleres? ¿Los participantes los encontraron útiles? ¿Los participantes que asistieron a todos o la mayoría de los talleres lograron mejores resultados que quienes no asistieron?
• ¿Experimentaron los participantes una mayor sensación de bienestar al final de los seis meses?
• ¿Continuaron los participantes con la rutina de ejercicio (y mantuvieron su presión arterial baja) después de que terminó el programa?

Las respuestas a estas preguntas son solo algunas de las que el centro deseaba obtener, pero nos sirven como ejemplos para esta parte de la sección.
También puede estar interesado en su propio proceso: qué tan bien planifica e implementa su programa. Además, puede tener un marco temporal específico en el que espera obtener resultados. También podría contar con hitos o logros intermedios -pequeños avances hacia un objetivo mayor- que desee registrar. Todo esto debe considerarse al diseñar su sistema de observación.

Decida qué necesita observar para responder sus preguntas

Dependiendo del tipo de programa o iniciativa en la que participe y de la naturaleza de sus preguntas de evaluación, hay un amplio rango de opciones para elegir.

Algunos de los más comunes:

• Comportamiento de los participantes. Esto puede incluir cualquier cosa, desde los comportamientos agresivos de los niños en el patio de la escuela o en un espacio de juego, hasta el nivel de habilidad en soldadura de los participantes de un programa de capacitación laboral, o las interacciones sociales de los usuarios del parque vecinal que mencionamos antes. Las posibilidades son casi infinitas.
• Comportamiento de otras personas. La prueba definitiva de si un programa de capacitación en mediación entre pares en la escuela secundaria funciona, por ejemplo, puede no ser el comportamiento de los mediadores que reciben la capacitación, sino el comportamiento de los estudiantes con quienes trabajan. También es posible observar cómo los participantes son tratados por el personal del programa y viceversa.
• Condiciones. Una iniciativa puede tener como objetivo cambiar directamente las condiciones -eliminar una casa ocupada por drogas, construir viviendas asequibles, limpiar un río contaminado- o puede buscar influir en esos cambios mediante programas, cambios ambientales o políticas.
• Observaciones de productos o resultados del comportamiento. Cuando el comportamiento, evento o condición en sí no es visible u observable, ya sea porque es privado o porque ocurre a un nivel que no puede observarse directamente, puede ser necesario medir sus productos o resultados. Por ejemplo, sería prácticamente imposible observar directamente la frecuencia con la que los adolescentes practican sexo seguro, pero sí sería posible conocer la tasa de infecciones de ETS entre ellos y el número de embarazos adolescentes antes, durante y después de un programa de educación sobre sexo seguro dirigido por pares.

Cuando los productos o efectos son todo lo que puede observar, debe asegurarse de haber elegido los adecuados para analizar. Estos deberían ser, en la medida de lo posible, resultados claros del comportamiento o la condición que le interesa estudiar, y debe tener en cuenta -y tratar de corregir- cualquier otro factor que pudiera haberlos causado.

• Conocimientos o actitudes de los participantes. Al igual que con el comportamiento de los participantes, el rango de posibilidades aquí es enorme, desde los puntajes en una prueba de conocimientos hasta casi cualquier otro aspecto que se pueda imaginar.
• Conocimientos o actitudes de otras personas. Por ejemplo, un programa de incidencia política podría estar interesado en cambiar las actitudes de legisladores o del público, pero podría no tener contacto directo con quienes espera influir. En este caso, podrían utilizarse encuestas de opinión pública repetidas para evaluar la disposición a apoyar un cambio de política específico.
• Cumplimiento de metas. Algunos programas tienen un objetivo particular que constituye su única razón de existir. Esto podría ser la aprobación o derogación de una ley, la construcción de una escuela, la liberación de uno o más presos políticos, etc. En este caso, la única pregunta de evaluación podría ser si se alcanzó la meta (o en qué medida). Para estas situaciones, puede utilizarse una escala de cumplimiento de metas para medir el grado de logro (por ejemplo, de 5 = resultado más favorable, a 1 = resultado menos favorable).
• Interacciones. El enfoque de una evaluación podría centrarse en la naturaleza de las interacciones, o en si ciertos individuos o grupos interactúan o se involucran entre sí. Por ejemplo, si el objetivo es aumentar la interacción entre padres e hijos, se podrían medir los intercambios y las respuestas entre ambas partes. Asimismo, las interacciones entre participantes del programa, el personal, o entre participantes y personal, podrían ser el foco de las observaciones.

Todas las posibilidades mencionadas anteriormente pueden estar relacionadas tanto con los objetivos del programa -es decir, lo que el programa quiere lograr- como con el proceso e implementación -cómo el programa organiza y lleva a cabo su trabajo.

También existen algunas áreas de observación que se relacionan específicamente con el proceso e implementación del programa:

• Planificación. La medición aquí puede centrarse en quién participó en la planificación de cada parte del programa, cómo se elaboró el plan, cuál fue su contenido, nivel de satisfacción, etc.
• Cronograma. ¿Cuándo comenzó la planificación, la implementación y la evaluación del programa? ¿Cuánto tiempo duró cada etapa? ¿Se cumplieron los plazos y, si no, por qué no?
• Número de participantes. ¿Cuántos participantes tuvo? ¿Cuál fue el tiempo promedio que pasaron en el programa? ¿Cuántos abandonaron antes de finalizarlo? ¿Cómo se compararon esos números con lo esperado?
• Métodos. ¿Qué métodos utilizó en el programa o intervención? ¿Cómo se aplicaron?
• Implementación del programa. ¿Qué hizo realmente? Esto incluiría la actividad del programa, su frecuencia y duración, el número de participantes atendidos, dónde se llevó a cabo (si es relevante) y cómo se desarrolló.

Además de identificar qué desea observar, debe definirlo con precisión, para que los observadores sepan exactamente qué buscar. Debe asegurarse de que todas las observaciones de un comportamiento particular, por ejemplo, se refieran al mismo fenómeno (por ejemplo, características específicas que determinen si el comportamiento ocurrió), incluso si las observaciones las realizan diferentes personas. Si no utilizan la misma medida, no podrá confiar plenamente en la información obtenida. Establecer los límites de observación en cada categoría -lo que se incluye, lo que se excluye y dónde están los límites- ayudará a eliminar desacuerdos y hará que la observación sea más confiable.

Para continuar con el ejemplo del centro de salud, veamos qué necesita observar el Centro. Para determinar si los participantes realmente están haciendo ejercicio de manera regular, el centro debe encontrar una forma de observar el comportamiento de las personas (por ejemplo, mediante registros de actividad o autoinformes sobre la frecuencia con la que realizaron actividad física). Para saber si han perdido peso, el centro debe observar un resultado del comportamiento, como el peso corporal o el índice de masa corporal (IMC). Para conocer si están experimentando una mayor sensación de bienestar, el centro debe recopilar autoinformes de los participantes. Y para saber si continúan con el ejercicio después de que el programa haya terminado, debe encontrar una forma de observar el comportamiento una vez concluido el programa.

Decidir cómo se llevarán a cabo las observaciones

Anteriormente, hablamos sobre algunos métodos de observación. Ahora volveremos a ellos y los examinaremos con mayor detalle.

• Observación directa. La observación directa implica ya sea el enfoque de “mosca en la pared”, en el cual el observador es anónimo y generalmente pasa desapercibido, o - más comúnmente en organizaciones de servicios de diversos tipos - consiste en un evaluador externo identificado o un miembro del personal que trabaja con los participantes y registra, a veces con su ayuda, sus comportamientos y ciertos aspectos de la situación. Los observadores anónimos son particularmente útiles en situaciones donde las personas que están siendo observadas también son anónimas —por ejemplo, al observar condiciones, eventos grandes o actividades como el uso del parque vecinal mencionado anteriormente, donde las personas involucradas pueden ser cualquiera.

Un método común de observación directa -ya sea que el observador sea un miembro del personal del programa o un participante- es el uso de un diario o registro de actividades.
El observador anota o registra de alguna otra manera, poco después del suceso, un relato de lo que ocurrió y de los eventos relacionados, incluyendo con frecuencia sus reacciones o reflexiones sobre esas experiencias. El diario o registro de actividades se convierte así en una representación del desarrollo del programa, detallando el progreso de participantes específicos, los ajustes realizados y el nivel de satisfacción.

La naturaleza de los diarios o registros obviamente variará según el tipo de programa, y no todos los programas o iniciativas se prestan a este tipo de observación. Sin embargo, especialmente en situaciones donde varias personas escriben diarios o registros que cubren el mismo período y los mismos eventos, estos pueden ser una herramienta de observación muy poderosa y reveladora.

• Observación participante. Como ya hemos explicado, los observadores participantes se convierten en parte del evento, la actividad, la cultura, etc. que se está observando, y la experimentan de primera mano. Así, en un programa de salud o de servicios humanos, el observador podría ser un participante real (es decir, un miembro del grupo al que está dirigido el programa) o un evaluador que se une a los participantes en sus actividades. En el caso del parque, por ejemplo, un residente del vecindario que ya lo visita regularmente podría ofrecerse como voluntario para registrar cómo él y otras personas lo utilizan realmente: cuándo acuden diferentes personas o grupos, qué hacen una vez allí, qué zonas del parque frecuentan y quién interactúa con quién, entre otros aspectos.

Un programa de micro-subvenciones fue diseñado por una organización no gubernamental en una aldea rural con el fin de aumentar los ingresos mediante la creación de pequeños negocios por parte de los participantes. Los miembros del personal participaron en cada taller y tomaron parte en actividades como la capacitación en préstamos y financiamiento, mientras observaban simultáneamente las actividades y a los demás participantes. Al final de cada jornada, el personal realizaba discusiones grupales, en las que compartían lo que habían observado y pedían a los participantes que analizaran lo que habían hecho. En este caso, el personal actuó como observadores participantes, y su participación aumentó significativamente su capacidad para ayudar a sus clientas -mujeres de bajos ingresos de pequeñas aldeas- a comprender y aprovechar sus propias experiencias.

• Autoevaluaciones o autoinformes. Cuando el objeto de su observación es el comportamiento de los participantes que ocurre fuera del programa (por ejemplo, la cantidad de tiempo que los participantes dedican a leer con sus hijos), a menudo es necesario confiar en las propias observaciones de los participantes. Esta dependencia tiene, como es de esperar, tanto ventajas como desventajas. Por un lado, los participantes conocen bien sus propias acciones. Por otro, pueden omitir aspectos que les resulten embarazosos o informar de manera que crean que otros quieren ver. Además, dado que no tienen experiencia previa ni capacitación como observadores, pueden pasar por alto -o considerar sin importancia- comportamientos o condiciones que serían valiosos para fines de evaluación.

Una solución obvia sería capacitar a los autoinformantes como observadores, y en algunos casos -ensayos médicos, por ejemplo- eso es tanto razonable como común. En otras situaciones, sin embargo, eso iría demasiado lejos hacia decirles a los participantes “las respuestas correctas”, y por lo tanto posiblemente cambiar lo que informan hacia lo que creen que uno quiere escuchar. También existe una gran ventaja en los autoinformes: cuando son honestos y representan un cambio real en el comportamiento o la experiencia de quienes los realizan, son mucho más poderosos que cualquier cosa que otra persona pudiera decir sobre su experiencia.

Los autoinformes, al menos tal como se definen aquí, implican una variedad de posibles técnicas para la recolección de datos. Entrevistas individuales y grupales, grupos de enfoque, reuniones públicas, encuestas y cuestionarios, diarios, listas de verificación e incluso conversaciones informales podrían ser maneras para que los participantes transmitan información para una evaluación.

• Informes de segunda mano. Estos son informes sobre el comportamiento de los participantes o sobre las condiciones que provienen de personas asociadas con esos participantes o condiciones, pero que no están directamente vinculadas a su programa o esfuerzo. Podrían ser trabajadores de servicios, maestros, profesionales de la salud, trabajadores juveniles, familiares (particularmente padres de niños pequeños), empleadores, casi cualquier persona. Las observaciones de segunda mano deben considerarse con las mismas precauciones que las de las personas que trabajan estrechamente con los participantes. Las relaciones entre observador y participante, la simpatía o empatía hacia los participantes, o los prejuicios personales de los observadores pueden impedir que los informes sean objetivos. Estos observadores también pueden necesitar capacitación.
• Observación electrónica o mecánica. Existen algunas circunstancias en las que la observación humana es imposible o poco práctica. Las observaciones del exceso de velocidad a menudo se realizan electrónicamente, al igual que las observaciones de condiciones de salud dentro del cuerpo humano (usando radiografías, tomografías computarizadas o de resonancia magnética, electrocardiogramas, etc.). En estas situaciones, la objetividad no representa un problema, pero es necesario asegurarse de que el equipo utilizado funcione correctamente, esté bien configurado, mantenido y protegido contra posibles daños. También es importante que quien interprete la información que proporciona el equipo esté capacitado para hacerlo y comprenda los límites y usos apropiados de esa información.
• Pruebas u otras herramientas de observación similares. Las organizaciones educativas y de salud a menudo utilizan diversos tipos de pruebas como herramientas de observación. En un contexto de servicios humanos, generalmente se utilizan para observar el progreso en habilidades, niveles de competencia o desarrollo. En salud pública o medicina, las pruebas pueden emplearse para observar el estado de salud (por ejemplo, exámenes de detección de colesterol elevado) y los efectos del tratamiento. Pueden ser muy útiles en todas estas circunstancias, pero también son muy específicas y dejan poco espacio para la intuición. Además, los resultados de las pruebas de habilidades, conocimiento o capacidad intelectual pueden verse influenciados por nerviosismo, falta de sueño, problemas personales u otros factores que tienen poco que ver con la competencia real.
• Registros públicos y similares. Si se están utilizando indicadores a nivel comunitario, como las tasas de mortalidad infantil o de lesiones por accidentes de tránsito, como una forma de analizar los resultados, será necesario usar registros, datos censales y otros materiales similares para obtener la información necesaria.

Para continuar con nuestro ejemplo anterior, el centro de salud local tendría que utilizar una variedad de estos métodos de observación. Las observaciones iniciales y continuas de la presión arterial y el peso en las sesiones mensuales de asesoramiento se realizarían mediante el uso de instrumentos —un manguito de presión arterial y una báscula—, así como mediante observación visual directa. (Aunque una reducción evidente de grasa puede no indicar pérdida de peso si la grasa ha sido reemplazada por músculo, sí indica un aumento en la condición física, lo cual puede ser igualmente beneficioso. Los niveles de condición física también podrían medirse mecánica y electrónicamente, si el programa así lo decidiera.)

La cantidad y el tipo de ejercicio que realizara cada participante serían autoobservados y autoinformados a través de diarios y entrevistas. Las sensaciones de bienestar serían autoinformadas, pero también podrían ser observadas por consejeros capacitados para identificar cambios a lo largo del tiempo en la postura, la presentación personal y otros indicadores observables. Finalmente, las observaciones del ejercicio continuo se obtendrían mediante una o más visitas de seguimiento algún tiempo después de que el programa terminara, con entrevistas, mediciones de presión arterial y peso, y una observación visual más directa de los niveles de condición física. (Los participantes también podrían aceptar continuar llevando diarios durante un período determinado después de que el programa finalice, proporcionando así un auto-reporte de sus niveles continuos de actividad física.)

Decida cuándo necesita observar

La pregunta aquí es si necesita comenzar las observaciones desde el inicio del programa (casi siempre es así) y con qué frecuencia debería observar a lo largo del proceso de evaluación.

Algunas de las posibilidades:

• Observación previa y posterior. Esto implica realizar observaciones al inicio y al final del período de evaluación o del programa. Es el equivalente a lo que muchas escuelas hacen con las pruebas estandarizadas: evalúan los puntajes de lectura al principio y al final de cada año, y luego comparan ambos para determinar cuánto han avanzado los estudiantes. Aunque este tipo de observación puede indicar si hubo cambios durante el programa, no ofrece evidencia sólida sobre cómo ocurrió el cambio, qué lo causó o qué tan efectivas fueron las estrategias utilizadas.

Esta explicación asume únicamente la observación antes y después. La mayoría de las posibilidades aquí incluyen la observación previa y posterior, pero añaden otras observaciones adicionales. Para la mayoría de los tipos de evaluación, debería comenzar a observar desde el principio, o incluso antes del inicio (para comprender si los posibles cambios forman parte de una tendencia ya existente). Si realiza su primera observación a mitad del proceso, no sabrá si los cambios ocurrieron antes de ese punto. Un cambio importante puede suceder al inicio en algunas intervenciones, al final en otras, de manera constante a lo largo del proceso en otras más, o incluso solo después de que la intervención haya concluido. Es importante saber exactamente desde dónde comenzó para comprender por completo lo que está observando. Puede ser que una intervención larga no sea más efectiva que una corta, o que una breve no tenga ningún efecto. Solo puede determinarlo conociendo el punto de partida y mediante mediciones repetidas o continuas.

Si su programa o esfuerzo tiene un objetivo específico y puntual -por ejemplo, la aprobación de una ley o la limpieza de un espacio determinado-, puede ser tentador evaluarlo únicamente según si alcanzó la meta o no (es decir, una sola observación al final del esfuerzo). Esto sería un error, porque no tomaría en cuenta qué partes del esfuerzo fueron exitosas y por qué, independientemente de si logró la meta. Esa es una información esencial que necesitará la próxima vez -y habrá una próxima vez- que usted u otras personas en la comunidad emprendan un esfuerzo similar.

• A intervalos regulares durante el período de evaluación. Usted podría elegir cualquier intervalo, desde una vez por hora hasta una vez al mes o más, dependiendo de lo que esté observando. La regularidad facilita la programación de las observaciones y ofrece una visión continua, intervalo por intervalo, de lo que está ocurriendo.
• A intervalos irregulares durante el período de evaluación. La razón de este tipo de programación puede ser logística (usted observa cuando puede); puede tener que ver con asegurar que las observaciones no sean esperadas, de modo que se obtenga una imagen más auténtica de lo que se está evaluando; o puede ser un intento de observar el programa o esfuerzo de manera aleatoria, nuevamente con el fin de obtener una representación precisa.
• En momentos específicos durante el período de evaluación. En este caso, usted podría querer observar lo que sucede o lo que los participantes están haciendo en distintos momentos identificables que implican diferentes condiciones. Por ejemplo, al observar el uso del parque comunitario mencionado anteriormente, usted podría asegurarse de visitarlo entre semana, los fines de semana, por la mañana, por la tarde y por la noche, en cada una de las cuatro estaciones, con lluvia, nubes, sol y nieve, así como en los días en que se realicen eventos especiales, para ver quiénes usan el parque y cómo lo hacen bajo diversas condiciones y en distintos momentos. Si está monitoreando el proceso y el progreso del programa, es importante asegurarse de observar cada una de sus etapas -la planificación, la preparación, la implementación, la evaluación y cualquier seguimiento- para obtener una visión completa de lo que se hizo y cómo se hizo. Esto le proporcionará la información necesaria para analizar y realizar los ajustes pertinentes en la manera en que lleva a cabo su labor.
• De forma continua. Cuando el observador es un miembro del personal que trabaja con los participantes del programa (o uno o más de los propios participantes), puede ser posible realizar observaciones de manera continua. En este caso, el observador podría observar directamente utilizando listas de verificación, mantener un diario, pedir a los participantes que registren información, grabar las sesiones en video o audio, o registrar lo que ocurre de alguna otra manera, de modo que exista un registro continuo y diario del comportamiento y de lo que sucede en el entorno del programa.

En el centro de salud local, parte de la observación -particularmente el monitoreo de la presión arterial y el peso de los participantes- se realizaría a intervalos regulares, durante las reuniones mensuales. También habría cierta observación continua, consistente en que los participantes llevarían un registro de sus programas de ejercicio en diarios personales. Finalmente, averiguar si los participantes continuaron con sus rutinas implicaría una o dos observaciones de seguimiento, posiblemente seis meses y un año después de que el programa haya concluido.

Defina y describa los comportamientos, productos, condiciones y/o eventos que deben ser observados

Si desea asegurarse de que los observadores comprendan a qué se refieren en sus informes, debe ser específico sobre lo que desea que observen. El grupo de planificación, o un subgrupo del mismo -lo ideal sería un grupo que incluya una alta proporción de personas que serán realmente los investigadores y observadores-, debe establecer estándares de identificación para cada elemento a observar. Estos estándares deberían explicar cómo se manifiesta, cuándo es probable que ocurra, quiénes probablemente estén involucrados, etc.
Por ejemplo, para observar el acoso escolar o la violencia interpersonal en un patio de recreo, sería necesario contar con definiciones claras de dicho comportamiento, ejemplos y contraejemplos, e instrucciones para la puntuación. De esta manera, todos los observadores podrían comenzar con la misma guía sobre lo que deben buscar.

Diseñe la capacitación para los observadores

A menos que toda la observación vaya a ser realizada por quienes participan directamente en la planificación (lo cual no es imposible en una organización pequeña), y dependiendo de su experiencia previa, los observadores podrían necesitar capacitación en una o más áreas:

• Qué es importante registrar y por qué. Las personas sin experiencia en investigación podrían no darse cuenta de la importancia de registrar detalles como la fecha, la hora, la duración de la evaluación, el lugar y las circunstancias de cualquier observación, una descripción de quiénes estuvieron involucrados y por cuánto tiempo, si hubo personas o condiciones inesperadas presentes, etc. Por ejemplo, una observación realizada temprano en la mañana podría proporcionar un conjunto diferente de observaciones que una realizada a última hora de la tarde o noche. La presencia de otras personas en una situación o entrevista -parientes, amigos, personal del programa- puede cambiar el carácter de los comportamientos observados o de la información ofrecida. Por lo tanto, es crucial que los observadores comprendan que el contexto de la observación puede ser tan importante como su contenido.
• Las definiciones y descripciones de los comportamientos, condiciones, eventos o situaciones a observar. Definiciones y descripciones cuidadosas de lo que se debe observar no serán de mucha utilidad si quienes realizarán las observaciones no están familiarizados con ellas.
• Efectos de la observación. En algunos casos, el comportamiento de los participantes podría cambiar como resultado de sus reacciones al ser observados. Los observadores deben ser conscientes de esa posibilidad y procurar que su propia conducta sea lo más discreta posible, para no influir en los comportamientos de los participantes.

Además de los observadores humanos, la presencia de equipos de audio o video también puede tener un efecto. Una manera de contrarrestarlo es esperar para comenzar a recopilar datos hasta que los participantes se hayan acostumbrado a la presencia del equipo. También es importante obtener el permiso de los participantes con anticipación para utilizar equipos de grabación.

• Sesgo del observador. Especialmente en situaciones donde los observadores también son parte del personal del programa, sus relaciones con los participantes o simplemente su vínculo con el esfuerzo en general pueden afectar sus informes u observaciones. Si sienten simpatía o antipatía por un participante en particular, eso podría influir en cómo interpretan o describen el comportamiento de esa persona. Si están muy comprometidos con el éxito del programa que se evalúa, pueden -de manera intencional o no- presentar los resultados de la forma más favorable posible. Además, tanto si forman parte del personal como si no, los observadores pueden verse influidos por sus suposiciones personales, su contexto cultural, religioso o educativo, o por sus circunstancias psicológicas o de vida actuales. Si se les ayuda a reconocer estos sesgos y a comprender por qué y cómo deben ser reconocidos o eliminados, habrá una mayor probabilidad de que realicen observaciones más confiables.
• Desviación del observador. En ocasiones, después de un tiempo de estar observando, las observaciones de las personas tienden a adquirir cierta regularidad basada en reglas personales en lugar de definiciones compartidas y estandarizadas. Por ejemplo, podrían tender a evaluar el comportamiento de ciertos participantes basándose más en experiencias pasadas que en lo que realmente observan en el momento.

También puede ser necesario corregir los efectos, sesgos o desviaciones del observador a lo largo del proceso de evaluación. Esto forma parte de diseñar mecanismos de verificación de la precisión y la fiabilidad basados en un estándar establecido.

Diseñar mecanismos de verificación de la fiabilidad y la precisión

Si la información ha de ser confiable, es importante que cuando dos observadores registren un comportamiento determinado, ambos signifiquen exactamente lo mismo. Esto depende tanto de la capacitación (como se mencionó anteriormente) como de la verificación, ya sea al inicio o periódicamente, para asegurarse de que todos los observadores estén interpretando las situaciones de la misma manera. Un diseño participativo del sistema puede ser útil en este aspecto. Si los observadores participan en la definición de lo que van a observar, hay muchas más probabilidades de que lo perciban de forma similar.

Algunas maneras de asegurar el acuerdo entre los observadores:

• Utilizar un estándar externo. Una forma de definir lo que se está buscando es emplear un estándar que todos los observadores usen y acepten. “El comportamiento X se presenta de esta manera, ocurre en estas circunstancias, dura este periodo de tiempo y tiene estos efectos o resultados posteriores.” El uso de estándares externos suele implicar una lista de verificación o un instrumento similar. El observador marca los componentes de un comportamiento o condición, documentando así lo que observa de un modo que permitiría a otro observador calificar el mismo evento de manera equivalente. Dichos estándares ayudan a garantizar la precisión continua del sistema de observación.

Los equipos de investigación y los laboratorios suelen utilizar estándares para garantizar la coherencia en la identificación de diversas condiciones. Cada condición se describe con detalle e incluye distintos indicadores posibles, como las mediciones de la presión arterial o la presencia de toxinas ambientales.

• Verifique la fiabilidad entre evaluadores. La fiabilidad entre evaluadores es el término utilizado en la investigación para evaluar si todos los observadores interpretan de la misma manera los mismos elementos, ya sean comportamientos, condiciones o eventos. Una forma de abordarla consiste en comparar a los observadores entre sí. Dos o más observadores son expuestos a las mismas situaciones o a la misma información y luego se comparan sus registros, por ejemplo, de casos de acoso. Si todos coinciden esencialmente en sus observaciones, la fiabilidad entre evaluadores es alta, y todo está en orden. Por lo general, en investigación, si los observadores concuerdan en un 80 % o más de las veces, las observaciones se consideran confiables. Si no coinciden en lo que observaron, se debe identificar la fuente del desacuerdo. Puede que definan los términos de manera diferente o que sus antecedentes influyan en cómo interpretan una misma situación. Sea cual sea la causa, es necesario descubrir esas diferencias y encontrar una manera de lograr que todos los observadores perciban las situaciones de manera similar y precisa.
• Utilice verificaciones aleatorias de terceros. Un investigador, director del programa u otra persona que tenga claro qué información es importante y cómo se presentan las distintas condiciones o comportamientos puede realizar observaciones en situaciones elegidas al azar junto con un observador habitual, para verificar si sus registros coinciden razonablemente. Si discrepan una vez, puede no tener importancia; pero si las discrepancias son constantes, entonces hay un problema que debe abordarse.

Determine cómo revisar y ajustar su sistema de observación para la próxima evaluación

Esta sección es la versión de “manténgase en ello”. Al igual que su programa, su evaluación -incluido su sistema de observación- debe ser evaluada y ajustada para que sea lo más eficaz posible.

Ahora usted está listo para comenzar a recopilar y analizar los datos. Con una planificación cuidadosa y una buena capacitación, debería poder obtener la información que necesita para su evaluación.

En resumen

Para llevar a cabo una evaluación que le permita ver su programa o esfuerzo con claridad y ajustarlo o mejorarlo, usted debe contar con una manera de recopilar información precisa y útil sobre él. El sistema de observación que utilice es la forma en que usted observa lo que está haciendo: su propio proceso, el comportamiento de los participantes, su progreso y resultados, así como las condiciones que afectan su esfuerzo o que su esfuerzo busca cambiar. Todo esto con el fin de obtener la información que analizará para evaluar su trabajo. Ese sistema debe ser viable dentro de sus recursos y debe ajustarse a la naturaleza de su programa; por lo tanto, diseñarlo es una parte esencial de su evaluación.

El diseño de sistemas de observación se lleva a cabo mejor mediante un proceso participativo, especialmente uno que involucre tanto a investigadores o evaluadores como a quienes realizarán la recolección de datos. Esa participación les permitirá comprender claramente el sistema, la información necesaria y los posibles obstáculos que podrían encontrar durante la recolección de datos. El resultado debería ser un sistema más confiable y, en última instancia, datos más precisos para su evaluación.

What do we mean by an observational system?

___An observational system is the system you use to collect the data that you need to analyze in order to evaluate your program

___It details the way you’ll look at the process, progress, and outcomes of your work, and how you’ll examine the behavior, conditions, or events that you’re concerned with

Why design an observational system?

___It can help you get reliable information

___It can help you find out exactly what you need to know, eliminating or reducing wasted effort

___It can ensure that observations are made

___It can make it easier to analyze your data

___It can help you avoid haphazard evaluation

___It will make it easier to justify your findings

___It can help you gain credibility with funders and policy makers

___It can let you pass on your practices with confidence

___Most important, it can give you the best information possible about what’s working in your program, and what you need to adjust

When should you design an observational system?

___If you can, you should design the system before your program begins, so that you can watch it and its effects from the very beginning

___If that’s not possible, you should design your system before you start your evaluation, ideally at the start of a program cycle

Who should design an observational system?

___Observational systems are usually best designed by a participatory group that includes both researchers or evaluators and people who will do the actual observation

How do you design an observational system?

___Review your evaluation questions

___Decide what you need to observe to answer your questions:

• Participants’ behavior
• Someone else’s behavior
• Conditions
• Observations of results of behavior
• Participants’ knowledge or attitudes
• Someone else’s knowledge or attitudes
• Goal attainment
• Interactions
• Program process or implementation (e.g., number of participants)

___Decide how the observations will be conducted:

• Direct observation
• Participant observation
• Self-reports, including individual and group interviews, focus groups, journals, surveys, etc.
• Second-hand reports, including interviews, journals, surveys, etc.
• Electronic or mechanical observation
• Tests or other similar observation tools
• Public records and the like for community-level indicators

___Decide when you need to observe:

• Pre- and post- observation
• At regular intervals during the evaluation period
• At irregular intervals during the evaluation period
• At specific times during the evaluation period
• Continuously

___Define and describe the behaviors, conditions, and/or events that observers should be concerned with

___Train observers in:

• What it’s important to record, and why
• The definitions and descriptions of the behaviors, conditions, events, or situations to be observed
• Effects of observation
• Observer bias
• Observer drift

___Devise checks for reliability and accuracy:

• Use an external standard
• Check for inter-rater reliability
• Use random third-party checks

___Adjust the system for the next evaluation

• ¿Qué queremos decir  por un diseño para la evaluación?

• ¿Por qué se debería escoger un diseño para su evaluación?

• ¿Cuándo debería hacerse?

• ¿Quién debería estar involucrado en la selección de un diseño?

• ¿Cómo seleccionar un diseño apropiado para su evaluación?

Cuando usted escucha la palabra “experimento,” pueden venir a su mente imágenes de personas en largas gabachas blancas mirando detenidamente a través de microscopios. En realidad, un experimento es solo tratar algo para ver cómo o por qué o si en realidad funciona. Esto puede ser tan simple como poner una especia en su platillo favorito, o tan complejo para desarrollar y evaluar un esfuerzo comprensivo para mejorar los resultados de la salud infantil en una ciudad o estado.

Los académicos y otros investigadores en la salud pública y las ciencias sociales llevan a cabo experimentos para entender cómo los ambientes afectan el comportamiento y los resultados, así sus experimentos usualmente involucra personas y aspectos del ambiente. Un nuevo programa comunitario o intervención es un experimento, también, uno que involucra a una organización gubernamental o comunitaria para encontrar una mejor manera de tratar un asunto comunitario.Esto usualmente comienza con la suposición acerca de qué funcionará – algunas veces llamado la teoría del cambio – la suposición no es una garantía. Como cualquier experimento, un programa o intervención tiene que ser evaluado para ver si realmente funciona y en qué condiciones.

En esta sección, nosotros veremos algunas de las mejores maneras que usted podría estructurar una evaluación para examinar si su programa está trabajando, y explorar cómo escoger la que mejor satisface sus necesidades. Estas disposiciones para el descubrimiento son conocidos como diseños experimentales (o evaluativos).

¿Qué queremos decir por un diseño para la evaluación?

Cada evaluación es esencialmente un proyecto de investigación o de pruebas documentales. Su investigación podría tratar de determinar cuán efectivo su programa o esfuerzo es en general, cuales partes del todo están funcionando bien y cuáles necesitan ajustarse, o si algunos participantes responden a ciertos métodos o condiciones de manera diferente de los otros. Para que sus resultados sean confiables, usted tiene que darle a la evaluación una estructura que le dirá qué es lo que usted quiere saber. Esa estructura – la disposición de pruebas documentales- es el diseño de la evaluación.

El diseño depende de qué tipos de preguntas su evaluación intenta responder.

Algunos de las preguntas (investigativas) de evaluación más comunes son:

• ¿Causa un programa o intervención particular – ya sea un programa instructivo o motivacional, que mejora el acceso y las oportunidades, o un cambio de política – un cambio particular en el comportamiento de los participantes o de otros, en condiciones sociales o físicas, en resultados de desarrollo o de salud, u otros indicadores de éxito?
• ¿Qué componente(s) y elemento(s) del programa o intervención fueron responsables del cambio?
• ¿Cuáles son los efectos no previstos de una intervención, y cómo ellos influenciaron los resultados?
• Si usted trata un método o actividad nuevo, ¿qué pasa?
• ¿El programa que funcionó en otro contexto, o el que usted leyó en una revista profesional, funcionará en su comunidad, o con su población, o con su asunto?

Si usted quiere respuestas confiables a preguntas de evaluación como éstas, usted tiene que preguntarles de manera que refleje si usted en realidad obtuvo resultados, y si esos resultados se dieron debido a sus acciones o las circunstancias que usted creó, o a otros factores. En otras palabras, usted tiene que crear un diseño para su investigación – o evaluación -  que le dé respuestas claras a sus preguntas. Nosotros discutimos cómo hacer esto más adelante en esta sección.

¿Por qué debería escoger un diseño para su evaluación?

Una evaluación puede parecer simple: si usted ve progreso hacia su meta al final del periodo de evaluación, usted está muy bien; si usted no lo ve, usted necesita cambiar. Desafortunadamente, esto no es tan simple. Primero, ¿cómo medirá su progreso? Segundo, si parece no haber ninguno, ¿cómo sabe usted lo que debe cambiar para aumentar su efectividad? Tercero, si hay progreso, ¿cómo sabe qué fue causado por (o contribuido por) su programa, y no por algo más? Y finalmente, aún si le está yendo bien, ¿cómo decidirá qué puede hacer mejor, y que elementos de su programa pueden ser cambiados o eliminados sin afectar su éxito? Un buen diseño para su evaluación le ayudará a responder preguntas importantes como éstas.

Algunas razones específicas para invertir tiempo para diseñar su evaluación cuidadosamente incluye:

• Para que su evaluación sea confiable. Un buen diseño le dará resultados precisos. Si diseña su evaluación bien, usted puede confiar en ella para que le diga si usted realmente está teniendo un efecto, y el por qué. Entender su programa hasta este punto hace que sea más fácil obtener y mantener el éxito.
• Para que se puedan ubicar con exactitud áreas a mejorar, así como en aquellas que son exitosas. Un buen diseño puede ayudarlo a entender exactamente donde están los puntos fuertes y los débiles de su programa o intervención, y darle pistas de cómo ellos pueden más aún fortalecer o cambiar para tener un mayor impacto.
• Para que sus resultados sean creíbles. Si su evaluación está diseñada apropiadamente, otros tomarán sus resultados seriamente. Si su bien diseñada evaluación muestra que su programa es efectivo, usted tiene más posibilidad de convencer a otros de usar métodos similares, y de convencer a financiadores que su organización es una buena inversión.
• Para que usted pueda identificar factores no relacionados con lo que usted está haciendo que tengan un efecto –positivo o negativo – en sus resultados y en las vidas de los participantes. Los antecedentes de los participantes, eventos nacionales o locales cruciales, el paso del tiempo, las crisis personales, y muchos otros factores pueden influenciar los resultados de un programa o intervención para bien o para mal. Un buen diseño evaluativo puede ayudarle a identificar estos, y puede o corregirlos si usted puede, o crear métodos para tratarlos o incorporarlos.
• Para que usted pueda identificar consecuencias no intencionadas (ambas positivas o negativas) y corregirlas. Un buen diseño puede mostrarle todo lo que resultó de su programa o intervención, no solo lo que usted esperaba. Si usted entiende que su trabajo tiene consecuencias que son negativas así como positivas, o que tiene más y/o diferentes consecuencias positivas de las que usted anticipó, usted puede ajustarlo como corresponde.
• Para que usted tenga un plan coherente y una estructura organizada para su evaluación. Será mucho más fácil llevar a cabo su evaluación si ésta tiene un diseño apropiado. Usted sabrá mejor qué es lo que usted necesita para así obtener la información que usted necesita. Invertir tiempo para escoger y organizar un diseño evaluativo le dará muy buenos resultados de vuelta con respecto al tiempo que se ahorra después y a la calidad de la información que usted obtiene.

¿Cuándo debería escoger un diseño para su evaluación?

Una vez que usted haya determinado sus preguntas de evaluación y haya reunido y organizado toda la información que usted pueda acerca del asunto y las maneras de tratarlo, lo siguiente es escoger un diseño para la evaluación.  Idealmente, esto todo se lleva a cabo al comienzo del proceso al juntarlo todo en un programa o intervención. Como hemos discutido un número de veces, su evaluación debería ser una parte integral de su programa, y su planeamiento debería por lo tanto ser una parte integral de la planeación de su programa.

Este es el ideal; ahora hablemos acerca de la realidad. Si usted está leyendo esto, las posibilidades son probablemente por lo menos 50-50 que usted está conectado a alguna agencia gubernamental poco financiada o a una organización no gubernamental o basada en la comunidad, y que usted está planeando una evaluación de un programa o intervención que ha estado en funcionamiento por algún tiempo – meses o años.

Aún si esto fuera cierto, los mismos lineamientos aplican. Escoja sus preguntas, reúna información, escoja un diseño, y luego siga a través de los pasos presentados en  la evaluación es lo suficientemente importante que usted no logrará realmente nada si toma atajos en el planeamiento. Si su programa tiene un ciclo, entonces probablemente tenga sentido comenzar su evaluación al comienzo de éste – al inicio de un año o en una fase del programa, donde todos los participantes estén comenzando desde el mismo lugar, o desde el comienzo de su participación.

Si esto no es posible – si su programa tiene una política de admisión continua, o brinda un servicio en el momento que la gente lo necesita – y los participantes están en diferentes puntos, eso puede algunas veces presentar problemas de investigación. Usted puede querer evaluar los efectos del programa solo con los nuevos participantes, o con algún otro grupo específico. Por otro lado, si su  programa funciona sin un comienzo y final particular, usted puede obtener la mejor imagen de su efectividad al evaluarlo como tal, al comenzar cuánto usted está listo. Cualquiera que sea el caso, su diseño debería seguir conforme a su obtención de información y su síntesis

¿Quién debería estar involucrado en la selección de un diseño?

Si usted es un usuario regular de la Caja de Herramientas, y particularmente usted ha estado leyendo este capítulo, usted sabe que el equipo de la Caja de Herramientas generalmente recomienda un proceso participativo – que involucre tanto a compañeros de trabajo de la comunidad así como de investigación, incluyendo a todos aquellos interesados en o los cuales son afectos por el programa en planeación o implementación.  Seleccionar un diseño para la evaluación presenta una política que de alguna manera hace una excepción a esta regla, debido a que los compañeros de la parte de evaluación y científica podrían tener un mejor entendimiento de lo que se requiere para llevar a cabo la investigación y los factores que pueden intervenir en él.

Como veremos en la parte “Cómo hacerlo” de esta sección, existen un número de consideraciones que tienen que ser tomados para obtener información precisa que realmente le diga lo que usted quiere saber. Los estudiantes en posgrado generalmente toman cursos para obtener el conocimiento que ellos necesitan para llevar a cabo investigación de la mejor manera, aún más algunos investigadores veteranos tienen dificultad en elaborar un diseño de investigación apropiado. Eso no significa que un grupo comunitario no pueda aprender a hacer todo esto, pero del tiempo que ellos tendrían que gastar en la adquisición del conocimiento necesario podría ser demasiado. Por lo tanto, lo que parece ser más lógico es asignarle esta tarea (o por lo menos su coordinación) a una persona o grupo pequeño con experiencia en investigación y diseño evaluativo. Tal persona no tiene solamente que ayudarle a escoger entre los diseños posibles, sino explicarle qué conlleva cada diseño, en tiempo, recursos, y habilidades/destrezas necesarias, para que así usted pueda juzgar su conveniencia y factibilidad con respecto a su  contexto

¿Cómo seleccionar un diseño para su evaluación?

¿Cómo hace para decidir qué tipo de diseño investigativo será el mejor para los propósito de su evaluación?

La respuesta a esta pregunta involucra una revisión de cuatro áreas:   

• La naturaleza de las preguntas de la investigación que usted intenta responder.
• Los retos de la investigación, y las maneras que ellos pueden ser resueltos o reducidos.
• Los tipos de diseños investigativos que son generalmente usados, y lo que cada diseño involucra.
• La posibilidad de adaptar un diseño investigativo particular a su programa o situación – qué estructura de su programa le dará apoyo, qué participantes darán su consentimiento, y cuáles son sus recursos y restricciones con respecto al tiempo.

Comenzaremos esta parte de la sección con una revisión de los aspectos que los diseños investigativos deben tratar, luego seguiremos con las consideraciones de algunos diseños comunes y cómo ellos tratarán esos aspectos, y finalizaremos con algunos lineamientos para escoger un diseño que tanto sea posible de implementar y que a la vez le dé la información que usted necesita acerca de su programa.

Una nota: en esta parte de la sección, estamos tratando a la evaluación como un proyecto investigativo. Como resultado, utilizaremos el término “investigación/investigativo” en muchas partes donde nosotros podríamos fácilmente solo decir, para propósitos de esta sección, evaluación.  La investigación es más general, y algunos usuarios de esta sección podrían estar más interesados en la investigación en general que en la evaluación en particular.

Aspectos/asuntos que los diseños investigativos deberían tratar

La consideración más importante en el diseño de un proyecto investigativo – excepto tal vez por el valor de la investigación de ella misma- es si su plan le dará información válida. Si usted no diseña y establece su proyecto de investigación apropiadamente, sus conclusiones (descubrimientos) no le darán la información precisa y que tiene posibilidad de ser verdadera para otras situaciones. En el caso de una evaluación, eso significa que usted no tendrá una base para adaptar lo que hace con el fin de  fortalecerlo y mejorarlo.

Aquí está un ejemplo exagerado que ilustra este punto.  Si usted midió la altura de los niños a la edad de 6 años, luego los alimenta con largas cantidades de un alimento específico  por tres años –digamos zanahorias- y los midió de nuevo al final del periodo, usted probablemente encontrará que la mayoría de ellos eran considerablemente más altos a los nueve años de edad que cuando tenían seis años.  Usted podría concluir que fue la ingesta de zanahorias la que hizo que los niños fueran más altos debido a que su diseño de investigación no le dio bases para comparar el crecimiento de estos niños con el de otros niños.

Existen dos tipos de amenazas contra la validez de una pieza de investigación. Ellos son usualmente llamados como amenazas a la validez interna (si la intervención produjo el cambio) y amenazas a la validez externa (si los resultados tienen la posibilidad de ser aplicados a otras personas y situaciones).

Amenazas a la validez interna. Estas son amenazas (o explicaciones alternativas) a su propuesta de que lo que usted hizo causó cambios en la dirección que usted estaba procurando. Ellas son por lo general presentadas por factores que operan al mismo tiempo que su programa o  intervención que podrían tener un efecto en el asunto que se estaba tratando de dirigir. Si usted no tiene una manera de separar sus efectos de aquellos del programa, usted no puede decir si los cambios observados fueron causados por su trabajo, o por uno o más de estos otros factores. Estos son llamados amenazas a la validez interna debido a que son parte interna del estudio –tienen que ver si su intervención – y no algo más – es responsable de la diferencia.

Existen aquí varios tipos de amenazas a la validez interna:

• Historia.Tanto las historias personales de los participantes – sus antecedentes, culturas, experiencias, educación, etc. – y los eventos externos que ocurrieron durante el periodo de investigación – un desastre, una elección, un conflicto en la comunidad, una nueva ley – pueden influenciar si existe o no algún cambio en los resultados que usted está tratando.
• Maduración. Esto se refiere a los procesos sociales, psicológicos, físicos naturales que toman lugar conforme pasa el tiempo. El crecimiento de los niños que comieron zanahorias en el ejemplo anterior es un resultado de la maduración, por ejemplo, como lo podría ser  un descenso en el comportamiento arriesgado una vez que se haya pasado de la adolescencia a la edad adulta, el desarrollo de la artritis en las personas mayores, o participantes cansados durante actividades de aprendizaje hacia el final del día.
• Los efectos de la evaluación u observación en los participantes. El mero hecho de la existencia de un programa, o de que ellos sean parte de él, puede afectar el comportamiento o actitudes de los participantes, como podría hacerlo la experiencia de ser evaluado, grabado en vídeo, o de alguna otra forma observado o medido.
• Cambio en la medición. Un instrumento – un manguito para la presión arterial o una escala, por ejemplo – puede cambiar con el tiempo, o diferentes aparatos pueden no dar los mismos resultados. De igual manera, los observadores – aquellos que reúnen la información -  podrían cambiar sus estándares con el tiempo, o dos o más observadores podrían no estar de acuerdo con las observaciones.
• La regresión hacia  la media. Esto es un término estadístico que se refiere al hecho de que, a través del tiempo, las puntuaciones muy altas o muy bajas de una medición (un examen, por ejemplo) a menudo tienden a desplazarse hacia el promedio del grupo. Si usted comienza un programa con participantes los cuales, por definición, tienen muy bajos o altos niveles de lo que sea que se está midiendo – habilidades de lectura, exposición a la violencia doméstica, un comportamiento particular hacia las personas de otras razas o antecedentes, etc. –sus puntuaciones pueden terminar siendo cercanas al promedio a través del curso del periodo de evaluación aún sin ningún programa.
• La selección de participantes. Aquellos que escogen participantes pueden inclinar su selección hacia un grupo particular que tiene más o menos tendencias a cambiar que una muestra representativa de la población para la cual el grupo fue elegida. (Un buen ejemplo es el de los programas para la capacitación laboral a los cuales se les paga dependiendo de la cantidad de personas que colocan en posiciones laborales. Ellos tienen la tendencia a elegir a participantes los cuales tienen todos o casi todas las habilidades que ellos necesitan para llegar a ser empleados, y rechazan a aquellos que tienen menos habilidades… y quienes en realidad necesitan más el servicio.)  La selección puede jugar una parte cuando los participantes de cuenta propia escogen inscribirse en un programa (auto-selección), ya que aquellos que deciden participar están probablemente motivados a hacer cambios. También puede ser un asunto de oportunidad: los miembros de un grupo en particular pueden, simplemente por coincidencia, compartir una característica que posicionará los resultados de dichos miembros en sus mediciones a parte de la norma de la población que se está representando.

La selección puede también ser un problema cuando dos grupos están siendo comparados por diferentes estándares. Discutiremos más de esto adelante cuando hablemos de los grupos de control y de comparación.

• La pérdida de datos o de participantes. Si muy poca información es recolectada acerca de los participantes, o si demasiados de ellos desertan mucho antes que el periodo de investigación esté terminado, sus resultados pueden estar basados en muy poca información que pueda ser confiable. Esto también ocurre cuando dos grupos son comparados.Si sus pérdidas de datos o de participantes son demasiado diferentes, el compararlos puede no darle  ya más información válida.
• La naturaleza del cambio. A menudo, el cambio no es estable y constante. Esto puede involucrar saltos hacia adelante y saltos hacia atrás antes de que se llegue a un lugar estable – si es que alguna vez se llega. (Piense en observar el rendimiento de un equipo de deportes a la mitad de la temporada. No importa cuál es su posición en ese momento, usted no podrá decir cuán bien terminará hasta que la temporada finalice.)  Sus mediciones pueden llevarse a cabo durante un periodo muy corto o darse en momentos no oportunos para rastrear el curso del cambio o la falta de cambio que está ocurriendo.
• Una combinación de los efectos de dos o más de estos. Dos o más de estos factores puede combinarse para producir o prevenir los cambios que su programa trata de producir. Un currículo del estudio del lenguaje que es evaluado solo en estudiantes que ya hablan dos o más idiomas corre problemas tanto con la historia de los participantes – todos los estudiantes tienen experiencia al aprender idiomas además del propio - como con la selección – usted ha escogido estudiantes los cuales tienen tendencias a ser exitosos en el aprendizaje de idiomas.

Amenazas a la validez externa.

Estos son factores que afectan su habilidad para aplicar sus resultados de investigación en otras circunstancias – para aumentar las oportunidades que su programa y sus resultados puedan ser reproducidos en cualquier lugar o con otras poblaciones. Si, por ejemplo, usted ofrece clases en la crianza de niños solo a madres solteras, usted no puede asumir, sin importar cuán exitoso estas puedan ser, que las mismas clases funcionarán de igual manera para los hombres.

Amenazas a la validez externa (o generalizabilidad) pueden ser el resultado de las interacciones de otros factores con el programa o la intervención por ella misma, o puede ser debido a condiciones particulares del programa.

Algunos ejemplos:

• Interacción de la prueba o recolección de datos y el programa o intervención. Una prueba inicial u observación podría cambiar la manera que los participantes reaccionan al programa, hacer una diferencia en los resultados finales. Ya que usted no puede asumir que otro grupo tendrá la misma reacción u obtendrá resultados finales similares como resultado, la validez externa o generalizabilidad de los hallazgos se vuelve cuestionable.
• Interacción de los procedimientos de selección y el programa o la intervención. Si los participantes seleccionados o auto-seleccionados son particularmente sensibles a los métodos o el propósito del programa, no puede asumirse que éste sea efectivo con participantes los cuales son menos sensibles o no están listos para el programa.

Los padres que han sido amenazados por el gobierno con la pérdida de sus niños debido a abusos a menores podrían ser más receptivos a aprender técnicas para mejorar su manera de llevar la crianza de sus hijos, por ejemplo, en comparación con los padres quienes no están bajo esa presión.

• Los efectos de la preparación de la investigación. Los participantes podrían cambiar de comportamiento como resultado de ser observados, o podrían reaccionar a individuos particulares de maneras que ellos no suelten reaccionar ante otros.

Un ejemplo clásico aquí es el del famoso investigador de mandriles (babuinos), Irven DeVore, el cual después de años de observar manadas de mandriles, se dio cuenta que ellos se comportaban de forma diferente cuando él estaba ahí que cuando no estaba.  Aunque su meta era observar su comportamiento natural, su presencia por sí sola constituía una intervención, al hacer que el comportamiento de los mandriles que él observaba fuera diferente del de una manada que no estaba siendo observada.

• La interferencia de tratamientos o intervenciones múltiples. Los efectos de un programa particular pueden ser cambiados cuando los participantes están expuestos a él anteriormente en un contexto diferente, o están expuesto a otro antes o al mismo tiempo de cuando estaba siendo evaluado. Esto puede ocurrir cuando los participantes están recibiendo servicios de diferentes fuentes, o están siendo tratados simultáneamente por dos o más asuntos de salud u otras condiciones.

Dado la cantidad de los programas comunitarios que existen, hay muchas posibilidades aquí. Los adultos podrían ser miembros de clase para completar la secundaria mientras participan en un programa de recuperación de abuso de sustancias.  Un diabético podría ser tratado con una nueva droga mientras al mismo tiempo participa en un programa de actividad física y de nutrición para tratar con la obesidad.  Algunas veces, la secuencia de los tratamientos o los servicios en un solo programa puede tener el mismo efecto, con uno que influencia cómo los participantes responden a aquellos que siguen, aún si cada tratamiento está siendo evaluado de forma separada.

Diseños investigativos comunes

Muchos libros han sido escritos sobre el tema de diseño investigativo. Mientras ellos contienen demasiado material para resumir aquí, existen algunos diseños básicos que podemos introducir. Las diferencias importantes entre ellos se basan en cuántas mediciones se llevarán a cabo, cuándo se tomarán, y cuántos grupos de qué tipo estarán involucrados.

Las evaluaciones de los programas generalmente buscan por las respuestas de tres preguntas básicas:

• ¿Hubo algún cambio- en el comportamiento de los participantes o de otros, en las condiciones físicas o sociales, o en los resultados o indicadores de éxito – durante el periodo de evaluación?
• ¿Fue cualquier cambio que se dio – o la falta de cambio – causado por su programa, intervención, o esfuerzo?
• ¿Qué, en su programa o fuera de él, realmente causó o impidió el cambio?

Como hemos discutido, los cambios y las mejoras en los resultados pueden haber sido causados por algunos o todos los aspectos de su intervención, o por factores externos. La historia de los participantes o de la comunidad podría haber sido crucial.  Los participantes podrían haber cambiado como resultado de simplemente hacerse más mayores y más maduros o con más experiencia en el mundo – lo cual es a menudo un asunto clave cuando se trabaja con niños o adolescentes.  Los factores ambientales – eventos, cambios de política, o condiciones en las vidas de los participantes – pueden a menudo facilitar o impedir el cambio de igual manera.  Comprender exactamente de dónde viene el cambio y dónde están las barreras para que el cambio suceda, le da la oportunidad de ajustar su programa para tomar ventaja o combatir esos factores.

Si todo lo que usted tuvo que hacer fue medir cualquier comportamiento o condición que usted quería influenciar al inicio y al final de la evaluación, escoger un diseño sería una tarea fácil.  Desafortunadamente, esto no es tan sencillo – existen esas amenazas desagradables a la validez que nos deben preocupar.  Y tenemos que tomarlas en cuenta que mientras observamos algunos diseños investigativos comunes.

Los diseños investigativos, en general, se diferencian en una o más de dos formas: el número y el tiempo de las mediciones que ellos usan; y si ellos observan un grupo individual o grupos múltiples. Veremos los diseños de un solo grupo primero, luego seguiremos con los grupos múltiples.

Los investigadores usualmente se refieren a sus primeras medición(es) u observación(es) – las que usted toma antes de comenzar su programa o intervención – como una medición de referencia o observación de referencia, debido a que establece una referencia – un nivel conocido – al cual usted compara mediciones u observaciones futuras.

Algunos términos de investigación importantes son:  

Variables independientes son el programa por el mismo y/o los métodos o condiciones que el investigador – en este caso, usted – quiere evaluar. Ellas son llamadas variables debido a que ellas pueden cambiar – usted podría haber escogido (y podría todavía escoger) otros métodos.  Ellas son independientes debido a que su existencia no depende de si algo existe ocurre: usted las ha escogido, y ellas seguirán  constantes a través del periodo de evaluación.

Variables dependientes son las que podrían cambiar o no como resultado de la presencia de las variable(s) independiente(s).  En una evaluación, su programa o intervención es la variable independiente.  (si usted está evaluando un número de métodos o condiciones diferentes, cada uno de ellos es una variable independiente.)  Lo que sea que usted está tratando de cambiar es la variable dependiente.  (Si usted está tratando ver cambios en más de un comportamiento o resultado, cada tipo de cambio es una variable dependiente diferente.)  Ellas son llamadas variables dependientes debido a que los cambios en ellas dependen de la acción de la variable independiente… o de algo más.

 Las mediciones son solo eso –medidas de las variables dependientes. Ellas usualmente se refieren a procedimientos que tienen resultados que pueden ser traducidos en números, y que pueden tomar la forma de evaluaciones, observaciones, encuestas, entrevistas, o pruebas comunitarias. Ellas también podrían contar incidentes o medir la magnitud de la variable dependiente (número o porcentaje de niños que tienen sobrepeso o son obesos, crímenes violentos en 100,000 habitantes, etc.)

  Las observaciones podrían involucrar mediciones, o ellas podrían simplemente registrar lo que pasa en circunstancias específicas: las formas en que la gente usa un espacio, los tipos de interacción que tienen los niños en un aula, la naturaleza de las interacciones durante una evaluación.  Para conveniencia, los investigadores a menudo usan “observación” para referirse a cualquier tipo de medición y nosotros usaremos la misma convención aquí.

Diseño inicial y final de un grupo individual.

El diseño más simple es también probablemente el menos preciso y deseado: la medición u observación inicial (antes de) y final (después de). Esto consiste en simplemente medir lo que sea que a usted le interese con un grupo – la tasa de mortalidad infantil, el desempleo, la contaminación del agua – utilizar su intervención a ese grupo o comunidad, y luego observar de nuevo. Este tipo de diseño asume que una diferencia en las dos observaciones le dirá si hubo un cambio durante el periodo entre ellos, y también asume que cualquier cambio positivo fue causado por la intervención.

En la mayoría de los casos, un diseño inicial-final no le dirá mucho, debido a que no trata realmente ninguno de los asuntos investigativos que hemos discutido. No toma en cuenta la influencia de otros factores en la variable dependiente, y no le dice nada acerca de las tendencias de cambio o del progreso de cambio durante el periodo de evaluación –solo dónde estaban los participantes al principio y dónde estaban al final.  Puede ayudarle a determinar si ciertos tipos de cosas han pasado – si existió una reducción en el nivel de logros educativos o la cantidad de contaminación ambiental en un río, por ejemplo – pero no le dirá el por qué.  A pesar de sus limitaciones, tomar mediciones antes y después de la intervención es mucho mejor que ninguna medición.

Aún mirar a algo tan meramente simple para medir, antes y después, como la presión sanguínea (en un programa para la prevención de enfermedades del corazón) es cuestionable. La presión sanguínea puede ser más baja al final de la observación que al inicio, pero eso no le dice nada acerca de cuánto haya bajado o subido en medio.  Si las lecturas fueron tomadas por diferentes personas, el cambio puede ser en parte a las diferencias en su habilidad, o a cuán relajado pudo cada uno hacer sentir a los participantes. La familiaridad con el programa podría también haber reducido la presión sanguínea de la mayoría de los participantes desde la medición inicial a la medición final, como lo pudo haber hecho algún otro factor que no fuera específicamente parte de la variable independiente que estaba siendo evaluada.

Diseño de series de tiempo interrumpido con un solo grupo (series de tiempo simple). 

Una serie de tiempo interrumpido usó mediciones repetidas antes y después de la implementación retrasada de la variable independiente (p.ej., el programa, etc.) para ayudar a excluir otras explicaciones.  Este diseño relativamente fuerte – con comparaciones entre el grupo – trata la mayoría de las amenazas a la validez interna.

La forma más simple de este diseño es tomar observaciones repetidas, implementar el programa o intervención, y observar un número de veces durante el periodo de evaluación, incluyendo el final. Este método es una gran mejoría sobre el diseño inicial-final ya que rastrea la tendencia del cambio, y puede por lo tanto, ayudar a ver si fue realmente la variable independiente la que causó algún cambio. Este puede también ayudar a identificar la influencia de los factores externos tales como cuando la variable dependiente muestra un cambio significativo antes de que la intervención es implementada.

Otra posibilidad para este diseño es implementar más de una variable independiente, ya sea al tratar dos o más, una después de la otra (a menudo con un lapso en medio), o al agregar cada una a lo había antes. Esto presenta una visión no solo del progreso del cambio, sino también muestra muy claramente qué causa el cambio. Esto le da al evaluador la oportunidad no solo de ajustar el programa, sino de descartar elementos que no tienen efecto.

Existen un número de variaciones acerca del tema: series de tiempo interrumpido, incluir una variación de los tiempos de observación; implementar la variable independiente repetidamente; e implementar una variable independiente, luego otra, luego ambas juntas para evaluar su interacción.

En cualquier variedad del diseño de series de tiempo interrumpido, es importante saber qué es lo que se busca. En una evaluación de un programa de control de muertes en las vías de tránsito en el Reino Unido  que se enfocaba en reducir la conducción de vehículos bajo los efectos del alcohol, mediciones mensuales parecían mostrar solo una disminución pequeña en los accidentes mortales. Cuando las estadísticas de los fines de semana, cuando había más posibilidades de encontrar conductores ebrios en las carreteras, eran separados, entonces, ellas mostraron que la mortalidad en los fines de semana había bajado considerablemente debido a la implementación del programa, y se mantenía bajo después de éste. Si los investigadores no se hubieran dado cuenta de  que ese era el caso, el programa podría haber sido cancelado, y la tasa de accidentes de los fines de semana no se hubiera reducido.

Diseño de series de tiempo interrumpido con grupos múltiples (referencia múltiple/series de tiempo).

Este tiene la misma posibilidad como el diseño de series de tiempo con el grupo individual, con la adicción de usar mediciones repetidas con uno o más otros grupos (lo que se llama referencia múltiple). Al usar referencias múltiples (grupos), la validez externa o la generalidad de los descubrimientos es mejorada – podemos ver si los efectos ocurren con grupos diferentes o bajo condiciones diferentes.

Este diseño de series de tiempo múltiple –usualmente una introducción paulatina (por etapas) de la intervención con diferentes grupos o comunidades – le da al investigador más  oportunidades:

• Usted puede tratar un método o programa con dos o más grupos del mismo.
• Usted puede tratar un método o programa con diferentes poblaciones, para ver si es efectivo con otros.
• Usted puede variar el tiempo o intensidad de una intervención con grupos diferentes.
• Usted puede examinar diferentes intervenciones al mismo tiempo.
• Usted puede tratar las mismas dos o más intervenciones con cada uno de los dos grupos, pero revertir su orden para ver si la secuencia hace alguna diferencia.

De nuevo, existen más variaciones posibles aquí.

Diseño del grupo de control.

Una manera común de evaluar los efectos de una variable es usar un grupo de control. Este grupo de control es usualmente similar al grupo participante, pero o no tiene ninguna intervención del todo, o recibe un tipo de intervención diferente con el mismo propósito que se le da al grupo participante. Un diseño del grupo de control es usualmente el más difícil de establecer – usted tiene que encontrar grupos apropiados, observarlos a los dos regularmente, etc. – pero es generalmente considerado como el más confiable.

El término grupo de control viene del intento de controlar influencias externas y otras influencias en la variable dependiente. Si todo acerca de los dos grupos excepto su exposición al programa siendo evaluado promedia lo mismo, entonces cualquier diferencia en los resultados se debe a la exposición. El término grupo de comparación es más modesto; este típicamente presenta a una comunidad observada para estar pendiente de niveles similares del problema/meta y características relevantes de la comunidad o la población  (p.ej., educación, pobreza).

El patrón oro aquí es el grupo de control al azar, uno que es elegido totalmente al azar, ya sea de entre la población que el programa o la intervención está tratando – aquellos en riesgo de enfermedades del corazón, hombres desempleados, padres jóvenes – o, si es apropiado, la población en general. Un grupo al azar elimina los problemas de selección que nosotros hemos discutido anteriormente, así como asuntos que podrían salir de las diferencias en cultura, raza, u otros factores.

Un grupo de control que es cuidadosamente escogido tendrá las mismas características como el grupo de intervención (el foco de la evaluación). Si, por ejemplo, los dos grupos vienen del mismo tipo de personas que tienen una condición de salud particular, y son escogidos al azar ya sea para ser tratados con la manera convencional o con el nuevo enfoque/método, puede ser asumido que – debido a que ellos fueron escogidos al azar de la misma población – ambos grupos será sujetos, en promedio, a las mismas influencias externas, y tendrán la misma diversidad de antecedentes/orígenes/formación. Por lo tanto, si existe una diferencia significativa en sus resultados, es  bastante seguro asumir que la diferencia viene de la variable independiente – el tipo de intervención, y no de algo más.

La dificultad para las organizaciones gubernamentales y basadas en la comunidad es encontrar o crear un grupo de control al azar. Si el programa tiene una larga lista de espera, puede ser capaz de crear un control al seleccionar a aquellos que reciben la intervención al azar de primero. Eso por si solo crea problemas, ya que la gente a menudo deserta de las listas de espera debido a la frustración u otras razones.  Ser incluido en la evaluación puede ayudar a mantenerlos, por el otro lado, al darles una conexión más cercana al programa y al hacerlo sentir valorados.

Un programa de ESOL (Inglés como segunda u otra lengua) en Boston con una lista de espera de tres años trató el problema al ofrecer a aquellos en la lista de espera una opción diferente.  Ellos recibieron cintas de video (videocasetes) para usar en la casa, en conjunto con una tutoría bisemanal por estudiantes avanzados y estudiantes de posgrado del programa.  Así, ellos se convirtieron en un grupo de comparación con una intervención de alguna manera diferente que, como se esperaba, fue menos efectiva que el programa mismo, pero fue más efectiva que ninguna intervención, y los mantuvo en la lista de espera.  Esto también les dio una ventaja una vez que ellos empezaron a ir a clases, muchos de ellos empezaron en un nivel intermedio en vez de hacerlo a nivel de principiantes.

Cuando no existe una lista de espera o un grupo similar para comparar, las organizaciones comunitarias a menudo usan un grupo de comparación – uno compuesto de participantes en otro lugar o programa y cuyas características, antecedentes y experiencia de los miembros pueden o no pueden ser similares a aquellos del grupo participante. Esta situación puede suscitar algunos de los mismos problemas relacionados a la selección vista cuando no existe un grupo de control. Si las únicas comparaciones potenciales involucran grupos muy diferentes, puede ser mejor usar un diseño, como el diseño de series de tiempo interrumpido que no involucra un grupo de control del todo, donde la comparación se da dentro (no entre) los grupos.

Los grupos pueden verse similares, pero pueden diferir de una manera importante. Dos grupos de participantes  de un programa de intervención de abuso de sustancias, por ejemplo, pueden tener historias similares, pero si un programa es voluntario y el otro no, los resultados tienen la tendencia a no ser comparables. Un grupo probablemente estará más motivado  y menos resentido que el otro, y estará compuesto de personas las cuales ya conocen que tienen un problema potencial.  La motivación y la determinación de los participantes, en vez de la efectividad de los dos programas, puede influenciar la magnitud del cambio observado.

 

Este asunto puede darse en el diseño de un grupo individual también. Un programa que pueda, en promedio, parecer que es relativamente poco efectivo puede probar, al hacer una inspección profunda, ser bastante efectiva con ciertos participantes –aquellos con un antecedente educativo específico, por ejemplo, o con experiencias de vida particulares.  Ver los resultados desde esta visión puede ser una parte importante de una evaluación, y darle información valiosa y  utilizable.

Escoger un diseño

La discusión sobre diseños investigativos de esta sección no está en ninguna manera completa.  Aquí tratamos de brindar una introducción de lo que está disponible.  Existen literalmente cientos de libros y artículos escritos acerca de este tema, y usted probablemente querrá más información.  Existen un número de métodos estadísticos que pueden compensar por diseños menos-que-perfectos, por ejemplo: algunos grupos comunitarios tienen recursos para juntar a un grupo de control al azar, o para implementar dos o más programas similares para ver cuál funciona mejor.

 

Dado esto, el material que sigue se trata solo de una guía general.  Nosotros no intentamos ser específicos acerca del tipo de diseño que usted necesita en qué circunstancias, solamente tratamos de sugerir algunas cosas para tener en mente en situaciones diferentes.  Existe ayuda disponible en un gran número de lugares: Mucho puede ser encontrado en la Internet (ver la parte de “Recursos” de esta sección para encontrar algunos sitios); existen libros y artículos numerosos (el texto clásico en el diseño de investigación está también citado en “Recursos”); y las universidades son un gran recurso, tanto a través de sus bibliotecas como de los profesores y estudiantes de posgrado los cuales podrían estar interesados en lo que usted está haciendo y estar dispuestos a ayudar con su evaluación.  Use cualquiera o todos estos para encontrar qué funcionará mejor para usted.  Financiadores podrían también estar dispuestos a ya sea brindar asistencia técnica para las evaluaciones, o a incluir dinero en su subvención o contrato específicamente para pagar por una evaluación profesional.

Su meta al evaluar su esfuerzo es obtener la información más confiable y certera posible, dadas las preguntas de su evaluación, la naturaleza de su programa, a lo que sus participantes consienten (acceden), sus limitaciones de tiempo, y sus recursos. Lo importante aquí no es establecer un estudio investigativo perfecto, pero diseñar su evaluación para obtener información real, y ser capaz de separar los efectos de los factores externos de los efectos de su programa. Entonces ¿cómo hacer para escoger el mejor diseño que será funcional para usted? Los pasos están en la primera oración de este párrafo.

Tenga en cuenta las preguntas de su evaluación. 

¿Qué necesito saber?  Si la intención de su evaluación es simplemente ver si algo específico pasó, es posible que un diseño simple inicial y posterior se haga. Si, como es lo más probable, usted quiere conocer tanto el cambio que ha ocurrido, y si ha ocurrido, si ha en efecto sido causado por su programa, usted necesitará un diseño que ayude a  descartar los efectos de influencias externas y los antecedentes de los participantes.

Para muchos programas comunitarios, un grupo de control o comparación es útil, pero no es absolutamente necesario. Piense detenidamente acerca de la frecuencia y el momento oportuno de sus observaciones y la cantidad de tipos de información que usted puede recolectar. Con medidas repetidas, usted puede obtener un panorama bastante acertado sobre la efectividad de su programa desde un diseño de series de tiempo simple. Los diseños de series de tiempo interrumpido con un solo grupo, los cuales son a menudo los más factibles para organizaciones pequeñas, pueden darle una evaluación muy confiable si ellos están estructurados adecuadamente. Eso generalmente significa obtener observaciones de referencia múltiples (lo suficiente para establecer una tendencia) antes que el programa comience; observar frecuentemente y documentar sus observaciones cuidadosamente (a menudo tanto con datos cuantitativos – expresados en números – y cualitativos – expresados en registros de incidentes y acerca de lo que hicieron y dijeron los participantes); e inclusive durante la intervención y las observaciones de seguimiento para ver si los efectos son mantenidos.

En muchas de estas situaciones, un diseño de series de tiempo interrumpido con múltiples grupos es razonablemente posible, pero como  un experimento “que ocurre naturalmente”. Si su programa incluye dos o más grupos o clases, cada uno trabajando hacia las mismas metas, usted tiene la oportunidad de escalonar la introducción de la intervención a través de los grupos. Esta comparación con (y a través de) los grupos le permiten a usted eliminar factores como la habilidad del facilitador y las influencias comunitarias (asumiendo que todos los participantes vienen de la misma población en general.)  Usted podría también tratar diferentes métodos o secuencias en tiempo, para ver cuál funciona mejor.

En algunos casos, la pregunta real no es si su método o programa funciona o no, sino si funciona mejor que otros métodos o programas que se podrían estar usando. Enseñar una habilidad – por ejemplo, la capacitación laboral, la crianza de niños, el control de la diabetes, la resolución de conflictos – a menudo calza en esta categoría. Aquí, usted necesita una comparación de este tipo. Mientras que las evaluaciones de algunas de éstas – tratamiento médico, por ejemplo – pueden requerir un grupo de control, otros pueden ser comparados con datos en el área específica, con resultados publicados de otros programas, o al usar indicadores a nivel comunitario  de evaluaciones en otras comunidades.

Existen programas comunitarios donde el factor crucial es muy simple. Si usted está trabajando para controlar la contaminación del agua, su preocupación mayor podría ser la cantidad de contaminación que sale de la cañería de las aguas residuales, o la cantidad encontrada en el río. Su única medición del éxito podría ser mantener la contaminación por debajo de cierto nivel, lo cual significa que tener un control regular de la calidad del agua es la única evaluación que se necesita. Existen probablemente pocos programas comunitarios donde la evaluación sea tan fácil – usted podría, por ejemplo, querer conocer cuál de las actividades de control de contaminación es la más efectiva – pero si la suya es solo una, un diseño simple puede ser todo lo que usted necesita.

Tenga en cuenta la naturaleza de su programa.

¿Qué características tiene su programa -¿cómo se ve?-, y qué es lo que intenta hacer? ¿Qué es lo que funciona con los participantes en grupos, o individualmente, por ejemplo? ¿Tiene ciclos – clases o talleres que comienzan o terminan en ciertas fechas, o un programa de tiempo limitado que los participantes pueden tomar solo una vez? ¿O pueden los participantes tomar dichas clases/talleres cuando ellos estén listos y mantenerse hasta que alcancen sus metas? ¿Cuánto del trabajo del programa depende del personal, y cuánto hacen los participantes por su cuenta? ¿Cuán importante es el contexto del programa –manera que se relacionan el personal, los participantes y otros, la filosofía general del programa, el entorno físico, la organización cultural?  (La cultura de una organización consiste en las maneras tradicionales y aceptadas de hacer las cosas, los patrones de relaciones, cómo se viste la gente, cómo actúan y se comunican con los demás, etc.)

Si usted trabaja con participantes en grupos, un diseño de grupos múltiples – uno de series de tiempo interrumpido o un grupo de control – podría ser más fácil de usar. Si usted trabaja con participantes individualmente, tal vez una serie de tiempo simple o un diseño de grupo individual sería más apropiado.

Si su programa tiene el tiempo limitado – uno de solo una vez nada más, o con sesiones que siguen a la anterior – usted querrá un diseño que calce con su programa y tiempo, y que pueda darle resultados confiables en el tiempo que usted tiene.  Una posibilidad es usar un diseño de grupo múltiple, con grupos que siguen a los siguientes, sesión por sesión. El programa para cada grupo podría ser ajustado, basado en los resultados del grupo anterior, para que así usted tenga la posibilidad de poner a prueba nuevas ideas cada sesión.

• Si su programa no tiene un comienzo o final claro, usted probablemente tendrá la necesidad de usar un diseño de grupo individual que considere a los participantes individualmente, o por el nivel de su desempeño inicial. Usted podría también tener que compensar el hecho que los participantes pueden ingresar al programa con diferentes niveles, o con diferentes metas.

Un proverbio dice que usted nunca camina en el mismo río dos veces, debido a que el agua que pasa por él siempre está cambiando.  Lo mismo es verdad para la mayoría de los programas comunitarios. Alguien que ingrese a un programa en un momento particular podría tener una experiencia totalmente diferente a la de una persona similar ingresando en un momento diferente, aún si el proceso del programa es el mismo para ambos. Un participante particular podría animar a los demás alrededor de ella, y crear una atmósfera abrumadoramente positiva diferente a la experimentada por los participantes que ingresaron al programa después de que ésta persona se fue, por ejemplo. Es muy difícil controlar este tipo de diferencia a través del tiempo, pero es importante estar consciente de que puede existir, y a menudo existe, y puede afectar los resultados de una evaluación del programa.

• Si el contexto y la cultura organizacional o del programa son importantes, entonces usted probablemente querrá comparar sus resultados con participantes en un grupo de control en una situación similar donde esos factores son diferentes, o son ignorados.

Existe, por supuesto, una gran variedad de posibilidades aquí: casi cualquier diseño puede ser adaptado a casi cualquier situación en las circunstancias adecuadas. Este material tiene el propósito solamente de darle una idea de cómo comenzar a pensar acerca del diseño para una evaluación.

Tenga en cuenta que sus participantes (y personal) estén de acuerdo.

Además del efecto que podría tener en los resultados de su evaluación, usted podría encontrar que mucha observación puede  hacer que surjan protestas por parte de participantes los cuales sienten que su privacidad está siendo amenazada, o de los miembros del personal que ya de por sí tienen demasiado trabajo y ven la evaluación solo como una carga más a su trabajo. Usted podría ser capaz de superar estos obstáculos, o usted podría tener que llegar a un acuerdo – menos o diferentes tipos de observaciones, un diseño menos molesto/ intruso – con el objetivo de ser capaz de conducir la evaluación del todo.

Existen otras razones por las cuales los participantes podrían oponerse a la observación, o por los menos a una observación intensa.  La posibilidad de ser avergonzado, un deseo de confidencialidad (mantener su participación en el programa en secreto de los miembros de su familia u otros), aún la auto-protección (en el caso de violencia doméstica, por ejemplo) puede contribuir a la falta de voluntad de ser un participante en la evaluación.  Los miembros del personal podrían tener algunas de las mismas preocupaciones.

 

Existen maneras de tratar con estos asuntos, pero no hay forma de garantizar que ellas funcionarán.  Una es informar a los participantes al comienzo acerca de qué exactamente se espera hacer, escuchar sus objeciones, y reunirse con ellos (más de una vez, si es necesario)  para llegar a una propuesta satisfactoria.  Los miembros del personal tienden a quejarse menos si ellos estuvieron involucrados en el planeamiento de la evaluación, y así tienen algo que decir acerca de la frecuencia y la naturaleza de las observaciones.

Tenga en cuenta sus limitaciones de tiempo.

Como hemos mencionado anteriormente, lo importante aquí es escoger un diseño que le dará información razonablemente confiable. En general, su diseño no tiene que ser perfecto, pero tiene que ser lo suficientemente bueno para tener una indicación lo suficientemente razonable de que se están dando cambios, y que ellos son el resultado de su programa. Cuán preciso usted puede ser es por lo menos parcialmente controlado por las limitaciones de su tiempo debido a la financiación, las consideraciones del programa, y otros factores.

Las limitaciones de tiempo podrían también ser obligatorias. Algunas de las más comunes son:

• La estructura del programa. Una evaluación puede tener más sentido si es conducido para coincidir con un ciclo de un programa regular.
• Financiación. Si usted es financiado solo como un proyecto piloto, por ejemplo, usted tendrá que llevar a cabo su evaluación en el mismo lapso de tiempo de la financiación, y pronto para mostrar que su programa es lo suficientemente exitoso para volver a ser financiado. Un horario de tiempo para la evaluación podría ser parte de su subvención o contrato, especialmente si el financiador está pagando por él.
• Horarios de los participantes. Un programa educativo rural podría necesitar  una pausa varios meses al año para permitirles a los participantes plantar y  cuidar los cultivos, por ejemplo.
• La seriedad del asunto. Un retraso en conocer si un programa de prevención de violencia es efectivo o no podría costar vidas.
• La disponibilidad de evaluadores profesionales. Tal vez el equipo de evaluación puede solo trabajar durante un marco de tiempo particular.

Tenga en cuenta sus recursos.

Los planificadores estratégicos a menudo aconsejan que los grupos y organizaciones consideren los recursos de último: ya que si no ellos terminarían rechazando muchas buenas ideas debido a que ellas son muy caras o difíciles, en vez de tratar de encontrar maneras de hacerlas funcionar con los recursos que se tienen a mano. Los recursos incluyen no solamente el dinero, pero también el espacio, materiales y equipo, personal, y habilidades y pericia. A menudo, uno de estos puede ser substituido por otro: una persona del personal con experiencia en investigación puede tomar el lugar del dinero que se utilizaría para pagar a un consultor, por ejemplo. Una asociación con una universidad cercana podría no solo darle pericia si no además el equipo necesario.

La lección aquí es comenzar a determinar el mejor diseño posible para sus propósitos, sin contemplar los recursos. Usted podría tener que decidirse por algo de menor tamaño, pero si usted comienza por lo que usted quiere, usted tiene más posibilidad de acercarse a ello que si usted asume que no tiene la posibilidad de obtenerlo.

En resumen

La manera que usted diseña su evaluación investigativa estará muy relacionada con cuán  preciso y confiable son sus resultados, y cuán bien usted puede usarlos para mejorar su programa o intervención. El diseño debería ser uno que trate de la mejor manera  las amenazas claves a la validez interna (ya sea que la intervención cause el cambio) y la validez externa (la habilidad de generalizar sus resultados en otras situaciones, comunidades, y poblaciones).

Diseños investigativos comunes –tales como diseños de tiempo interrumpido grupo de control – puede ser adaptado a varias situaciones, y combinado de varias formas para crear un diseño que es tanto apropiado como posible para su programa. Eso podría ser necesario para buscar ayuda de un asesor, un socio universitario, o simplemente alguien con experiencia en investigación para así identificar un diseño que calce con sus necesidades.

Un buen diseño tratará sus preguntas de evaluación, y tomará en consideración la naturaleza de su programa, cuáles participantes  y personal del programa estarán de acuerdo, sus limitaciones de tiempo, los recursos que usted tiene disponible para la evaluación. A menudo tiene sentido considerar los recursos de último, para que así usted no rechace buenas ideas debido a que ellas parecen demasiado caras o difíciles. Una vez que usted escoja un diseño, usted puede a menudo encontrar una manera de compensar la falta de recursos para hacerlo realidad.

¿Qué queremos decir por un diseño para la evaluación?

___El diseño de la evaluación es la disposición que asegura que dicha evaluación confiablemente le diga a usted lo que usted necesita saber.

___Un diseño apropiado le mostrará a usted si realmente obtuvo resultados, y si esos resultados se produjeron debido a sus acciones o a las circunstancias que usted creó, o a otros factores.

¿Por qué se debería escoger un diseño para su evaluación?

___Para que su evaluación sea confiable.  

___Para que usted pueda ubicar con exactitud las áreas a mejorar, así como aquellas que son exitosas. 

___Para que sus resultados sean creíbles.

___Para que usted pueda identificar factores no relacionados con lo que usted está haciendo que tengan un efecto –positivo o negativo – en sus resultados y en las vidas de los participantes.  

___Para que usted puede identificar consecuencias que no intencionadas (tanto positivas como negativas) y corregirlas.   

___Para que usted tenga un plan coherente y una estructura organizada para su evaluación.    

¿Cuándo debería escoger un diseño para su evaluación?

___En lo ideal, cuando usted está planeando el programa y la evaluación, antes de que usted comience cualquier implementación.   

___En la realidad, para muchas organizaciones, al comienzo de un ciclo del programa, o cuando un grupo nuevo de participantes  comienza. 

¿Quién debería estar involucrado en la selección de un diseño?

___Es de extremada utilidad  involucrar a alguien con experiencia en investigación para ayudar en la decisión de un diseño apropiado, y para ayudar entender de que se trata cada posible diseño. 

¿Cómo seleccionar un diseño apropiado para su evaluación?

1.  Tener en cuenta las consideraciones de investigación necesarias.

___Entender las amenazas a la validez interna (si es que la intervención produce el cambio)

• Historia

• Maduración 

• Efectos de la evaluación u observación en los participantes  

• Cambios en la medición   

• Regresión hacia la media    

• Selección de los participantes     

• Pérdida de datos o participantes    

•  Naturaleza del cambio   

• Combinación de los efectos de dos o más de estos    

___Entender las amenazas a la validez externa (generalizabilidad de sus hallazgos) 

• Interacción de la prueba o la recolección de datos y el programa o intervención

• Interacción de los procedimientos de selección y el programa o la intervención   

• Los efectos de la preparación de la investigación   

• La interferencia de programas o intervenciones múltiples    

2.  Entender diseños de investigación comunes   

___Diseño inicial y final de un grupo individual

___Diseño de series de tiempo interrumpido con un solo grupo (series de tiempo simple)

___Diseño de series de tiempo interrumpido con grupos múltiples

___Diseño del grupo de control o comparación

3.  Escoger un diseño 

___Tenga en cuenta las preguntas de evaluación 

___Tenga en cuenta la naturaleza de su programa  

___Tenga en cuenta que sus participantes y personal estén de acuerdo 

___Tenga en cuenta sus limitaciones de tiempo   

___Tenga en cuenta sus recursos

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué queremos decir por recolectar información?

• ¿Qué queremos decir por analizar información?

• ¿Por qué se debería recolectar y analizar información para su evaluación?

• ¿Cómo se recolecta y se analiza la información?¿Qué queremos decir por recolectar información?

En secciones previas a este capítulo, hemos discutido el estudiar el asunto, decidir en el diseño para la investigación, en crear un sistema de observación para la obtención de información para su evaluación. Ahora es el momento para recolectar su información y analizarla –descifrar que es lo que significa – para que así usted pueda usarla para sacar conclusiones acerca de su trabajo. En esta sección, nosotros examinaremos cómo hacer exactamente eso.

¿Qué queremos decir por recolectar información?

Esencialmente, recolectar información significa poner su diseño para recolectar información en acción. Usted ha decidido cómo usted va a obtener información – ya sea por medio de observación directa, entrevistas, encuestas, experimentos y evaluaciones, u otros métodos – y ahora usted y/u otros observadores tienen que implementar su plan. Sin embargo, todavía hay más que recolectar. Si ustedes están llevando a cabo observaciones, por ejemplo, usted tiene que definir qué está observando y programar para hacer las observaciones en los momentos indicados, así usted puede realmente observar lo que usted necesita. Usted tiene que registrar las observaciones de maneras apropiadas y organizarlas para que así ellas sean lo más útiles posibles.

El documentar (registrar) y organizar la información puede tomar diferentes formas. Eso depende del tipo de información que usted está recolectando. La manera en que usted recolecta su información deberá estar relacionada a cómo usted está planeando analizarla y usarla. Dejando de lado el método que usted decida usar, documentar debe hacerse simultáneamente con la recolección de información si es posible, o muy pronto después, para que así nada se pierda y la memoria de lo que se observó no se vuelva borrosa.

Algunas de las cosas que usted podría hacer con la información que usted recolecta incluye:

• Recolectar información de todas clases de fuentes y observaciones.
• Hacer fotocopias de todos los formularios, registros, grabaciones de audio y vídeo, y cualquier otro tipo de material recolectado para prevenir cualquier pérdida o eliminación accidental de información, u otra clase de problema.
• Digitalizar los relatos, números, y otra información y guardar en un programa de computación, donde ellos puedan ser organizados y/o pueden ser utilizados en diversas maneras.
• Llevar a cabo cualquier operación matemática o similar necesaria para tener la información cuantitativa lista para el análisis. Estas podrían, por ejemplo, incluir ingresar observaciones numéricas en un diagrama, tabla, u hoja de cálculo, o calcular la media (promedio), la mediana (valor que ocupa el lugar central), y/o la moda (valor más repetido) de un set de números.
• Transcribir (hacer una versión exacta palabra por palabra de) los contenidos de las grabaciones de audio o vídeo.
• Codificar información, particularmente información cualitativa que no está expresada en números, de una manera que permita ser procesada por un programa específico de software o puede ser sometido a un análisis estadístico.)
• Organizar la información de manera que sea más fácil de trabajar. Cómo lo haga depende del diseño de su investigación y sus preguntas de evaluación. Usted podría agrupar las observaciones con base a la variable dependiente (indicador de éxito) al cual ellos se relacionan, por los individuos o grupos de participantes, por el tiempo, por la actividad, etc. Usted podría también agrupar las observaciones en diferentes maneras, así usted puede estudiar interacciones entre las diferentes variables.

Existen dos tipos de variables en investigación. Una variable independiente. Una variable independiente (la intervención) es una condición implementada por el investigador o comunidad para ver si eso creará un cambio o mejoría. Esto podría ser un programa, método, sistema u otra acción. Una variable dependiente es lo que puede cambiar como resultado de la variable independiente o la intervención. Una variable dependiente podría ser un comportamiento, resultados/beneficios, u otra condición. Un programa para dejar de fumar, por ejemplo, es una variable independiente que puede cambiar el comportamiento de los miembros del grupo hacia el fumado, la variable dependiente primaria

¿Qué queremos decir por analizar información?

Analizar información incluye examinarla de maneras que muestran las relaciones, patrones, tendencias, etc. que puedan ser encontradas. Eso podría significar el someterlo a operaciones estadísticas que puedan mostrarle no solo qué tipos de relaciones parecen existir entre las variables sino a qué nivel usted puede confiar en las repuestas que usted está obteniendo. Eso podría significar comparar su información con la de otros grupos (un control o un grupo de comparación, figuras a nivel estatal, etc.), para ayudar a sacar conclusiones de la información obtenida. El punto, en términos de su evaluación, es el obtener una evaluación/valoración precisa con el objetivo de entender de mejor manera su trabajo y sus efectos en aquellos por los cuales usted está preocupado, o con el propósito de entender de mejor maneras la situación a nivel general.

Existen dos tipos de información con la cual usted está propenso a trabajar, aunque no todas las evaluaciones necesariamente incluirán ambos. Información cuantitativa se refiere a la información que es recolectada como, o puede ser transformada en, números, lo cual puede ser mostrado y analizado matemáticamente. Información cualitativa es recolectada como descripciones, anécdotas, opiniones, citas, interpretaciones, etc. y son generalmente o no capaces de ser reducido a números, o considerados más valiosa o informativa si es dejada como un relato (narrativamente). Como usted podría esperarse, la información cuantitativa y la cualitativa necesitan ser analizadas de diferente forma.

Información cuantitativa.

Como hemos mencionado, la información cuantitativa es recolectada normalmente directamente como números.

• La frecuencia (índice, duración) de los comportamientos o condiciones específicas.
• Puntuaciones de pruebas (ej., puntuaciones/niveles de conocimientos, habilidad, etc.)
• Resultado de encuestas (ej., comportamiento reportado, o consecuencias de las condiciones ambientales; índices de satisfacción, estrés, etc.)
• Números o porcentajes de las personas con ciertas características en una población (diagnosticados con diabetes, sin empleo, hispano-hablantes, menores de 14 años de edad, nivel educativo completado, etc.)

La información puede también ser recolectada en formas diferentes de la numérica, y ser convertido en información cuantitativa para el análisis. Los investigadores pueden contar el número de veces que un evento es documentado en las entrevistas o registros, por ejemplo, o asignarle números a los niveles de intensidad de un evento o comportamiento observado. Por ejemplo, las iniciativas comunitarias a menudo quieren documentar la cantidad e intensidad de los cambios ambientales que ellos promueven – los nuevos programas y las políticas que surgen como resultado de sus esfuerzos. Si esta clase de conversión es necesaria o útil depende de la naturaleza de lo que usted está observando y en los tipos de preguntas que su evaluación necesita responder.

La información cuantitativa es usualmente sometida a procedimientos estadísticos como calcular la media o promedio de veces que un evento o comportamiento ocurre (por día, mes, año). Estas operaciones, debido a que los números son información “sólida” y no se interpreta, pueden dar respuestas definitivas, o cercanas a ser definitivas a diferentes preguntas. Varios tipos de análisis cuantitativo pueden indicar cambios en una variable dependiente relacionada a – frecuencia, duración, momento (cuando el asunto particular pasó), intensidad, nivel, etc. Ellos pueden permitirle comparar esos cambios con otros, los cambios en otra variable o cambios en otra población. Ellos podrían ser capaces de decirle, en un grado particular de fiabilidad, si esos cambios son propensos a ser causados por su intervención o programa, o por otro factor, conocido o desconocido.Y ellos pueden identificar relaciones entre las diferentes variables, lo cual puede o no significar que uno causa el otro.

Información cualitativa.

Diferente de los números o “datos rigurosos”, la información cualitativa parece ser “blanda”, lo que quiere decir que no puede ser siempre reducida a algo definido. Eso es en algunas maneras una debilidad, pero es a su vez una fortaleza. Un número puede decirle cuán bien salió un estudiante en una prueba (examen); la expresión en su cara después de ver su nota, sin embargo puede decir mucho más acerca del efecto del ese resultado en su vida. Esa expresión no puede ser traducida por un número, ni lo puede hacer el conocimiento del maestro acerca de la historia, progreso, y experiencia del estudiante, todo lo cual termina en la interpretación del maestro de esa expresión facial. Y esa interpretación puede ser más valiosa en ayudar a la superación del estudiante que saber la nota o la puntuación numérica de la prueba.

Como explicamos anteriormente, la información cualitativa puede ser muchas veces convertida en números, usualmente al contar el número de veces que situaciones específicas ocurren en el curos de observaciones o entrevistas, o al asignar números o índices a dimensiones (ej., importancia, satisfacción, facilidad del uso).

Los retos de traducir datos cualitativos en cuantitativos tienen que ver con el factor humano. Aún si la mayoría de las personas están de acuerdo con lo que 1 (más bajo) o 5 (más alto) significa con respecto a los índices de “satisfacción” con un programa, los índices 2, 3 y 4 pueden ser muy diferentes para diferentes personas. Además, los números no dicen nada acerca de por qué las personas reportaron de la manera que lo hicieron. Uno pudo no gustarle el programa debido al contenido, el facilitador, la hora del día, etc. De igual manera puede ser cierto cuando usted está contando los momentos que fue mencionado un evento, tal como al comienzo de una nueva política o programa en una comunidad basada en entrevistas o registros de archivo. Donde una persona pueda ver un cambio en el programa que él considera importante otra persona puede omitirlo debido a que es percibido no importante.

Los datos cualitativos pueden algunas veces decirle cosas que los datos cuantitativos no pueden. Eso puede revelar el por qué ciertos métodos están trabajando o no, si parte de que se está haciendo entra en conflicto con la cultura del participantes, lo que los participantes ven como importante, etc. Eso puede también mostrar patrones – en comportamiento, ambiente físico y social, u otros factores – que los números en sus datos cuantitativos no y ocasionalmente aún identifica variables que los investigadores no estuvieron conscientes.

Es a menudo útil recolectar tanto la información cuantitativa y cualitativa

El análisis cuantitativo es considerado a ser objetivo – sin ningún prejuicio humano adherido a él- debido a que depende de la comparación de números de acuerdo a cálculos matemáticos. El análisis de datos cualitativos es generalmente logrado con métodos más subjetivos – que dependen de las opiniones de las personas, su conocimiento, suposiciones, e inferencias (y por lo tanto prejuicios) – que aquella llevada a cabo de los datos cuantitativos. La identificación de patrones, la interpretación de lo que dijo la gente u otra comunicación, el reconocimiento de tendencia – todos estos pueden ser influenciados por la forma en que el investigador ve el mundo. Esté consciente, sin embargo, que el análisis cuantitativo está influenciado por un número de factores subjetivos de igual manera. Lo que el investigador escoge medir, la precisión de las observaciones, y la manera que la investigación está estructurada al preguntar solo ciertas preguntas puede todo influenciar los resultados, así como lo puede hacer el entendimiento y la interpretación del investigador de los posteriores análisis.

¿Por qué se debería recolectar y analizar información para su evaluación?

Parte de la respuesta aquí es que no cada organización – particularmente las pequeñas con bases comunitarias o no gubernamentales – necesitará tener recursos amplios para conducir una evaluación formal. Ellos pueden tener que estar satisfechos con evaluaciones menos formales, las cuales pueden aún ser extremadamente útiles al brindar dirección para un programa o intervención. Una evaluación informal involucrará alguna recolección de datos y análisis. Esta recolección de datos y que tenga sentido es crítico para una iniciativa y su éxito futuro, y tiene un número de ventajas.

• Los datos pueden mostrarse si hubo cualquier cambio significativo/importante en las variables dependientes que se esperando influenciar. La recolección y el análisis de datos ayudan a ver si su intervención produjo los resultados deseados.

El término “importancia” tiene un significado específico cuando usted está discutiendo estadísticas. El nivel de importancia de un resultado estadístico es el nivel de confianza que usted puede tener en la respuesta que usted obtiene. Generalmente, los investigadores no consideran un resultado significativo/ importante solo si muestra por lo menos un 95% de certeza de que es correcto (llamado el nivel .05 de importancia, debido a que existe un 5% de posibilidad de que eso esté equivocado.) El nivel de importancia está construido en fórmulas estadísticas: una vez que se obtiene un resultado matemático, una tabla (o el software que se está usando) le dirá el nivel de importancia.

Así, si el análisis de datos encuentra que la variable independiente (la intervención) influenció la variable dependiente en el 0.5 nivel de importancia, eso significa que existe una probabilidad o posibilidad de un 95% de que su programa o intervención obtuvo el efecto deseado. El nivel .05 de importancia es generalmente considerado un resultado razonable, y el .01 nivel (99% de probabilidad) es considerado a ser lo más cercano a la certeza que ser puede llegar.

Un 95% de nivel de certeza no significa que el programa trabaja en un 95% de los participantes, o que eso va a trabajar un 95% de las veces. Esto significa que existe sólo un 5% de posibilidad que el programa no es realmente lo que está influenciando la(s) variable(s) dependiente(s) y causando los cambios que deberían estar asociados a él.

• Ellos pueden sacar a la luz factores que pueden estar asociados con cambios en las variables dependientes. Los análisis de datos pueden ayudar a descubrir influencias inesperadas; por ejemplo, que el esfuerzo fuera dos veces tan largo para aquellos participantes que también eran parte del grupo de apoyo. Esto puede ser usado para identificar aspectos claves de implementación.
• Ellos pueden mostrar conexiones entre varios factores que pueden tener un efecto en los resultados de su evaluación. Algunos tipos de procedimientos estadísticos buscan conexiones (“correlaciones” es el término de investigación) entre las variables. Ciertas variables dependientes pueden cambiar cuando otros cambian. Estos cambios pueden ser similares – ej., ambas variables aumentan o disminuyen (ej., por forme la habilidad de en la lectura aumenta, la cantidad de lectura hecha por ellos también aumenta.) O lo opuesto puede pasar – ej., las dos variables cambian en direcciones opuestas (conforme la cantidad de ejercicio que hacen aumenta, el peso de las personas disminuye). Correlaciones no significan que una causa la otra, o que ambas tiene la misma causa, pero ellos pueden brindar información valiosa acerca de asociaciones esperables en una evaluación.
• Ellos pueden ayudar a esclarecer las razones por las cuales su trabajo fue efectivo o, tal vez, no tan efectivo como usted esperaba. Al combinar los análisis cuantitativos y los cualitativos, usted puede a menudo determinar no solo que funcionó o que no, pero el por qué. El efecto de factores culturales, cuán bien se están usando los métodos, lo apropiado que es su enfoque para la población – estos así como otros factores que influencian el éxito pueden ser esclarecidos por la recolección cuidadosa de datos y su análisis. Este conocimiento le da una base para adaptar y cambiar lo que usted hace para que sea más factible que usted logre los resultados deseados en el futuro.
• Ellos pueden brindar evidencia creíble para mostrarle a los socios (interesados) que su programa fue exitoso, o que usted había sacado a la luz, y tratado las limitaciones. Los socios, tal como los financiadores y las juntas comunitarias, quieren saber que sus inversiones están siendo invertidas de la mejor manera. Al mostrar evidencia de los resultados intermedios (ej., nuevos programas y políticas) y resultados a largo plazo (ej., las mejorías en educación o los indicadores de salud) se está volviendo más y más importante para recibir – y mantener- la financiación.
• Su uso muestra que usted es serio acerca de la evaluación y acerca de mejorar su trabajo. Ser un buen fideicomisario o administrador de las inversiones comunitarias incluye revisiones regulares de datos relacionados al progreso y a la mejoría.
• Ellos pueden mostrarle al área de estudio lo que se está aprendiendo, y así pavimentar el camino para que otros implementen métodos y enfoques exitosos. De esa manera, usted estará ayudando a mejorar los esfuerzos comunitarios y, ultimadamente, la calidad de vida para las personas que se benefician.

¿Cuándo y por quién debería ser la información recolectada y analizada?

Al hablar de recolección de datos, la parte del “cuándo” de la pregunta es relativamente simple: la recolección de datos debería no después de que se comience a trabajar – o antes de que usted comience con el objetivo de establecer una línea de fondo o punto de comienzo – y continuar a lo largo. Idealmente, usted debería recolectar datos por periodo de tiempo antes de comenzar su programa o intervención con el propósito de determinar si existe alguna tendencia en los datos antes del comienzo de la intervención. Además, con el propósito de evaluar los efectos a largo plazo de su programa, usted debería recolectar datos posteriores (para el seguimiento) por un periodo de tiempo después de la conclusión del programa.

El momento del análisis puede ser visto de por lo menos dos maneras: Una es que es mejor analizar su información cuando usted la ha recolectado en su totalidad. La otra es que si usted la analiza conforme usted la va recolectando, usted es capaz de cambiar de opinión acerca de la información que usted realmente necesita, y de ajustar su programa para que responda a la información de usted está obteniendo. El enfoque que se decida tomar depende de los propósitos de su investigación. Si usted está más interesado en una evaluación sumativa – encontrar si su enfoque fue efectivo, usted podría estar más inclinado hacia la primera opción. Si usted está orientado hacia la implementación – la evaluación formativa – nosotros recomendamos obtener información a lo largo del camino. Ambos enfoques son legítimos, pero la recolección de datos en proceso continuo y su revisión puede particularmente traer mejorías en su trabajo.

El “quién” de la pregunta puede ser más complejo. Si usted está razonablemente familiar con las estadísticas y los procedimientos estadísticos, y usted tiene recursos de tiempo, dinero, y personal, es probable que usted haga un estudio relativamente formal, al usar pruebas estadísticas estandarizada. (Existen muchos tipos de software –tanto para comprar y gratuito o como open-source o “código abierto” – disponible para ayudarlo. Vínculos de algunos de estos recursos están disponibles en esta sección debajo de “Recursos”.)

Si ese no es el caso, usted tiene algunas opciones:

• Usted puede contratar o encontrar a un evaluador externo voluntario, tal como los de una Universidad o institución de estudios superiores cercana, para que se encargue de la recolección de datos y/o el análisis por usted.
• Usted puede llevar a cabo una evaluación menos formal. Sus resultados pueden no ser tan sofisticados como si usted lo hubiera llevado a cabo por medio de procedimientos estadísticos rigurosos, pero ellos pueden aún decirle mucho acerca de su programa. Solo los números – el número de deserciones (y cuándo desertan más), por ejemplo, o las características de la gente a la que usted le sirve – puede darle información importante y utilizable.
• Usted puede tratar de aprender suficiente acerca de estadísticas y software estadísticos para llevar a cabo una evaluación formal usted mismo. (Lleve un curso, por ejemplo.)
• Usted puede recolectar los datos y luego enviársela a alguien –un programa universitario, un amigo o un investigador, o alguien contratado – para procesarlo todo para usted.
• Usted puede recolectar y basarse principalmente en datos cualitativos. Si esto es una opción depende principalmente de lo que se trate el programa. Usted no querrá llevar a cabo una evaluación formal de efectividad de un medicamento nuevo usando solamente datos cualitativos, pero usted podría ser capaz de mostrar algunas conclusiones razonables acerca de patrones de uso o cumplimiento con base en la información cualitativa.
• Si es posible, use un grupo de control al azar o uno lo más similar al otro para compararlos. Si su control está apropiadamente estructurado, usted puede sacar algunas conclusiones bastantes confiables simplemente al comparar sus resultados con aquellos de su grupo de intervención. De nuevo, estos resultados no serán tan confiables como si la comparación fuera hecha usando procedimientos estadísticos, pero ellos pueden indicar si usted está en la dirección correcta. Es suficientemente fácil ver si hay o no una diferencia mayor entre los números de los dos o más grupos. Si el 95% de los estudiantes en su clase pasó la prueba, y sólo un 60 aquellos en un grupo similar pero no instruido pasaron, usted puede estar seguro que su clase hizo la diferencia de alguna manera, aunque usted pueda que no sea capaz de decir exactamente qué fue lo que importó. De la misma manera, si un 72% de sus estudiantes pasaron y un 70% del grupo de control también pasaron, parece ser bastante claro que su instrucción tenía esencialmente ningún efecto, si los grupos comenzaron aproximadamente en el mismo lugar.

Quién debería realmente recolectar y analizar los datos depende de la manera de su evaluación. Si usted está haciendo un evaluación participativa, mucho de la recolección de datos – y analizarlos- será hecha por los miembros de la comunidad o los participantes del programa ellos mismos. Si usted está llevando a cabo una evaluación en la cual la observación es especializada, los recolectores de datos podrían ser miembros del equipo de trabajo, profesionales, voluntarios altamente entrenados, u otros con habilidades o capacitación específica (estudiantes de maestría, por ejemplo). El análisis también puede ser logrado por un proceso participativo. Aún donde procedimientos estadísticos complicados son necesarios, los participantes y/o los miembros de la comunidad podrían ser involucrados al explicar que es lo que esos resultados realmente significan una vez que la matemática está hecha y los resultados están listos. Otra manera en que el análisis puede ser logrado es por medio de los profesionales u otros individuos capacitados, dependiendo de la clase de la naturaleza a ser analizada, los métodos de análisis, y el nivel de sofisticación al cual se intenta tener en las conclusiones.

¿Cómo recolectar y analizar información?

Aún si su evaluación incluye procedimientos formales o informales, usted todavía tiene que recolectar y analizar la información, y existen algunos pasos básicos que usted puede tomar para hacerlo.

Implementar su sistema de medición.

 Hemos discutido acerca de diseñar un sistema observacional para obtener información. Ahora es el momento de poner ese sistema a cabo.

• Claramente defina y describa cuáles mediciones u observaciones son necesarias. La definición y descripción debería ser lo suficientemente clara para permitirle a los observantes estar desacuerdo en qué es lo que ellos están observando y de buena fuente documentar los datos de igual manera.
• Seleccionar y capacitar a los observadores. Particularmente si esto es parte de un proceso participativo, los observadores necesitan capacitación para saber qué documentar; para reconocer los comportamientos clave, eventos, y condiciones; y para alcanzar un nivel aceptable de confiabilidad interna (acuerdo entre los observadores.)
• Llevar a cabo observaciones en momentos apropiados para el periodo apropiado. Esto puede incluir revisar material archivado; llevar a cabo entrevistas, encuestas, o grupos focales; enfocarse en la observación directa, etc.
• Documentar los datos en las maneras acordadas. Esto puede incluir papel y lápiz, computadoras (al usar una computadora portátil u otro aparato de uso manual en el área, ingresar números en el programa, etc.), audio o vídeo, revistas, etc.

 Organizar los datos que usted ha recolectado.

La manera que usted haga esto depende de qué es lo que usted está planeando hacer con eso, y en qué se está interesado.

• Ingresar cualquier dato a la computadora. Esto puede significar simplemente digitalizar los comentarios, descripciones, etc., e incluirlos en un programa de procesamiento de palabras, o al ingresar información variada (posiblemente incluir el audio o vídeo) a una base de datos, hoja de cálculo, un programa GIS, o algún otro tipo de software o archivo.
• Transcribir cualquier audio- o cintas de vídeos. Esto los hace más fáciles para trabajar y copiar, y permite la oportunidad para aclarar cualquier segmento de dicción que sea difícil de entender.
• Darle una puntuación a cualquier prueba y documente las puntuaciones apropiadamente.
• Clasificar su información en maneras apropiadas de su interés. Esto puede incluir clasificar por categoría de observación, por evento, por lugar, por individuo, por grupo, por el tiempo de observación, o por una combinación o algún otro estándar.
• Cuando sea posible, necesario, y apropiado, transforme los datos cualitativos en datos cuantitativos. Esto puede involucrar, por ejemplo, contar el número de veces que asuntos específicos fueron mencionados en las entrevistas, o cuán a menudo ciertos comportamientos fueron observados.

Llevar a cabo gráfica de datos, inspecciones visuales, análisis estadísticos, u otras operaciones en los datos de forma apropiada.

Nos hemos referido varias veces a los procedimientos estadísticos que usted puede aplicar a los datos cuantitativos. Si usted tiene los números correctos, usted puede descubrir mucho acerca de si su programa está causando o contribuyendo a un cambio o mejoría, cuál es ese cambio, si existen conexiones esperadas o inesperadas entre las variables, cómo se compara su grupo con otro que usted esté evaluando, etc.

Existen otras posibilidades excelentes para el análisis además de los procedimientos estadísticos, sin embargo. Algunas de ellas incluyen:

• Conteo simple, inspección visual y gráficos de frecuencia o índices de comportamiento, eventos, etc., a través del tiempo.
• Usar inspección visual de los patrones a lo largo del tiempo para identificar discontinuidades (aumentos, disminuciones marcadas) en las medidas a través del tiempo (sesiones, semanas, meses).
• Calcular la media (promedio), la mediana (valor que ocupa el lugar central), y/o la moda (valor más repetido) de una serie de medidas u observaciones. ¿Cuál fue la presión sanguínea promedio, por ejemplo, de las personas que se ejercitaron por 30 minutos al día por lo menos cinco días a la semana, en contraposición a aquellos que se ejercitaron dos días a la semana o menos?
• Usar entrevistas cualitativas, conversaciones, y observación participativa para observar (y seguirle a pista a los cambios) en las personas o situaciones. Los diarios pueden ser particularmente reveladores en esta área debido a que ellos documentan las experiencias de las personas y sus reflexiones a través de un tiempo.
• Encontrar patrones en los datos cualitativos. Si muchas personas se refirieron a problemas o barreras similares, estos pueden ser importantes en el entendimiento del asunto, al determinar qué funciona o qué no y por qué, o más.
• Comparar los verdaderos resultados con las metas o puntos de referencia previamente determinadas. Una medida de éxito podría ser alcanzar una meta para el planeamiento o programa de implementación, por ejemplo.

Tome nota de cualquier resultado significativo o interesante.

Dependiendo de la naturaleza de su investigación, los resultados podrían ser estadísticamente significativos (el 95% o mejor certeza de la que hemos discutido anteriormente), o simplemente importantes o inusuales. Ellos pueden o no ser socialmente significativos (p.ej., suficientemente grandes para resolver el problema).

Existen un número de tipos diferentes de resultados que usted puede estar buscando.

• Diferencias entre las personas o los grupos. Si usted ha repetido mediciones para individuos/grupos a través del tiempo, podemos ver si existen aumentos/disminuciones marcadas en (la frecuencia, tipo) de comportamiento (eventos, etc.) después de la introducción del programa o intervención. Cuando los efectos son vistos y solo cuando la intervención es introducida – y si la intervención es escalonado (retrasado) a lo largo de la gente o los grupos – esto aumenta nuestra certeza que la intervención, y no algo más, está produciendo los efectos observados.
• Diferencias entre dos o más grupos. Si usted tiene uno o más grupos de control al azar en un estudio formal (grupos que son escogidos al azar con una misma población como el grupo en su programa, pero no están recibiendo el mismo programa o intervención, o no está recibiendo una del todo), luego la significancia estadística de las diferencias entre los grupos debería decir si su programa tiene una alguna influencia mayor en la(s) variable(s) dependiente(s) que la que se está experimentando por los otros grupos.
• Los resultados que muestran cambios significativos estadísticamente hablando. Con o sin un grupo de control o de comparación, muchos procedimientos estadísticos pueden decirle si los cambios en las variables dependientes son verdaderamente significativos (o posiblemente no lo sean debido al cambio). Estos resultados pueden decir muy poco acerca de las causas del cambio (o ellos pueden, dependiendo de cómo usted ha estructurado su evaluación), pero ellos le dicen a usted que es lo que está pasando, y le dan un lugar para comenzar.
• Correlaciones. Correlación significa que existen conexiones entre dos o más variables. Correlaciones pueden algunas veces resaltar a relaciones importantes que usted podría no haber predicho. Algunas veces ellos pueden dar luz al asunto por el mismo, y algunas veces en los efectos de las prácticas culturales de un grupo. En algunos casos, ellos pueden realzar las causas potenciales de un asunto o condición, y así pavimentar el camino para intervenciones futuras.
• Patrones. En ambos, tanto la información cuantitativa y cualitativa, patrones a menudo emergen: ciertas condiciones de salud parecen agruparse en áreas geográficas particulares; las personas de un grupo en particular se comportan de maneras similares; etc. Estos patrones podría no ser específicamente lo que usted está buscando o espera encontrar, pero ellos podrían ser importantes por ellos mismos o sacar a la luz áreas en las que usted esté interesado. En algunos casos, usted podría necesitar someterlos a procedimientos estadísticos (análisis de regresión, por ejemplo) ver si, en realidad, ellos están al azar, o si ellos constituyen patrones reales.
• Descubrimientos importantes evidentes. Si es el resultado de un análisis estadístico, o la evaluación de sus datos y la aplicación de lógica, algunos descubrimientos pueden resaltar. Si el 70% de un grupo de participantes con sobrepeso en un programa de actividad física y nutrición saludable bajan su peso y presión sanguínea significativamente, comparado con solamente el 20% de un grupo similar no en el programa, usted puede probablemente asumir que el programa ha sido efectivo. Si no existe ningún cambio del todo en los resultados en educación después de dos años de su programa educativo, entonces usted puede estar o llevando a cabo un programa no efectivo, o simplemente no está alcanzando a aquellos que tienen más tendencias de tener pobres resultados (lo cual también puede ser interpretado como que está llevando a cabo un programa que no es efectivo.)

No todos los descubrimientos importantes necesariamente le dirán si su programa trabaja o que es el método más efectivo. Podría ser obvio para la recolección de datos, por ejemplo, que, mientras la violencia o las lesiones en la carretera no sea visto como un problema a nivel de ciudad, ellos son mucho más altos en una o más áreas particulares, o que los índices de diabetes están marcadamente mucho más altos para grupos particulares o para aquellos viviendo en áreas con mayores diferencias de ingresos. Si usted tiene los recursos, es sabio ver los resultados de su investigación en un número de maneras diferentes, ambos para encontrar cómo mejorar su programa, y aprender qué más usted podría hacer para afectar el asunto.

Interpretar los resultados.

Una vez que usted ha organizado sus resultados y que los revise a través ya sea de un análisis estadístico u otro que usted ya haya planeado, es el momento para descifrar qué es lo que significa su evaluación. Probablemente la pregunta más común que la investigación evaluativa es dirigida hacia si el programa que está siendo evaluado trabajo o hace una diferencia. En términos de investigación, que a menudo se traduce en “¿Cuáles fueron los efectos de la variable independiente (el programa, intervención, etc.) en la(s) variable(s) independiente(s) (el comportamiento, las condiciones, u otros factores que se intentaba cambiar)?” Existen un número de posibles preguntas a esta pregunta:

• Su programa tuvo exactamente los efectos en las variables dependientes que usted esperado y deseaba que tuviera. Estadísticas u otros análisis mostraron claros efectos positivos en un alto nivel de importancia para las personas en su programa y – si usted usó un diseño de grupo-múltiple – ninguno o muy pocos, con los mismos efectos para un grupo de control similar y/o para un grupo que recibía una intervención diferente con el mismo propósito. Su programa educativo en infancia, por ejemplo, grandemente aumentó los resultados de desarrollo para los niños de la comunidad, y también contribuyó a un aumento en el porcentaje de los niños que mejoraron en la escuela.
• Su programa no tuvo efecto. Su programa no produjo resultados significativos en la variable dependiente, por sí misma o al ser comparada con otros grupos. Esto significaría que no hubo ningún cambio como resultado del programa o la intervención.
• Su programa tuvo un efecto negativo. Por ejemplo, la violencia entre compañeros íntimos aumentó (o por lo menos parece ser) parte del resultado de su intervención. (Es relativamente común para los eventos reportados, tales como la violencia o las lesiones, que se aumente cuando la intervención resulta en una mejoría de vigilancia o facilidad de reporte).
• Su programa tuvo los efectos esperados y otros efectos también.
• Estos efectos podrían ser positives.Su programa de prevención de la violencia juvenil, por ejemplo, podría haber resultado en una reducción grande de la violencia entre los adolescentes, y podría también haber tenido resultados en una mejoría significativa del rendimiento académico por parte de los jóvenes involucrados.
  • Estos efectos podrían ser neutrales. El mismo programa de prevención de la violencia juvenil podría de alguna manera dar como resultado que los jóvenes vean más televisión después de la escuela.
  • Estos efectos podrían ser negativos. (Estos efectos son usualmente llamados consecuencias sin intención.) La violencia juvenil disminuyó significativamente, peor la incidencia de las jóvenes embarazadas o el consumo de alcohol entre los jóvenes podría aumentar significativamente al mismo tiempo.
  • Estos efectos podrían ser múltiples, o mixtos. Por ejemplo, un programa para reducir el VIH/SIDA podría disminuir los rangos de sex sin protección pero también podría aumentar el conflicto y los casos de violencia entre parejas.
  • Su programa no tuvo efecto o tuvo un efecto negativo y otros efectos al mismo tiempo. Como con los programas con efectos positivos, estos pueden ser positivos, neutrales; individuales o múltiples; o consistentes o mixtos.

Si su análisis le da una indicación clara de que lo que usted está haciendo está logrando sus propósitos, la interpretación es relativamente simple: Usted debería seguir haciéndolo, mientras trata otras maneras de hacerlo aún más efectivo, o mientras trata de alcanzar otros asuntos relacionados de igual manera.

Como lo hemos discutido a lo largo y ancho de la Caja de Herramientas Comunitarias, los programas buenos son dinámicos – constantemente buscando formas de mejorar, en vez de asumir que lo están haciendo de la mejor manera que puede ser.

Si su análisis muestra que su programa no es efectivo o es negativo, sin embargo –o, en ese caso, si un análisis positivo lo deja a usted preguntándose cómo hacer que sus esfuerzos exitosos sean aún más exitosos – la interpretación se vuelve aún más compleja. ¿Está usted usando un método absolutamente erróneo? ¿Está usted usando un enfoque que podría ser efectivo, pero está muy mal implementado? ¿Existe un factor particular que está contribuyendo a que usted no esté tomando en cuenta_ ¿ Existen barreras hacia el éxito – culturales, experiencias, características personales, discriminación sistemática – presentes en la población de la cual son los participantes? ¿Existen componentes particulares o elementos que usted puede cambiar para hacer a su programa más efectivo, o debería usted comenzar de nuevo de cero? ¿Hacia qué se debería dirigir para hacer un buen programa aún mejor?

Interpretación cuidadosa y muy perspicaz de sus datos podría permitirle responder a preguntas como éstas. Usted podría ser capaz de usar correlaciones, por ejemplo, para generar hipótesis acerca de sus resultados. Como lo hemos discutido antes, si los cambios positivos o negativos en variables particulares son consistentemente asociados con cambios positivos o negativos en otras variables, las dos pueden ser conectadas. (La palabra “pueden” es importante aquí. Las dos pueden estar conectadas, pero podrían no estarlo, o ambos podrían estar relacionados a una variable tercera de la cual no se está consciente o que se considera trivial.) Tal conexión puede mostrarle la dirección hacia un factor (p.ej., acceso al apoyo) que está causando los cambios en ambas variables, y que debería ser tratada para hacer su programa exitoso. Las correlaciones podrían también indicar patrones en sus datos, o podría dirigirlo hacia una manera no esperada de ver el asunto al que usted se está dirigiendo.

Usted puede a menudo usar datos cualitativos para entender el significado de una intervención, las reacciones de las personas hacia los resultados. La observación que los participantes están constantemente sufriendo de una variedad de problemas de salud podría ser localizado, a través de datos cualitativos, en problemas de nutrición (debido a la pobreza o a la ignorancia) o a restricciones culturales (algunas mujeres musulmanas podría no estar dispuestas – no ser capaces debido a una prohibición familiar - a aceptar la asistencia o tratamiento por parte de doctores varones, por ejemplo).
Una vez que usted organizó sus datos, tanto los resultados y cualquier cosa que pueda ser analizado estadísticamente necesita ser analizado lógicamente. Esto podría no brindar información convincente pero de seguro le dará algunas ideas para desarrollar a futuro, y algunos indicadores de conexiones y posibilidades que usted podría no haber considerado todavía. Eso también le mostrará algunos resultados adicionales - gente reaccionando de forma diferente al programa que antes, por ejemplo. Los números pueden decirle si existe un cambio, pero ellos no pueden siempre decirle qué lo causa o por qué (aunque algunas veces si lo hacen), o por qué algunas personas se benefician mientras otros no. Estos son a menudo asuntos que importan para análisis lógicos, o para el pensamiento crítico.

El análisis y la interpretación de los datos que ha recolectado lo llevan, de alguna manera, de vuelta al comienzo. Usted puede usar la información que ha obtenido para ajustar y mejorar su programa o intervención, evaluarlo de nuevo, y usar esa información para ajustar y mejorarlo aún más, mientras esté vigente. Usted tiene que mantener el proceso para asegurarse que se está haciendo el mejor trabajo que se puede hacer y para promover cambios en individuos, sistemas, y políticas que hagan a una comunidad más saludable y mejor.

Usted tiene que convertirse en un detective cultural para entender su iniciativa, y, de algunas maneras, cada evaluación es un estudio antropológico.

En resumen

El corazón de la investigación evaluativa es obtener información acerca del programa o la intervención que usted está evaluando y analizando para determinar qué le dice acerca de la efectividad de lo que usted está haciendo, así como acerca de cómo puede mantener y mejorar esa efectividad.

La recolección de los datos cuantitativos – información expresada en números – y llevarla a la inspección visual o al análisis estadístico formal puede decirle si su trabajo está teniendo los efectos deseados, y podría de igual manera ser capaz de decirle por qué o por qué no. Puede también resaltar las conexiones (correlaciones) entre las variables, y llamar la atención hacia factores que usted podría no haber considerado.

Recolectar y analizar datos cualitativos – entrevistas, descripciones de factores ambientales, o eventos, y circunstancias –pueden brindar una idea de cómo los participantes experimentan el asunto que usted está tratando, qué barreras y ventajas experimentan ellos, y qué se podría cambiar o agregar para mejorar lo que usted hace.
Una vez que usted haya obtenido el conocimiento que brinda su información, es hora de comenzar el proceso de nuevo. Use lo que usted ha aprendido para continuar a evaluar lo que usted hace al recolectar y analizar los datos, y continuamente mejorar su programa.

¿Qué queremos decir por recolectar información?

­­___Recolectar datos significa poner su diseño de un sistema de evaluación (medición) en operación

___Recolectar datos involucra reunir información a través de observaciones, entrevistas, evaluaciones, encuestas, y/u otras maneras; y organizarlo para que sea más fácil trabajar con ellos.

¿Qué queremos decir por analizar información?

___Analizar los datos involucra examinar la información que se ha recolectado de maneras que revelen las relaciones, patrones, tendencias, etc. que pueden encontrarse en ella.

___Los datos pueden ser cuantitativos (recolectados como números) o cualitativos (recolectados como información narrativa, registros, grabaciones, notas de diarios, etc.)

___Los datos cuantitativos son usualmente analizados al someterlos a uno o más muestras gráficas o a operaciones estadísticas que demuestran la importancia de relaciones entre las variables.

___Los datos son usualmente analizados lógicamente, al buscar patrones y relaciones reveladas entre ellos.

___Los datos cualitativos pueden algunas veces convertirse en datos cuantitativos, por ejemplo, al contar (p.ej., el número de veces que un comportamiento ocurrió en varias circunstancias) o al estimar en una escala numérica tales dimensiones como importancia, satisfacción, o calidad (p.ej., la calidad de vivienda o calidad de vida en los vecindarios).

___Una combinación de datos cuantitativos y cualitativos a menudo produce el mejor panorama general.

¿Por qué se debería recolectar y analizar datos para su evaluación?

___Esto puede mostrar si existió o no realmente algún cambio significativo en las variables dependientes las cuales esperaba influenciar.

___Esto puede mostrarle conexiones entre varios factores que podrían tener un efecto en los resultados de su evaluación.

___Esto puede implicar o mostrar las razones por las cuales su trabajo fue efectivo o ineficaz.

___Esto puede brindarle a usted evidencia creíble para mostrarle a sus financiadores y la comunidad que su programa es exitoso, o lo que usted ha revelado, y está arreglando, los elementos que son barreras hacia el éxito.

___Esto puede mostrar que usted es serio acerca de la evaluación y acerca de mejorar su trabajo.

___Esto puede mostrarle al área de trabajo que usted está haciendo sus trabajos bien, y así pavimentar el camino para que otros usen métodos y enfoques similares como las mejores prácticas.

¿Cuándo y por quién debería ser la información recolectada y analizada?

__ La recolección de datos debería de comenzar no más tarde de cuando se comienza a trabajar y debería de continuar a lo largo del proceso.

__ Si usted quiere ver si cualquier cambio es parte de la tendencia a largo-plazo, usted debería recolectar datos de los participantes un tiempo después antes de que su programa realmente comience.

___Si usted quiere entender los efectos a largo plazo, usted debería recolectar datos de los participantes un tiempo después de que ellos hayan dejado/terminado su programa.

___Los datos deberían ser recolectados y analizados por personas capaces de hacerlo.

___La recolección y análisis de datos puede ser hecho por cualquiera desde los miembros de la comunidad los cuales han sido entrenados hasta por profesionales con experiencia para realizar estudios.

¿Cómo recolectar y analizar información?

___Implementar el sistema observacional que usted ha planeado.

___Organizar los datos que usted ha recolectado.

___Llevar a cabo gráficas de datos, inspección visual , análisis estadístico, u operaciones en los datos como sea apropiado. Conduct data graphing, visual inspection, statistical analysis, or other operations on the data as appropriate.

___Tomar nota de cualquier resultado significativo o interesante.

___Interpretar los resultados.

Example #1: Santa Monica’s Use of Data to Lift All Boats: A Deeper Look

Four years ago, Santa Monica took a data-driven approach to become a true City of Wellbeing where everyone thrives. The city used a Wellbeing Index to produce a data-based guide for steering policy. The city used existing information from city departments and fresh input from surveys. The Wellbeing index sets a framework for priorities and promotes initiatives on health and wellness.

Contributed by Lia Thompson, University of Kansas, Community Tool Box Intern.

 

 

Una presentación en PowerPoint que resume los puntos principales de la sección.

• What is ethnographic information?

• Why might ethnographic information be important to evaluation?

• When might you want to collect ethnographic information?

• Who should collect and interpret ethnographic information?

• How do you gather ethnographic information?

• How do you interpret ethnographic information?

Someone watching a baseball game or cricket match for the first time might be baffled by seeing a batter perform a series of actions before each pitch – touching his helmet, knocking the dirt off his shoes, stepping out of the batters’ box. Any long-time fan, however, knows what’s happening: first, many players have superstitious or calming rituals they perform when batting; second, some of the batter’s motions may be acknowledgements of signals from coaches; and third, there is an intense psychological battle between hitter and pitcher that plays itself out in stalling, distracting motions and other actions meant to make it difficult for the opposition. Without this knowledge, the first-time observer sees only a series of random, seemingly purposeless actions and could be left with the impression that players are afflicted with a strange disease.

Understanding why people do what they do can be tremendously important in trying to understand a culture. When anthropologists want to understand a culture, they often immerse themselves in it, so they can study it from the inside. Margaret Mead popularized this type of research in the 1920s in Samoa, where she lived for nine months as part of an island community. A researcher who is embedded in a culture in this way can gain insight not only into what happens – how people go about their daily lives, what rituals they perform, what their celebrations are like, etc. – but also how members of the culture view what happens. They can begin to piece together the culture’s structure – the beliefs and assumptions that underlie everything people do and the world view that creates and supports them.

Depending on what you’re trying to change, your evaluation may have to look at more than just the behavior of individuals. The whole context of the community may be involved if, for instance, you’re attempting to address social exclusion based on race or gender or to alter a culture of violence. Deep knowledge of a community, or a segment of it, can’t necessarily be gained by administering tests or counting the number of times individuals perform certain actions. Rather, it takes an understanding of the community’s whole world view and what leads to it – whether religion, social or political factors, economics, some combination, or something else entirely. That kind of deep knowledge may best be gained by immersion in the culture of the community you’re serving. This section will explore the use of ethnographic research – the kind of cultural immersion we’ve been describing – as a method for evaluation.

What is ethnographic information?

Ethnographic information is data about a particular culture or group gathered specifically from members of that culture or group, defining and using their own perspective and world view as much as possible. It’s meant to provide an understanding of the culture from the inside – to describe and explain its assumptions, customs, and accepted behavior from the point of view of those who live by them.

These can include community norms, health conditions and knowledge, political realities, religion, economics, and world view.

The terms “culture,” “group,” and “community” are all used in this section to refer to a group that can be seen as having its own set of norms and practices and the formal or informal rules that guide them. By that definition, we may be referring to a culture as large as that of a whole ethnic or religious group (e.g., Latinos, Hindus, Navajos) or as small as that of a single elementary school classroom. It may encompass people of many backgrounds (e.g., English as a Second or Other Language students; low-income families) or people from a single neighborhood or informal settlement. No culture or group or community is completely homogeneous, of course, – not everyone thinks and believes exactly the same things as everyone else – but you can generally find basic cultural elements on which most people agree, and those are what define the culture.

Community norms. These encompass what the community or group considers normal and acceptable in everyday behavior and activity. We can look at community norms through a number of filters:

• Gender roles. These define what men and women are each expected to do, how they’re expected to act, dress, etc., and how they are expected to relate to one another in different circumstances.
• Social structure. Social structure establishes who is accorded higher status in the community, how one gains status, how social groups are made up and what forms they take, and who are the social arbiters – those who make the rules or set the standards. It also defines who is considered lower status, who is socially excluded, and how possible it is to improve one’s status through merit, entrepreneurship, illegal activity, education, etc. It also determines whether and how the community’s world is divided up into social classes or hierarchies, and whether some are perceived to have higher status than others.
• Behavior. What is considered acceptable behavior and language in public? This encompasses, for example, how people greet one another (and how much this depends on status, gender, age, etc.). It also refers to how they respond to real or perceived compliments and insults (and what are considered compliments and insults), ritual or other behavior unique to the population, and behavior accepted or condoned (or encouraged) by the community. Most communities and groups also set standards for behavior that is so unacceptable or harmful to the group, whether public or private, that it is punished in official ways, including exclusion from the group.

In some communities and cultures, behaviors that people in other communities and cultures have come to consider unhealthy or antisocial are seen as acceptable – if sometimes regrettable – or normal. Domestic and other physical violence, alcoholism, racism and racial discrimination, smoking, traffic violations – even slavery – are examples of illegal, unethical, unhealthy, or undesirable behaviors that have been or still are tolerated in some communities.

Understanding the level of tolerance or encouragement for these kinds of behaviors is absolutely necessary for understanding how to change them. An ethnographic investigation can show you how people view your efforts, and what you can do to make it more likely that they’ll respond to your program or initiative.

Health conditions and knowledge. What do the folks you’re concerned with know about health and health conditions in general and in the community, and what healthy (or unhealthy) practices do they engage in? Some areas to examine:

• Knowledge about and practices related to prenatal, infant, and child health.
• The understanding and frequency of the effects of drugs, alcohol, and tobacco, and of addiction in general.
• Awareness of chronic or other health conditions that are common in the community, and of environmental threats or benefits to health.
• Knowledge about nutrition and physical activity, and their relationship to health, as well as practices that reflect that knowledge.
• Engagement in regular health screenings, vaccinations, and other health protection strategies.
• Relationships with a regular primary care provider whom people see regularly.
• The percentage of the population with access to health care.

In the developing world, how many people have access to clean drinking water, sanitation, and basic medications? Do they know how to treat dysentery and other common diseases in order to prevent infant mortality? How far must they go to see a health care provider, and will they consider doing so?

 

Power and Political realities. Who holds positions of power? Who are the opinion leaders and policymakers? How is power exercised – formally or informally, fairly or ruthlessly, for self-interest or the public good? How are civic goals or actions accomplished (or are they at all)? Who is or feels powerless? Whose concerns are most often attended to? Are laws enforced differently for some people than for others? The answers to these and similar questions can help paint a clear picture of the power relationships and political realities of a community or group.

Religion. Faith can be a complex issue, since the extent of its influence, depending upon the population, can range from none to all-encompassing. How large a role does religion play in the daily life of the community? How does religion affect daily life? Asking more specific questions along these lines can help you develop a picture of religion’s role in the community:

• Are most people in the community of one faith, or is it made up of members of a number of different faiths, as well as many with no religious affiliation?
• What roles do religious institutions play – spiritual guide, social center, political adviser, information source, community leader (in the person of the clergy), or some or all of the above?
• If most of the community subscribes to a particular religion, how inclusive and tolerant is it of different beliefs?
• What are the major elements of the belief system (e.g. tolerance, alms-giving)?
• Do people try to convert others?
• Do they understand and believe in the separation of church and state?

Economics. What is the community or group’s economic situation?

• Is there a problem with unemployment or underemployment?
• Is the community dependent on a single industry, occupation, or employer (e.g., manufacturing, farming, a military base)?
• Is there discrimination in hiring or promotion? Against or in favor of whom?
• How does the community view education in relation to economic opportunity, and how good is its education system?
• How strong is its work ethic?
• How easy is it to advance economically?
• Is decent housing affordable and available?
• Are most people able to provide for their families’ basic needs, or is poverty a serious problem? Homelessness? Hunger?

“Basic needs” is a relative term. In a village in a developing country, it may mean one or two meals a day, a simple one-room shelter, access to water and firewood or other cooking fuel, one change of clothing (which may or may not include shoes), and occasional basic health care. In the developed world, it usually means three substantial meals a day; a solid, enclosed, multi-room dwelling that includes a modern kitchen and bathroom; decent clothes for all weather conditions; regular access to health care; and even such amenities as a telephone, a TV set, and – at least in rural areas – a vehicle. The definition of “basic needs” (beyond what it takes simply to survive) depends on what is normal for the rest of the society.

• How large are the disparities in income and wealth? What groups experience greater disparities?

World view. This idea overlaps with several of the categories above and encompasses the way individuals in a community (and, therefore, often the community as a whole) see themselves and their lives. A “world view” is really the set of assumptions about the “rightness” of things that everyone applies to the world around her. Some of the most important elements of world view are:

• Attitudes toward authority. There are three elements here: how authority is defined; which definition, if any, is considered legitimate; and how authority is viewed and treated. The definitions can vary from authority that comes from official position (judges, police, teachers, politicians, bureaucrats) to authority enforced by physical or economic power (warlords, gang leaders, employers and supervisors) to authority conferred by knowledge or respect and position in the social structure (elders, doctors, business leaders, clergy, academics, individuals known for their integrity and intelligence). Who is considered legitimate authority depends on loyalty and solidarity (you give your allegiance to “one of your own”). So the gang leader of the same ethnic background as most people in the neighborhood may wield more authority than the police. It also relates to who has real power (that same gang leader can have you beaten – or worse – if you disobey) and who can best advance the community’s interests. For instance, many Palestinians voted for Hamas in the 2006 election not specifically because they supported the violent overthrow of Israel, but because they believed that Hamas could improve economic conditions for Palestinians in the West Bank and Gaza. The basic view of authority might range from unquestioning respect (authority is always right and must be trusted and obeyed) to profound lack of respect (authority is always self-serving and wrong and must be resisted actively or passively).

Obedience to authority has been of tremendous importance as a topic in history. The obvious example is that of Nazi Germany in the 1930s and ’40s, where much of the population blindly followed an authoritarian government into world war, wholesale murder, and genocide. We have since apparently seen many other examples, where blind obedience to authority – or the resistance to that obedience – has led to violence, overthrow of governments, and yet more genocide. Street and gang violence can be a result of ignoring authority altogether. The questions of how a culture views authority and whom it considers to be legitimate authority are extremely significant, and may have a great deal to do with your evaluation and the success of your initiative.

• Sense of efficacy and control of the environment. Do people see their lives as totally or mostly under their own control, or out of their control entirely? Do they feel their actions make a difference, or that they can effect change in their lives or in the community? If not with them, where do they think control lies? With politicians? With the wealthy? With those who exercise control by force? If the population is made up of many young people (or socially excluded groups), what is their sense of control or lack of control?

Control might be seen to reside in a person or a group of people in “official” authority (the President, the landlord, the school principal, the boss, parents, police); in an institution or set of institutions (government, welfare, the university, the church, the army); in a set of legal, ethical, or religious principles (the Constitution, Islam, the law, the Hippocratic Oath); in the conventions of a group of which the individual is a member (Latinos, the football or soccer team, upper class, the Catholic Church, etc.); or in the decisions and actions of the individual herself. The way an individual sees her ability to control her life depends on a number of factors, including family background and upbringing, education, emotional issues, and life experience. Obviously, perspectives on this issue will differ among individuals even in a highly homogeneous community, but community norms generally reflect the views of most community members.

• Relationships and trust. Do members of the population see most others as generally trustworthy, or is trust reserved only for family or for those within a small inner circle? Are marital (or, among youth, sexual) relationships viewed differently by men and women, and, if so, how? How are marital relationships viewed in general (positive, negative, mutually supportive, exploitative, etc.)? Are children indulged, beaten, expected to work, treasured, seen as burdens? Are there spoken or unspoken rules for economic and social relationships, and relationships among people of different economic and social classes?
• Obligations and rights. Do most members of the community or group feel obligated to consider the general interest as well as their own? Do they see the group as a community, or does their sense of obligation extend only to family and/or close friends? What do they expect from the community or group? What rights do they feel they can exercise, both in the larger society and in the community?​

The issue of rights and obligations can vary tremendously with the nature of the group or community in question, and with the nature of the society that group is part of. In a farming village in a developing country, people may grow up with a sense of obligation to others because everyone in the village is dependent on everyone else. If one family’s crops fail, the village may feel obligated to feed them, knowing that the next year, it could be one of the helping families that is without food. The same might be true, at least to a certain extent, in small towns in the more industrialized world.

In large cities, neighborhoods may be like villages and small towns, if many residents have grown up there or lived there for many years, or they may be impersonal places where people seldom know their neighbors and feel very little sense of obligation to them. More often, if people feel an obligation at all, it’s to their particular group, however it’s defined, and/or to the society as a whole. Obligation becomes more an expression of principle, whether religious or ethical/philosophical, than a personal connection to a group of others with whom one lives.

The same may be true for rights. In the Global North, we take for granted a certain set of political rights under the law – rights to property, to political choice (voting), to fair and equal treatment under the law, etc. When those rights don’t exist or are often violated, people may define their rights more locally, in terms of the obligations owed to them by those in their group or community (I helped your family get through a bad time last year, and I have a right to your help this year.)

• Tolerance and inclusiveness. Is the community or group inclusive – does it welcome those from other communities and cultures and generally accept their differences? Does it discriminate against or distrust “outsiders”? Are there laws or customs that guarantee everyone’s rights, and are they honored or enforced? Are behaviors that are different tolerated? Who is socially excluded, and what basis (e.g. racial or ethnic group, social class).
• Sense of identification. How do members of the population identify themselves, and with whom do they identify and claim solidarity? Family? Ethnic group? Peer group (teens, musicians, political party, close friends, sports team)? Community (neighborhood, municipality, state, region)? As individuals, or simply as part of the human race?

You may not need to know about all these aspects of the community unless the issue you’re dealing with is so rooted in the culture (racism or gang violence, for example) that you really can’t understand the context of your evaluation without understanding the culture as a whole. It’s more likely that you’re concerned with a specific situation, and you’ll need to focus on gathering ethnographic information as it relates to that situation. (How do young people who leave school view education, for instance? What can you learn from an ethnographic investigation that can make it more attractive to them?)

The major points about ethnographic information are these:

• Ethnographic information is obtained directly from those who live in the community of interest. In the case of gathering information for an evaluation, that means participants in a program or initiative, or the specific group in which they’re members (Black men over 40, Hispanic teens, single mothers, non-English speakers, unemployed workers, etc.) It’s not exactly the same as simple qualitative information, although some researchers see it that way, but rather a specific and more focused instance of qualitative information gathering. (See Chapter 3, Section 15, Qualitative Methods to Assess Community Issues, for more about qualitative data.)
• The gathering of ethnographic information takes place in a natural, rather than an artificial setting. That means it happens in the environment where people in the group normally spend their time. If you’re running a program, you want to understand participants’ normal lives, not just the ways they behave and function in the program.
• Ethnographic information is meant to help you understand a culture from the point of view of its members.
• Ethnographic information is simply descriptive, not judgmental. Valuing may come later, but the point of the research is simply to understand how the individuals you’re concerned with see the world, and how they understand and view what they do. That can give you the entry you need to devise or revise programs in order to effect change and improvement.

Why might ethnographic information be important to evaluation?

In many circumstances, ethnographic information explains why approaches work or don’t work in ways that quantitative information can’t.

The U.S. Census Bureau used ethnographic studies to understand what populations were undercounted and why. The bureau had long acknowledged the difficulty of counting people who were homeless but knew that many others went uncounted as well. By using interviews, observation, surveys, and other methods, investigators found that undercounting resulted from several factors:

• Record-keeping errors (uncounted residences listed as unoccupied or nonexistent, which in fact did exist and were occupied)
• Different definitions of residence (some older or young family members might have their care shared by several siblings or cousins and might live with different people at different times so that their permanent residence was difficult to determine)
• Attempts to avoid losing benefits (men living with women receiving public assistance would simply not be reported)
• General distrust of government, especially among those who were in the country illegally
• Difficulties with reading or understanding the census form
• Difficulties with English (no accommodations for other languages)

As a result, the U.S. Census Bureau decentralized some of the data collection function, put more collectors on the streets, simplified and translated the form, and made other adjustments trying to include as many as possible of those previously uncounted. None of this information would have been found and none of the adjustments to address the issues it demonstrated would have been made without an ethnographic approach in the areas where undercounting was most common.

Ethnographic information gives real insight into the ways participants or beneficiaries of programs and initiatives experience them, as opposed to what staff members and others predict or think about how they’re experiencing them. Successful programs learn how their participants are actually experiencing the program (e.g. delays, how people are treated, time and effort to participate). An ethnographic study can help you understand if and why there’s a gap between how you view your program or initiative and how participants actually see it.

Ethnographic information helps clarify what needs to be addressed in order for participants to respond to your approach. If there are differences in the ways you and the participants see your work, an understanding of their point of view can help you make adjustments that will either make clearer to them what the intent of the program is, or adjust the program so it starts closer to what they perceive and moves toward your shared goals.

Ethnographic information can clarify the issue and its effect on, and importance to, the population of interest. Seeing the issue you’re concerned with from the perspective of current and potential participants – its seriousness, its effect on their lives, its causes, its possible alternatives – can guide the way you frame your program for greatest effectiveness.

Ethnographic information can help you gain a clearer and more complex understanding of the culture you’re working with, so you can make better plans and adjustments in the future. A true picture of the culture of the community or group can inform all your work, and allow you to participate in that culture, to be a better advocate, and to plan and run more effective initiatives in the future.

When might you want to collect ethnographic information?

Ethnographic information is useful, but an ethnographic study, even a very specific one, takes some effort. Especially if you’re part of a small community-based or non-governmental organization, you may not want to spend staff or volunteer time on gathering information that isn’t really necessary. When might ethnographic information in fact be necessary?

• When you’re engaged with a population or cultural group that you’re not familiar with or part of. Ethnographic information can prevent you from unintentionally causing harm, or from ignoring “obvious” factors that everyone in the population takes for granted and that might be key to the success or failure of your program.
• When you’re working with a clearly-defined group that has had a chance to develop its own culture. This might be a class, a church, a gang, a club, a team … any group that has been together long enough to have created norms for itself that might be even slightly different from those of the larger society. The more mainstream the group, the easier it is to miss these norms and to misunderstand how to approach them.
• When an understanding of the context and culture of the community is fundamental to what you’re doing. If you’re addressing an issue, such as racism or violence, it’s essential to understand the real attitudes of the people you’re working with – not only what they think, but why they think it, how they react to various aspects of the issues, what the history is for them, etc. If you don’t understand that at least part of the attraction of a gang is that it functions as a family for kids who often have no real connection or belonging to their actual family, you’re not likely to be able to make any headway in working with gang members.
• When you’re addressing, as is often the case in an evaluation, a focused, clearly-defined situation that involves a specific population group. Understanding exactly how that population sees that situation (e.g., a job training program, or an initiative to increase physical activity among children) will make it easier to understand what is and is not working and why.

Who should collect ethnographic information?

This depends on such factors as how much time you have, whether you already have a foothold in the community (or are part of it), the size of the group you’re concerned with, your financial resources, etc. In some circumstances, anyone trained to do so can become a participant or non-participant observer; in others, you might do best to get the cooperation of one or more key individuals in the community. When outsiders are universally mistrusted, the information might best be gathered by actual members of the community who are trained in interviewing and other data collection techniques.

How do you gather ethnographic information?

Now that you’ve decided to gather and use ethnographic information in your planning and evaluation, how do you go about getting it? The first step is to decide what kinds of information you need. Then you’ll have to determine how to get it, gain the trust of the group you want to learn about, plan your field study, and carry it out.

1. Decide what kinds of information you need. As we’ve discussed, you might want to understand the whole context and content of the group’s culture, or you may only be concerned with a very specific topic. If you’re dealing with a distinct cultural group – one defined by ethnicity or religion, for instance, whose culture has developed over centuries – gaining an understanding of the whole culture may take years. If, on the other hand, the group is part of the general culture – a middle school classroom, a workplace – but has developed a culture of its own within that confined physical and psychological space, a useful ethnographic study may only take days or weeks. In most cases, when you’re gathering ethnographic data for an evaluation, you’ll be looking at culture in relation to a very specific topic.

To conduct ethnographic research on a specific topic, you have to make sure you’ve defined that topic well enough so that you can zero in on it in your observations and conversations. What exactly is it that you need to understand about your population that will inform your evaluation? One question often asked is “How do participants (or members of the population that participants are drawn from) view the program or initiative?” Other related questions might be asked as well: Is the program and its activities culturally appropriate and respectful? Are participants’ goals similar to those of the organization, or are they very different? Are there cultural advantages or barriers that make it more or less likely that the program will succeed or that individuals will be able to participate? What would enhance those advantages or remove those barriers? Are cultural differences between participants and staff or volunteers – or cultural ignorance on one or both sides – getting in the way of program effectiveness?

Suppose, for example, you want to find out how an ESOL (English as a Second or Other Language) program was viewed by students. In this case, you’d be dealing not with a coherent ethnic or religious culture, but with the culture of the classroom, unless all the students came from the same background.

Some questions you might ask:

• How do the ESOL students view education (as something for the upper classes, as necessary for them and their children, as an imposition, as time away from earning a living, as a ticket to a better life, as part of becoming part of the country)?
• How do they view teachers (great respect, fear, intimidation, scorn, confusion)?
• How do they approach their learning (enthusiastically, with a strong work ethic, with no knowledge or experience of how to do it, collaboratively, with fear and trepidation, hopefully)?
• What are the cultural barriers to learning? The cultural advantages? (In many families, for example, family support may be an extremely important factor.)
• What arguments for learning and techniques of teaching do students respond to?
• What do they discuss among themselves?
• Are there intercultural dynamics in the classroom, rooted in people’s cultures, that enhance or detract from the learning environment (gender discrimination or racial or ethnic prejudice, for instance)?

Answers to these and other questions might lead to such adjustments as restructuring classes by language group or ethnicity, changing the vocabulary and topics discussed in the course of lessons, changing the atmosphere in the classroom to be more or less teacher-centered, assigning more or less independent work and more or less group work, changing the teacher-student ratio, etc.

Knowing what kinds of questions you want to answer will help you plan whom you need to gather information from, how long it might take, and – perhaps most important – how you should go about it. (We’ll look at that in more detail when we discuss planning a field study.)

2. Determine what you have the resources to do. If you’re part of a small non-governmental organization (NGO) serving Haitian immigrants, it’s unlikely that you’ll have the money or the time to spend two years in Haiti. You may have the resources to spend a good bit of time in your participants’ neighborhoods, however, learning about their assumptions and their lives. That will probably be far more useful ethnographic information for your evaluation than a years-long study of Haitian culture, anyway.

3. Gain the trust of the group you’re engaged with. If you’re an anthropologist looking for a site to conduct a field study, you’ll have to find an appropriate situation, perhaps get permission to travel there (if you’re venturing onto tribal lands, for instance), find the people you’re looking for, and convince them not only to let you stay but to answer your questions, show and explain to you their ways and customs, and help you understand their lives.

In the case of an evaluation, you won’t have to choose your field study site – it’s the program you’re evaluating and/or the community from which your participants come. But no matter whether you’re an outside evaluator or you’re gathering ethnographic information from your program’s participants’ community (Hispanics, laid-off workers, Haitian immigrants, migrant laborers), you’ll have to establish enough trust so that people will tell and show you what you want to know.

This is easier if you have a presence in the community of concern – if your program has been running for a while and has the community’s support and respect, for instance. You may already know and have the trust and support of many in the community who can vouch for you and what you’re doing.

Often the best strategy is to enter the community under the auspices of someone community members trust – a clergy person, a community leader or tribal leader, a respected long-time community member or elder, a coach, etc. This is often how a new program is introduced to a community.

An ESOL program in a community with a large Portuguese population received a boost when the outreach worker helping to establish it made contact with the president of the local soccer club. The club’s headquarters and teams were central to the social life of the Portuguese community, and when the club president began promoting the program, the community immediately accepted and flocked to it.

If you can’t do that, then you’ll have to gain entry on your own. Find out where you can meet community members – sports events, festivals, bars and cafes, parks, shopping places, etc. Choose a place that’s comfortable for you to start with, since you’re far more likely to make others comfortable with you if you feel comfortable yourself. (If you don’t normally spend time in bars, you may not want to start with bars, for example, unless that’s the only place to meet the population you’re interested in. If you’re a sports fan or athlete, the local soccer field or recreational center may be the best place for you to start.) Also make sure it’s a place that feels safe and comfortable to people you’re likely to approach, so they don’t feel threatened or rudely intruded upon. Once you start meeting people, they’ll introduce you to others.

4. Plan your field study. The core of ethnographic research is the field study. This is essentially your observational system (see Section 3 of this chapter). It involves going into the normal environment of the population of interest and observing and interviewing members there, rather than in an artificial environment such as an office or laboratory, or under artificial conditions such as a test or an experiment. This could involve anything from spending time in the ESOL classroom we’ve talked about to living for years in a West African village to working for a year or two in an auto assembly plant. Most ethnographic information for evaluations is likely to be the kind that focuses on a specific topic and that can be collected over the course of the evaluation – usually a year or less.

By this point, you’ve already done some of the work planning your field study. The basic steps are:

• Decide on your questions. You may have already set these out when you determined what information you needed. They’ll probably be related to, but not the same as, your evaluation questions. They’re meant to inform your evaluation questions by providing such information as how participants perceive the program and their (and your) role in it. Questions might be focused on a specific topic (See “How do ESOL students perceive their classes?” above), or might be more general and relate to the larger elements of the culture. They should make sense in terms of the group you’re concerned with (i.e., they should be able to be answered by observation and/or interviews and other methods of data collection) and in terms of the evaluation (they should give you information that helps you look at what you’re doing and adjust it for the better).
• Determine what method(s) you’ll use to gather information. There are a number of ways to gain insight into the culture of a community or group:
  • Individual or group interviews can range from casual conversation to relatively formal, recorded semi-structured or structured interviews.
  • Participant or non-participant direct observation.
  • Casual interaction
  • Participation in community events, celebrations, work, etc.
  • Surveys. If you use them, they should be open-ended (e.g., Tell me about…), rather than agree/disagree.
  • Third-party informants (others with knowledge).
  • Documents – texts, AV, budgets, posters, brochures, manuals, art, etc. – by, about, important to (religious texts, for example), and directed at (instructions, policies) the group.
  • Demographic data and public records – census, court records, public health data, etc.
  • For more detail on several of these data collection methods, see Chapter 3, Section 15, Qualitative Methods to Assess Community Issues.
• Decide whom you’ll need to contact for information, and how. These may be specific people, chosen for their position in the community, appropriateness for the research at hand, or particular characteristics; or they may simply be members of the general population – whoever you happen to be able to make contact with. Will you contact targeted individuals directly, by mail, e-mail, personal approach, or phone? Will you contact people at random – striking up conversations at community events, approaching people in public places, knocking on doors? Or, will you work through intermediaries – community leaders, clergy, translators, etc.?

Ethical considerations: Ethically, your first obligation is to those whom you’re studying. The essentials include informing people about the existence and purpose of your research and obtaining their permission to be included; giving them the choice of anonymity and honoring their decision; giving them access to the final report if they wish; and being careful not to exploit or harm them.

While ethnographic research is by its nature subjective, you also have ethical obligations to be as truthful as possible about what you see, hear, and experience, and to paint as clear a picture as you can of the culture in question. Your interpretation of your data will undoubtedly be colored by your assumptions, experience, and background (and by the norms of your own culture), but your description of the group and its individual members should be impeccably accurate with biases filtered out. (See Chapter 19, Section 5, Ethical Issues in Community Interventions, for a more detailed discussion of research ethics.)

5. Carry out your fieldwork and keeping fieldnotes. An ethnographic study requires fieldwork – going to where the population you want to find out about is and observing and interacting with them in their own environment. That might be as simple as walking down the street to a particular corner or as complex as flying into a remote Arctic village on a seaplane. Whatever the character of your study, the elements of it will be the same.

Fieldwork is really carrying out the details of your plan – establishing trust, contacting people, and gathering information using the methods you worked out beforehand. You might find yourself changing some of your strategies and adjusting to the conditions and the people as you learn more about them. Your understanding of the culture will evolve as you get deeper into it and observe, listen, and participate more. This evolution should be reflected in your fieldnotes, both as they describe what you’ve seen, heard and taken part in, and as they describe your own reactions to your experience.

Fieldnotes are notes taken about your conversations, observations, and other data collection. They should be taken during or as soon as possible after each visit, conversation, experience, etc., before memory fades or changes. Where possible, audio and/or video recording is helpful to get an accurate rendering of what was said and done.

Elizabeth Chiseri-Strater and Bonnie Stone Sunstein (FieldWorking: Reading and Writing Research, 1997. P. 73. Blair Press: Upper Saddle River, NJ.) propose a list of elements that should be included in all fieldnotes:

• Date, time, and place of observation.
• Specific facts, numbers, details of what happens at the site.
• Sensory impressions: sights, sounds, textures, smells, tastes.
• Personal responses to the fact of recording fieldnotes.
• Specific words, phrases, summaries of conversations, and insider language.
• Questions about people or behaviors at the site for future investigation.
• Page numbers to help keep observations in order.

Fieldnotes come in four categories, which should be separated to reflect different forms and functions (from How to Do Ethnographic Research: A Simplified Guide, by Barbara Hall (U. of Pennsylvania):

• Jottings are the brief words or phrases written down while at the fieldsite or in a situation about which more complete notes will be written later. Usually recorded in a small notebook, jottings are intended to help you remember things you want to include when you write the full-fledged notes. They’re the kind of notes that newspaper reporters take when they’re talking to sources about a story. Although not all research situations are appropriate for writing jottings all the time, they do help a great deal when sitting down to write afterwards.
• Description of everything you can remember regarding the occasion you are writing about - a meal, a ritual, a meeting, a sequence of events, etc. While it is useful to focus primarily on things you did or observed that relate to the guiding question, some amount of general information is also helpful. This information might help in writing an overall description of the site later, but it may also help to link related factors to one another or to point out useful research directions later.
• Analysis of what you learned in the setting regarding your guiding question and other related points. This is how you will make links between details and the larger things you are learning about how culture works in this context. What themes can you begin to identify regarding your guiding question? What questions do you have to help focus your observation on subsequent visits? Can you begin to draw preliminary connections or potential conclusions based on what you learned?
• Personal reflection on what you learned. What was it like for you to be doing this research in this context? What felt comfortable for you about being in this situation and what felt uncomfortable? In what ways did you connect with informants, and in what ways didn't you? While this is extremely important information, be especially careful to separate it from analysis.

In evaluation, this information can help you identify your biases, and may make it clearer why your program is less effective than you’d like, or how it’s challenging or in conflict with some of the participants’ important beliefs or assumptions. (Challenging beliefs and assumptions isn’t necessarily wrong, but denying them – even if you find them unacceptable or clearly misguided in some way – is usually counterproductive. Challenging is asking people to reassess their actions or assumptions; denying is telling them they’re wrong or stupid.) If you’re ignoring your participants’ culture, or presenting things in ways that they’re likely, for cultural reasons, to understand differently, you may not be reaching them, and may, in fact, be driving them away.

These notes are the basis for the study, so their timeliness, completeness, and accuracy are extremely important.

How do you interpret ethnographic information?

The ethnographic information you’ve gathered won’t do you any good unless you use it to understand the dynamics of your program and the results of your evaluation. You can begin by organizing your fieldnotes and whatever other information you’ve collected.

Organize the final version of your completed notes. Categorize them by patterns, by demographics (gender, age, education level, socio-economic status, etc.), by topic or theme– whatever makes sense in relation to what you were trying to find out. Sometimes, this may mean categorizing them in more than one way. Often, just the act of putting your notes together in particular ways can reveal patterns or highlight issues you weren’t previously aware of.

Starting from the point of view of your original interest, write up a description of the culture as you understand it to be seen by its members. Depending on your purposes, this might range from a complete description of the culture to a very narrow description of how members of that culture – a village, an office, an agency, a consumer sector, a country – perceive a particular aspect of your program.

This type of description can encompass great complexity if you’ve gotten a true picture of the culture you’ve been studying. Many elements may fit together in patterns you didn’t expect, and these may stand out as you put all your information together or organize it in certain ways. The goal here is to understand how the elements of the culture blend and influence one another, and how those elements and the culture as a whole affect participants’ performance, responses, behavior, communication, etc., in your program or initiative. That understanding can lead to adjustments that will make the program more successful with the group intended to benefit.

Let’s look at that ESOL program again. If most of the class members are from a culture where women defer to men as a matter of course, it may be difficult to persuade women in a coed class to participate actively. This is a particular problem in such a class, because the teaching method is based in part on encouraging as much speaking in English as possible from the beginning. If women are reluctant to speak out – even if their grasp of the new language is improving – their progress will be slower.

Understanding the underlying reasons for women’s silence in class allows the instructor to respond to the real situation, rather than simply assuming that the women don’t get it, or that calling on them will solve the problem. One solution is to break the class up into single-gender groups for part of each lesson. (This could be explained either forthrightly – to give the women a chance to speak more – or as a way to let men and women discuss what interests each.) Another is to explain that in this country, at least in public, customs are different, and that women need to learn to speak out so that they’ll be able to hold their own in shopping, jobs, and other daily tasks. Whatever the method, knowing the reasons for the women’s silence makes devising a solution possible.

Reexamine the analyses from your field notes. What did you find out about the culture’s perceptions, norms, and customs as they interacted with the focus of your questions? Seeing the study whole, do you still agree with most of your initial analyses? Set aside those ideas you think are probably incorrect or misinformed, and reformulate analyses to replace them that reflect your subsequent learning, if you haven’t already.

Try to understand the answer to your original question from the point of view of those you’re concerned with.

• Do local people see the question in the same way you do?
• Are there factors you didn’t know about that affect their perspective on the answer to the question?
• Are there factors that they perceive or act on in a different way than you expected?
• How important to the group is what’s important to you?
• Do you and they have the same expectations for outcomes? If so, do they have the same expectations about how to get to those outcomes? If not, are your and their expectations in opposition or totally different? Are they starting with the same view of reality that you have?
• Do some of their perceptions, cultural norms, or culturally-rooted behaviors present barriers to the success of your program that you’re either already working to counter or could work to counter?
• Do some of their perceptions, norms, or culturally-rooted behaviors support the success of your program in ways that you do already or could take advantage of?
• Does the program have unintended or unexpected consequences – positive or negative – as a result of cultural factors?

Some possible examples from our ESOL class: Are the younger members of the class intentionally holding back in answering questions or even in demonstrating their developing English skills so as not to show up or embarrass older class members whom they have been taught to defer to out of respect? Are class members specifically slowing down the rate of learning/instruction to that of the slowest learners so as not to embarrass anyone? Are there conflicts caused by cultural differences along these lines?

Translate what you’ve learned about participants into supporting information or answers to your evaluation questions. Some of the questions you might want to pose for yourself include:

• How do the culture, attitudes, and norms of the population you’re engaged with affect the effectiveness of the program for them?
• Are your methods appropriate for the culture you’re working with?
• Are you creating rather than eliminating barriers with some of your activities or methods, or, indeed, with your program as a whole?
• How can you make things easier and more rewarding for participants?
• What are you doing that is most effective? Can you understand from your ethnographic data why it is effective?

Continue to gather ethnographic information to guide your work. Just as evaluation continues as long as your program or initiative lasts, your ethnographic investigation should continue as well, so that you can use the information to continue to improve your program and adapt it to the culture of the community.

In Summary

Ethnography – the attempt to understand a culture from the perspective of its members – can be extremely helpful in conducting a valid evaluation of a program or initiative. Ethnographic information can tell you why participants behave or respond in certain ways, what parts of your program conflict with or are reinforced by participants’ cultural norms, and why particular program elements are more or less effective. This knowledge can help you adjust what you’re doing to be more effective and more valuable for participants.

The culture you’re engaged with might be as small and self-contained as that of a classroom or as large as a major world religion or ethnicity. Whatever the case, an ethnographic study involves approaching the culture from the inside by embedding yourself in it to the extent possible. That may mean spending many days in that classroom, observing and talking to the teacher and students, or spending years in another country, absorbing the language, customs, and behavior that define it as a distinct culture. You’ll have to decide whether an ethnographic study is necessary for your evaluation, and, if so, what resources you can devote to it.

Planning and conducting an ethnographic study requires deciding on the information you need and the resources you have to devote to it; gaining access to the group you’re interested in; choosing your specific research questions, the methods you’ll use to collect information, and whom you’ll collect it from; and then carrying out your plan, taking careful notes and/or audio or video recordings of your observations and conversations throughout. Organizing and analyzing your notes and other information can then give you a picture of the group’s culture that can help you better understand your evaluation results and improve your program. Continuing to gather ethnographic data will result in a continuing growth of your understanding and knowledge, and, ultimately, can mean a more successful program.

We encourage the reproduction of this material, but ask that you credit the Community Tool Box: /.

What is ethnographic information?

__ Ethnographic information is information about a particular culture or group gathered specifically from members of that culture or group, defining and using their own perspective and world view.

__ Elements of ethnographic information include:

• Community norms
• Health conditions and knowledge
• Power and political realities
• Religion
• Economics
• World view

__ Ethnographic information is obtained directly from those who live it.

__ The gathering of ethnographic information takes place in the environment where members of the culture normally spend their time (natural setting).

__ Ethnographic information is meant to help you understand a culture from the point of view of its members.

­­__ Ethnographic information is simply descriptive, not judgmental.

Why might ethnographic information be important to evaluation?

__ In many circumstances, ethnographic information explains why approaches work or don’t work in ways that quantitative information can’t.

__ Ethnographic information gives real insight into the ways participants or beneficiaries of programs and initiatives experience them.

__ Ethnographic information helps to clarify what needs to be addressed in order for participants to respond to your approach.

__ Ethnographic information can clarify the issue and its effect on and importance to the population of interest.

__ Ethnographic information can help you gain a clearer and more complex understanding of the culture you’re working with, so you can make better plans and adjustments in the future.

When might you want to collect ethnographic information?

__ When you’re engaged with a population or cultural group that you’re not familiar with or part of.

__ When you’re working with a clearly-defined group that has had a chance to develop its own culture.

__ When an understanding of the context and culture of the community is fundamental to what you’re doing.

__ When you’re addressing, as is often the case in an evaluation, a focused, clearly-defined situation that involves a specific population group.

Who should collect and interpret ethnographic information?

__ That depends on such factors as how much time you have, whether you already have a foothold in the community (or are part of it), the size of the group you’re concerned with, your financial resources, etc.

How do you gather ethnographic information?

__ Decide what kinds of information you need.

__ Determine what you have the resources to do.

__ Gain the trust of the group you’re concerned with

__ Plan your field study

• Decide on your questions.
• Decide on your methods of data collection.
• Decide whom you’ll need to contact and how.
• Work out ethical issues.

__ Carry out your field study, taking careful field notes, including jottings, descriptions, analyses, and personal reflections on what you learned.

How do you interpret ethnographic information?

__ Organize your data.

__ Write as complete a description as possible of the culture or the element(s) of the culture you’re concerned with from the perspective of its members.

__ Reexamine the analyses from your field notes.

__ Try to understand the answer to your original question from the point of view of those you’re concerned with.

__ Translate what you’ve learned about participants into answers to, or supporting information for answers to, your evaluation questions.

__ Continue to gather ethnographic information to guide your work.

You’re evaluating your teen pregnancy prevention program, and you’d like to know whether it will result in a reduction in pregnancy rates among young girls in the community. There are statistics on pregnancy rates for the state and county collected by the Public Health Service, but none at the community level, and none that separate the rates for girls under 16, the population you’re most concerned with.  You could do a community survey to try to find out the local rate, but there are two problems with that idea. The first is that you have neither the time nor the resources to conduct the survey, and the second is that you’re unlikely to get an accurate picture– there may be embarrassment in asking the questions or other reasons.

There might be another way of getting the information, however. A number of other agencies in the community work with youth, and one of them, or a combination, might have the figures you’re looking for. Rather than generating or collecting it yourself, you can save a great deal of time and trouble by using data that already exist.

We have previously discussed ways to find existing information to help you conduct a community assessment of assets and needs, but now our goal is somewhat different, because we’re seeking data that you can use to evaluate your work.This means that it needs to be in a form that can be analyzed, and may have to refer to a very specific population, issue, and/or method. As a result, it may be harder to find, and may have to be converted in some way once you do find it.  In many situations, however, using existing information still can be much easier than collecting the data yourself. In this section, we’ll try to help you make the use of archival data as easy as possible.

What are archival data?

Archival data refer to information that already exists in someone else’s files. Originally generated for reporting or research purposes, it’s often kept because of legal requirements, for reference, or as an internal record. In general, because it’s the result of completed activities, it’s not subject to change and is therefore sometimes known as fixed data.

Some researchers make a distinction between archival and secondary data. They see archival data as information specifically collected for bureaucratic procedures and the like – applications, reports, etc. – that can then be made usable for other purposes.  Secondary data refer to research information, collected as a result of studies and similar efforts, that can then be used by others either as comparison data or as part of new research.  For the purposes of this section, we’ll include both of these types of data in our discussion, and not distinguish between them.

Sources of archival data

Archival data can exist almost anywhere that information is collected.

Some of the most common sources (we’ll look at these and others later in more detail) are:

• Public records from governmental agencies
• Research organizations
• Health and human service organizations
• Schools and education departments
• Academic and similar institutions
• Business and industry

Archives are often stored as paper files or on electronic storage – computer disks, CDs, DVDs, etc. – and may include photographs and audio and video recordings as well. It may also take the form of encoded information expressed in numbers, or in computer language. Computer files, of course, may include various media and text, all in the same place.

Many organizations have archives so large that they store most of the material off-site, either with a data storage firm, or in their own or a rented facility. Some archives are made available on a website maintained by the government or other organization.

Types of archival data you might look for

As explained above, much of the data you’re likely to use for evaluation purposes will probably be more focused than data you’d use for an assessment of the level of a problem. Evaluation information would be more likely than assessment data to come in the form of study results, for example, than as narrative history or original documents. There’s a good deal of overlap: census data, for instance, could be used in both assessment and evaluation. In general, however, the possibilities below would refer to the types of data available, including information for a specific population or geographic area on:

• Knowledge and awareness of issues
• Demographics of the population (e.g., age, education, income)
• Behavior
• Health and development outcomes
• Environmental conditions or risk/protection factors affecting the population

Why collect and use archival data?

There are sometimes good reasons for using original data, including that the information you need just isn’t available elsewhere. Additionally, if a researcher collects original data, he or she has more control what data are collected.

On the other hand, if the information you need, or something very close to it, already exists, there are several good reasons to find and use it.

• It’s easier and less time-consuming than collecting all the data yourself. This is probably the most obvious and most common reason for taking advantage of archival data. Especially if you’re looking for a large amount of information or information about a large group of people, you may be able to save yourself an enormous amount of time and trouble by using archival data.
• Archival data may have already been processed by people with more statistical expertise. Unless you’re a statistician or a health or human service researcher with an advanced degree (and often not even then), the chances are that you don’t have a flawless grasp of data analysis. You can hire someone or find a volunteer to help you, but if the hard work has already been done, it will make your work that much easier.
• Even with raw data, the basic organization and preparation (transcription of interviews, entry of numbers into a spreadsheet or specific software, etc.) may have already been done, again saving time and resources.
• It’s quite possible that you can find more information than you’d be able to gather if you did it yourself. The archival data you find may be more sweeping or more specific than what you’d be able to gather. It may involve more people than you’d be able to, cover a larger geographic area, or provide more detail.
• Archival data could touch on important areas you have not considered, or identify patterns or relationships you wouldn’t have looked for  In cases like these, the use of pre-existing data might change your whole view of your work, and help bring you to a level of effectiveness you wouldn’t have reached otherwise.
• It may eliminate the need to correct for problems, such as improper sampling, lack of inter-rater reliability, or observer bias.
• Archival data allows the possibility of looking at the effects of your work over time. Is the change in your population part of a trend that seems to be reflected in data from a similar population or the entire state or nation? You may not have the capacity to collect data over a long enough period to answer such questions, but if the data already exist, it makes longer-term analysis possible.
• Archival data can make it possible for small organizations with limited resources to conduct thorough evaluation studies. Most small community-based organizations simply have neither the money nor the personnel to gather large amounts of data – but, there’s no need to when the data you need exists elsewhere.

When should you collect and use archival data?

• When it’s available. This is the key question. If you know the data exist and you can get access, use it. If the data doesn’t exist, if finding it would take more time and effort than it’s worth, or if you have no access to it, then it’s not possible.
• When it’s relevant. As with its availability, the relevance of the data to what you’re trying to find out is a key issue. All the archival data in the world won’t do you any good if it doesn’t help you answer your evaluation questions.
• When you don’t have the time and/or resources to collect the data yourself. Whether it’s a matter of the size and scope of your organization, time pressure from a funder to produce an evaluation, or some other factor, archival data may be the only source of the information you need.
• When it can inform your evaluation. There are large amounts of archival data available almost everywhere. The mere fact that it exists doesn’t mean that it will do you any good. You have to be selective about what you gather and use. Make sure it is actually what you need, that it refers to the population and/or other elements of your program that will make it truly useful to you.  If not, you’ve not only wasted your effort, but the resulting evaluation won’t give you a realistic picture of your work and how to improve it.

How do you collect and use archival data?

As you search out and collect archival data, there are several questions you should ask.

What information are you looking for and why?

To answer this question, you first might think about what information you need for your evaluation that doesn’t necessarily require gathering data on current participants.

Some possibilities include:

• Data on past participants. You may want to compare the results for current participants with data on past participants, especially if you’ve changed your methods or the population has changed significantly.
• General information on the population and/or the community you’re working with. You may want to see how well various characteristics of your participants match those of the general population or you may simply want to understand the context of the evaluation better. You may also be looking for information to choose community-level indicators. Community-level indicators are specific, measurable units that help us determine success of an initiative or intervention in the community; examples of community-level indicators include program participation rates, services delivered, levels of crime, or new cases of HIV/AIDS.

Community-level indicators show trends for the community as a whole.  You can often use them to find out whether your efforts have had any effect in the community.  If, for example, you are conducting a program to reduce alcohol use among youth, one indicator of success might be a reduction in the number of weekend and nighttime one-car crashes involving teens. In many cases, you might choose community-level indicators according to the data that’s available.  For example, if there are reliable figures for exactly the kinds of car crashes described, then using those figures as a community-level indicator would probably make sense.

• Specific information on appropriate characteristics of the population you’re working with. This may be used to compare your participants to the population they’re part of, as well as to track specific differences that might be a result of your program.

Both general and specific information might include several categories to choose from. These categories include:

• Demographics:
  • Demographic statistics – age, race, gender, ethnicity
  • Geographical location and distribution, population density, etc.
  • Economics – income, employment, living conditions
  • Housing – household size and ownership
  • Education level Other characteristics –primary language spoken, etc.
• Behavior:
  • Health-related – tobacco use, physical activity, diet, etc.
  • Substance use and abuse
  • Sexual behavior Various other behaviors – work habits, consumer patterns, etc.
• Health and Development Outcomes:
  • Incidence (new cases) and prevalence (existing cases) of specific health conditions (e.g., diabetes, injuries, infant mortality)
  • Development outcomes (e.g. those completing primary education, high school; those with disabilities)
  • General health and well being characteristics of the population or community Access to health and human services (e.g. those with access to clean water and sanitation
  • Knowledge and awareness of issues (e.g. survey data on public concern with violence)
  • Environmental conditions or risk/protective factors (e.g. exposures to pollution or toxins)

• Cultural information. Norms, customs, celebrations, beliefs, and practices related to culture. If you can see whether and where your group’s efforts are fitting with participants’ cultures, it will help you to determine whether that’s an issue, and where you might need to make changes.
• Data on a similar group that can be used as a control or comparison. This might be a group from the same population that signed up for but did not experience the program, or another comparable community in a different place.
• Results of previous studies. You’d probably be most interested in studies that looked at the same issue and population group you’re addressing. These can provide a standard of comparison, as well as some sense of what kinds of results might be reasonable to expect.

Suppression of Statistics

An issue that you should be aware of and prepared to encounter during your research is suppression of statistics.  When research deals with small populations or data pools, in order to protect the privacy of individuals, it is sometimes necessary to suppress data. In other words, when the number of cases in a category - i.e., females in Wyandotte County who died from lung cancer in 2004 - is small enough that disclosing the data might allow a specific individual to be identified, steps are taken to protect the privacy of individuals.

The most common method of preventing the identification of specific individuals is through cell suppression. This means not providing counts in individual cells where doing so would potentially allow identification of a specific person. Cell suppression can also be done by combining cells from different small groups to create larger groupings that reduce the risk of identifying individuals.

The table below, from the Kansas Department of Health and Environment's Bureau of Epidemiology and Public Health Informatics, shows a break-down by race of deaths due to chronic liver disease and cirrhosis in Wyandotte County, KS in 2010. Because the numbers for Black and Other individuals are small enough that it might be possible to identify individuals from those statistics, the data is suppressed, as indicated by the #.

Death Statistics for Chronic liver disease & cirrhosis for Wyandotte County, 2010
White	Black	Other	All races
14	#	#	20
# Indicates numbers below 6

The National Association of County and City Health Officials (NACCHO) has a useful tip sheet that explores this and other challenges of data collection and analysis in jurisdictions with small populations and provides useful information for overcoming these challenges.

In addition to the question of confidentiality, low numbers in a given category can also be an issue when considering the stability of data. In other words, when there are low numbers or incidences in the data you are researching, it is more difficult to accurately calculate rates and it can give an inaccurate picture of the categories you are researching.  For instance, if the number of lung cancer deaths in 2004 was 20, and in 2005 it was 30, statistically that is a 50% rise over one year, which is quite a substantial fluctuation; however, it may be that it is simply a normal variation in reporting. Because the numbers reported are so small, even minor changes can seem substantial, and this can result in unreliable or unstable data. The table below, from the Kansas Department of Health and Environment's Bureau of Epidemiology and Public Health Informatics, shows a break-down by race of deaths due to breast cancer in 2010 in Wyandotte County, KS. Because the numbers available for White, Black, and Other are too small to allow for an accurate, reliable calculation of the rates for that year, the information is suppressed, indicated by the @.@ symbols.

Death statistics for malignant neoplasms of breast, Wyandotte County, 2010
	White	Black	Other	All Races
Number	15	6	#	23
Rate	@.@	@.@	@.@	15.5
@.@ indicates numerator too small for rate calculation # indicates numbers below 6

However, there are a couple of strategies that can be used to help avoid or address these problems of instability.

One way to increase the reliability of data where you are dealing with small data sets is to combine multi-year data (for instance, results of cancer deaths in a community for three years instead of one).  A drawback to this option is that looking at multi-year data limits the ability to monitor program interventions and identify new trends.  Rolling year averages (e.g., looking at data for 1997-2000 one year, and 1998-2001 the following year) may overcome this drawback and should is an option that should be considered.

Another way to decrease the possibility of statistical instability is to expand the geographic area you are investigating by looking at regional health assessments conducted by collaborating neighboring jurisdictions, or in the example above, expanding from county to state.  A drawback to this option is that you may then be examining results for a geographical area that does not necessarily apply to your assessment.   Analyzing data at the regional level may also mask interesting local variations in the data.

Who is likely to have collected that information?

In some cases, you might know for certain that it exists; in others, you’ll have to search around. Some places to start:

Public records.

Government records at all levels – including federal state, county, and local. Copies of publicly-funded studies (after publication), financial information, crime statistics, demographic information, and much more are available in public records.

Some you might be most interested in:

• Census Bureau. In most developed countries, the census covers a broad range of demographic, economic, and geographic information.
• Federal and state departments and ministries. From environmental data to farming practices and subsidies to poverty statistics to public health issues, the federal government is a vast storehouse of information.
• Various levels of the court system. In the U.S., where civil and criminal trials and their results are public, their records are public also.
• Police records. Arrests, domestic disputes, injury reports, and other information can be found in police reports.
• Securities Exchange Commission and other business regulators. The SEC and other regulators require businesses to file various information, usually annually, including annual financial reports and environmental statements, all of it public.
• County commissions, agencies, and authorities. County Extension Services in the U.S. (part of the U.S. Department of Agriculture) can be particularly helpful.
• City and town clerks’ offices.

Sometimes, government agencies are reluctant to share information, even though it’s public.  The Freedom of Information Act (FOIA) deals with this issue in the U.S.  It allows for access to a wide range of federal government records.  Similar laws at the state level do the same for state documents.

• Research organizations. Think tanks, independent oversight organizations, and research organizations all issue reports on various topics, often backed up by studies.

Some of these organizations aren’t, and don’t pretend to be, politically neutral.  They have agendas, conservative or liberal, and some of them interpret their research in light of those agendas.  It’s important to be aware of the bias of any archival data that you use if you want reliable data.  However, many organizations with a political stance nonetheless try to make their studies as objective as possible.

• Academia. Much research in health, human services, social issues, education, the environment, and the sciences is conducted by universities and institutions connected to them. This includes theses and dissertations for advanced degrees, as well as the results of funded research web search engines, such as Google scholar, can help locate research information.
• News media. Newspapers, magazines, and radio and TV outlets all keep archives, often going back to the founding of the publication or station. These are often available to the public – sometimes on line – either free or for a fee. Although they are unlikely to contain detailed study results, they often have summaries of important studies, and may serve to point you in the right direction to find what you need.
• Foundations and other private funders.These organizations fund studies of all kinds, and many publish or otherwise make available the results as a condition of funding.
• Hospitals and other health care providers are sometimes university-related, and may conduct studies of various health issues. They also may collect, as an administrative necessity, demographic and other statistics on their patients, as well as information on the frequency, geographical location, and intensity of various medical conditions.
• Mental health providers may have data on particular types of conditions, or on who is most at risk for particular behaviors or conditions (e.g. depression).
• Human service and other non-governmental community-based organizations. The information most likely to be gleaned from these organizations is administrative, and to cover such areas as demographics and the location and character of community issues.

Depending on its nature, some of the research carried out or administrative data gathered by universities, health and mental health providers, and human service organizations may have some restrictions on them because of confidentiality. These restrictions usually only cover access to individual records and identification of study participants, and generally don’t pose a barrier to obtaining aggregate results of studies, assessments, or surveys with no identification of individuals.

• Advocates and watchdog organizations may collect data (either locally, statewide, or nationally) on businesses, on the environment, and on other particular issues – nearly anything that pertains to their causes – and they’re usually willing to share it.
• Community activists. These folks tend to focus on specific issues, but if your issues are similar to theirs, they may have a great deal of information that’s useful to you.
• Community economic development organizations are likely to have economic data, land-use maps and patterns (perhaps including population distribution by race, ethnicity, age, etc.), environmental information, and other similar material you might find useful.
• Businesses and corporations, particularly large ones, often collect information on their workforces, economics and economic trends, and similar topics.

Where should you look for archival data?

The question here is not only where to find archival information, but where to find it most quickly and easily. Some of this material will be published, some only available from the organizations that collected it. Looking in the right place first can save you a lot of time and trouble.

Your own archives

Unless it’s brand new, your own organization should have an archive of administrative records, past evaluations, assessments, and other data that might be helpful to you. Don’t ignore this obvious and easily accessible source of information.

The Internet

Most public documents are either on the Web or can be found and/or ordered through a website. The place to start is usually the website of the government agency most likely to have collected the data. The Resources portion of this section contains a list of U.S. government websites. In the U.S., states and most cities and towns have websites as well, with links to state or municipal agencies and departments. (The URL’s for all state websites take the same form: http:// www .[state abbreviation].gov.  Municipal websites can easily be found by searching the name and state of the community.) States or provinces and communities in most of the developed, and much of the developing, world have websites as well.

Many of the other sources of information mentioned above are likely to have websites also. Whether their data is available on those sites is another matter, and depends to some extent on what kind of information you’re seeking. Watchdog organizations and some think tanks are likely to post at least some of the results of their research on websites because they want it to be as public as possible. Community economic development organizations likewise usually have informative websites, since they’re trying to attract businesses and residents to an area.

Health providers and academics, on the other hand, may post their research on a website, but only after it’s been published in a journal or book, or presented at a conference. That means that you’re not apt to find very recent data (from the past year, for example). Local health and human service providers and schools rarely conduct formal research, and rarely post any administrative data on their websites, for two reasons: confidentiality, to which we’ve already referred, and the fact that most of that data are intended for internal use, and therefore not seen as useful to anyone outside the organization.  Business websites generally include material only of interest to potential customers. Community activists may or may not have websites at all.

As always when using the Internet, you should be cautious about where you find your information. There are enormous numbers of reliable websites...and huge numbers of unreliable ones as well.  If you’re not sure of a website or of the information you get from it, try to find that information elsewhere as well. In general, you can rely on websites when you know where they get their information, and when you trust the reputation and integrity of the site’s owner.

Go directly to the source

Often, the best way to find information from health and human service organizations, schools, and businesses, as well as from advocates and community activists, is to go to them directly.  If you do, be prepared to explain exactly what you’re looking for, what you plan to use it for, and what you can offer in return. Unless the organization is willing to let you comb through its files – confidentiality is often a barrier to that – someone will have to spend some time finding what you need.  It’s only fair to offer something in return, whether it’s payment, data analysis services, advocacy for the cause, or something else the other organization needs.

If you’re asking another similar organization for data so you can use it as a comparison or control group, the request has to be extremely tactful.  In a sense, you’ll be telling the staff of that organization that you expect your results to be better than theirs.  Depending upon how they see their work – and how they perceive you and your organization – they may take this as an opportunity to find better methods to serve their participants, or as a grave insult.  If it’s the latter, they’re hardly likely to agree to the use of their data.  You’ll have to frame the request in the right way, and offer a good exchange as well.  It will help if you’re dealing with an organization with which you already have a good relationship of mutual respect.

Libraries

Librarians have always been world-class experts at finding what library users needed.  With current technology, they’ve become even better. Many have an encyclopedic knowledge of not only what’s available in the library itself, but what’s on the web as well.  They may be familiar with sources of archival information you’d never think of, and be able to help you find what you need quickly and with minimum effort.  When in doubt, head to (or communicate with) an available library.

What are you planning to do with the data once you have it?

This question has to do not only with what form you need the data in, but also just what data you actually need. If you’re planning to use it as a comparison to the group participating in the program you’re evaluating – whether as a formal control group or as baseline data – you’ll need information on the variables you’re planning to look at, as they relate to the population you’re working with, or at least a population that’s reasonably similar. If, for example, you’re evaluating a chronic disease prevention program intended to benefit Latinos, and you’ve found archival data on physical activity and nutrition among Native Americans, you can’t compare your results with those of the archival data because the groups are likely to be too different.

If you’re planning to subject your data to statistical analysis, you’ll want information that either is, or can be made, quantitative. If the information you’re collecting on your participants is largely qualitative, then the archival data should be qualitative as well. Furthermore, the information you get either should determine or should match the way you collect your own data, so that there’s a reasonable comparison, assuming a comparison is what you’re intending.

Using archival data

It’s difficult to imagine evaluating a program or approach without actually collecting your own data on participants.  You might be able to find data on those participants from an earlier time, which you can then use as a baseline. You might be able to find appropriate data on a similar group that you can use as a comparison or control. But you can’t find data elsewhere on what those participants are currently experiencing, and that’s what you’re evaluating in almost every case.

The “almost” here refers to a situation where you’re evaluating a program in retrospect – looking back at it after it’s underway or been completed.  It may be possible in that case to find archival data that will allow you to determine the program’s effectiveness in terms of process, outcomes, or both.

Although you’ll probably collect information on the participants in the program you’re evaluating, there are a number of ways you might use archival data:

• To better understand the context of your evaluation. These might be ethnographic data (see Section 6 of this chapter), oral histories, assessment information, interviews, etc. You’d use it to get a clearer picture of the community in a number of ways, and to help you interpret the results of your evaluation.  It might, for instance, give you insight into why a particular approach did or didn’t work, or why some participants stayed in the program while others didn’t.
• To identify areas to address. Along with a clearer picture of the community goes a deeper understanding of the community’s needs and concerns.
• To establish a baseline against which to measure your results. For this purpose, you’d need recent information about where the population you’re working with stands on the dependent variables or outcomes you’re concerned with. That would tell you where the participants started from (on average), so that you could see from the measures you used in your evaluation whether and how much they might have improved as a result of your work.

There are two kinds of variables (things that may change) in research.  An independent variable or intervention is a program, treatment, method, system, or other action or condition set up by the researcher to see if it will create change and improvement.  A dependent variable is a behavior, condition, or other element that may change as a result of the independent variable.  A violence prevention program, for example, is an independent variable that may change community members’ engagement in violent behavior and associated injuries, the dependent variables.

• To identify already-existing trends that may affect the results of your evaluation study. The fact that there’s been a change in participants between the beginning and end of your evaluation doesn’t necessarily mean that you’ve caused it. Among other things, it may be part of an ongoing trend toward change that started well before your program did, and may continue after it.  Archival data might show such a trend over a number of measures of your dependent variable in the population your participants come from.
• To establish a standard of comparison against which to measure your efforts. There are two ways that you could use archival data for this purpose.  One is to use census, statewide, and/or community-wide data to compare with that of the population you’re working with. That comparison can give you a sense of how serious the issue is for your group, compared to the general public.  The second way is to use similar data to compare your outcomes with the data on the larger population. This might work especially well when you’re using community-level indicators (e.g., rate of injuries, percentage of girls completing different education levels).

You might find, for example, that even though community-level indicators moved in the right direction – the sale of tobacco products went down, say – they still compared unfavorably with the state or national averages for the same indicators.  That knowledge might be important in future goal-setting and in using your evaluation results to gain community support or funding.

• To act as a control or comparison group. One of the best ways to learn whether or not your program had an effect is to compare the participants you’re working with to those in another group that received no program or a different one. The best alternative here is to create a group from the same population as participants – so that all participants will have approximately the same background, environmental influences, cultural norms, etc. – and to conduct the same observations on both groups at the same times, so that the only difference between them is the program that one of them is exposed to. In practice, creating or finding a perfect control group is often difficult.  Archival data may be able to provide a reasonable alternative, in the form of data collected on a comparison group or population similar to that of participants in your program.

Often, the most likely possibility is a group that was part of another program with the same goal as yours, but using different methods. This has the advantage not only of providing a control, but of letting you infer whether your approach works as well as, not as well as, or better than that of the comparison group.

• To provide data for a longitudinal study.  If you think your program might have a long-term effect, or if you think it will interact with the effects of past events, circumstances, or programs, you might want to conduct a longitudinal study – one that looks at participants over a longer period of time – for your evaluation. You may not have the time or resources to collect data over a period of years, but you may be able to find archival information that allows you to draw some conclusions about long-term effects.

There are at least two circumstances where you might be able to use archival data for a longitudinal perspective.  The first is one in which you’re looking at the effect of an issue on the population for a length of time before your program began. This might make it easier to see program results in context, and to understand whether the program broke a cycle and started real change.The second circumstance is when you’re looking back at the effects of a program that was completed some time ago.  In some circumstances, the effects of a program multiply or accelerate over time. Particularly if your program was aimed at changes throughout the community (reducing intimate partner violence, for instance), you may be able to find archival data that tells you whether the effects of your program continued, kept growing, or trailed off.

In Summary

Most government agencies and departments, community-based health and human service providers, advocacy organizations, universities, and many other entities keep archival records of information. You may be able to use these as part of the data for your evaluation, saving time and trouble. Especially for small organizations with limited resources, the use of archival data can make it possible to produce an evaluation that provides the information needed to accurately assess a program’s effectiveness and make the changes necessary to improve it.

What are archival data?

___Archival data is data that already exists as a result of administrative procedures or past studies or evaluations

___Be aware of sources of archival data:

• Public records
• Research organizations
• Health and human service organizations
• Schools and education departments
• Academic and similar institutions
• Business and industry

___Be aware of the possible types of data available:

• Demographics
• Behavior
• Health and development outcomes
• Attitudes – racial, political, social, etc.
• Knowledge and awareness of issues
• Environmental conditions or factors affecting the population and/or your work

Why collect and use archival data?

___It’s easier and less time-consuming than collecting all the data yourself

___Archival data may have already been processed by people with more statistical expertise than you, making it easier to use in analysis

___Even with raw data, the basic organization and preparation (transcription of interviews, entry of numbers into a spreadsheet or specific software, etc.) may have already been done, again saving time and resources

___It’s quite possible that you can find more information than you’d be able to gather if you did it yourself

___Archival data could touch on important areas you might not have thought of, or identify patterns or relationships you wouldn’t have looked for

___It may eliminate the need to correct for such problems as lack of inter-rater reliability or observer bias

___Archival data allows the possibility of looking at the effects of your work over time

___Archival data can make it possible for small organizations with limited resources to nonetheless conduct thorough evaluation studies

When should you collect and use archival data?

___When it’s available

___When it’s relevant

___When you don’t have the time and/or resources to collect the data yourself

___When it can truly inform your evaluation

How do you collect and use archival data?

___Determine what information you’re looking for and why

Possible categories of information you’d be interested in:

___Data on past participants

___General information on the population and/or the community you’re working with

___Specific information on appropriate characteristics of the population you’re working with

___Cultural information

___Data on a similar group that can be used as a control or comparison

___Results of previous studies

___Determine who is likely to have collected that information:

• Government departments and agencies, the census, and other entities whose data are likely to be available in public records
• Research organizations
• Academia
• News media
• Foundations and other private funders
• Hospitals and other health care providers
• Mental health providers
• Human service and other community-based organizations
• Advocates and watchdog organizations
• Community activists
• Community economic development organizations
• Businesses and corporations

___Decide where you should look for archival data

• Your own archives
• The Internet
• The original source
• Libraries

___Decide what you plan to do with the data once you have it

Use archival data:

___To better understand the context of your evaluation

___To identify areas to address

___To establish a baseline against which to measure your results

___To identify already-existing trends that may affect the results of your evaluation study

___To establish a standard of comparison against which to measure your efforts

___To act as a control or comparison group

___To provide data for a longitudinal study

Tool 1: Common Secondary Data Sources Used to Address Gender-Based Violence

This tool from Strategic Prevention Solutions provides descriptions of common secondary data sources useful for addressing gender-based violence, along with common challenges with secondary sources.