الفصل 37. بعض العمليات في تقييم التدخّلات المجتمعية | Community Tool Box

• ¿Qué queremos decir con “seleccionar las preguntas”?

• ¿Por qué es necesario seleccionar cuidadosamente las preguntas de la evaluación?

• ¿Cuándo se deben  seleccionar las preguntas y planear la evaluación?

• ¿Quién deberá estar involucrado en el proceso?

• ¿Cómo se seleccionan las preguntas y se planea la evaluación?

Los Capítulos 36-39 de la Caja de Herramientas Comunitarias se refieren a la evaluación de los programas comunitarios. Hemos elegido dedicar tanto espacio a la evaluación porque es una de las partes más importantes de cualquier esfuerzo para mejorar  la vida comunitaria y realizar un cambio social duradero. Ella puede ayudarlos a comprender mejor qué tan bien anduvieron el planeamiento y los preparativos para su programa, si ustedes lo llevaron a cabo como pretendían,  y cuáles fueron las consecuencias.Ella puede decirles si cumplieron sus metas y objetivos originales o no, y darles información sobre lo que necesitan cambiar para ser más efectivos.

El Capítulo 36 explica cómo funciona una evaluación, y da alguna guía sobre cómo desarrollarla. El Capítulo 38 los ayudará a reunir y analizar la información que desean, y el Capítulo 39 trata sobre cómo usar esa información para mejorar su programa y acumular apoyo comunitario y financiero. Aquí, en el  Capítulo 37, observamos a la evaluación desde un punto de vista investigativo - cómo planear y estructurar una evaluación que pueda ayudarlos a comprender mejor y a mejorar lo que hacen.

En esta sección, discutiremos el primer, y tal vez más importante paso, en la investigación de la evaluación: decidir exactamente qué evaluar. Cada parte del resto de las secciones en el capítulo tratará en detalle cada paso que se tendrá que dar para diseñar, implementar, y usar la evaluación. El objetivo del capítulo es proporcionar lineamientos que sean útiles para las organizaciones de base local o comunitaria así como para estudiantes o investigadores académicos.

¿Qué queremos decir con “seleccionar las preguntas”, y por qué ello es necesario?

Cada evaluación, como cualquier otra investigación, comienza con una o más preguntas. Algunas veces, las preguntas son simples y fáciles de responder. (¿Estaremos más o menos cerca de las 50 personas que esperamos ayudar?) A menudo, sin embargo, las preguntas pueden ser complejas, y las respuestas menos fáciles de obtener. (¿Cuál, o qué combinación, de las tres partes de nuestra intervención afectarán a cuál de los dos cambios de comportamiento que buscamos en nuestros participantes?) Las preguntas que se haga su organización guiarán no sólo su evaluación, sino su programa también. Mediante su selección de preguntas, también se está definiendo qué es lo que se está tratando de cambiar.

Ustedes eligen las preguntas de su evaluación mediante el análisis del problema o tema comunitario al que están apuntando,  y al decidir cómo quieren afectarlo. ¿Por qué quieren hacer esta particular pregunta en relación con su  evaluación? ¿Cuál es la parte del asunto que es más urgente o vital cambiar? ¿Qué indicadores les dirán si ese cambio está teniendo lugar? ¿Es eso todo lo que les preocupa? Las respuestas a cada una de estas y otras preguntas ayudan a definir qué es lo que se está tratando de hacer, y, por extensión, cómo van a tratar de hacerlo.

¿Cuál es el verdadero objetivo de un programa para introducir comidas más saludables en los almuerzos escolares? Podría ser simplemente convencer a los niños de que coman más frutas, vegetales y granos enteros. Podría ser conseguir que ellos coman menos comida chatarra. Podría ser alentar la pérdida de peso en niños que tienen sobrepeso o que están obesos. Podría ser educarlos sobre la alimentación saludable,  y persuadirlos de ser más aventurados en la elección de sus comidas.

Las preguntas de evaluación que se hagan tanto reflejarán cómo determinarán las metas para el programa. Si no se mide la pérdida de peso, por ejemplo, entonces claramente eso no es a lo que están apuntando. Si solamente se toma en cuenta el aumento de alimentos saludables que consumen los niños,  se ignorará el hecho de que si ellos no dejan de comer otras cosas (comida chatarra, por ejemplo), simplemente aumentarán de peso. ¿Es eso de todos modos mejor que el que no coman alimentos saludables? Ustedes contestarán esa pregunta por lo que elijan examinar – si es mejor, les podrá no preocupar qué más están comiendo los niños; y si no, entonces sí les preocupará.

Algunas de las preguntas básicas a hacerse al seleccionar las preguntas evaluativas son:

¿Qué es lo que quieren saber?

Los académicos y otros investigadores pueden enfocar la elección de las preguntas de la investigación de manera diferente a aquéllos involucrados en los programas comunitarios. Además de sus aplicaciones prácticas y sociales, ellos pueden seleccionar problemas para investigar simplemente por qué son interesantes, o por qué se relacionan con otro trabajo que ellos o sus colegas están haciendo. Los trabajadores de servicios comunitarios y otros directamente involucrados en los programas, por el otro lado, están específicamente interesados en mejorar lo que están haciendo para poder ayudar a  elevar la calidad de vida de los participantes de sus programas, y a menudo, de la comunidad como un todo. Puesto que asumimos que la mayoría de los que usen este capítulo de la Caja de Herramientas es probable que sean trabajadores de la comunidad, veamos algunas de las razones por las que ellos podrían seleccionar un área en particular para evaluar.

Si se está aplicando o por aplicar, un programa para afectar un tema o problema comunitario,  se querrá contestar una o más de las siguientes preguntas:

¿Existe una relación causa-efecto (es decir, una acción o condición que directamente cause otra) entre una acción determinada y un cambio determinado? Generalmente, a su organización le preocupará esto en relación con su programa. (Nuestro grupo de apoyo para dejar de fumar ¿ayuda a los miembros a abandonar el cigarrillo?) Algunas veces, sin embargo, puede ser importante mirarlo en relación con la comunidad. (La prohibición de fumar en edificios públicos, bares y restaurantes, ¿lleva a una disminución en el número de residentes de la comunidad que fuman?)

Si nosotros probamos este nuevo método, ¿qué sucederá?

El programa que funcionó en el pueblo vecino, o sobre el que leímos en un periódico profesional, ¿funcionará con nuestra población, o con nuestro problema?

¿Por qué están interesados?

Algunas de las mismas diferencias entre las preocupaciones de los investigadores y las preocupaciones de los trabajadores pueden persistir aquí. Aquéllos interesados sobre todo en investigar podrán simplemente ser movidos por la curiosidad o por la urgencia de solucionar un problema difícil.  Como trabajador comunitario, por otra parte, se querrá saber los efectos de lo que está haciendo sobre las vidas de los participantes o de la comunidad.

Su interés, por lo tanto, podrá crecer por:

• Su experiencia con un problema y sus consecuencias en una determinada población o comunidad.
• Su conocimiento de prometedoras intervenciones y sus efectos sobre temas similares.
• La singularidad del tema para su particular comunidad o población.
• La similitud del tema con otros temas en su comunidad, o la interacción del tema con otros temas.

Su interés como trabajador comunitario tiene que ser considerado en relación con su evaluación y el propósito de su programa. Su intención básica es probablemente mejorar las cosas para la población o para la comunidad, pero ¿de qué modos y mediante qué medios? ¿Probarán ustedes algunas cosas nuevas con la esperanza de hacer aún más exitoso a un programa ya exitoso? ¿Se está importando una práctica promisoria para ver si funciona con su población? ¿Se está tratando de solucionar un problema profesional particularmente difícil?

Un programa de mediación comunitaria encontró que estaba teniendo poco éxito en casos que involucraban a adolescentes. Después de conversarlo con otros programas similares –todos los cuales estaban luchando con el mismo problema – los mediadores del programa idearon una serie de estrategias para tratar de llegar a los jóvenes. La pregunta general que les preocupaba - "¿Estas estrategias harán posible que mediemos exitosamente en lo que los adolescentes estén involucrados?" – era una con consecuencias reales.

¿El problema que se está enfocando es importante para la comunidad o para la sociedad?

Los informes en los medios o los intentos de la comunidad de tratar el problema son claros indicadores de que es socialmente importante. Si afecta a un grupo en particular - violencia en determinado vecindario, un alto porcentaje de enfermedades del corazón entre hombres negros de mediana edad – tiene un impacto obvio en la comunidad y en la sociedad. Si su programa o intervención tiene el potencial de ayudar a resolver el asunto en otros lugares, de ser usado por trabajadores comunitarios en otros campos, o de ser aplicado de otras maneras, la importancia de su análisis aumenta todavía más. Si el tratamiento del asunto puede llevar a un cambio social positivo y duradero, entonces el análisis es vitalmente importante.

Todo esto afecta su evaluación y las preguntas que formulen. Si el asunto es uno de importancia social, entonces la evaluación de su propio trabajo es socialmente importante también. ¿Está ejecutando los elementos de su programa o intervención que son de mayor valor para los participantes, la comunidad, y la sociedad? Si no es así, ¿cómo puede empezar a hacerlo?

¿Cómo se relaciona el asunto con el campo?

La pregunta real aquí no es si el asunto es importante en su campo de acción– lo que interesa  es si el mismo es importante para la comunidad. Sin embargo, se debe explorar si hay evidencia de campo aplicable al asunto en consideración. ¿Lo que usted está haciendo tiene más probabilidades de ser efectivo que otros enfoques que se han intentado? Si su enfoque no es efectivo, ¿hay otros enfoques que parezcan más promisorios? ¿Puede el material publicado acerca del tema ayudar a comprenderlo mejor, y a darle mejores ideas acerca de cómo encararlo?

¿Es el asunto general, en vez de específico, con respecto a su población o comunidad?

Considere si hay evidencia de que el asunto se da en distintas poblaciones y bajo una variedad de condiciones. También considere si las observaciones o métodos usados para determinar la existencia del problema son precisos y si pueden ser usados en diferentes situaciones y con diferentes grupos.Su evaluación podrá darles valiosa información para compartir con otros profesionales en diferentes campos o diferentes circunstancias.

¿Quiénes podrían usar los resultados de la evaluación?

Si su evaluación muestra que su programa o intervención tuvo éxito, esa es obviamente información valiosa, especialmente si lo que están evaluando es novedoso y no ha sido probado antes. Aún si en la evaluación aparecen problemas importantes con la intervención, esa es incluso información importante para otros  - les dice qué no funcionará, o qué barreras deben ser vencidas con el objeto de hacerlo funcionar.

Algunos de los que podrían usar sus resultados son individuos y grupos afectados por el tema; proveedores de servicios y otros que tienen que lidiar con el problema (en el caso de la violencia juvenil, por ejemplo, este último grupo podría incluir a la policía, a funcionarios escolares, a propietarios de pequeños comercios, a los padres, y a personal médico, entre otros); a defensores y activistas comunitarios y a dirigentes públicos y otros políticos. El valor de la información lleva a la pregunta de cómo pasarla, la que examinaremos en la Sección 10 de este capítulo, Preparar la intervención para su divulgación.

¿A quién concierne el asunto?

¿Quién tiene que cambiar para tratar el problema? El foco de la intervención les dirá en quiénes deberán centrarse la evaluación.

Algunas posibilidades son:

• Aquellos directamente afectados por el problema.
• Aquellos en contacto personal directo con los directamente afectados: padres, cónyuges e hijos, otros familiares, amigos, vecinos, compañeros de trabajo.
• Aquellos que trabajan o tratan de otros modos con los directamente afectados: personal médico, policías, docentes, trabajadores sociales, terapeutas, etc.
• Administradores y otros que trabajan o tratan con aquellos que son afectados indirectamente: directores de clínicas u hospitales, jefes de policía, directores escolares, directores de agencias, etc.
• Funcionarios designados o electos y otros políticos.

¿Por qué es necesario seleccionar cuidadosamente las preguntas de la evaluación?

Usted bien sabe por qué están aplicando su programa. Evaluarlo sería simplemente un tema de decidir si las cosas están mejor cuando usted las evalúa con respecto a como estaban antes de que la intervención empezara, ¿No es así? Bueno, en realidad no es así. No es tan simple. Primero, se necesita determinar qué "cosas" se están realmente analizando (¿recuerdan el ejemplo del almuerzo escolar?) Segundo, es necesario considerar la manera en que se determinará que la intervención se está haciendo bien, y qué se necesita cambiar. Aquí hay una lista parcial de razones por las que es importante la elección de las preguntas de antemano.

• Ayuda a comprender los diferentes efectos de la intervención. Al enmarcar las preguntas cuidadosamente, se puede evaluar los diferentes componentes de su esfuerzo. Si se añade un elemento después del inicio del programa, por ejemplo, podrá tal vez ver su efecto separado del resto del programa...si se propone examinarlo. De la misma manera, se puede mirar diferentes posibles efectos del programa como un todo. (Los adultos que estudian educación básica ¿leen más como resultado de estar en el programa? ¿Es más probable que ellos se registren para votar? ¿Sus niños mejoran su desempeño escolar?)
• Hace que se defina con claridad qué es lo que se está tratando de hacer. Lo que usted decide evaluar define lo que se espera conseguir. Seleccionar las preguntas de evaluación al inicio de un programa o esfuerzo deja en claro qué es lo que se está tratando de cambiar, y cuáles quiere que sean sus resultados.
• Les muestra dónde necesitan hacer cambios. El seleccionar cuidadosamente las preguntas y hacerlas específicas para sus objetivos reales debería mostrarles exactamente dónde el programa está funcionando bien y dónde no está teniendo el efecto deseado.
• Destaca consecuencias inesperadas. Cuando se reciben respuestas inusuales a las preguntas que eligen, a menudo significa que su programa ha tenido algunos efectos que no se esperaban. Algunas veces estos efectos son positivos –la gente del programa de ejercicios cardiovasculares no sólo mejoraron su estado físico, sino que la mayoría informa haber mejorado su dieta y haber perdido peso también – y algunas veces los efectos son negativos – los niños obesos de un programa para comer saludablemente realmente ganaron peso, aún cuando estuvieron comiendo una dieta más sana - y algunas veces ninguna de las dos cosas. Como los efectos secundarios de los medicamentos, las consecuencias no premeditadas de un programa pueden ser tan importantes como el programa mismo. (En el caso del programa de ejercicios, los cambios en la dieta pueden hacer tanto o más que el ejercicio para mantener la salud del corazón, por ejemplo, y pueden señalar de algún modo hacia un cambio en el enfoque del programa.)
• Guía sus elecciones futuras. Si encuentra que su programa es particularmente exitoso en ciertas partes y no en otras, por ejemplo, usted podrá decidir enfatizar más las áreas exitosas, o cambiar completamente su enfoque en las áreas no exitosas. Esto, a su vez, cambiará el énfasis también en la futura evaluación.
• En  las evaluaciones participativas, la evaluación involucra a los interesados en el establecimiento del curso del programa, haciendo de ese modo más probable que cumpla con las necesidades de la comunidad.
• Proporciona enfoque en la evaluación y en el programa. El seleccionar cuidadosamente las preguntas evaluativas evitará que usted se disperse y trate de hacer demasiadas cosas a la vez, diluyendo por lo tanto su efectividad en todas.
• Determina qué registros anotar con el objeto de reunir datos para la evaluación. Una clara elección de las preguntas evaluativas hace la recolección de datos mucho más fácil, puesto que generalmente vuelve obvio qué clase de registros deben ser llevados y qué áreas necesitan ser examinadas.

¿Cuándo debería usted seleccionar las preguntas y planear la evaluación?

Ya que las preguntas de evaluación ayudan a dar forma al trabajo, deberían seleccionarse junto a la evaluación al planear el programa completo. Eso le dará tiempo y espacio para conseguir un proceso participativo, y le dará la oportunidad de usar la evaluación como parte integral del programa. A medida que el programa se desarrolla, se encontrará agregando o ajustando preguntas para reflejar la realidad de lo que está sucediendo, pero a no ser que sus preguntas originales estuvieran  mal encaminadas (estaba equivocado acerca de qué comportamiento debía cambiar con el objeto de producir determinados resultados, por ejemplo), ellas les serán de utilidad.

Ahora discutamos la realidad de muchos programas comunitarios y  programas de base local. A menudo tienen poco personal y fondos.  Los empleados reciben pagos bajos y a menudo trabajan muchas más horas a la semana de las que les pagan debido a su dedicación a la justicia y al cambio social. La mayoría o todos los funcionarios del programa pueden incluso ser voluntarios, con trabajos de tiempo completo y  responsabilidades familiares además de su trabajo en el programa. La evaluación inicial en estas circunstancias es a menudo anecdótica – o sea, basada en comentarios e historias de los participantes sobre su progreso y observaciones personales, informales de los funcionarios. Una evaluación formal probablemente esperará hasta que haya fondos para hacerla, o hasta que alguien tenga el tiempo de coordinarla o de encargarse de ella.

En ese caso, el "cuando" se convierte en "tan pronto como se pueda". Usted puede estar trabajando con un programa que acaba de empezar, o con uno que ha estado operando por un largo tiempo. Puede saber que se necesita hacer cambios, o puede parecer que el programa está realmente logrando sus metas. Cualquiera sea la situación, se deben seleccionar las preguntas evaluativas y planear una evaluación que le dé la información que necesita para mejorar su trabajo. Aún con un programa que ha estado funcionando por un tiempo, las preguntas pueden igual ayudarle a definir o redefinir su trabajo, y ciertamente le ayudará a mejorarlo en el largo plazo.

¿Quiénes deben estar involucrados en la elección de las preguntas y el planeamiento de la evaluación?

Si ha consultado otras secciones de la Caja de Herramientas relacionadas con evaluación, se habrá dado cuenta que estamos a favor de que todos los interesados se involucren en la planeación de la evaluación. Creemos que la mejor evaluación es la participativa. Eso significa que hay representación de las opiniones y los conocimientos de la gente afectada sobre el asunto a encararse. La lista de potenciales participantes es esencialmente la misma que vimos en "¿A quién concierne el asunto?" en la primera parte de esta sección: aquéllos directamente afectados y sus contactos cercanos; aquéllos que trabajan con los directamente afectados, o que tratan directa o indirectamente con ellos y el problema; y funcionarios públicos. A estos grupos debemos agregar otros ciudadanos preocupados, y aquéllos indirectamente afectados por el tema. (Un comerciante puede no ser víctima de la violencia del vecindario, pero el temor a esa violencia puede no obstante mantener a los clientes alejados de su negocio, por ejemplo.)

Las evaluaciones que involucran a todos los interesados tienen una serie de ventajas sobre aquéllas conducidas en vacío por evaluadores externos o personal de la agencia o del programa. Es más probable que ellos reflejen las verdaderas necesidades de la comunidad, y que ejerzan presión sobre el conocimiento de la comunidad acerca de su propio contexto - historia, relaciones, cultura, etc. – sin los cuales un programa y su evaluación pueden desviarse.

La participación puede ir desde una simple consulta hasta una completa participación en todos los aspectos de una evaluación – valoración, planeamiento, recolección de datos, análisis, y trasmisión de la  información. En general, cuanto mayor sea el involucramiento de los interesados mucho mejor, pero una profunda implicación de los interesados no siempre es posible. Como el Capítulo 36, Sección 6 lo explica, hay desventajas temporales en la evaluación participativa – lleva más tiempo – e inquietudes logísticas también. Los participantes pueden no tener nada en su formación que los haya preparado para la investigación, de modo que sería necesario entrenarlos en una cantidad de áreas que requieran aptitudes, cuidadoso planeamiento, y todavía más tiempo. El nivel de participación que su evaluación puede sustentar, por lo tanto, depende en alguna medida de sus límites de tiempo y su capacidad para capacitar y apoyar a los participantes.

¿Cómo seleccionar las preguntas y planear la evaluación?

Elección de preguntas:

Al elegir preguntas evaluativas, se está realmente eligiendo un tema de investigación  - qué quiere examinar con su investigación. (La evaluación, tanto formal como informal, es en realidad investigación.). Usted debe analizar el asunto y su programa, considerar varias maneras de enfocarlos, y seleccionar la(s) que más cercanamente le digan lo que quiere saber sobre lo que está haciendo. ¿Está sólo tratando de determinar si están dando suficiente cobertura a la gente apropiada con su programa? ¿Quiere saber cómo está funcionando una intervención en poblaciones específicas? ¿Qué clases de cambios conductuales, si los hay, están teniendo lugar como resultado? ¿Cuáles son los verdaderos resultados para la comunidad? Cada una de estas – así como cualquiera de las muchas otras cosas que usted puede desear saber, implica un conjunto diferente de preguntas evaluativas. Para encontrar las preguntas que mejor se adaptan a su evaluación, hay una serie de pasos que se pueden seguir.

Describa el asunto o problema que va a tratar.

Un problema es una diferencia entre una condición ideal  (todas las personas de 10 años o más deben poder leer;  todo el mundo tiene que poder encontrar un empleo decente) y una condición real en la comunidad o sociedad  (hay un 25% de analfabetos entre quienes asisten a determinada secundaria; 50%  de los jóvenes de minorías en cierta ciudad están desempleados). Esto puede indicar la ausencia de algún factor positivo (maestros calificados y adecuadas instalaciones educacionales; empleos que no requieren experiencia y que se encuentran cercanos a vecindarios de minorías) o la presencia de algún factor negativo (dificultad de los estudiantes con el inglés; discriminación contra los solicitantes de trabajo provenientes de minorías), o alguna combinación de ellos.

Para describir el asunto o problema:

• Describa la condición ideal, incluyendo los factores positivos presentes y los factores negativos ausentes. ¿Cómo se vería todo si fuera como usted quisiera que fuera?
• Describa las condiciones reales que constituyen el problema de interés, incluyendo las condiciones negativas presentes y las condiciones positivas ausentes. ¿Cómo son realmente las condiciones?
• Describa el problema real en términos de lo que usted espera cambiar. ¿Qué factores positivos quiere crear y/o qué factores negativos quiere eliminar?

Describa la importancia del problema.

Para estar seguros de que este es un problema que se debería tratar de solucionar,  considere su importancia para los afectados y para la comunidad.

• ¿Es la discrepancia entre las condiciones ideales y las reales del tipo y tamaño como para ser consideradas importantes?
• ¿Cuáles son las consecuencias (positivas y negativas) del problema?
• ¿Quién experimenta estas consecuencias (o sea, participantes del programa, sus familias, amigos, y pares; proveedores de servicios, políticos, y otros)? ¿Cuántas personas son afectadas?
• ¿Cuán a menudo o por cuánto tiempo son afectados? ¿Cuál es la intensidad del efecto?
• ¿Cuánto importa a estas personas el hecho de que el problema es experimentado hasta este grado?
• Ustedes también podrían preguntar si los efectos del problema le importan a la sociedad  pero en realidad, eso no haría diferencia. Si le importan a la gente que los experimenta, son importantes. La sociedad no siempre considera importante un problema si es sólo un problema para una minoría, o para un grupo que es generalmente ignorado (los pobres, los sin hogar).

A la luz de estos factores, decida si el problema es importante para la evaluación.

Describa a los que contribuyen con el problema.

¿El comportamiento de quién, por su  presencia o ausencia, contribuye al problema? ¿Están ellos en el entorno personal de los participantes del programa (los participantes mismos, familiares, amigos), en el entorno de servicio (maestros, policía), o en un entorno más amplio (políticos, medios, público en general)? Para cada uno de ellos, considere los tipos de conducta que,  por su presencia o ausencia, contribuyen a la  discrepancia que constituye el problema.

Calcule la importancia y factibilidad de cambiar esos comportamientos.

¿Cuán importante es cada uno de estos comportamientos para la solución del problema? ¿Cuáles son las posibilidades de que su esfuerzo pueda tener algún efecto en cada uno de ellos?

Describa el objetivo de cambio.

 Basados en el análisis arriba mencionado, elija cambios de comportamiento para tratar en personas específicas. Donde se pueda, especifique los niveles de cambio deseados en los comportamientos y resultados seleccionados (aquellos cambios en las condiciones que deberían ocurrir para que el problema pueda solucionarse).

Por ejemplo, una meta de cambio de comportamiento podría ser un aumento en la capacitación previa al empleo – presentación personal, búsqueda de trabajo, técnicas para la entrevista, competencia interpersonal, elaboración del currículum, conocimientos básicos, etc. – para los buscadores de trabajo de entre 18 y 24 años, de las minorías. O por otro lado se podría en cambio o además enfocarse en los políticos, con el objetivo de hacer que ellos ofrezcan incentivos fiscales a los negocios que se instalen en o cerca de las comunidades de minorías.

Esta es una manera de definir su trabajo. Si se planea la evaluación mientras se planea el programa – como se debería hacer idealmente – entonces las preguntas que están pidiendo que evaluación examine reflejan los problemas que se están tratando de resolver, y este tipo de análisis es importante. Si se está comenzando la evaluación de un programa que ha estado funcionando por algún tiempo, entonces se tiene que analizar qué tipo de consecuencias se creen (esperan) que el programa está teniendo, y adónde ellas conducen. Se podría estar hablando de cambios en conductas específicas de participantes, conductas que actúan como indicadores de otros cambios, o de resultados de otros tipos  (participantes que obtengan empleo, por ejemplo, lo que puede tener una relación directa con la conducta del participante o puede tener más que ver con condiciones económicas locales.)

Asegúrese de que los cambios esperados constituyan una solución o una contribución sustancial al problema.

Si se concluye que los cambios no resultarían en una contribución sustancial, revise la escogencia del problema y/o su selección de la población meta y las acciones como sea necesario. Si se piensa que lo que se está mirando en una evaluación no se enfoca en el problema, entonces se debería estar observando otra cosa. Si los objetivos que se han elegido sí constituyen toda o una parte sustancial de la solución, entonces ya se han encontrado sus preguntas.

Una vez llegados a este punto, usted ha elegido sus preguntas evaluativas y -si se está en el comienzo del proceso de planificar su programa y su evaluación – el enfoque de su programa también. Cómo planear la implementación del programa es el tema de varios otros capítulos de la Caja de Herramientas Comunitarias, particularmente, en el resto de esta sección, nos ocuparemos de los otros factores que se necesitan considerar para armar su evaluación. Entonces, en el resto de este capítulo, discutiremos en detalle cómo encontrar las respuestas a las preguntas evaluativas que se han escogido, y qué hacer entonces con esa información.

Ahora que se han elegido sus preguntas, habrían dos factores más a considerar: los lugares en los que la evaluación se realizará, y los participantes cuyos comportamientos, actividades, o circunstancias serán evaluados. Si su programa es relativamente pequeño y/o tiene sólo un entorno o lugar, nada de esto será un problema – tanto los lugares como los participantes serán simplemente los del  programa. Sin embargo, si no se tienen los recursos – tanto financieros, como de tiempo o de personal - para evaluar al programa completo.

 Hay algunas situaciones en las que la elección del lugar y/o de los participantes puede ser importante:

• Si su programa es muy grande y/o tiene múltiples locaciones.
• Si los diferentes lugares conllevan diferentes servicios, actividades, o condiciones, o usan diferentes métodos.
• Si su programa incluye diferentes grupos de participantes (grupos que están en diferentes etapas del programa, o que están expuestos a diferentes métodos o servicios).
• Si los grupos de participantes pertenecen a poblaciones con culturas claramente diferentes, provenientes de raza, etnia, clase, religión, u otros factores.
• Si usted es un evaluador externo (alguien no conectado a un programa que es traído para evaluarlo) o un académico u otro investigador independiente.

Lugar

Múltiples locaciones.

Las locaciones múltiples pueden presentar un desafío para una evaluación, porque, aunque se hicieran todos los esfuerzos posibles para hacer el programa exactamente igual en todos los lugares, raramente será así. Si el programa depende de la interacción humana - maestro/alumno, consultor/consultado, entrenador/entrenado, doctor/paciente, etc. – habrá diferencias de lugar en lugar dependiendo del personal en cada uno. (La excepción es cuando las mismas personas trabajan en todos los lugares, proporcionando los mismos servicios en cada lugar a diferentes horas o en diferentes días.) Aún cuando todos sean igualmente competentes,  no hay dos miembros del personal o equipos que hagan las cosas exactamente de la misma manera o se relacionen con los participantes exactamente del mismo modo, y las diferencias pueden verse reflejadas en diferencias en los resultados. Si los métodos u otros factores varían de lugar en lugar, ello complicará todavía más la situación.

Además, el carácter físico de un lugar puede influenciar no sólo la efectividad del  programa, sino también el reclutamiento de participantes y si ellos permanecerán o no al programa el tiempo suficiente para que tenga algún efecto (a menudo llamado "retención.") La disposición del lugar, comodidad, aparente protección y seguridad, y – a menudo lo más importante – la facilidad para llegar a él, todo afecta a que los participantes se inscriban y permanezcan en el programa.

Donde se tenga la posibilidad de evaluar a todos los lugares, será útil incorporar a la evaluación un método para compararlos. Esto  permitirá identificar y adoptar en todos los lugares métodos, condiciones, o actividades que parecen hacer particularmente exitoso un lugar, e identificar y cambiar en todos los lugares los métodos, condiciones, o actividades que parecen crear barreras contra el éxito.

Si no se puede evaluar cada lugar por separado, se tendrá que decidir cuál o cuáles darán la información que ayudará más a ajustar y mejorar su  programa. Si se está especialmente preocupado por evaluar su efectividad total, esto significará evaluar el o los sitios más apegados a la normativa del programa, en cuanto a métodos, condiciones, actividades, metas, interacción participante/personal, etc. Si, por otro lado, su consideración principal es saber si un método o una situación especial o inusual está funcionando, se podría evaluar el lugar (o los lugares) menos parecido(s) a los otros.

Si los lugares parecen sólo mínimamente diferentes, algunas otras consideraciones que pueden entrar en el juego son:

• El número y la característica  de los participantes en el lugar. Los participantes en un determinado lugar pueden estar experimentando los efectos del problema más severamente, o pueden tener una característica particular importante, tal como una barrera de lenguaje.
• La capacidad y disposición de participantes y personal para apoyar la investigación evaluativa. Si el personal en un determinado lugar no puede o no quiere registrar observaciones, asistencia, y otros datos clave, o si los participantes no pueden o no quieren ser entrevistados o monitoreados, la evaluación en ese lugar puede ser dificultosa.
• La estabilidad de la población en la localidad. Si los participantes en un lugar van y vienen continuamente – a menos que esa sea la intención del programa – puede ser difícil obtener información que contribuya a una evaluación precisa.
• La excepción, por supuesto, ocurre aquí si uno de los puntos de la evaluación es averiguar por qué los participantes permanecen por tan corto tiempo, y tratar de desarrollar métodos o crear condiciones para ayudarlos a quedarse en el programa el tiempo suficiente para alcanzar sus objetivos.

Lugares con diferentes métodos, condiciones, actividades, o servicios.

Los programas son a veces organizados de modo que diferentes métodos sean usados o diferentes servicios sean provistos en diferentes lugares. En otros casos, las condiciones pueden variar de lugar en lugar a causa de las ubicaciones geográficas de los lugares  o el espacio disponible. La situación ideal es evaluar todos los lugares y comparar los efectos de los diferentes métodos, condiciones, o servicios. Cuando esto no es posible, se tendrá que decidir qué es lo más importante de averiguar.

Si los métodos, servicios, o condiciones en un lugar determinado son nuevos o innovadores, usted podrá querer evaluarlos, en vez de aquellos que ya son conocidos y han sido evaluados. Puede haber un método o servicio en particular que se quiera evaluar, en cuyo caso la decisión acerca de qué lugar seleccionar es obvia. La decisión debe estar basada en lo que tenga más sentido para su programa, y en lo que les dé la mejor información para mejorar su efectividad.

Cuando se tenga la posibilidad de seleccionar más de un lugar para evaluar, generalmente tiene más sentido seleccionar dos o tres lugares que sean diferentes – especialmente si cada uno es representativo de otros lugares del programa o de iniciativas del programa – de modo que se pueda comparar su efectividad. Aún donde los lugares parecieran esencialmente similares, se obtendrá más información evaluando a todos lugares que se puedan.

Participantes

Grupos Múltiples.

Hay una cantidad de razones por las cuales pueden existir grupos múltiples de participantes en un programa. Usted podría iniciar grupos diferentes en momentos diferentes, ya sea debido a que el programa tiene un esquema de inicio progresivo (se inicia cuando hay suficiente gente para una clase o grupo de capacitación), o porque el programa está dirigido a diferentes grupos  (por ejemplo, de 5 años de edad, de 8 años, y de 14 años). También se podría probar diferentes estrategias con diferentes grupos. El Proyecto Brookline de Educación Temprana (BEEP), un programa que apunta a disponer escuelas para niños desde antes de nacer y hasta los 5 años, inscribió familias las cuales esperaban un bebé en tres estudios de seguimiento en el curso de tres años. Además, a las familias de cada estudio se les asignó a uno de tres niveles de servicio. De este modo, había realmente nueve grupos diferentes entre los participantes del BEEP, aún cuando en el tercer año, todos estaban recibiendo servicios al mismo tiempo.

Una vez más, si no hay problema para evaluar el programa completo, los participantes simplemente serán todos. Si ello no es posible, hay una cantidad de elecciones potenciales:

• Evaluar su trabajo con sólo un grupo, con la esperanza de que el trabajo con los otros será evaluado en el futuro. En este caso, probablemente se querrá seleccionar el grupo que parece necesitar más el programa (o sea es más crucial). Ellos podrían tener un mayor riesgo  (de ataque al corazón, de fracaso escolar, de quedarse sin casa, etc.) o podrían estar experimentando el asunto o problema en un mayor nivel de intensidad (incidentes diarios de disparos en el vecindario, altas tasas de embarazo juvenil, desempleo masivo).
• Incluya un número pequeño (2-4) de grupos en su evaluación. Tal vez se quieran seleccionar grupos con características contrastantes (diferentes edades, por ejemplo, o encarados con diferentes estrategias). Por otro lado, dependiendo del enfoque de su evaluación, se podría querer grupos que son esencialmente similares, para ver si su trabajo es consistente en sus efectos.
• Elija a unos pocos participantes de cada grupo para enfocar su evaluación en ellos. Aunque esto no les dará un panorama completo, debería darles información suficiente para saber dónde su programa está cumpliendo con sus objetivos y dónde necesita mejorarse. Las diferencias en los modos en que los participantes en los diferentes grupos responden a su programa (asumiendo que haya diferencias) pueden también darles ideas para maneras de cambiar lo que se está haciendo.

Participantes de diferentes poblaciones y culturas.

Los factores culturales pueden tener un enorme efecto en las respuestas de los participantes a un programa. Ellos pueden influenciar las concepciones de los roles sociales, las responsabilidades familiares, los comportamientos aceptables y no aceptables, las actitudes hacia la autoridad (y sobre quien constituye la autoridad), los temas permitidos de conversación, la moralidad, el rol de la religión – y la lista sigue y sigue. Al planear un programa que involucra a miembros de diferentes poblaciones y culturas, se tienen esencialmente tres opciones:

• Planear su programa e implementarlo de la misma manera para todos los involucrados. Si el programa involucra grupos  - clases, grupos de apoyo, etc. – la afiliación de los participantes está determinada no por el grupo poblacional sino por el momento en que ellos se inscriben, a qué hora del día  pueden asistir, para qué se inscriben, o cualesquiera que sean los otros criterios que tengan sentido lógico.
• Planear su programa para que sea tan culturalmente sensible como sea posible, y tratar de dejar afuera cualquier cosa que pudiera ser ofensiva o difícil para cualquier grupo. En esta instancia, se debe estar preparado para responder si los participantes de una población determinada pidieran a un grupo de los suyos (o sea de personas de su mismo grupo cultural).
• Dividir a los participantes por grupo cultural y planear diferentes propuestas culturalmente sensibles para cada uno. Su propuesta general puede ser la misma para todos, pero la manera en que se aplica puede diferir según la cultura.

En cualquiera de estas instancias, probablemente sería importante comprender qué tan bien está funcionando su enfoque con los miembros de las distintas poblaciones. Si se puede evaluar el programa completo, asegúrese de incluir suficientes miembros de cada grupo con el fin de poder comparar resultados (y sus opiniones del programa) entre ellos. Si sus posibilidades de evaluación son limitadas, entonces sus opciones son similares a aquéllas para grupos múltiples de otras clases, y dependerán de qué exactamente es lo más útil para su organización o iniciativa.

Aquí hay interacciones entre la elección de lugares y la elección de participantes. Se puede estar preocupado de los efectos de su  programa sobre una determinada población, la que puede estar en gran parte concentrada en un lugar. En ese caso, si se dispone de recursos limitados,  se podría evaluar sólo ese lugar, o ese lugar y otro más.

Sin tomar en cuenta otras consideraciones, se puede querer fijar algunos lineamientos acerca de quiénes incluir en la evaluación.¿Cuánto tiempo tiene que estar la gente en el  programa, por ejemplo, antes de ser incluida? En otras palabras, ¿qué se considera como participación? (Esto también fija un criterio sobre quién deberá ser considerado como desertor: cualquiera que empieza, pero deja el programa antes de cumplir con el estándar de participación.) ¿Qué sucede con aquéllos cuya asistencia es errática – unos días aquí, unos días allá, algunas veces con semanas  de ausencia? ¿Tendrán que haber asistido un cierto número de horas para ser considerados participantes?

Estos asuntos pueden ser más complejos de lo que parecen. La gente puede comenzar y abandonar un programa numerosas veces, y luego finalmente volver y completarlo. Muchos otros comienzan los programas numerosas veces, y nunca llegan a completarlos. Es generalmente imposible adivinar la diferencia hasta que algunos realmente llegan al punto de finalización, lo que sea que ello signifique para el programa en cuestión.

En sentido inverso al escenario de los que comienzan-muchas-veces-antes-de-completarlo, puede haber unas pocas personas que permanecen en un programa justo hasta llegar al final, y allí abandonan.  Esto puede tener que ver con el miedo de tener que sobrellevar el éxito y un cambio en la imagen propia, o puede simplemente ser un patrón que la persona ha aprendido, y que tendría que “des-aprender” antes de poder completar el programa.

¿Deberían alguna o todas estas personas ser incluidas en o excluidas de una evaluación, tanto antes (a causa de su historia en el programa) como después del hecho? Esa es una decisión que se tendrá que tomar, basados en lo que su inclusión o exclusión les diga. Sólo asegúrese de que su evaluación claramente describa los criterios que se decidieron usar para sus participantes.

Si usted es un evaluador externo o un académico u otro investigador independiente

Hasta este momento, hemos ignorado grandemente las dificultades de evaluación que enfrentan los evaluadores que no están directamente conectados con la organización o institución que lleva a cabo el programa que ellos están evaluando. Si usted ha sido contratado o designado por la organización o por uno de los patrocinadores para evaluar el programa, usted debe establecer un vínculo de confianza, tanto con la organización y su personal como con los participantes, si se espera obtener buena información con la cual trabajar. También se debe aprender bastante en poco tiempo acerca de la comunidad, la organización, el  programa, y los participantes, para idear un buen plan de evaluación,  y para analizar los datos que usted y otros reúnan.

Si se es un investigador independiente – un estudiante graduado, un académico, un periodista – Usted encontrará obstáculos aún mayores. Primero, tiene que encontrar un lugar donde desarrollar su investigación - un programa a evaluar – que calce con sus intereses de investigación. Entonces, usted tiene que convencer a la organización que está llevando a cabo ese programa de que le permita hacer la investigación. Una vez que haya logrado esto, todavía se enfrentará con todas las mismas tareas que un evaluador externo: establecer confianza,  entender el contexto, etc.

Veamos primero el proceso que como investigador independiente deberá seguir para seleccionar y ganar acceso a un lugar apropiado para sus intereses. Una vez que haya logrado ese acceso, se habrá convertido en un evaluador externo, por lo tanto desde ese punto en adelante,  el proceso de preparación para la evaluación será igual para ambos.

Elija un lugar/localidad.

Si usted es un académico o un estudiante, probablemente podrá encontrar un programa apropiado preguntando a colegas, profesores, y otros investigadores de su institución. Si ninguno de ellos sabe de alguno en ese momento, alguien casi seguramente podrá ponerlo en contacto con agencias de servicios humanos y otras que lo harán. Otras posibles fuentes de información incluyen el Internet, patrocinadores, asociaciones profesionales, coaliciones de servicios humanos y de salud, y organizaciones comunitarias. La información sobre fondos públicos está a menudo disponible en la web, en las bibliotecas, o en los archivos de los diarios. Cuanto más ampliamente usted extienda su red, más probabilidades tendrá de encontrar el programa que está buscando.

El programa adecuado obviamente dependerá de sus intereses de investigación, pero algunas preguntas que  serán parte de su elección incluyen:

• ¿El escenario incluye personas que están realmente experimentando el problema que es de interés para usted?
• ¿Es el escenario similar a otros de este tipo? (Si no lo es, su programa puede no ser útil a otros que estén trabajando con el problema, aún cuando funcione bien en su propio contexto.)
• ¿Proporciona el escenario de trabajo apoyo para la investigación? ¿Ayudarán los empleados, los participantes, y otros con la recolección de datos,  serán serviciales acerca de las preguntas de contexto, cooperarán con usted?
• ¿El lugar cuenta con los recursos para mantener el programa después de que su evaluación esté hecha?
• ¿El lugar de trabajo permite los cambios en la operación requeridos por la investigación? Si el planeamiento de la evaluación y la elección de las preguntas apuntan a hacer las cosas de manera diferente, el programa ¿podrá hacer y hará los cambios necesarios?
• ¿Es el la propuesta de evaluación y el lugar de trabajo accesible?

La accesibilidad incluye no solamente la de los discapacitados, sino también si un lugar está en un vecindario  que hace sentir bienvenidos o seguros a los participantes, si es fácilmente accesible por el transporte público o se puede llegar a pie desde las áreas de las cuales se extraen los participantes, y si está ubicado en un edificio o institución que no se sienta intimidante o extraño (un campus o un edificio universitario pueden parecer tan amenazantes como una fortaleza para alguien que se sienta inseguro acerca de sus antecedentes educativos, por ejemplo.) La accesibilidad puede ser el factor determinante para que los participantes consideren ser parte de un programa, o para que permanezcan en él.

¿Es estable la iniciativa? El programa y la organización, ¿son lo suficientemente estables como para saber que se podrá mantener el trabajo en el nivel necesario, al menos hasta que se complete la evaluación?

Una vez que se haya encontrado un escenario de trabajo apropiado, tendrá que convencer a la organización de colaborar con usted en una evaluación. Los tres pasos siguientes están dirigidos hacia ese objetivo.

Aprenda lo más que pueda sobre la organización que ha elegido.

Así como usted no iría a una entrevista de trabajo sin hacer algunas averiguaciones acerca del empleador, tampoco debería tratar de ganar la cooperación de una organización sin saber algo acerca de ella - su misión, sus metas, a quién responde, quiénes son el director y los miembros directivos, etc. Si alguien le habló de la organización, esa persona puede tener, o conocer a alguien que tenga, mucha de la información que usted necesita. Si la organización mantiene un sitio Web, mucha de esa información estará disponible allí. Si está registrada, la oficina de la Secretaría de registro del estado y/u otras oficinas estatales tendrán información acerca  de los miembros oficiales (o sea,  el Consejo Directivo) y otros aspectos de la organización. Las agencias de financiamiento pueden también tener la información que sea motivo de registro público, incluyendo las propuestas. (Ver "Averigüe todo lo que se pueda sobre el contexto" más abajo.)

Contacte a la(s) persona(s) apropiada(s) y solicite una entrevista.

Averigüe a quién (nombre, así como posición) debe dirigirse para hablar sobre la realización de un proyecto de investigación en la organización que usted ha elegido.

Dependiendo de la organización, éste podría ser el presidente del consejo directivo, el director ejecutivo, o el director del programa (si el programa que a usted le interesa es sólo una parte de una organización más grande). En cualquier caso, sería inteligente involucrar al director del programa aún cuando él no sea el que tome la decisión final, puesto que su cooperación será crucial para completar su investigación.

• Si puede, consiga una presentación personal. Siempre es mejor si usted llega recomendado por alguien conocido por la persona con la cual usted necesita hablar.
• Si no puede conseguir una presentación personal, lo mejor es enviar una carta solicitando una reunión y explicando la razón de dicha reunión, y seguidamente hacer una llamada telefónica.
• Antes de la reunión, envíe una propuesta delineando lo que pretende hacer.Esta debería tener la suficiente sustancia como para ayudar a la organización a decidir si quiere trabajar con usted,  pero no ser tan específica como para no permitir un planeamiento colaborativo de la evaluación.

Planee y prepárese para la reunión inicial. Hay varios propósitos para esta reunión, además del primordial de obtener el permiso y el apoyo para su proyecto (o al menos un acuerdo para seguir discutiendo la posibilidad). Ellos incluyen:

• Establecer sus credenciales - la experiencia, la formación educativa, y cualquier otro factor que lo habilite a conducir esta  evaluación. Esto puede incluir referencias de colegas, profesores, u otras organizaciones con las que haya trabajado.
• Aprender más acerca del programa y la organización.
• Explicar qué quiere hacer y por qué, cómo se presentarán probablemente los resultados de la evaluación, qué se hará con ellos, quién tendrá acceso, etc. Esta explicación también deberá cubrir los temas de confidencialidad y autorización de los participantes.
• Explicar lo que se necesita de la organización y/o del programa - participación de los  participantes y el personal, por ejemplo, cualquier apoyo logístico, acceso a registros, o acceso a actividades del programa.
• Explicar lo que usted está ofreciendo a cambio – sus servicios para una evaluación formal y extensa, todos los gastos, equipos y materiales, otros servicios de apoyo, o cualquier otra cosa más que se tenga para ofrecer.
• Aclarar las necesidades de la organización, y discutir cómo encajan con las suyas – y cómo ambas pueden satisfacerse.

Asumiendo que su presentación ha sido convincente, y usted es ahora el  evaluador del programa, el resto de los pasos que siguen se aplican tanto a los investigadores independientes como a  los evaluadores externos.

Averigüe todo lo que se pueda sobre el contexto.

Esto puede resultar diferente para los evaluadores externos que para los investigadores independientes, pero es igualmente importante para ambos.Significa averiguar de antemano todo lo que se pueda sobre la comunidad, la organización, el programa, y los participantes  – la estructura social de la comunidad y dónde encajan los participantes dentro de ella, la historia del problema en cuestión, cómo es vista la organización, las relaciones entre grupos e individuos,  la política comunitaria etc.

Si usted es un evaluador externo, puede tomar ideas de los administradores del  programa, del personal, y de los participantes acerca de la comunidad, la organización, y el asunto en cuestión. Pídales que lo dirijan a otros  - líderes comunitarios, funcionarios, residentes de mucho tiempo, clérigos, miembros confiables de determinados grupos – que puedan también darle sus perspectivas. Si es posible, conozca la comunidad físicamente: camine y/o conduzca por ella, visite comercios, parques, restaurantes, la biblioteca. El comprender cómo el problema incide en la comunidad, la naturaleza de las relaciones entre grupos e individuos, y cómo es la vida en los vecindarios donde viven los participantes, le ayudará mucho al analizar la evaluación del programa.

Si usted es un investigador independiente, aprenda lo más que pueda sobre el contexto antes de contactar al programa. Los sitios web  (de la organización y/o la comunidad) y las bibliotecas son dos posibles fuentes de información, como también lo son la literatura sobre la comunidad y la organización. y la gente que conoce la comunidad. Aprender de antemano sobre la comunidad, la organización, y los participantes, le ayudará a determinar si este programa encaja con su investigación  y a abogar por su cooperación con su proyecto. Una vez que usted cuente con esa cooperación, puede seguir el mismo sendero que un evaluador externo (puesto que eso es lo que usted es) para aprender lo más que pueda sobre el contexto del programa.

Establezca confianza con los administradores del programa, el personal, y los participantes.

Esta puede ser la parte más difícil de una evaluación para alguien de afuera de la organización. No hay ningún acto de magia o línea de tiempo predecible, pero hay varias cosas que se pueden hacer:

• Sea usted mismo. No sienta que debe actuar de cierta manera: trate con la gente del programa como lo hace con amigos y conocidos en otras circunstancias.La gente se da cuenta cuando alguien está siendo falso, y es  poco probable que confíen en usted si ese es el caso.
• Trate a todo el mundo con el mismo respeto, como colegas en un proyecto de investigación.
• No asuma que sabe más que nadie por ser el profesional.
• Comparta libremente lo que sabe, pero no se ate a ningún proceso o método determinado, especialmente en respuesta a una posición opuesta de un individuo importante.
• Pregunte a los administradores, personal, y participantes lo que ellos quieren de la evaluación, y discuta cómo la evaluación podría proporcionárselo.
• No tenga miedo de decir "No lo sé, pero lo voy a averiguar," y hágalo.
• Ejecute fielmente cualquier cosa que diga que va a hacer. No prometa nada que no podrá cumplir, y fije plazos de entrega razonables, con el fin de poder cumplirlos.

Los últimos dos pasos se aplican a todos, evaluadores internos y externos.

Apunten a una evaluación participativa.

Hemos discutido más arriba el involucramiento de todos los interesados al máximo posible. El involucrar a los participantes, personal del programa, y otros interesados en un planeamiento y una investigación participativa puede a menudo otorgarles los datos más precisos, y darles acceso a personas y lugares que normalmente no tendrían. Por otro lado, el planeamiento y la investigación participativa,  como hemos explicado, llevan tiempo y energía. Si se tiene un tiempo limitado, tal vez no se pueda armar un proyecto totalmente participativo.  Se puede, sin embargo, todavía consultar a los interesados, e involucrarlos en maneras que no requieran necesariamente capacitación o grandes cantidades de su tiempo.Ellos pueden ayudarlos a programar las entrevistas con los participantes u otros informantes importantes, por ejemplo, y/o actuar como informantes ellos mismos en lo relativo a condiciones y relaciones comunitarias.

Por lo menos la gente a cargo del programa, y probablemente aquéllos que lo implementan también, esperarán tomar parte en el planeamiento de la evaluación. Ellos son, después de todo, los que necesitan saber si su trabajo es efectivo, y cómo mejorarlo. El involucrar a los participantes también, en roles que van de informantes acerca del contexto a verdaderos investigadores, probablemente enriquezca la cantidad y calidad de la información que ustedes obtengan.

Planeen la evaluación, en colaboración con los interesados.

Esa colaboración deberá darse en el más alto nivel de participación posible, dada la naturaleza del programa, el tiempo disponible, y la capacidad de los involucrados (si los participantes del programa son niños de cinco años, ellos probablemente tendrán relativamente poco que contribuir al planeamiento de la evaluación... pero sus padres podrían querer involucrarse.)

El planeamiento mismo comprende diez  áreas diferentes, cada una de las cuales será tema de una de las restantes secciones en este capítulo:

• Recolección y síntesis de la información.
• Diseño de un sistema de observación.
• Desarrollo y prueba de una intervención prototipo.
• Selección de un diseño experimental apropiado.
• Recolección y análisis de los datos.
• Recolección e interpretación de la información etnográfica.
• Recolección y uso de los datos de archivo.
• Alentar la participación a través de la investigación.
• Refinar la intervención basándose en la evaluación.
• Preparación de los resultados de la evaluación para su divulgación.

Una vez que el planeamiento está hecho, es tiempo de empezar a llevar a cabo la evaluación.Y cuando se haya terminado – después de haber analizado la información y planeado y realizado los cambios que se necesitarán – es tiempo de comenzar el proceso otra vez, con el fin de poder determinar si esos cambios tuvieron los efectos que se pretendían. La evaluación, como gran parte del trabajo comunitario, es un proceso que sigue así por la misma cantidad de tiempo que el trabajo mismo. Ella es absolutamente esencial para la mejora continua de su programa.

En resumen

La selección de las preguntas evaluativas - las áreas de su trabajo que se examinarán como parte de la evaluación de su programa - es clave para definir exactamente qué es lo que se está tratando de lograr. Por esa razón, esas preguntas deben ser elegidas cuidadosamente como parte del proceso de planeamiento para el programa mismo, de modo que las preguntas puedan guiar su trabajo así como la evaluación de él. Cuanto más se pueda involucrar a los interesados en esa selección y ese planeamiento, más probable será que se cree un programa que logre exitosamente sus metas de servicio para la comunidad.

La buena selección de esas preguntas supone comprender el contexto del programa - la comunidad, los participantes, la cultura de todo grupo que esté involucrado, la historia del problema y de la estructura social de la comunidad y de la organización - y (si usted es un evaluador externo sin ataduras con el programa) el establecimiento de una confianza con administradores, miembros del personal, y participantes. Esa confianza le permitirá realizar una evaluación participativa que extraiga el conocimiento y los talentos de todos los interesados, y planear una evaluación que se ajuste a las metas de su programa y que analice con precisión  sus fortalezas y sus debilidades. Con ese análisis en la mano,  se podrán hacer cambios para mejorar el programa. Entonces se estará cercano a comenzar todo el proceso otra vez, con el fin de poder evaluar los efectos de los cambios que se han realizado.

¿Qué queremos decir con seleccionar las preguntas?

___Las preguntas evaluativas son aquellas que su evaluación debe responder acerca de su trabajo.

___Las preguntas evaluativas ayudan a fijar la dirección del trabajo, así como a evaluar su efectividad.

___Idealmente, la selección de las preguntas evaluativas es parte del planeamiento del programa total.

Preguntas a hacerse al seleccionar las preguntas evaluativas:

___¿Qué es lo que quieren saber?

___¿Por qué les interesa?

___¿Es el asunto el cual se está tratando importante para la comunidad o para la sociedad?

___¿Cómo se relaciona el asunto con el campo de trabajo?

___¿Es un asunto general, en vez de específico a su población o comunidad?

___¿Quién podría usar los resultados de su evaluación?

___¿A quién concierne el  problema?

¿Por qué es  necesario seleccionar cuidadosamente las preguntas evaluativas?

___Les ayuda a comprender qué efectos están teniendo diferentes partes de su esfuerzo.

___Les hace definir claramente qué es lo que se está tratando de hacer.

___Les muestra dónde se necesitan hacer cambios.

___Resalta las consecuencias inesperadas.

___Guía sus elecciones futuras.

___En las evaluaciones participativas, involucra a los interesados en la fijación del curso del programa, haciendo de esta manera más probable que se cumplan con las necesidades de la comunidad.

___Proporciona el enfoque para la evaluación y para el programa.

___Determina qué se necesita registrar con el objetivo de recolectar datos para la evaluación.

¿Cuándo se debe seleccionar las preguntas y planear la evaluación?

___Si es posible, la selección de las preguntas y el planeamiento de la evaluación deberían ser una parte integral del planeamiento de su programa.

___Si su realidad lo hace imposible, seleccionar las preguntas y planear la evaluación debería hacerse tan pronto como sea posible después de que el programa empieza.

¿Quiénes deben estar involucrados en el proceso?

___Hasta donde sea posible, el proceso debe involucrar a todos los interesados,  incluyendo a los  participantes y a los beneficiarios del programa.

¿Cómo seleccionar las preguntas y planear la evaluación?

Al seleccionar las preguntas:

___Describa el asunto o problema que se está tratando.

___Describa la importancia del problema.

___Describa a los que contribuyen al problema.

___Evalúe la importancia y la factibilidad de cambiar esos comportamientos.

___Describa  el objetivo de cambio.

___Asegúrese de que los cambios esperados constituyan una solución o una contribución sustancial a la solución del  problema.

Al hacer el planeamiento:

___Tome en cuenta los problemas que surjan debido a lugares múltiples o muy diferentes.

___Tome en cuenta los problemas que surjan por grupos participantes con diferentes culturas, posibilidad de completar el programa, localización geográfica, y otros factores.

Para los evaluadores externos, específicamente:

___Elijan un escenario de trabajo.

___Aprendan lo más que se pueda sobre la organización que han elegido.

___Contacten a la(s) persona(s) apropiada(s)  y soliciten una entrevista.

___Planeen y prepárense para la reunión inicial.

Para todos los evaluadores:

___Averigüen todo lo que puedan sobre el contexto.

___Establezcan confianza con los administradores del programa, el personal y los participantes.

___Apunten a una evaluación participativa.

___Planeen la evaluación en colaboración con los interesados.

___Consideren todos los elementos de una evaluación en su planeamiento:

___Recolección y síntesis de la información.

___Diseño de un sistema de observación.

___Desarrollar y probar un  prototipo de intervención.

___Seleccionar un diseño experimental apropiado.

___Recolectar y analizar los datos.

___Reunir e interpretar la información etnográfica.

___Recolectar y usar los datos de archivos.

___Alentar la participación a través de la investigación.

___Afinar la intervención basados en la evaluación.

___Preparar los resultados de la evaluación para su divulgación.

Example 1: Using Miro Board for Collaborative Development of Evaluation Goals and Questions

 

Noah Goodman shares the process he used to prepare for and conduct a kick-off meeting to develop evaluation goals and questions for the Right Question Institute.

Integrating Technology in Evaluation TIG Week: Using Miro Boards to Engage Clients in Collaborative Development of Evaluation Goals and Questions by Noah Goodman

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué se entiende por recolección y síntesis de información?

• ¿Por qué llevar a cabo la recolección y síntesis de información?

• ¿Cuándo conviene realizar la recolección y síntesis de información?

• ¿Quién debe llevar a cabo la recolección y síntesis de información?

• ¿Cómo se lleva a cabo la recolección y síntesis de información?

Supongamos que quisiera diseñar una casa que utilizara muy poca energía, requiriera pocos recursos para construirse y mantenerse, y fuera asequible para la mayoría de las familias. Podría tener algunas ideas originales sobre cómo lograrlo, pero también querría conocer las ideas que han tenido otras personas. Probablemente leería acerca de las casas semienterradas (construidas en una ladera o montículo de tierra), los paneles solares o los molinos de viento para producir electricidad, las ventanas aislantes eficientes, el reciclaje de aguas residuales y los materiales de construcción no tóxicos que reutilizan madera y metal de desecho. Hablaría con personas que han construido o vivido en casas eficientes en energía, para conocer la realidad de vivir de manera sostenible. También aprendería sobre las barreras de algunas estrategias ecológicas, así como las formas de superarlas. Hay una enorme cantidad de información disponible, y tendría sentido recopilar la mayor cantidad posible, para poder integrarla, incorporar los elementos adecuados en tu diseño y obtener nuevas ideas a partir de lo que ya se ha hecho.

Lo mismo ocurre si está diseñando una intervención o un programa para abordar un problema de salud comunitaria u otro tipo de cuestión, o bien una evaluación de ese programa. Sin duda, otras personas también han intentado enfrentar ese problema, algunas con éxito y otras sin él. Conocer qué hicieron, cómo lo hicieron y cuáles fueron los resultados puede ayudarte a decidir cómo diseñar tu propio esfuerzo. Quizá logre encontrar un método aquí y una técnica allá que, al combinarse, se adapten exactamente al programa que mejor responda a las necesidades y condiciones de su comunidad. O bien podría darse cuenta de que algo que pensaba implementar simplemente no ha funcionado en numerosos casos anteriores, y por lo tanto, tampoco tendría muchas probabilidades de funcionar en su situación.

Recopilar y utilizar las ideas de otros no significa que no pueda usar las suyas o crear algo nuevo. De hecho, las ideas nuevas suelen surgir a partir de lo que otros han intentado. La mayoría de los artistas comienzan imitando a otros antes de desarrollar sus propios estilos. Einstein no llegó a la teoría de la relatividad por casualidad; estaba familiarizado con ella porque otros ya habían trabajado en el tema. Por lo general, se puede innovar de manera más efectiva cuando se sabe qué se ha probado previamente.

Esta sección se centra en recopilar toda la información posible sobre el problema de su comunidad y sobre los intentos de abordarlo, y en integrar esa información para diseñar una evaluación que responda a sus preguntas. Aunque este capítulo trata sobre la evaluación, gran parte del contenido de estas secciones también se aplica a la planificación de la intervención (o programa) y a la evaluación: en realidad, ambos aspectos no pueden separarse.

Una evaluación es un proyecto de investigación: lo que buscamos es descubrir qué funciona y bajo qué condiciones. Los pasos para diseñar y utilizar una evaluación, el tema de este capítulo, son, en esencia, los mismos que los de diseñar el programa que se está evaluando. Los elementos que tomé de los esfuerzos exitosos de otros, junto con los que cree por su cuenta, darán lugar a una intervención y a las preguntas de evaluación correspondientes. Aunque en esta sección se hable del diseño del programa, lo expuesto también se aplica al diseño de la evaluación. 

¿Qué se entiende por recolección y síntesis de información?

La recopilación de información se refiere a obtener datos sobre el problema que enfrenta y sobre las formas en que otras organizaciones y comunidades lo han abordado. Cuanta más información tenga acerca del problema en sí y de las maneras en que se ha intentado resolver, más probabilidades tendrá de poder diseñar un programa o una intervención eficaz propia.

Existen, por supuesto, muchas fuentes de información, que varían según lo que esté buscando. En general, puede consultar fuentes existentes o examinar “ejemplos naturales”, es decir, ejemplos de programas e intervenciones reales que han abordado el problema. Aquí mencionaremos dónde encontrar ambos tipos de fuentes y más adelante en la sección entraremos en mayor detalle sobre ellas.

• Fuentes existentes. Este término se refiere a material publicado de diversos tipos que puede dar luz sobre el problema o alternativas de cómo enfrentarlo. Estas fuentes pueden dividirse, de manera práctica, en: publicaciones académicas, dirigidas principalmente a investigadores y a la comunidad universitaria; fuentes de divulgación, escritas en un estilo accesible y dirigidas al público en general; e información estadística y demográfica publicada por diversas organizaciones de investigación y organismos gubernamentales.
• Ejemplos naturales. Se trata de programas o intervenciones desarrollados y probados en comunidades que han abordado su problema. Estudiarlos puede mostrarle qué les funcionó y qué no, y por qué. Al ofrecerle una visión de cómo se manifiestan los problemas en su comunidad u otras, pueden proporcionarle ideas prácticas sobre cómo (o cómo no) llevar a cabo un programa o intervención exitosa. En la mayoría de los casos, las fuentes de información aquí son las personas involucradas en esfuerzos para abordar problemas similares al suyo, o aquellas que pueden orientarlo hacia ellas. Además, existen varios ejemplos naturales (como estudios de caso individuales) que han sido descritos en la literatura de la psicología comunitaria o de la salud pública y que pueden ser relevantes para su trabajo.

Síntesis proviene del griego; significa “juntar” o “reunir”. En inglés su significado es el mismo: la acción de juntar algo a partir de dos o más fuentes distintas. Por ejemplo, las telas sintéticas tienen ese nombre porque están construidas de varios componentes químicos.

En esta sección hablamos de ideas. La síntesis, en este contexto, se refiere a analizar lo que ha aprendido durante la recopilación de información y a construir un programa o enfoque coherente tomando ideas de diversas fuentes y uniéndolas para crear algo nuevo que responda a las necesidades de la comunidad y la población con las que trabaja. 

Sintetizar de esta manera requiere identificar los elementos funcionales de cada idea o programa que haya revisado y que parezcan aportar enseñanzas útiles para su trabajo. Los elementos funcionales son los componentes centrales de cada programa, los métodos, el marco, las actividades, las técnicas y otros aspectos que conforman el programa específico que está analizando. Una vez que haya separado estas partes, puede combinar aquellas que respondan a sus necesidades con lo que ha aprendido sobre el problema y con sus propias ideas, para construir un programa que se ajuste específicamente a su situación.

Como ya hemos mencionado, las actividades de recopilación y síntesis de información son necesarias tanto para crear el programa original como para desarrollar una evaluación que le ayude a mantenerlo y mejorarlo. Ambos procesos parten, en realidad, del mismo lugar: de lo que piensa que permitirá abordar el problema, la forma que debería adoptar el programa o intervención, con quién debería aplicarse y qué conductas o condiciones busca cambiar. Esto también orienta cuáles deben ser sus metas a corto y largo plazo, y por qué medios intentará alcanzarlas. Una vez que estas metas se han definido, a su vez determinan sus preguntas de evaluación. No se puede construir una evaluación sin saber exactamente qué es lo que se intenta evaluar.

¿Por qué llevar a cabo la recolección y síntesis de información?

Si está en proceso de iniciar un programa para abordar un problema comunitario, como la violencia o la educación en la primera infancia, probablemente ya sepa bastante sobre ese tema. Tal vez lo haya enfrentado de diferentes maneras y tenga ideas bastante claras acerca de qué tipo de programa podría funcionar. Entonces, ¿por qué dedicar tiempo y esfuerzo, suyo y de otras personas involucradas en una planificación participativa, a leer mucho material escrito por otros y a contactar a quienes ya han dirigido programas? Si piensa de esa manera, hay muchas buenas razones para considerarlo. Recopilar información de antemano y organizar lo que ha aprendido podría ser lo más importante que haga para que su programa sea efectivo. Aquí le explicamos por qué:

• Le ayudará a evitar descubrir el hilo negro. Es muy probable que muchas organizaciones hayan abordado este problema antes que usted. Algunas quizá hayan tenido éxito y otras no, pero todas seguramente aprendieron algo en el proceso que podría serle útil. No tiene por qué cometer los mismos errores que alguien más ya cometió si conoces su experiencia, ni tiene que crear algo desde cero, que puede o no funcionar, cuando ya existe un modelo que sí ha funcionado.

Le permitirá distinguir entre buenas y malas ideas. No está nada mal que tenga algunas de las mismas buenas ideas que otros ya han tenido, pero es útil saber que realmente son buenas. También existe la posibilidad de que tenga algunas de las mismas malas ideas que otros han tenido, y en ese caso resulta aún más valioso reconocer que son malas. Esto puede ahorrarle muchos problemas y, quizás, marcar la diferencia entre crear un programa que cumpla bien su función y uno que fracase estrepitosamente y desaparezca. Eso es como querer descubrir el hilo negro; alguien ya lo sabía.

• Le ayudará a comprender profundamente el problema para poder abordarlo adecuadamente. El primer paso para resolver un problema es saber exactamente con qué está tratando. Cuanto mejor lo entienda, sus causas, cómo ocurre, cómo reaccionan las personas cuando se ven afectadas, cuáles son sus consecuencias para los individuos y la comunidad, y quién puede influir en él, mayores serán las probabilidades de que pueda determinar cómo enfrentarlo.​​
• Necesita todas las herramientas posibles para crear el mejor programa que pueda. Y, ante todo, las herramientas más importantes para planificar e implementar un programa o intervención son: información, información y más información. Al igual que con el problema en sí, cuanto más sepa sobre qué funciona y para quién, cómo lograr que las cosas sucedan, y cómo establecer o eliminar ciertas condiciones, más probabilidades tendrá de diseñar un programa exitoso que aborde todos los aspectos del problema y no deje nada al azar. Diversos tipos de habilidades profesionales e interpersonales pueden ayudarle a implementar un programa, pero si lo que implementa no es efectivo, da igual cuán hábilmente lo lleve a cabo.
• Es probable que la mayoría de las soluciones no sean de talla única. Cuanta más información recopile, mayor será la variedad de enfoques, métodos y marcos de referencia entre los que podrá elegir. Armar la combinación adecuada le ayudará a responder con éxito a las necesidades particulares de su comunidad y de la población con la que trabaja.
• Puede ayudarle a ser culturalmente sensible. No solo podrá aprender más sobre la(s) cultura(s) de las personas con las que trabaja, sino que también es probable que encuentre una serie de enfoques que hayan funcionado con el grupo cultural al que espera beneficiar. Y quizá lo más importante: podrá aprender a evitar errores costosos que podrían requerir mucho tiempo y esfuerzo, o incluso ser imposibles de reparar.
• Conocer lo que se ha hecho en una variedad de circunstancias y comprender el problema desde diferentes puntos de vista puede darle nuevas perspectivas e ideas para su programa. Como mencionamos al inicio de esta sección, las ideas nuevas rara vez surgen de la nada. Se estimulan a partir de su propia experiencia y de las ideas y experiencias —buenas y malas, positivas y negativas— de otras personas. Vea la experiencia de otros campos, comunidades y países. Cuantas más ideas distintas conozca, y más formas encuentre de combinarlas, mayores serán las posibilidades de que genere algo nuevo que sea más efectivo que lo que se ha hecho antes.

¿Cuándo conviene realizar la recolección y síntesis de información?

La recopilación y síntesis de información es crucial para el éxito del programa y para la pertinencia y efectividad de la evaluación. Debe comenzar desde el inicio de cualquier esfuerzo y contribuir a la planificación inicial. También debe continuar a lo largo de toda la vida del programa, de manera que pueda seguir ajustándolo mediante la incorporación o modificación de elementos que mejoren los resultados y generen nuevas ideas.

Los ajustes principales, en general, deberían realizarse al final de un ciclo de evaluación, cuando ya se cuenta con información sólida sobre lo que funcionó y lo que no. Sin embargo, esto no significa que no se puedan hacer ajustes menores durante la implementación del programa para mejorar los resultados en el camino.

Existe aquí una tensión entre cambiar continuamente un programa para mejorarlo y obtener resultados de evaluación precisos. Si modifica un método o una actividad a mitad del proceso, su evaluación no podrá darle una valoración clara de su efectividad.

La cantidad de cambios que haga durante el desarrollo de un programa depende de su intención. Si su primera responsabilidad es averiguar qué funciona mejor, para luego transmitirlo, entonces es importante no hacer cambios hasta que se complete la evaluación. En cambio, si su responsabilidad principal es con los participantes actuales del programa, debería hacer los cambios necesarios en el momento en que sean necesarios para asegurar los mejores resultados para ellos.

Aquí también pueden surgir cuestiones éticas. En los experimentos médicos con nuevas terapias o fármacos, por ejemplo, algunos participantes reciben el nuevo tratamiento y otros no (todos aceptan voluntariamente esta condición y el hecho de no saber a qué grupo serán asignados). Si el nuevo tratamiento demuestra ser dañino, existe la obligación ética de suspender su aplicación. Por otro lado, si resulta ser notablemente eficaz, los investigadores suelen sentirse éticamente obligados a extenderlo a los demás participantes en cuanto pueden demostrar sus efectos positivos. No todos los programas plantean necesariamente dilemas éticos tan claros como los que surgen en los estudios médicos, pero siempre se deben tener en cuenta las consideraciones éticas.

¿Quién debe llevar a cabo la recolección y síntesis de información?

La premisa a lo largo de este capítulo es que todo el proceso —planificación, diseño, implementación y evaluación— involucra a múltiples actores interesados.

Los actores típicos en un programa o intervención comunitaria pueden incluir:

• Participantes o beneficiarios del programa
• Personal y administradores del programa
• Otras personas afectadas por el programa —policía, personal médico, docentes, etc.
• Académicos u otros investigadores
• Funcionarios locales
• Activistas comunitarios

Recopilación de información

En un proceso participativo, la recopilación de información puede potenciarse mediante una división del trabajo determinada por las habilidades y la experiencia de los participantes. Si hay académicos u otros investigadores profesionales involucrados, probablemente tenga más sentido que ellos —u otras personas con experiencia en investigación— revisen la literatura de evaluación. Los miembros de la población afectada podrían ser los más indicados para recopilar información sobre la historia del problema en la comunidad y sobre cómo afecta actualmente a las personas. Los directores y el personal del programa probablemente tengan los mejores contactos en el campo, y por lo tanto, mayores posibilidades de encontrar información sobre otros programas similares. Quienes tengan acceso a Internet y experiencia con computadoras podrían ser los buscadores en línea más lógicos, o bien actuar como apoyo técnico para ayudar a otros a encontrar lo que necesitan. Aquellos con conocimientos en derecho y legislación podrían ser los responsables de examinar políticas.

También existe la posibilidad de que se brinde capacitación a todo el grupo, o a distintas personas, para permitirles desarrollar diversas líneas de investigación. No hay razón, por ejemplo, para que personas sin experiencia en investigación no puedan aprender a comprender e interpretar información demográfica o a ponerse en contacto con programas en otros lugares. (Existen algunas limitaciones aquí: los niveles de educación relacionada, la disponibilidad de materiales o computadoras y/o la imposibilidad de conectarse con otras personas pueden influir en el tipo de investigación que tiene sentido pedir a otros que realicen).

Síntesis

Es especialmente importante que todos los participantes en el proceso estén involucrados en la integración de la información. Capacitar a nuevos participantes para sintetizar información dará frutos al final, porque ellos pueden ser capaces de ver cosas en la información que no son evidentes para los investigadores experimentados. Pueden saber cosas sobre la comunidad que arrojen luz sobre qué elementos de otros programas podrían ser apropiados y cuáles no.

En cualquier caso, la recopilación y la síntesis de información, al igual que cualquier otra parte del proceso, deben reflejar las necesidades, intereses y capacidades de todos los actores involucrados.

¿Cómo se lleva a cabo la recolección y síntesis de información?

Existen varios pasos para recopilar e integrar la información que necesita. La mayoría de estos pueden realizarse como actividades grupales, formando parte del proceso participativo. La recopilación de información en sí misma puede asignarse a personas o subgrupos específicos.

Decidir qué necesitas saber

No es sorprendente que el primer paso en la recopilación de información sea determinar qué información se debe obtener. Existen varias áreas que se pueden explorar:

• Detalles sobre el problema. Estos pueden incluir sus causas inmediatas y de raíz; sus efectos generales en las personas y en las comunidades; sus consecuencias; su desarrollo a través de diferentes etapas; su historia; y la historia de los intentos de abordarlo.
• Cómo se ha abordado el problema en otros lugares. Prácticas recomendadas o enfoques que cuentan con una base de evidencia; otros enfoques que han sido al menos parcialmente efectivos; y lo que no ha funcionado, lo cual puede brindarle información tan importante como lo que sí ha funcionado.
• Personas que pueden ayudar. Esta categoría abarca a expertos en el tema y a personas u organizaciones que han llevado a cabo o participado en intentos exitosos de abordar el problema.
• Quiénes se ven afectados localmente, y de qué manera. En realidad, esto comprende dos preguntas:
  a) ¿Qué grupos poblacionales – geográficos, étnicos, culturales, raciales, de clase, etc. – se ven particularmente afectados por este problema?
  b) ¿Qué otros grupos se ven afectados, aunque de manera menos visible? Estos podrían incluir a quienes trabajan con el(los) primer(os) grupo(s) en la comunidad (por ejemplo, maestros o trabajadores sociales), quienes dependen de ellos, y aquellos de quienes ellos dependen.
• La importancia del problema para la comunidad. Nuevamente, esto implica dos preguntas:
  • ¿Qué tan importante percibe la comunidad que es el problema? y
  • ¿Cuánto y de qué maneras afecta realmente el problema a la comunidad en su conjunto?
• Necesidades de la comunidad relacionadas con el problema. ¿Qué debe añadirse o eliminarse de la comunidad para mejorar la situación? ¿A qué tipos de enfoques responderá la comunidad o rechazará?
• Otra información contextual. Historia de la comunidad, relaciones entre grupos e individuos que puedan ser relevantes para su trabajo, cultura comunitaria, etc.
• Quién, si alguien, tiene cierta influencia o control para cambiar la situación. Los funcionarios públicos y otros responsables de formular políticas suelen estar en esta posición. Los líderes empresariales, los propietarios, las agencias gubernamentales de control, las escuelas, los empleadores, los hospitales y el personal de salud, así como los propios miembros del grupo afectado, también podrían estar en condiciones de cambiar la situación (aprendiendo nuevas habilidades o modificando prácticas).

Determine sus fuentes probables de información

Como se mencionó anteriormente, estas abarcan fuentes existentes (es decir, publicadas) y ejemplos naturales (es decir, experienciales). Las fuentes publicadas pueden dividirse en académicas, de consumo masivo y estadísticas, cada una de las cuales puede aportar información y una perspectiva diferente sobre el tema y los intentos de abordarlo. Dependiendo de lo que decida que está buscando, podría utilizar todas, o cualquier combinación, de estas fuentes.

El depósito de información más grande disponible es Internet. Muchos artículos académicos se publican en línea y son accesibles – a menudo de forma gratuita, a veces con costo – para cualquier persona interesada. Prácticamente todas las leyes y regulaciones de EE. UU., en todos los niveles de gobierno, se encuentran fácilmente, la mayoría en varios sitios web. El conocimiento general sobre casi cualquier tema está ampliamente disponible, al igual que las listas de prácticas recomendadas, organizaciones exitosas y los sitios web de esas organizaciones. Los datos del censo y otra información estadística similar también están disponibles. A esto se suma la información proporcionada por fuentes tan completas como Wikipedia (que recientemente, a pesar de sus peculiaridades, se ha comprobado que es casi tan precisa en sus más de un millón de entradas como la Enciclopedia Británica), lo que constituye un pozo casi inagotable de hechos y opiniones de donde extraer.

Como siempre, hay que ser cautelosos: la mayor parte del ciberespacio no está editado, y la calidad de la información varía. Si se ciñe a sitios razonablemente confiables, es probable que encuentre casi todo lo que necesite, o al menos una guía hacia ello.

Fuentes existentes

Las fuentes académicas pueden incluir:

• Revistas académicas y algunas revistas profesionales.
• Libros escritos para el mercado académico.
• Tesis doctorales – estas son accesibles para investigadores a través de bibliotecas universitarias y algunas fuentes en Internet.
• Ponencias e informes presentados en conferencias académicas y profesionales – a menudo disponibles en línea, ya sea en los sitios web de los autores o en las actas electrónicas de los congresos.
• Artículos ocasionales en revistas científicas de divulgación respetadas, como Nature o Scientific American.
• Archivos de periódicos.
• Contacto directo con académicos y otros investigadores que hayan trabajado en el tema de su interés, o que hayan realizado estudios sobre intentos de abordarlo.
• Listas de distribución (listservs) y grupos de noticias en Internet relacionados con el tema o el campo en cuestión.

Fuentes de información de consumo masivo:

• Libros de amplia distribución, a menudo comercializados como de “autoayuda” o “transformadores de vida”, dirigidos al público en general.
• Artículos en revistas populares, tanto las dedicadas a la ciencia o al comportamiento como las de interés general.
• Noticias en periódicos, a menudo en las secciones de revistas de los domingos.

Dónde encontrar información estadística y demográfica:

• Datos censales – disponibles en la web y en muchas bibliotecas.
• Informes comunitarios, como boletines de calificaciones de la comunidad, autoestudios y evaluaciones de necesidades, todos los cuales deberían poder obtenerse a través de las oficinas municipales correspondientes, y a veces también en la web.
• Datos de organizaciones y agencias, que por lo general son de dominio público si la agencia es pública o recibe fondos públicos.

Además de estas fuentes, los medios de difusión suelen presentar historias sobre temas críticos o sobre esfuerzos exitosos para abordarlos. En la mayoría de los casos, dichas historias solo rozan la superficie, ya que deben ajustarse a espacios de tiempo reducidos (la radiodifusión pública, tanto en radio como en televisión, rompe este molde más que otros medios). Sin embargo, pueden servir como introducción para investigaciones posteriores, resaltando la importancia de uno o más aspectos de un tema, o brindando información sobre programas efectivos con los que luego puedes ponerte en contacto.

Ejemplos naturales

Algunas de las fuentes más probables de ejemplos naturales incluyen:

• Directores de programas.
• Amigos o colegas en el campo.
• Financiadores (en particular las agencias públicas, porque sus transacciones –incluido a quién financian y por qué– son de dominio público).
• Líderes y miembros de coaliciones o asociaciones comunitarias.
• Funcionarios que coordinan esfuerzos comunitarios a gran escala.
• Miembros de la población más directamente afectada por el problema en cuestión.
• Participantes actuales o anteriores, o beneficiarios de programas efectivos.
• Personas que colaboran con los programas – policía, personal médico, docentes, etc.
• Informantes clave de la comunidad.
• Expertos – algunos de ellos los mismos académicos y otros investigadores mencionados en las fuentes académicas – que tengan experiencia con tu problema y con los intentos de abordarlo.
• Su propia experiencia en la comunidad.

No tema ampliar su búsqueda de modelos exitosos o de nuevas ideas. Sal de su propio campo y de su propia región, y observe lo que se ha hecho en otros lugares. Un modelo de trabajo social o de diseño urbano podría funcionar en salud pública, o viceversa. Hay suficiente solapamiento entre los campos que se ocupan de la salud y el desarrollo humanos como para que, a menudo, pueda encontrar exactamente lo que necesita en lugares que, a primera vista, parecen poco probables.

Diseñar un plan para recopilar información

Hay varias consideraciones aquí:

• ¿Quién recopilará qué información? Como hemos comentado, el grupo ideal es multisectorial y diverso en trayectorias y habilidades. La recopilación de información debe asignarse de acuerdo con las destrezas, intereses y contactos en la comunidad de los participantes. Hemos sugerido, por ejemplo, que las fuentes académicas podrían ser exploradas por académicos u otros investigadores con experiencia, mientras que los miembros de la población afectada podrían tener más éxito al acercarse a informantes clave de la comunidad. Sin embargo, esto no significa que, en un grupo determinado, estos y otros roles aparentemente lógicos no puedan o no deban variar, dependiendo de las personas involucradas.
• ¿Cómo se recopilará la información? Otra cuestión es cómo se obtendrá la información. Encontrar y leer material escrito es relativamente sencillo: está en la biblioteca o en la web, y puede leerlo y tomar notas sobre las partes relevantes. Obtener información directamente de otras personas, sin embargo, puede ser más complicado. ¿Realizará entrevistas formales o informales? ¿Observación? ¿Llevará a cabo encuestas o reuniones públicas? ¿Cómo contactará a personas que no conoce: por carta, por teléfono, a través de conocidos en común? Sus métodos de recopilación de información estarán determinados por el tiempo disponible, la información específica que necesite, la profundidad de la información requerida y las habilidades de los participantes.
• ¿Qué ajustes se harán para cubrir vacíos específicos de experiencia o habilidades? Las personas que no leen, escriben y/o hablan el idioma con fluidez quizá tengan que idear formas creativas de registrar la información. Los investigadores con experiencia pueden tener que traducir la escritura académica para casi todos los miembros del grupo que no sean académicos. En muchos casos, la mayoría o todos los integrantes del grupo pueden necesitar una orientación o capacitación antes de que pueda comenzar la recopilación de información. Será necesario identificar, como grupo, cuáles son las necesidades y diseñar maneras de satisfacerlas.
• ¿Cuál es el cronograma para la recopilación de información? Si bien la recopilación de información debería continuar a lo largo de toda la vida de un proyecto, la fase inicial debe tener un límite de tiempo, de modo que la acción no se retrase demasiado. El plazo depende de sus propias limitaciones de tiempo, de la gravedad e intensidad del problema, de la percepción de urgencia en la comunidad y de si existen restricciones externas de tiempo (por ejemplo, pasantes estudiantiles que solo estarán disponibles hasta el final del verano). Tener una fecha límite clara ayudará a enfocar las actividades del grupo y aumentará su eficiencia.

Recopilar información

Cuando su plan esté completo, es momento de ponerlo en práctica. Tendrá que llevar a cabo las capacitaciones necesarias y asegurarse de que todas las tareas relevantes estén asignadas de manera adecuada. También puede ser útil programar reuniones periódicas a lo largo del proceso de recopilación de información, con el fin de dar al grupo la oportunidad de revisar los avances, hacer sugerencias y compartir lo que han ido encontrando. Además de brindar apoyo a quienes son nuevos en la investigación, estas reuniones, al ofrecer un adelanto de los resultados del proceso, evitarán que todos tengan que digerir una cantidad abrumadora de información de una sola vez.

Sintetizar: Analizarlo en partes 

El proceso de síntesis implica dividir la información en sus componentes, analizar cuáles se ajustan mejor a su contexto y luego integrarlos en un enfoque que tenga probabilidades de funcionar en su comunidad.

Por lo general, hay tres áreas principales que deben considerarse:

• Lo que se sabe sobre el problema en sí. ¿Qué factores personales y ambientales contribuyen al problema? ¿Cuáles son sus causas fundamentales? ¿Tiene los recursos para abordarlas, o están más allá de su alcance (por ejemplo, las fuerzas económicas globales o el cambio climático)? ¿El problema tiene diversos efectos y, de ser así, cuáles son? ¿Cuáles son las consecuencias probables para la comunidad en su conjunto si el problema no se resuelve? (Un riesgo ambiental para la salud no solo puede causar la muerte o enfermedad de individuos, sino que también podría afectar la productividad empresarial, la disponibilidad y las tarifas de los seguros, los costos hospitalarios, el mercado de la vivienda o incluso –como en el caso del vecindario Love Canal en Niagara Falls, NY– la existencia misma de un vecindario o comunidad).
• El contexto comunitario del problema. ¿Cuáles son los efectos locales específicos del problema? ¿Quiénes son exactamente los afectados? ¿De qué manera exacta se ven afectados? ¿Cuáles son las consecuencias para esos individuos? ¿Para sus familias, amigos, vecinos y otras personas con quienes se relacionan? ¿Para la comunidad en su conjunto? ¿Cuál ha sido la experiencia de la comunidad con este problema en el pasado? ¿Cómo se ha abordado, si es que se ha hecho? ¿Qué condiciones locales cambiarían si el problema se resolviera y de qué manera cambiarían? ¿Existen condiciones subyacentes que deban cambiar antes de que el problema pueda abordarse? ¿Qué actitudes y/o comportamientos necesitan cambiar para tener un efecto sobre el problema (por ejemplo, entre los responsables de formular políticas, los afectados o ciertos funcionarios específicos)?
• Intentos exitosos y no exitosos de abordar el problema. Estos pueden haberse obtenido tanto de la literatura sobre prácticas recomendadas como directamente o de manera indirecta de quienes participaron en ellos. Aquí es importante desglosar los elementos de los distintos enfoques. ¿Qué procedimientos específicos – métodos y componentes de intervención – se utilizaron? ¿Qué tipos de capacitación – retroalimentación, juegos de roles, modelado, etc. – se proporcionaron a los participantes? ¿Se ofreció información a los participantes sobre cuándo, por qué y cómo actuar? ¿Hubo consecuencias positivas o negativas que ayudaron a establecer o mantener el cambio (o su contrario)? ¿Se implementaron o eliminaron barreras ambientales, políticas o regulaciones? ¿Cuál era la filosofía general detrás del enfoque? ¿Qué aspectos del problema abordaba? ¿En qué tipo(s) de comunidad se probó? ¿Qué grupos poblacionales (en términos de cultura, edad, clase social, etc.) participaron? ¿A quién debía beneficiar el enfoque? ¿Cuáles fueron los resultados específicos a corto plazo? ¿Y a largo plazo? ¿Qué hace que un programa, política o práctica en particular sea exitoso o no exitoso? ¿Qué eventos, si los hubo, fueron críticos para el éxito (o el fracaso)? ¿Qué condiciones – características organizacionales, de los participantes o factores ambientales más amplios – fueron determinantes? ¿Existe un modelo de programa exitoso? ¿Existe un modelo de programa no exitoso?

La existencia de un programa modelo no exitoso no significa que, si hace lo opuesto a todo lo que ese programa hizo, tendrá éxito. Incluso si fracasó estrepitosamente, gran parte del programa pudo haber sido potencialmente eficaz, pero uno o dos elementos – la manera en que se abordó, reclutó o trató a los participantes, o un método en particular – anularon lo que podría haber funcionado. De la misma manera, es posible que la mayoría de los elementos del programa hayan estado bien, pero que su premisa básica haya sido equivocada o ineficaz – por ejemplo, “Solo diga no” como estrategia para prevenir el SIDA entre adolescentes. Lo importante es tratar de averiguar por qué el programa no tuvo éxito. Un verdadero programa modelo no exitoso es aquel que hizo todo mal, pero esos casos son muy poco frecuentes.

Lisbeth Schorr (Common Purpose) hace una distinción útil entre “lo que funciona” y las condiciones bajo las cuales lo que funciona realmente funciona. A veces, la presencia de un líder o campeón carismático motiva al personal y/o a los participantes a lograr el éxito. Cuando ese líder o los miembros originales del personal se marchan, algunos programas colapsan, mientras que otros logran renovarse mediante contrataciones cuidadosas y una implementación fiel de los elementos que los hicieron funcionar.

Al buscar programas de los cuales inspirarse, es necesario comprender los componentes y elementos de intervención que hacen que dichos programas funcionen. Asimismo, conviene entender las condiciones que permiten que una intervención sea exitosa.

Sintetizar: Volver a armarlo

Analice los elementos que ha encontrado para determinar cuáles de ellos serían apropiados para la situación y el grupo con el que está trabajando.

• ¿Qué se ha utilizado específicamente con su población en sus circunstancias?
  ¿Los programas exitosos que ha revisado han sido específicos de su contexto (es decir, diseñados para sus comunidades y poblaciones particulares)?
  ¿Pueden adaptarse a su propio contexto si no fueron diseñados para él?
• ¿Qué puede adaptarse, si no estaba dirigido originalmente a su población?
  (Por ejemplo, técnicas utilizadas con niños o adolescentes que podrían modificarse para aplicarse con adultos, o viceversa).
• ¿Qué falta? ¿Qué aspectos del problema en su comunidad no están siendo abordados por lo que ha encontrado? ¿Son lo suficientemente importantes como para que deban ser atendidos?
• ¿Lo que ha encontrado confirma o contradice lo que pensaba que ya sabía?
• ¿Existen factores en su situación particular que hagan que el problema sea sustancialmente diferente para usted y sus participantes en comparación con otros programas o enfoques sobre los que ha obtenido información? ¿Cómo lo enfrentará?
• ¿Qué le dice la información que ha recopilado acerca de la posibilidad de abordar con éxito las causas fundamentales del problema (por ejemplo, la desigualdad de ingresos, la exclusión social, la falta de poder)?
• En general, ¿la mayoría o todos los programas exitosos dirigieron sus esfuerzos de cambio al mismo grupo de personas (por ejemplo, los responsables de formular políticas), o hubo variedad? Si fue lo segundo, ¿qué cree que es más probable que funcione en su comunidad?
• Quizá lo más importante, ¿cuál es su definición de éxito y qué programas de los que conoció se acercaron más a lograrlo? ¿Qué componentes y elementos de esos programas abordaron lo que se necesita en su comunidad?

Responder a estas preguntas le dará una buena idea de cuáles componentes de otros programas podrían funcionar para usted, y también deberían coincidir con lo que ya sabe, para proporcionarle ideas sobre nuevos elementos que pueda agregar o para confirmar (o advertirle en contra de) ideas para nuevos elementos que ya había considerado.

No queremos dar a entender que simplemente tomar muchos componentes diferentes de programas y mezclarlos proporcionará una forma eficaz de abordar un problema comunitario. Usted debe comenzar con un marco claro, basado en su visión y misión, y construir un programa que sea coherente y tenga sentido. Todos los elementos deben encajar; si encajan lo suficiente, el resultado será algo más grande que la simple suma de sus partes. Si los elementos no encajan entre sí o no forman parte de un programa con un marco bien definido, lo más probable es que termine con un resultado desordenado.

Siga adelante

La recopilación de información y la síntesis de conocimientos deben continuar a lo largo de todo el programa. Aunque pueda esperar a los resultados de una evaluación inicial para realizar algún cambio, siempre debe estar buscando mejoras y enfoques más efectivos. Ningún programa o esfuerzo es perfecto: todo puede mejorarse. Mientras usted siga intentando aprender más y profundizar en su comprensión de su trabajo, este continuará mejorando. Si se vuelve complaciente (es decir, si siente que ya sabe lo que está haciendo y puede relajarse), su programa podría empezar a perder efectividad.

En resumen

Recopilar la información que ya existe sobre su problema y sobre los intentos de abordarlo es uno de los aspectos más importantes al planificar un programa o una evaluación. Al reunir lo que se sabe sobre el problema y la historia de los éxitos y fracasos de distintos enfoques, usted puede construir una estructura de programa que incluya sus propias innovaciones y elementos que han funcionado para otros en situaciones similares. Esta síntesis también le permite evitar enfoques ineficaces e incorporar ideas y métodos que han sido particularmente apropiados, culturalmente o de otra manera, para la población y la comunidad con la que trabaja.

La recopilación de información y la síntesis deben continuar durante toda la vida del programa. Cuanta más información tenga y más cuidadosamente la organice, mayores serán sus probabilidades de implementar un programa exitoso.

What do we mean by information gathering and synthesis?

___Information gathering refers to gathering information about the issue you’re facing and the ways other organizations and communities have addressed it

___You can gather information using both existing sources and natural examples

­­___Synthesis here refers to analyzing what you’ve learned from your information gathering, and constructing a coherent program or approach by taking ideas from a number of sources and putting them together to create something that meets the needs of the community and population you’re working with

___Synthesis involves extracting the functional elements of both the analysis of the issue and approaches to it

___Functional elements are those that are indispensable either to understanding the issue, or to implementing a particular program

Why gather and synthesize information?

___It will help you avoid reinventing the wheel

___It will help you to gain a deep understanding of the issue so that you can address it properly

___You need all the tools possible to create the best program you can

___It’s likely that most solutions aren’t one size fits all

___It can help ensure your program is culturally sensitive

___Knowing what’s been done in a variety of other circumstances and understanding the issue from a number of different viewpoints may give you new insights and new ideas for your program

When should you gather and synthesize information?

___Information gathering and synthesis should continue throughout the life of the program

Who should gather and synthesize information?

___Information gathering and synthesis is often most effectively conducted by a multi-sectoral participatory group including all stakeholders in the issue

How do you gather and synthesize information?

___Decide what you need to know about the issue itself, successful and unsuccessful attempts to address it in various circumstances, and the local context

___Determine your likely sources for the various types of information you’re seeking

• Existing sources include scholarly, mass-market, and statistical/demographic published information
• Natural sources include some published information about programs, but can best be obtained by direct contact with those involved in planning, implementing, or participating in programs relevant to your issue
• It’s important to pay attention to both successful and unsuccessful attempts to address the issue, and to step outside your own field in search of solutions that work

___Devise a plan for gathering information

• Decide who will gather what information
• Decide how information will be gathered
• Decide what adjustments will be made for gaps in experience or skills
• Set a timeline for the initial information gathering

___Collect information

___Begin synthesis by taking it all apart – extract the functional elements of what you’ve learned

___Complete synthesis by putting the relevant pieces back together as a coherent program that speaks to your community’s needs

___Keep at it by continuing to gather and synthesize information throughout the life of the program

El centro comunitario de salud local estaba iniciando un programa para fomentar la actividad física regular entre las personas con presión arterial alta. El programa tenía un objetivo sencillo: lograr que los participantes realizaran 45 minutos de ejercicio aeróbico moderado al menos cuatro veces por semana durante seis meses. La esperanza era que este régimen ayudara a reducir la presión arterial, favoreciera la pérdida de peso y generara una sensación general de bienestar. Un objetivo relacionado era que los participantes continuaran ejercitándose por su cuenta después de que el programa terminara.

El Centro reunió a un grupo de 50 personas dispuestas a participar. Después de realizarles chequeos médicos, todos asistieron a talleres sobre alimentación, el funcionamiento y los riesgos de la hipertensión, y sobre cómo iniciar y mantener una rutina de ejercicio regular sin lesiones. También recibieron asesoramiento sobre los tipos de ejercicios que podían realizar -caminar, andar en bicicleta, nadar, etc. -- y sobre cómo hacer que el ejercicio resultara agradable. Para ayudar a los participantes a integrar el ejercicio en su vida diaria, el centro decidió permitirles hacerlo a su conveniencia, utilizando las actividades que eligieran, siempre que mantuvieran el patrón de 45 minutos, cuatro veces por semana. Además, se les pidió que llevaran un registro de la frecuencia y tipo de ejercicio realizado, y que se reunieran, en grupos de cinco, con los consejeros del Centro de Salud una vez al mes para revisar la presión arterial, el peso y los progresos, así como para recibir apoyo, motivación y orientación.

El centro debía entonces decidir cómo evaluar el programa. La meta de desempeño del programa -lo que los participantes debían hacer realmente- era mantener el programa de ejercicio durante el período de seis meses. Dado que cada participante lo hacía por su cuenta, sería difícil observarlos a todos cada vez que se ejercitaban. Sin embargo, el centro necesitaba saber si realmente lo estaban haciendo. Los otros objetivos del programa -reducir la presión arterial y bajar de peso- también debían observarse de alguna manera. ¿Cómo podría el centro diseñar un sistema para averiguar si el comportamiento de actividad física realmente estaba ocurriendo y si esto resultaba en una disminución de la presión arterial y del peso corporal?

Una vez que haya determinado sus preguntas de evaluación y reunido información sobre qué debe observar, debe encontrar una forma de hacerlo. De eso se tratan los sistemas de observación. Al igual que el centro en el ejemplo, usted deberá encontrar maneras de observar el comportamiento, las condiciones y los cambios -o la falta de ellos- que le permitan responder a sus preguntas de evaluación. Esta sección trata sobre cómo establecer sistemas de observación para lograr justamente eso.

¿Qué entendemos por diseñar un sistema de observación?

Un sistema de observación es la forma en que se obtiene información sobre su programa: lo que el programa, sus participantes y sus implementadores están haciendo realmente, y lo que parece estar ocurriendo como resultado. El término “observación” aquí puede referirse a la observación directa -es decir, observar a las personas, las condiciones, las actividades o los resultados para ver qué sucede-, pero también puede abarcar formas menos directas de monitorear el funcionamiento y los resultados de un programa. Sus modalidades incluyen el seguimiento del comportamiento de individuos y grupos para analizar los resultados en diferentes niveles. Algunos métodos de observación que pueden resultar útiles en distintas situaciones de evaluación son los siguientes:

• Observación directa. Esta es la forma más pura y verificable de observación: consiste en mirar directamente a las personas o en observar condiciones o situaciones de primera mano. Por ejemplo, si usted participa en un esfuerzo para aumentar el uso y el sentido de pertenencia vecinal hacia un parque público, podría observar directamente cuánto y cómo las personas utilizan el parque visitándolo en diferentes días, con distintos tipos de clima y bajo diversas circunstancias durante un período prolongado de tiempo.
  Los observadores directos pueden ser “invisibles”, como lo sería un observador de la actividad del parque, o pueden ser miembros del personal que trabajan con los participantes y registran lo que sucede. En cualquier caso, están tomando mediciones como observadores externos, no como participantes.
• Observación participante. Un observador participante forma parte de la acción y observa desde adentro. En el caso del parque, un observador participante podría ser un residente del vecindario directamente involucrado en el esfuerzo o alguien que se integre a la vida del parque con fines de observación. Podría trotar allí todos los días o unirse a un juego semanal de voleibol para conocer a otras personas que usan el parque con regularidad. Sus propias notas sobre lo que observa en el parque formarían parte de su registro.
• Autoinformes. Algunos de los resultados que se buscan tal vez no sean visibles en absoluto, al menos no para usted. Los cambios en lo que las personas hacen en privado -como el uso de anticonceptivos- no pueden (ni deben) ser observados directamente por un externo. De manera similar, cuando el objetivo es influir en el comportamiento de un gran número de personas, como promover una alimentación saludable en la comunidad, no será factible observar directamente a todos. En tales casos, se pide a las personas que informen sobre su propio comportamiento. Así, un sistema de observación puede incluir entrevistas, diarios, encuestas u otros medios de reporte en primera persona. Dado que este tipo de informe puede estar sujeto a sesgos, normalmente se complementa con otras formas de evidencia (por ejemplo, observar la pérdida de peso como resultado de conductas relacionadas con la alimentación saludable y la actividad física).
• Informes de terceros. Un sistema de observación puede incluir o depender de los informes de otras personas que tienen experiencia directa con las personas o las condiciones que son objeto de estudio. Maestros, oficiales de libertad condicional, guardaparques, enfermeras de salud pública, trabajadores sociales -incluso bartenders o peluqueros- pueden ser valiosas fuentes de información de segunda mano. Estos informes, al igual que los autoinformes, pueden recopilarse mediante entrevistas, diarios, encuestas, listas de verificación y otros medios similares.
• Observación electrónica o mecánica. En este caso, el observador no es una persona (aunque al final alguien revisará la información), sino un dispositivo operado automáticamente o en funcionamiento continuo: una cámara, una grabadora de audio, un monitor cardíaco, un podómetro, un rastreador GPS (sistema de posicionamiento global) u otro tipo de equipo. Por ejemplo, una cámara activada por un sensor de movimiento se utiliza con frecuencia para estudiar la densidad de una población animal en un área o en un trayecto determinado.
• Pruebas de diversos tipos. Dependiendo de lo que se desee medir, esta categoría puede abarcar desde pruebas escritas de aprendizaje académico hasta evaluaciones prácticas de habilidades o análisis de sangre. También puede incluir pruebas de nuevos métodos y procedimientos de programas, con el fin de verificar su eficacia antes de aplicarlos.
• Registros públicos y otros documentos. Informes policiales, datos censales, estadísticas de empleo, información de salud pública- todos estos y otros registros pueden proporcionar información sobre indicadores a nivel comunitario que ayuden a determinar los resultados de su trabajo.
• Productos o resultados del comportamiento. A veces es más práctico observar el producto o resultado de un comportamiento, en lugar del comportamiento en sí. Por ejemplo, si se está investigando la contaminación ambiental, podríamos observar la cantidad de desechos o toxinas en el suelo o en el agua, en lugar de observar directamente el vertido ilegal de esos materiales. De manera similar, una iniciativa orientada a prevenir la obesidad infantil podría utilizar los registros escolares de altura y peso para medir la obesidad, además de observaciones directas de los almuerzos escolares y los informes de los jóvenes en encuestas sobre alimentación.

Además de especificar qué tipos de observación va a utilizar, el diseño de un sistema de observación debe cubrir también cuándo, dónde, con qué frecuencia, por quién y bajo qué circunstancias se realizarán las observaciones, así como exactamente qué se va a observar. Todo esto depende de lo que esté observando y de la información que espere obtener de su evaluación (otra vez, vuelva a sus preguntas de evaluación).

Entre otras consideraciones: ¿analizará el proceso de su iniciativa o programa -los pasos que siguió para ponerlo en marcha y si se ajustaron fielmente a lo que pretendía-? ¿Examinará lo que realmente hizo -el número de participantes, los métodos utilizados, el tiempo que tomó todo, cuánto tiempo permanecieron los participantes, etc.? ¿Le interesa saber qué partes de lo que hizo fueron exitosas y cuáles no? ¿Y qué desea conocer acerca de los resultados -los efectos de su programa?

Diseñar un sistema de observación implica pensar con cuidado en lo que necesita saber y crear un sistema que sea lo más probable posible para proporcionarle esa información de forma precisa y sencilla. En la parte “cómo hacerlo” de esta sección analizaremos el proceso de diseño con más detalle, incluyendo los asuntos mencionados en los dos párrafos anteriores.

¿Por qué diseñar un sistema de observación?

Si se toma en serio la evaluación, existen varias razones para diseñar un buen sistema de observación:

• Ayuda a obtener información confiable. Diseñar un sistema que estandarice los métodos, los momentos y otros aspectos de la observación permitirá que la información obtenida de diferentes observadores y lugares sea más precisa y coherente, y por lo tanto, más útil para la evaluación general.
• Permite conocer exactamente lo que necesita saber, sin esfuerzos innecesarios. Puede diseñar un sistema que se enfoque en lo que realmente le interesa e ignore lo que no. Esto significa que no tendrá que clasificar datos innecesarios y que dispondrá de los medios adecuados para recopilar la información que necesita para responder sus preguntas de evaluación.
• Garantiza que las observaciones se realicen. Un sistema coherente, diseñado y aceptado por quienes realizarán las observaciones -cualquiera sea su forma- aumenta significativamente la probabilidad de que las observaciones se realicen en el momento, lugar y forma adecuados.
• Facilita el análisis de los datos. Un sistema de observación coherente y bien estructurado le proporciona información útil para el análisis científico, ya sea cuantitativo (basado en números y estadísticas) o cualitativo (basado en narraciones e interpretación del significado de los comportamientos y los eventos).
• Ayuda a evitar evaluaciones improvisadas. Un sistema de observación bien diseñado permite recopilar información de manera sistemática y evita terminar con una masa de datos desconectados que no necesariamente se relacionan con lo que se desea conocer.
• Facilita justificar sus hallazgos. Cuanto más precisa sea su información, más confiables serán las conclusiones que se deriven de ella. Si su sistema de observación está bien diseñado e implementado, será mucho más fácil argumentar que sus datos son fiables, exactos y una base sólida para las conclusiones alcanzadas.
• Aumenta la credibilidad ante financiadores y responsables de políticas. Las personas que controlan los fondos y las políticas se preocupan especialmente por la rendición de cuentas. Si usted puede presentarles una evaluación útil basada en datos recopilados mediante un sistema de observación bien diseñado y confiable, estarán más inclinados a considerarlo una voz experta y confiable en el campo.
• Permite compartir sus prácticas con confianza. Un sistema de observación bien diseñado hace posible confiar en que los resultados de su evaluación reflejan la realidad. Si esos resultados demuestran que su programa es altamente efectivo, puede transmitir sus métodos como una buena práctica a colegas y otros profesionales, sin preocuparse de estar recomendando enfoques que quizá no funcionen adecuadamente.
• Proporciona la mejor información posible sobre lo que funciona en su programa y lo que necesita ajustarse.

¿Cuándo se debe diseñar un sistema de observación?

Como hemos comentado, un sistema de observación no se refiere únicamente a la observación directa, sino a cualquier método para examinar y registrar el proceso, las actividades y los resultados de su programa. Un sistema de observación es parte fundamental de la evaluación, ya que es lo que le dirá qué ocurrió realmente. Por lo tanto, lo ideal es diseñar ese sistema antes de comenzar a implementar el programa, de modo que pueda monitorearlo a lo largo de toda su existencia.

Ese es el ideal. La realidad para muchos trabajadores comunitarios -especialmente quienes laboran en organizaciones comunitarias pequeñas- es que la evaluación comienza cuando hay tiempo, energía y recursos disponibles, lo que suele ocurrir meses o incluso años después de iniciado el programa. Sea cual sea el momento en que comience, el sistema de observación debe diseñarse para responder a las preguntas de evaluación que se plantee. Dado que las observaciones deben ser consistentes y confiables, vale la pena tomarse el tiempo necesario para asegurarse de diseñar un sistema de evaluación eficaz.

Es preferible poder observar todo el ciclo del programa, de principio a fin. Algunos programas no tienen un ciclo definido, y la observación puede centrarse en el comportamiento o los resultados de los participantes individuales más que en el programa en su totalidad. En estas situaciones, la evaluación puede comenzar cuando nuevos participantes inician el programa y se les observa desde el comienzo.

Si ha estado registrando eventos, llevando diarios, etc., antes de comenzar la evaluación, es posible que ya disponga de información que pueda incorporarse a los resultados de su observación. Sin embargo, si su diseño requiere observaciones directas específicas, la definición de estas puede ser tan precisa que observaciones similares registradas en los diarios del personal quizás no cumplan los criterios para ser incluidas. Por otro lado, si los diarios o registros del personal forman parte del sistema que está implementando, es posible que pueda utilizar toda o la mayor parte de la información que ya tiene (y, de hecho, podría diseñar el sistema de observación para que así sea).

El verdadero riesgo aquí es que, para cuando su sistema de observación esté operativo, ya podría haber pasado por alto algo importante. Puede ocurrir que la primera parte del programa sea crucial, al menos para algunos participantes o ciertos cambios, y usted empezará a observar después de que esos cambios ya se hayan producido. Por eso, es importante iniciar las observaciones desde el principio, de modo que su sistema pueda captarlos.

¿Quién debe diseñar un sistema de observación?

Como hemos mencionado varias veces, la Community Tool Box tiene un sesgo a favor de los procesos participativos, y en particular de la investigación y evaluación participativa. En el caso de un sistema de observación, éste funcionará mejor si lo diseña un grupo que incluya a quienes serán los observadores reales. Si ellos participan en la planificación, estarán familiarizados con el sistema, sabrán exactamente qué información se espera que observen y comprenderán sus roles dentro del sistema de observación.

En una organización comunitaria o pequeña, es probable que el tiempo sea un factor limitante, ya que probablemente haya pocas personas haciendo demasiadas tareas. En ese caso, el nivel y la naturaleza del sistema de observación deben ser manejables por el personal, ya sea que ellos mismos sean los observadores o que faciliten la observación para evaluadores externos o voluntarios. Si ayudan a planificar y establecer el sistema, tendrán mucho más incentivo para asegurarse de que funcione que si se les impone.

El diseño del sistema de observación debe incluir específicamente a las personas que realizarán la observación, quienes a menudo son miembros del personal o miembros del grupo que se beneficiará del programa. Además, es útil incluir a investigadores u otras personas que comprendan los sistemas de observación y puedan ayudar a diseñar un sistema que satisfaga las necesidades específicas del proyecto de evaluación o investigación. También puede ser beneficioso incluir a individuos de los grupos que serán observados, para abordar cuestiones culturales y proporcionar retroalimentación sobre su respuesta al diseño. Por lo tanto, el equipo de diseño del sistema de observación podría estar formado tanto por miembros del grupo general de planificación de la evaluación como por otros reclutados específicamente para trabajar en el sistema de observación.

La lista de quienes podrían participar incluye:

• Personal y administradores del programa
• Personal de apoyo (quien a menudo realiza registros o ingreso de datos)
• Evaluadores externos o consultores de investigación
• Participantes o beneficiarios
• Observadores voluntarios

Si, por alguna razón, el grupo de diseño no incluye a nadie con experiencia en investigación, una capacitación que incluya información sobre los diferentes métodos de observación y sobre qué métodos son más propensos a producir ciertos tipos de información podría ser de gran ayuda para orientar el proceso de diseño. Si el grupo sí incluye investigadores, esa información podría presentarse como parte de la discusión sobre el diseño y las distintas posibilidades, en lugar de en formato de capacitación o taller.

¿Cómo se diseña un sistema de observación?

Entonces, ya ha definido las preguntas de evaluación y planificado la evaluación. Ahora es momento de determinar cómo obtendrá los datos necesarios para responder a esas preguntas.

Revise sus preguntas de evaluación

¿Recuerda estas preguntas? Usted decidió qué quería saber para determinar si su programa era efectivo. Volvamos al ejemplo del inicio de esta sección: el programa del centro comunitario de salud local. El centro estaba iniciando un programa de actividad física para personas con hipertensión. Su objetivo era que los participantes realizaran 45 minutos de ejercicio moderado al menos cuatro veces por semana durante seis meses.

Se esperaban varios resultados de esta actividad:

• Que la presión arterial de los participantes disminuyera
• Que los participantes que necesitaban perder peso lo hicieran
• Que los participantes experimentaran una sensación de mayor bienestar
• Que los participantes continuaran con la rutina de ejercicio después de que finalizara el programa de seis meses

Algunas preguntas de evaluación, por lo tanto, podrían ser:

• ¿Cumplieron los participantes con la rutina de ejercicio recomendada durante el período del programa?
• ¿Disminuyó la presión arterial de los participantes al final de los seis meses?
• ¿Perdieron peso, al final de los seis meses, aquellos participantes que necesitaban hacerlo?

Podrían surgir muchas otras preguntas, algunos ejemplos son:

• ¿Cuál fue la asistencia a los talleres? ¿Los participantes los encontraron útiles? ¿Los participantes que asistieron a todos o la mayoría de los talleres lograron mejores resultados que quienes no asistieron?
• ¿Experimentaron los participantes una mayor sensación de bienestar al final de los seis meses?
• ¿Continuaron los participantes con la rutina de ejercicio (y mantuvieron su presión arterial baja) después de que terminó el programa?

Las respuestas a estas preguntas son solo algunas de las que el centro deseaba obtener, pero nos sirven como ejemplos para esta parte de la sección.
También puede estar interesado en su propio proceso: qué tan bien planifica e implementa su programa. Además, puede tener un marco temporal específico en el que espera obtener resultados. También podría contar con hitos o logros intermedios -pequeños avances hacia un objetivo mayor- que desee registrar. Todo esto debe considerarse al diseñar su sistema de observación.

Decida qué necesita observar para responder sus preguntas

Dependiendo del tipo de programa o iniciativa en la que participe y de la naturaleza de sus preguntas de evaluación, hay un amplio rango de opciones para elegir.

Algunos de los más comunes:

• Comportamiento de los participantes. Esto puede incluir cualquier cosa, desde los comportamientos agresivos de los niños en el patio de la escuela o en un espacio de juego, hasta el nivel de habilidad en soldadura de los participantes de un programa de capacitación laboral, o las interacciones sociales de los usuarios del parque vecinal que mencionamos antes. Las posibilidades son casi infinitas.
• Comportamiento de otras personas. La prueba definitiva de si un programa de capacitación en mediación entre pares en la escuela secundaria funciona, por ejemplo, puede no ser el comportamiento de los mediadores que reciben la capacitación, sino el comportamiento de los estudiantes con quienes trabajan. También es posible observar cómo los participantes son tratados por el personal del programa y viceversa.
• Condiciones. Una iniciativa puede tener como objetivo cambiar directamente las condiciones -eliminar una casa ocupada por drogas, construir viviendas asequibles, limpiar un río contaminado- o puede buscar influir en esos cambios mediante programas, cambios ambientales o políticas.
• Observaciones de productos o resultados del comportamiento. Cuando el comportamiento, evento o condición en sí no es visible u observable, ya sea porque es privado o porque ocurre a un nivel que no puede observarse directamente, puede ser necesario medir sus productos o resultados. Por ejemplo, sería prácticamente imposible observar directamente la frecuencia con la que los adolescentes practican sexo seguro, pero sí sería posible conocer la tasa de infecciones de ETS entre ellos y el número de embarazos adolescentes antes, durante y después de un programa de educación sobre sexo seguro dirigido por pares.

Cuando los productos o efectos son todo lo que puede observar, debe asegurarse de haber elegido los adecuados para analizar. Estos deberían ser, en la medida de lo posible, resultados claros del comportamiento o la condición que le interesa estudiar, y debe tener en cuenta -y tratar de corregir- cualquier otro factor que pudiera haberlos causado.

• Conocimientos o actitudes de los participantes. Al igual que con el comportamiento de los participantes, el rango de posibilidades aquí es enorme, desde los puntajes en una prueba de conocimientos hasta casi cualquier otro aspecto que se pueda imaginar.
• Conocimientos o actitudes de otras personas. Por ejemplo, un programa de incidencia política podría estar interesado en cambiar las actitudes de legisladores o del público, pero podría no tener contacto directo con quienes espera influir. En este caso, podrían utilizarse encuestas de opinión pública repetidas para evaluar la disposición a apoyar un cambio de política específico.
• Cumplimiento de metas. Algunos programas tienen un objetivo particular que constituye su única razón de existir. Esto podría ser la aprobación o derogación de una ley, la construcción de una escuela, la liberación de uno o más presos políticos, etc. En este caso, la única pregunta de evaluación podría ser si se alcanzó la meta (o en qué medida). Para estas situaciones, puede utilizarse una escala de cumplimiento de metas para medir el grado de logro (por ejemplo, de 5 = resultado más favorable, a 1 = resultado menos favorable).
• Interacciones. El enfoque de una evaluación podría centrarse en la naturaleza de las interacciones, o en si ciertos individuos o grupos interactúan o se involucran entre sí. Por ejemplo, si el objetivo es aumentar la interacción entre padres e hijos, se podrían medir los intercambios y las respuestas entre ambas partes. Asimismo, las interacciones entre participantes del programa, el personal, o entre participantes y personal, podrían ser el foco de las observaciones.

Todas las posibilidades mencionadas anteriormente pueden estar relacionadas tanto con los objetivos del programa -es decir, lo que el programa quiere lograr- como con el proceso e implementación -cómo el programa organiza y lleva a cabo su trabajo.

También existen algunas áreas de observación que se relacionan específicamente con el proceso e implementación del programa:

• Planificación. La medición aquí puede centrarse en quién participó en la planificación de cada parte del programa, cómo se elaboró el plan, cuál fue su contenido, nivel de satisfacción, etc.
• Cronograma. ¿Cuándo comenzó la planificación, la implementación y la evaluación del programa? ¿Cuánto tiempo duró cada etapa? ¿Se cumplieron los plazos y, si no, por qué no?
• Número de participantes. ¿Cuántos participantes tuvo? ¿Cuál fue el tiempo promedio que pasaron en el programa? ¿Cuántos abandonaron antes de finalizarlo? ¿Cómo se compararon esos números con lo esperado?
• Métodos. ¿Qué métodos utilizó en el programa o intervención? ¿Cómo se aplicaron?
• Implementación del programa. ¿Qué hizo realmente? Esto incluiría la actividad del programa, su frecuencia y duración, el número de participantes atendidos, dónde se llevó a cabo (si es relevante) y cómo se desarrolló.

Además de identificar qué desea observar, debe definirlo con precisión, para que los observadores sepan exactamente qué buscar. Debe asegurarse de que todas las observaciones de un comportamiento particular, por ejemplo, se refieran al mismo fenómeno (por ejemplo, características específicas que determinen si el comportamiento ocurrió), incluso si las observaciones las realizan diferentes personas. Si no utilizan la misma medida, no podrá confiar plenamente en la información obtenida. Establecer los límites de observación en cada categoría -lo que se incluye, lo que se excluye y dónde están los límites- ayudará a eliminar desacuerdos y hará que la observación sea más confiable.

Para continuar con el ejemplo del centro de salud, veamos qué necesita observar el Centro. Para determinar si los participantes realmente están haciendo ejercicio de manera regular, el centro debe encontrar una forma de observar el comportamiento de las personas (por ejemplo, mediante registros de actividad o autoinformes sobre la frecuencia con la que realizaron actividad física). Para saber si han perdido peso, el centro debe observar un resultado del comportamiento, como el peso corporal o el índice de masa corporal (IMC). Para conocer si están experimentando una mayor sensación de bienestar, el centro debe recopilar autoinformes de los participantes. Y para saber si continúan con el ejercicio después de que el programa haya terminado, debe encontrar una forma de observar el comportamiento una vez concluido el programa.

Decidir cómo se llevarán a cabo las observaciones

Anteriormente, hablamos sobre algunos métodos de observación. Ahora volveremos a ellos y los examinaremos con mayor detalle.

• Observación directa. La observación directa implica ya sea el enfoque de “mosca en la pared”, en el cual el observador es anónimo y generalmente pasa desapercibido, o - más comúnmente en organizaciones de servicios de diversos tipos - consiste en un evaluador externo identificado o un miembro del personal que trabaja con los participantes y registra, a veces con su ayuda, sus comportamientos y ciertos aspectos de la situación. Los observadores anónimos son particularmente útiles en situaciones donde las personas que están siendo observadas también son anónimas —por ejemplo, al observar condiciones, eventos grandes o actividades como el uso del parque vecinal mencionado anteriormente, donde las personas involucradas pueden ser cualquiera.

Un método común de observación directa -ya sea que el observador sea un miembro del personal del programa o un participante- es el uso de un diario o registro de actividades.
El observador anota o registra de alguna otra manera, poco después del suceso, un relato de lo que ocurrió y de los eventos relacionados, incluyendo con frecuencia sus reacciones o reflexiones sobre esas experiencias. El diario o registro de actividades se convierte así en una representación del desarrollo del programa, detallando el progreso de participantes específicos, los ajustes realizados y el nivel de satisfacción.

La naturaleza de los diarios o registros obviamente variará según el tipo de programa, y no todos los programas o iniciativas se prestan a este tipo de observación. Sin embargo, especialmente en situaciones donde varias personas escriben diarios o registros que cubren el mismo período y los mismos eventos, estos pueden ser una herramienta de observación muy poderosa y reveladora.

• Observación participante. Como ya hemos explicado, los observadores participantes se convierten en parte del evento, la actividad, la cultura, etc. que se está observando, y la experimentan de primera mano. Así, en un programa de salud o de servicios humanos, el observador podría ser un participante real (es decir, un miembro del grupo al que está dirigido el programa) o un evaluador que se une a los participantes en sus actividades. En el caso del parque, por ejemplo, un residente del vecindario que ya lo visita regularmente podría ofrecerse como voluntario para registrar cómo él y otras personas lo utilizan realmente: cuándo acuden diferentes personas o grupos, qué hacen una vez allí, qué zonas del parque frecuentan y quién interactúa con quién, entre otros aspectos.

Un programa de micro-subvenciones fue diseñado por una organización no gubernamental en una aldea rural con el fin de aumentar los ingresos mediante la creación de pequeños negocios por parte de los participantes. Los miembros del personal participaron en cada taller y tomaron parte en actividades como la capacitación en préstamos y financiamiento, mientras observaban simultáneamente las actividades y a los demás participantes. Al final de cada jornada, el personal realizaba discusiones grupales, en las que compartían lo que habían observado y pedían a los participantes que analizaran lo que habían hecho. En este caso, el personal actuó como observadores participantes, y su participación aumentó significativamente su capacidad para ayudar a sus clientas -mujeres de bajos ingresos de pequeñas aldeas- a comprender y aprovechar sus propias experiencias.

• Autoevaluaciones o autoinformes. Cuando el objeto de su observación es el comportamiento de los participantes que ocurre fuera del programa (por ejemplo, la cantidad de tiempo que los participantes dedican a leer con sus hijos), a menudo es necesario confiar en las propias observaciones de los participantes. Esta dependencia tiene, como es de esperar, tanto ventajas como desventajas. Por un lado, los participantes conocen bien sus propias acciones. Por otro, pueden omitir aspectos que les resulten embarazosos o informar de manera que crean que otros quieren ver. Además, dado que no tienen experiencia previa ni capacitación como observadores, pueden pasar por alto -o considerar sin importancia- comportamientos o condiciones que serían valiosos para fines de evaluación.

Una solución obvia sería capacitar a los autoinformantes como observadores, y en algunos casos -ensayos médicos, por ejemplo- eso es tanto razonable como común. En otras situaciones, sin embargo, eso iría demasiado lejos hacia decirles a los participantes “las respuestas correctas”, y por lo tanto posiblemente cambiar lo que informan hacia lo que creen que uno quiere escuchar. También existe una gran ventaja en los autoinformes: cuando son honestos y representan un cambio real en el comportamiento o la experiencia de quienes los realizan, son mucho más poderosos que cualquier cosa que otra persona pudiera decir sobre su experiencia.

Los autoinformes, al menos tal como se definen aquí, implican una variedad de posibles técnicas para la recolección de datos. Entrevistas individuales y grupales, grupos de enfoque, reuniones públicas, encuestas y cuestionarios, diarios, listas de verificación e incluso conversaciones informales podrían ser maneras para que los participantes transmitan información para una evaluación.

• Informes de segunda mano. Estos son informes sobre el comportamiento de los participantes o sobre las condiciones que provienen de personas asociadas con esos participantes o condiciones, pero que no están directamente vinculadas a su programa o esfuerzo. Podrían ser trabajadores de servicios, maestros, profesionales de la salud, trabajadores juveniles, familiares (particularmente padres de niños pequeños), empleadores, casi cualquier persona. Las observaciones de segunda mano deben considerarse con las mismas precauciones que las de las personas que trabajan estrechamente con los participantes. Las relaciones entre observador y participante, la simpatía o empatía hacia los participantes, o los prejuicios personales de los observadores pueden impedir que los informes sean objetivos. Estos observadores también pueden necesitar capacitación.
• Observación electrónica o mecánica. Existen algunas circunstancias en las que la observación humana es imposible o poco práctica. Las observaciones del exceso de velocidad a menudo se realizan electrónicamente, al igual que las observaciones de condiciones de salud dentro del cuerpo humano (usando radiografías, tomografías computarizadas o de resonancia magnética, electrocardiogramas, etc.). En estas situaciones, la objetividad no representa un problema, pero es necesario asegurarse de que el equipo utilizado funcione correctamente, esté bien configurado, mantenido y protegido contra posibles daños. También es importante que quien interprete la información que proporciona el equipo esté capacitado para hacerlo y comprenda los límites y usos apropiados de esa información.
• Pruebas u otras herramientas de observación similares. Las organizaciones educativas y de salud a menudo utilizan diversos tipos de pruebas como herramientas de observación. En un contexto de servicios humanos, generalmente se utilizan para observar el progreso en habilidades, niveles de competencia o desarrollo. En salud pública o medicina, las pruebas pueden emplearse para observar el estado de salud (por ejemplo, exámenes de detección de colesterol elevado) y los efectos del tratamiento. Pueden ser muy útiles en todas estas circunstancias, pero también son muy específicas y dejan poco espacio para la intuición. Además, los resultados de las pruebas de habilidades, conocimiento o capacidad intelectual pueden verse influenciados por nerviosismo, falta de sueño, problemas personales u otros factores que tienen poco que ver con la competencia real.
• Registros públicos y similares. Si se están utilizando indicadores a nivel comunitario, como las tasas de mortalidad infantil o de lesiones por accidentes de tránsito, como una forma de analizar los resultados, será necesario usar registros, datos censales y otros materiales similares para obtener la información necesaria.

Para continuar con nuestro ejemplo anterior, el centro de salud local tendría que utilizar una variedad de estos métodos de observación. Las observaciones iniciales y continuas de la presión arterial y el peso en las sesiones mensuales de asesoramiento se realizarían mediante el uso de instrumentos —un manguito de presión arterial y una báscula—, así como mediante observación visual directa. (Aunque una reducción evidente de grasa puede no indicar pérdida de peso si la grasa ha sido reemplazada por músculo, sí indica un aumento en la condición física, lo cual puede ser igualmente beneficioso. Los niveles de condición física también podrían medirse mecánica y electrónicamente, si el programa así lo decidiera.)

La cantidad y el tipo de ejercicio que realizara cada participante serían autoobservados y autoinformados a través de diarios y entrevistas. Las sensaciones de bienestar serían autoinformadas, pero también podrían ser observadas por consejeros capacitados para identificar cambios a lo largo del tiempo en la postura, la presentación personal y otros indicadores observables. Finalmente, las observaciones del ejercicio continuo se obtendrían mediante una o más visitas de seguimiento algún tiempo después de que el programa terminara, con entrevistas, mediciones de presión arterial y peso, y una observación visual más directa de los niveles de condición física. (Los participantes también podrían aceptar continuar llevando diarios durante un período determinado después de que el programa finalice, proporcionando así un auto-reporte de sus niveles continuos de actividad física.)

Decida cuándo necesita observar

La pregunta aquí es si necesita comenzar las observaciones desde el inicio del programa (casi siempre es así) y con qué frecuencia debería observar a lo largo del proceso de evaluación.

Algunas de las posibilidades:

• Observación previa y posterior. Esto implica realizar observaciones al inicio y al final del período de evaluación o del programa. Es el equivalente a lo que muchas escuelas hacen con las pruebas estandarizadas: evalúan los puntajes de lectura al principio y al final de cada año, y luego comparan ambos para determinar cuánto han avanzado los estudiantes. Aunque este tipo de observación puede indicar si hubo cambios durante el programa, no ofrece evidencia sólida sobre cómo ocurrió el cambio, qué lo causó o qué tan efectivas fueron las estrategias utilizadas.

Esta explicación asume únicamente la observación antes y después. La mayoría de las posibilidades aquí incluyen la observación previa y posterior, pero añaden otras observaciones adicionales. Para la mayoría de los tipos de evaluación, debería comenzar a observar desde el principio, o incluso antes del inicio (para comprender si los posibles cambios forman parte de una tendencia ya existente). Si realiza su primera observación a mitad del proceso, no sabrá si los cambios ocurrieron antes de ese punto. Un cambio importante puede suceder al inicio en algunas intervenciones, al final en otras, de manera constante a lo largo del proceso en otras más, o incluso solo después de que la intervención haya concluido. Es importante saber exactamente desde dónde comenzó para comprender por completo lo que está observando. Puede ser que una intervención larga no sea más efectiva que una corta, o que una breve no tenga ningún efecto. Solo puede determinarlo conociendo el punto de partida y mediante mediciones repetidas o continuas.

Si su programa o esfuerzo tiene un objetivo específico y puntual -por ejemplo, la aprobación de una ley o la limpieza de un espacio determinado-, puede ser tentador evaluarlo únicamente según si alcanzó la meta o no (es decir, una sola observación al final del esfuerzo). Esto sería un error, porque no tomaría en cuenta qué partes del esfuerzo fueron exitosas y por qué, independientemente de si logró la meta. Esa es una información esencial que necesitará la próxima vez -y habrá una próxima vez- que usted u otras personas en la comunidad emprendan un esfuerzo similar.

• A intervalos regulares durante el período de evaluación. Usted podría elegir cualquier intervalo, desde una vez por hora hasta una vez al mes o más, dependiendo de lo que esté observando. La regularidad facilita la programación de las observaciones y ofrece una visión continua, intervalo por intervalo, de lo que está ocurriendo.
• A intervalos irregulares durante el período de evaluación. La razón de este tipo de programación puede ser logística (usted observa cuando puede); puede tener que ver con asegurar que las observaciones no sean esperadas, de modo que se obtenga una imagen más auténtica de lo que se está evaluando; o puede ser un intento de observar el programa o esfuerzo de manera aleatoria, nuevamente con el fin de obtener una representación precisa.
• En momentos específicos durante el período de evaluación. En este caso, usted podría querer observar lo que sucede o lo que los participantes están haciendo en distintos momentos identificables que implican diferentes condiciones. Por ejemplo, al observar el uso del parque comunitario mencionado anteriormente, usted podría asegurarse de visitarlo entre semana, los fines de semana, por la mañana, por la tarde y por la noche, en cada una de las cuatro estaciones, con lluvia, nubes, sol y nieve, así como en los días en que se realicen eventos especiales, para ver quiénes usan el parque y cómo lo hacen bajo diversas condiciones y en distintos momentos. Si está monitoreando el proceso y el progreso del programa, es importante asegurarse de observar cada una de sus etapas -la planificación, la preparación, la implementación, la evaluación y cualquier seguimiento- para obtener una visión completa de lo que se hizo y cómo se hizo. Esto le proporcionará la información necesaria para analizar y realizar los ajustes pertinentes en la manera en que lleva a cabo su labor.
• De forma continua. Cuando el observador es un miembro del personal que trabaja con los participantes del programa (o uno o más de los propios participantes), puede ser posible realizar observaciones de manera continua. En este caso, el observador podría observar directamente utilizando listas de verificación, mantener un diario, pedir a los participantes que registren información, grabar las sesiones en video o audio, o registrar lo que ocurre de alguna otra manera, de modo que exista un registro continuo y diario del comportamiento y de lo que sucede en el entorno del programa.

En el centro de salud local, parte de la observación -particularmente el monitoreo de la presión arterial y el peso de los participantes- se realizaría a intervalos regulares, durante las reuniones mensuales. También habría cierta observación continua, consistente en que los participantes llevarían un registro de sus programas de ejercicio en diarios personales. Finalmente, averiguar si los participantes continuaron con sus rutinas implicaría una o dos observaciones de seguimiento, posiblemente seis meses y un año después de que el programa haya concluido.

Defina y describa los comportamientos, productos, condiciones y/o eventos que deben ser observados

Si desea asegurarse de que los observadores comprendan a qué se refieren en sus informes, debe ser específico sobre lo que desea que observen. El grupo de planificación, o un subgrupo del mismo -lo ideal sería un grupo que incluya una alta proporción de personas que serán realmente los investigadores y observadores-, debe establecer estándares de identificación para cada elemento a observar. Estos estándares deberían explicar cómo se manifiesta, cuándo es probable que ocurra, quiénes probablemente estén involucrados, etc.
Por ejemplo, para observar el acoso escolar o la violencia interpersonal en un patio de recreo, sería necesario contar con definiciones claras de dicho comportamiento, ejemplos y contraejemplos, e instrucciones para la puntuación. De esta manera, todos los observadores podrían comenzar con la misma guía sobre lo que deben buscar.

Diseñe la capacitación para los observadores

A menos que toda la observación vaya a ser realizada por quienes participan directamente en la planificación (lo cual no es imposible en una organización pequeña), y dependiendo de su experiencia previa, los observadores podrían necesitar capacitación en una o más áreas:

• Qué es importante registrar y por qué. Las personas sin experiencia en investigación podrían no darse cuenta de la importancia de registrar detalles como la fecha, la hora, la duración de la evaluación, el lugar y las circunstancias de cualquier observación, una descripción de quiénes estuvieron involucrados y por cuánto tiempo, si hubo personas o condiciones inesperadas presentes, etc. Por ejemplo, una observación realizada temprano en la mañana podría proporcionar un conjunto diferente de observaciones que una realizada a última hora de la tarde o noche. La presencia de otras personas en una situación o entrevista -parientes, amigos, personal del programa- puede cambiar el carácter de los comportamientos observados o de la información ofrecida. Por lo tanto, es crucial que los observadores comprendan que el contexto de la observación puede ser tan importante como su contenido.
• Las definiciones y descripciones de los comportamientos, condiciones, eventos o situaciones a observar. Definiciones y descripciones cuidadosas de lo que se debe observar no serán de mucha utilidad si quienes realizarán las observaciones no están familiarizados con ellas.
• Efectos de la observación. En algunos casos, el comportamiento de los participantes podría cambiar como resultado de sus reacciones al ser observados. Los observadores deben ser conscientes de esa posibilidad y procurar que su propia conducta sea lo más discreta posible, para no influir en los comportamientos de los participantes.

Además de los observadores humanos, la presencia de equipos de audio o video también puede tener un efecto. Una manera de contrarrestarlo es esperar para comenzar a recopilar datos hasta que los participantes se hayan acostumbrado a la presencia del equipo. También es importante obtener el permiso de los participantes con anticipación para utilizar equipos de grabación.

• Sesgo del observador. Especialmente en situaciones donde los observadores también son parte del personal del programa, sus relaciones con los participantes o simplemente su vínculo con el esfuerzo en general pueden afectar sus informes u observaciones. Si sienten simpatía o antipatía por un participante en particular, eso podría influir en cómo interpretan o describen el comportamiento de esa persona. Si están muy comprometidos con el éxito del programa que se evalúa, pueden -de manera intencional o no- presentar los resultados de la forma más favorable posible. Además, tanto si forman parte del personal como si no, los observadores pueden verse influidos por sus suposiciones personales, su contexto cultural, religioso o educativo, o por sus circunstancias psicológicas o de vida actuales. Si se les ayuda a reconocer estos sesgos y a comprender por qué y cómo deben ser reconocidos o eliminados, habrá una mayor probabilidad de que realicen observaciones más confiables.
• Desviación del observador. En ocasiones, después de un tiempo de estar observando, las observaciones de las personas tienden a adquirir cierta regularidad basada en reglas personales en lugar de definiciones compartidas y estandarizadas. Por ejemplo, podrían tender a evaluar el comportamiento de ciertos participantes basándose más en experiencias pasadas que en lo que realmente observan en el momento.

También puede ser necesario corregir los efectos, sesgos o desviaciones del observador a lo largo del proceso de evaluación. Esto forma parte de diseñar mecanismos de verificación de la precisión y la fiabilidad basados en un estándar establecido.

Diseñar mecanismos de verificación de la fiabilidad y la precisión

Si la información ha de ser confiable, es importante que cuando dos observadores registren un comportamiento determinado, ambos signifiquen exactamente lo mismo. Esto depende tanto de la capacitación (como se mencionó anteriormente) como de la verificación, ya sea al inicio o periódicamente, para asegurarse de que todos los observadores estén interpretando las situaciones de la misma manera. Un diseño participativo del sistema puede ser útil en este aspecto. Si los observadores participan en la definición de lo que van a observar, hay muchas más probabilidades de que lo perciban de forma similar.

Algunas maneras de asegurar el acuerdo entre los observadores:

• Utilizar un estándar externo. Una forma de definir lo que se está buscando es emplear un estándar que todos los observadores usen y acepten. “El comportamiento X se presenta de esta manera, ocurre en estas circunstancias, dura este periodo de tiempo y tiene estos efectos o resultados posteriores.” El uso de estándares externos suele implicar una lista de verificación o un instrumento similar. El observador marca los componentes de un comportamiento o condición, documentando así lo que observa de un modo que permitiría a otro observador calificar el mismo evento de manera equivalente. Dichos estándares ayudan a garantizar la precisión continua del sistema de observación.

Los equipos de investigación y los laboratorios suelen utilizar estándares para garantizar la coherencia en la identificación de diversas condiciones. Cada condición se describe con detalle e incluye distintos indicadores posibles, como las mediciones de la presión arterial o la presencia de toxinas ambientales.

• Verifique la fiabilidad entre evaluadores. La fiabilidad entre evaluadores es el término utilizado en la investigación para evaluar si todos los observadores interpretan de la misma manera los mismos elementos, ya sean comportamientos, condiciones o eventos. Una forma de abordarla consiste en comparar a los observadores entre sí. Dos o más observadores son expuestos a las mismas situaciones o a la misma información y luego se comparan sus registros, por ejemplo, de casos de acoso. Si todos coinciden esencialmente en sus observaciones, la fiabilidad entre evaluadores es alta, y todo está en orden. Por lo general, en investigación, si los observadores concuerdan en un 80 % o más de las veces, las observaciones se consideran confiables. Si no coinciden en lo que observaron, se debe identificar la fuente del desacuerdo. Puede que definan los términos de manera diferente o que sus antecedentes influyan en cómo interpretan una misma situación. Sea cual sea la causa, es necesario descubrir esas diferencias y encontrar una manera de lograr que todos los observadores perciban las situaciones de manera similar y precisa.
• Utilice verificaciones aleatorias de terceros. Un investigador, director del programa u otra persona que tenga claro qué información es importante y cómo se presentan las distintas condiciones o comportamientos puede realizar observaciones en situaciones elegidas al azar junto con un observador habitual, para verificar si sus registros coinciden razonablemente. Si discrepan una vez, puede no tener importancia; pero si las discrepancias son constantes, entonces hay un problema que debe abordarse.

Determine cómo revisar y ajustar su sistema de observación para la próxima evaluación

Esta sección es la versión de “manténgase en ello”. Al igual que su programa, su evaluación -incluido su sistema de observación- debe ser evaluada y ajustada para que sea lo más eficaz posible.

Ahora usted está listo para comenzar a recopilar y analizar los datos. Con una planificación cuidadosa y una buena capacitación, debería poder obtener la información que necesita para su evaluación.

En resumen

Para llevar a cabo una evaluación que le permita ver su programa o esfuerzo con claridad y ajustarlo o mejorarlo, usted debe contar con una manera de recopilar información precisa y útil sobre él. El sistema de observación que utilice es la forma en que usted observa lo que está haciendo: su propio proceso, el comportamiento de los participantes, su progreso y resultados, así como las condiciones que afectan su esfuerzo o que su esfuerzo busca cambiar. Todo esto con el fin de obtener la información que analizará para evaluar su trabajo. Ese sistema debe ser viable dentro de sus recursos y debe ajustarse a la naturaleza de su programa; por lo tanto, diseñarlo es una parte esencial de su evaluación.

El diseño de sistemas de observación se lleva a cabo mejor mediante un proceso participativo, especialmente uno que involucre tanto a investigadores o evaluadores como a quienes realizarán la recolección de datos. Esa participación les permitirá comprender claramente el sistema, la información necesaria y los posibles obstáculos que podrían encontrar durante la recolección de datos. El resultado debería ser un sistema más confiable y, en última instancia, datos más precisos para su evaluación.

What do we mean by an observational system?

___An observational system is the system you use to collect the data that you need to analyze in order to evaluate your program

___It details the way you’ll look at the process, progress, and outcomes of your work, and how you’ll examine the behavior, conditions, or events that you’re concerned with

Why design an observational system?

___It can help you get reliable information

___It can help you find out exactly what you need to know, eliminating or reducing wasted effort

___It can ensure that observations are made

___It can make it easier to analyze your data

___It can help you avoid haphazard evaluation

___It will make it easier to justify your findings

___It can help you gain credibility with funders and policy makers

___It can let you pass on your practices with confidence

___Most important, it can give you the best information possible about what’s working in your program, and what you need to adjust

When should you design an observational system?

___If you can, you should design the system before your program begins, so that you can watch it and its effects from the very beginning

___If that’s not possible, you should design your system before you start your evaluation, ideally at the start of a program cycle

Who should design an observational system?

___Observational systems are usually best designed by a participatory group that includes both researchers or evaluators and people who will do the actual observation

How do you design an observational system?

___Review your evaluation questions

___Decide what you need to observe to answer your questions:

• Participants’ behavior
• Someone else’s behavior
• Conditions
• Observations of results of behavior
• Participants’ knowledge or attitudes
• Someone else’s knowledge or attitudes
• Goal attainment
• Interactions
• Program process or implementation (e.g., number of participants)

___Decide how the observations will be conducted:

• Direct observation
• Participant observation
• Self-reports, including individual and group interviews, focus groups, journals, surveys, etc.
• Second-hand reports, including interviews, journals, surveys, etc.
• Electronic or mechanical observation
• Tests or other similar observation tools
• Public records and the like for community-level indicators

___Decide when you need to observe:

• Pre- and post- observation
• At regular intervals during the evaluation period
• At irregular intervals during the evaluation period
• At specific times during the evaluation period
• Continuously

___Define and describe the behaviors, conditions, and/or events that observers should be concerned with

___Train observers in:

• What it’s important to record, and why
• The definitions and descriptions of the behaviors, conditions, events, or situations to be observed
• Effects of observation
• Observer bias
• Observer drift

___Devise checks for reliability and accuracy:

• Use an external standard
• Check for inter-rater reliability
• Use random third-party checks

___Adjust the system for the next evaluation

• ¿Qué queremos decir  por un diseño para la evaluación?

• ¿Por qué se debería escoger un diseño para su evaluación?

• ¿Cuándo debería hacerse?

• ¿Quién debería estar involucrado en la selección de un diseño?

• ¿Cómo seleccionar un diseño apropiado para su evaluación?

Cuando usted escucha la palabra “experimento,” pueden venir a su mente imágenes de personas en largas gabachas blancas mirando detenidamente a través de microscopios. En realidad, un experimento es solo tratar algo para ver cómo o por qué o si en realidad funciona. Esto puede ser tan simple como poner una especia en su platillo favorito, o tan complejo para desarrollar y evaluar un esfuerzo comprensivo para mejorar los resultados de la salud infantil en una ciudad o estado.

Los académicos y otros investigadores en la salud pública y las ciencias sociales llevan a cabo experimentos para entender cómo los ambientes afectan el comportamiento y los resultados, así sus experimentos usualmente involucra personas y aspectos del ambiente. Un nuevo programa comunitario o intervención es un experimento, también, uno que involucra a una organización gubernamental o comunitaria para encontrar una mejor manera de tratar un asunto comunitario.Esto usualmente comienza con la suposición acerca de qué funcionará – algunas veces llamado la teoría del cambio – la suposición no es una garantía. Como cualquier experimento, un programa o intervención tiene que ser evaluado para ver si realmente funciona y en qué condiciones.

En esta sección, nosotros veremos algunas de las mejores maneras que usted podría estructurar una evaluación para examinar si su programa está trabajando, y explorar cómo escoger la que mejor satisface sus necesidades. Estas disposiciones para el descubrimiento son conocidos como diseños experimentales (o evaluativos).

¿Qué queremos decir por un diseño para la evaluación?

Cada evaluación es esencialmente un proyecto de investigación o de pruebas documentales. Su investigación podría tratar de determinar cuán efectivo su programa o esfuerzo es en general, cuales partes del todo están funcionando bien y cuáles necesitan ajustarse, o si algunos participantes responden a ciertos métodos o condiciones de manera diferente de los otros. Para que sus resultados sean confiables, usted tiene que darle a la evaluación una estructura que le dirá qué es lo que usted quiere saber. Esa estructura – la disposición de pruebas documentales- es el diseño de la evaluación.

El diseño depende de qué tipos de preguntas su evaluación intenta responder.

Algunos de las preguntas (investigativas) de evaluación más comunes son:

• ¿Causa un programa o intervención particular – ya sea un programa instructivo o motivacional, que mejora el acceso y las oportunidades, o un cambio de política – un cambio particular en el comportamiento de los participantes o de otros, en condiciones sociales o físicas, en resultados de desarrollo o de salud, u otros indicadores de éxito?
• ¿Qué componente(s) y elemento(s) del programa o intervención fueron responsables del cambio?
• ¿Cuáles son los efectos no previstos de una intervención, y cómo ellos influenciaron los resultados?
• Si usted trata un método o actividad nuevo, ¿qué pasa?
• ¿El programa que funcionó en otro contexto, o el que usted leyó en una revista profesional, funcionará en su comunidad, o con su población, o con su asunto?

Si usted quiere respuestas confiables a preguntas de evaluación como éstas, usted tiene que preguntarles de manera que refleje si usted en realidad obtuvo resultados, y si esos resultados se dieron debido a sus acciones o las circunstancias que usted creó, o a otros factores. En otras palabras, usted tiene que crear un diseño para su investigación – o evaluación -  que le dé respuestas claras a sus preguntas. Nosotros discutimos cómo hacer esto más adelante en esta sección.

¿Por qué debería escoger un diseño para su evaluación?

Una evaluación puede parecer simple: si usted ve progreso hacia su meta al final del periodo de evaluación, usted está muy bien; si usted no lo ve, usted necesita cambiar. Desafortunadamente, esto no es tan simple. Primero, ¿cómo medirá su progreso? Segundo, si parece no haber ninguno, ¿cómo sabe usted lo que debe cambiar para aumentar su efectividad? Tercero, si hay progreso, ¿cómo sabe qué fue causado por (o contribuido por) su programa, y no por algo más? Y finalmente, aún si le está yendo bien, ¿cómo decidirá qué puede hacer mejor, y que elementos de su programa pueden ser cambiados o eliminados sin afectar su éxito? Un buen diseño para su evaluación le ayudará a responder preguntas importantes como éstas.

Algunas razones específicas para invertir tiempo para diseñar su evaluación cuidadosamente incluye:

• Para que su evaluación sea confiable. Un buen diseño le dará resultados precisos. Si diseña su evaluación bien, usted puede confiar en ella para que le diga si usted realmente está teniendo un efecto, y el por qué. Entender su programa hasta este punto hace que sea más fácil obtener y mantener el éxito.
• Para que se puedan ubicar con exactitud áreas a mejorar, así como en aquellas que son exitosas. Un buen diseño puede ayudarlo a entender exactamente donde están los puntos fuertes y los débiles de su programa o intervención, y darle pistas de cómo ellos pueden más aún fortalecer o cambiar para tener un mayor impacto.
• Para que sus resultados sean creíbles. Si su evaluación está diseñada apropiadamente, otros tomarán sus resultados seriamente. Si su bien diseñada evaluación muestra que su programa es efectivo, usted tiene más posibilidad de convencer a otros de usar métodos similares, y de convencer a financiadores que su organización es una buena inversión.
• Para que usted pueda identificar factores no relacionados con lo que usted está haciendo que tengan un efecto –positivo o negativo – en sus resultados y en las vidas de los participantes. Los antecedentes de los participantes, eventos nacionales o locales cruciales, el paso del tiempo, las crisis personales, y muchos otros factores pueden influenciar los resultados de un programa o intervención para bien o para mal. Un buen diseño evaluativo puede ayudarle a identificar estos, y puede o corregirlos si usted puede, o crear métodos para tratarlos o incorporarlos.
• Para que usted pueda identificar consecuencias no intencionadas (ambas positivas o negativas) y corregirlas. Un buen diseño puede mostrarle todo lo que resultó de su programa o intervención, no solo lo que usted esperaba. Si usted entiende que su trabajo tiene consecuencias que son negativas así como positivas, o que tiene más y/o diferentes consecuencias positivas de las que usted anticipó, usted puede ajustarlo como corresponde.
• Para que usted tenga un plan coherente y una estructura organizada para su evaluación. Será mucho más fácil llevar a cabo su evaluación si ésta tiene un diseño apropiado. Usted sabrá mejor qué es lo que usted necesita para así obtener la información que usted necesita. Invertir tiempo para escoger y organizar un diseño evaluativo le dará muy buenos resultados de vuelta con respecto al tiempo que se ahorra después y a la calidad de la información que usted obtiene.

¿Cuándo debería escoger un diseño para su evaluación?

Una vez que usted haya determinado sus preguntas de evaluación y haya reunido y organizado toda la información que usted pueda acerca del asunto y las maneras de tratarlo, lo siguiente es escoger un diseño para la evaluación.  Idealmente, esto todo se lleva a cabo al comienzo del proceso al juntarlo todo en un programa o intervención. Como hemos discutido un número de veces, su evaluación debería ser una parte integral de su programa, y su planeamiento debería por lo tanto ser una parte integral de la planeación de su programa.

Este es el ideal; ahora hablemos acerca de la realidad. Si usted está leyendo esto, las posibilidades son probablemente por lo menos 50-50 que usted está conectado a alguna agencia gubernamental poco financiada o a una organización no gubernamental o basada en la comunidad, y que usted está planeando una evaluación de un programa o intervención que ha estado en funcionamiento por algún tiempo – meses o años.

Aún si esto fuera cierto, los mismos lineamientos aplican. Escoja sus preguntas, reúna información, escoja un diseño, y luego siga a través de los pasos presentados en  la evaluación es lo suficientemente importante que usted no logrará realmente nada si toma atajos en el planeamiento. Si su programa tiene un ciclo, entonces probablemente tenga sentido comenzar su evaluación al comienzo de éste – al inicio de un año o en una fase del programa, donde todos los participantes estén comenzando desde el mismo lugar, o desde el comienzo de su participación.

Si esto no es posible – si su programa tiene una política de admisión continua, o brinda un servicio en el momento que la gente lo necesita – y los participantes están en diferentes puntos, eso puede algunas veces presentar problemas de investigación. Usted puede querer evaluar los efectos del programa solo con los nuevos participantes, o con algún otro grupo específico. Por otro lado, si su  programa funciona sin un comienzo y final particular, usted puede obtener la mejor imagen de su efectividad al evaluarlo como tal, al comenzar cuánto usted está listo. Cualquiera que sea el caso, su diseño debería seguir conforme a su obtención de información y su síntesis

¿Quién debería estar involucrado en la selección de un diseño?

Si usted es un usuario regular de la Caja de Herramientas, y particularmente usted ha estado leyendo este capítulo, usted sabe que el equipo de la Caja de Herramientas generalmente recomienda un proceso participativo – que involucre tanto a compañeros de trabajo de la comunidad así como de investigación, incluyendo a todos aquellos interesados en o los cuales son afectos por el programa en planeación o implementación.  Seleccionar un diseño para la evaluación presenta una política que de alguna manera hace una excepción a esta regla, debido a que los compañeros de la parte de evaluación y científica podrían tener un mejor entendimiento de lo que se requiere para llevar a cabo la investigación y los factores que pueden intervenir en él.

Como veremos en la parte “Cómo hacerlo” de esta sección, existen un número de consideraciones que tienen que ser tomados para obtener información precisa que realmente le diga lo que usted quiere saber. Los estudiantes en posgrado generalmente toman cursos para obtener el conocimiento que ellos necesitan para llevar a cabo investigación de la mejor manera, aún más algunos investigadores veteranos tienen dificultad en elaborar un diseño de investigación apropiado. Eso no significa que un grupo comunitario no pueda aprender a hacer todo esto, pero del tiempo que ellos tendrían que gastar en la adquisición del conocimiento necesario podría ser demasiado. Por lo tanto, lo que parece ser más lógico es asignarle esta tarea (o por lo menos su coordinación) a una persona o grupo pequeño con experiencia en investigación y diseño evaluativo. Tal persona no tiene solamente que ayudarle a escoger entre los diseños posibles, sino explicarle qué conlleva cada diseño, en tiempo, recursos, y habilidades/destrezas necesarias, para que así usted pueda juzgar su conveniencia y factibilidad con respecto a su  contexto

¿Cómo seleccionar un diseño para su evaluación?

¿Cómo hace para decidir qué tipo de diseño investigativo será el mejor para los propósito de su evaluación?

La respuesta a esta pregunta involucra una revisión de cuatro áreas:   

• La naturaleza de las preguntas de la investigación que usted intenta responder.
• Los retos de la investigación, y las maneras que ellos pueden ser resueltos o reducidos.
• Los tipos de diseños investigativos que son generalmente usados, y lo que cada diseño involucra.
• La posibilidad de adaptar un diseño investigativo particular a su programa o situación – qué estructura de su programa le dará apoyo, qué participantes darán su consentimiento, y cuáles son sus recursos y restricciones con respecto al tiempo.

Comenzaremos esta parte de la sección con una revisión de los aspectos que los diseños investigativos deben tratar, luego seguiremos con las consideraciones de algunos diseños comunes y cómo ellos tratarán esos aspectos, y finalizaremos con algunos lineamientos para escoger un diseño que tanto sea posible de implementar y que a la vez le dé la información que usted necesita acerca de su programa.

Una nota: en esta parte de la sección, estamos tratando a la evaluación como un proyecto investigativo. Como resultado, utilizaremos el término “investigación/investigativo” en muchas partes donde nosotros podríamos fácilmente solo decir, para propósitos de esta sección, evaluación.  La investigación es más general, y algunos usuarios de esta sección podrían estar más interesados en la investigación en general que en la evaluación en particular.

Aspectos/asuntos que los diseños investigativos deberían tratar

La consideración más importante en el diseño de un proyecto investigativo – excepto tal vez por el valor de la investigación de ella misma- es si su plan le dará información válida. Si usted no diseña y establece su proyecto de investigación apropiadamente, sus conclusiones (descubrimientos) no le darán la información precisa y que tiene posibilidad de ser verdadera para otras situaciones. En el caso de una evaluación, eso significa que usted no tendrá una base para adaptar lo que hace con el fin de  fortalecerlo y mejorarlo.

Aquí está un ejemplo exagerado que ilustra este punto.  Si usted midió la altura de los niños a la edad de 6 años, luego los alimenta con largas cantidades de un alimento específico  por tres años –digamos zanahorias- y los midió de nuevo al final del periodo, usted probablemente encontrará que la mayoría de ellos eran considerablemente más altos a los nueve años de edad que cuando tenían seis años.  Usted podría concluir que fue la ingesta de zanahorias la que hizo que los niños fueran más altos debido a que su diseño de investigación no le dio bases para comparar el crecimiento de estos niños con el de otros niños.

Existen dos tipos de amenazas contra la validez de una pieza de investigación. Ellos son usualmente llamados como amenazas a la validez interna (si la intervención produjo el cambio) y amenazas a la validez externa (si los resultados tienen la posibilidad de ser aplicados a otras personas y situaciones).

Amenazas a la validez interna. Estas son amenazas (o explicaciones alternativas) a su propuesta de que lo que usted hizo causó cambios en la dirección que usted estaba procurando. Ellas son por lo general presentadas por factores que operan al mismo tiempo que su programa o  intervención que podrían tener un efecto en el asunto que se estaba tratando de dirigir. Si usted no tiene una manera de separar sus efectos de aquellos del programa, usted no puede decir si los cambios observados fueron causados por su trabajo, o por uno o más de estos otros factores. Estos son llamados amenazas a la validez interna debido a que son parte interna del estudio –tienen que ver si su intervención – y no algo más – es responsable de la diferencia.

Existen aquí varios tipos de amenazas a la validez interna:

• Historia.Tanto las historias personales de los participantes – sus antecedentes, culturas, experiencias, educación, etc. – y los eventos externos que ocurrieron durante el periodo de investigación – un desastre, una elección, un conflicto en la comunidad, una nueva ley – pueden influenciar si existe o no algún cambio en los resultados que usted está tratando.
• Maduración. Esto se refiere a los procesos sociales, psicológicos, físicos naturales que toman lugar conforme pasa el tiempo. El crecimiento de los niños que comieron zanahorias en el ejemplo anterior es un resultado de la maduración, por ejemplo, como lo podría ser  un descenso en el comportamiento arriesgado una vez que se haya pasado de la adolescencia a la edad adulta, el desarrollo de la artritis en las personas mayores, o participantes cansados durante actividades de aprendizaje hacia el final del día.
• Los efectos de la evaluación u observación en los participantes. El mero hecho de la existencia de un programa, o de que ellos sean parte de él, puede afectar el comportamiento o actitudes de los participantes, como podría hacerlo la experiencia de ser evaluado, grabado en vídeo, o de alguna otra forma observado o medido.
• Cambio en la medición. Un instrumento – un manguito para la presión arterial o una escala, por ejemplo – puede cambiar con el tiempo, o diferentes aparatos pueden no dar los mismos resultados. De igual manera, los observadores – aquellos que reúnen la información -  podrían cambiar sus estándares con el tiempo, o dos o más observadores podrían no estar de acuerdo con las observaciones.
• La regresión hacia  la media. Esto es un término estadístico que se refiere al hecho de que, a través del tiempo, las puntuaciones muy altas o muy bajas de una medición (un examen, por ejemplo) a menudo tienden a desplazarse hacia el promedio del grupo. Si usted comienza un programa con participantes los cuales, por definición, tienen muy bajos o altos niveles de lo que sea que se está midiendo – habilidades de lectura, exposición a la violencia doméstica, un comportamiento particular hacia las personas de otras razas o antecedentes, etc. –sus puntuaciones pueden terminar siendo cercanas al promedio a través del curso del periodo de evaluación aún sin ningún programa.
• La selección de participantes. Aquellos que escogen participantes pueden inclinar su selección hacia un grupo particular que tiene más o menos tendencias a cambiar que una muestra representativa de la población para la cual el grupo fue elegida. (Un buen ejemplo es el de los programas para la capacitación laboral a los cuales se les paga dependiendo de la cantidad de personas que colocan en posiciones laborales. Ellos tienen la tendencia a elegir a participantes los cuales tienen todos o casi todas las habilidades que ellos necesitan para llegar a ser empleados, y rechazan a aquellos que tienen menos habilidades… y quienes en realidad necesitan más el servicio.)  La selección puede jugar una parte cuando los participantes de cuenta propia escogen inscribirse en un programa (auto-selección), ya que aquellos que deciden participar están probablemente motivados a hacer cambios. También puede ser un asunto de oportunidad: los miembros de un grupo en particular pueden, simplemente por coincidencia, compartir una característica que posicionará los resultados de dichos miembros en sus mediciones a parte de la norma de la población que se está representando.

La selección puede también ser un problema cuando dos grupos están siendo comparados por diferentes estándares. Discutiremos más de esto adelante cuando hablemos de los grupos de control y de comparación.

• La pérdida de datos o de participantes. Si muy poca información es recolectada acerca de los participantes, o si demasiados de ellos desertan mucho antes que el periodo de investigación esté terminado, sus resultados pueden estar basados en muy poca información que pueda ser confiable. Esto también ocurre cuando dos grupos son comparados.Si sus pérdidas de datos o de participantes son demasiado diferentes, el compararlos puede no darle  ya más información válida.
• La naturaleza del cambio. A menudo, el cambio no es estable y constante. Esto puede involucrar saltos hacia adelante y saltos hacia atrás antes de que se llegue a un lugar estable – si es que alguna vez se llega. (Piense en observar el rendimiento de un equipo de deportes a la mitad de la temporada. No importa cuál es su posición en ese momento, usted no podrá decir cuán bien terminará hasta que la temporada finalice.)  Sus mediciones pueden llevarse a cabo durante un periodo muy corto o darse en momentos no oportunos para rastrear el curso del cambio o la falta de cambio que está ocurriendo.
• Una combinación de los efectos de dos o más de estos. Dos o más de estos factores puede combinarse para producir o prevenir los cambios que su programa trata de producir. Un currículo del estudio del lenguaje que es evaluado solo en estudiantes que ya hablan dos o más idiomas corre problemas tanto con la historia de los participantes – todos los estudiantes tienen experiencia al aprender idiomas además del propio - como con la selección – usted ha escogido estudiantes los cuales tienen tendencias a ser exitosos en el aprendizaje de idiomas.

Amenazas a la validez externa.

Estos son factores que afectan su habilidad para aplicar sus resultados de investigación en otras circunstancias – para aumentar las oportunidades que su programa y sus resultados puedan ser reproducidos en cualquier lugar o con otras poblaciones. Si, por ejemplo, usted ofrece clases en la crianza de niños solo a madres solteras, usted no puede asumir, sin importar cuán exitoso estas puedan ser, que las mismas clases funcionarán de igual manera para los hombres.

Amenazas a la validez externa (o generalizabilidad) pueden ser el resultado de las interacciones de otros factores con el programa o la intervención por ella misma, o puede ser debido a condiciones particulares del programa.

Algunos ejemplos:

• Interacción de la prueba o recolección de datos y el programa o intervención. Una prueba inicial u observación podría cambiar la manera que los participantes reaccionan al programa, hacer una diferencia en los resultados finales. Ya que usted no puede asumir que otro grupo tendrá la misma reacción u obtendrá resultados finales similares como resultado, la validez externa o generalizabilidad de los hallazgos se vuelve cuestionable.
• Interacción de los procedimientos de selección y el programa o la intervención. Si los participantes seleccionados o auto-seleccionados son particularmente sensibles a los métodos o el propósito del programa, no puede asumirse que éste sea efectivo con participantes los cuales son menos sensibles o no están listos para el programa.

Los padres que han sido amenazados por el gobierno con la pérdida de sus niños debido a abusos a menores podrían ser más receptivos a aprender técnicas para mejorar su manera de llevar la crianza de sus hijos, por ejemplo, en comparación con los padres quienes no están bajo esa presión.

• Los efectos de la preparación de la investigación. Los participantes podrían cambiar de comportamiento como resultado de ser observados, o podrían reaccionar a individuos particulares de maneras que ellos no suelten reaccionar ante otros.

Un ejemplo clásico aquí es el del famoso investigador de mandriles (babuinos), Irven DeVore, el cual después de años de observar manadas de mandriles, se dio cuenta que ellos se comportaban de forma diferente cuando él estaba ahí que cuando no estaba.  Aunque su meta era observar su comportamiento natural, su presencia por sí sola constituía una intervención, al hacer que el comportamiento de los mandriles que él observaba fuera diferente del de una manada que no estaba siendo observada.

• La interferencia de tratamientos o intervenciones múltiples. Los efectos de un programa particular pueden ser cambiados cuando los participantes están expuestos a él anteriormente en un contexto diferente, o están expuesto a otro antes o al mismo tiempo de cuando estaba siendo evaluado. Esto puede ocurrir cuando los participantes están recibiendo servicios de diferentes fuentes, o están siendo tratados simultáneamente por dos o más asuntos de salud u otras condiciones.

Dado la cantidad de los programas comunitarios que existen, hay muchas posibilidades aquí. Los adultos podrían ser miembros de clase para completar la secundaria mientras participan en un programa de recuperación de abuso de sustancias.  Un diabético podría ser tratado con una nueva droga mientras al mismo tiempo participa en un programa de actividad física y de nutrición para tratar con la obesidad.  Algunas veces, la secuencia de los tratamientos o los servicios en un solo programa puede tener el mismo efecto, con uno que influencia cómo los participantes responden a aquellos que siguen, aún si cada tratamiento está siendo evaluado de forma separada.

Diseños investigativos comunes

Muchos libros han sido escritos sobre el tema de diseño investigativo. Mientras ellos contienen demasiado material para resumir aquí, existen algunos diseños básicos que podemos introducir. Las diferencias importantes entre ellos se basan en cuántas mediciones se llevarán a cabo, cuándo se tomarán, y cuántos grupos de qué tipo estarán involucrados.

Las evaluaciones de los programas generalmente buscan por las respuestas de tres preguntas básicas:

• ¿Hubo algún cambio- en el comportamiento de los participantes o de otros, en las condiciones físicas o sociales, o en los resultados o indicadores de éxito – durante el periodo de evaluación?
• ¿Fue cualquier cambio que se dio – o la falta de cambio – causado por su programa, intervención, o esfuerzo?
• ¿Qué, en su programa o fuera de él, realmente causó o impidió el cambio?

Como hemos discutido, los cambios y las mejoras en los resultados pueden haber sido causados por algunos o todos los aspectos de su intervención, o por factores externos. La historia de los participantes o de la comunidad podría haber sido crucial.  Los participantes podrían haber cambiado como resultado de simplemente hacerse más mayores y más maduros o con más experiencia en el mundo – lo cual es a menudo un asunto clave cuando se trabaja con niños o adolescentes.  Los factores ambientales – eventos, cambios de política, o condiciones en las vidas de los participantes – pueden a menudo facilitar o impedir el cambio de igual manera.  Comprender exactamente de dónde viene el cambio y dónde están las barreras para que el cambio suceda, le da la oportunidad de ajustar su programa para tomar ventaja o combatir esos factores.

Si todo lo que usted tuvo que hacer fue medir cualquier comportamiento o condición que usted quería influenciar al inicio y al final de la evaluación, escoger un diseño sería una tarea fácil.  Desafortunadamente, esto no es tan sencillo – existen esas amenazas desagradables a la validez que nos deben preocupar.  Y tenemos que tomarlas en cuenta que mientras observamos algunos diseños investigativos comunes.

Los diseños investigativos, en general, se diferencian en una o más de dos formas: el número y el tiempo de las mediciones que ellos usan; y si ellos observan un grupo individual o grupos múltiples. Veremos los diseños de un solo grupo primero, luego seguiremos con los grupos múltiples.

Los investigadores usualmente se refieren a sus primeras medición(es) u observación(es) – las que usted toma antes de comenzar su programa o intervención – como una medición de referencia o observación de referencia, debido a que establece una referencia – un nivel conocido – al cual usted compara mediciones u observaciones futuras.

Algunos términos de investigación importantes son:  

Variables independientes son el programa por el mismo y/o los métodos o condiciones que el investigador – en este caso, usted – quiere evaluar. Ellas son llamadas variables debido a que ellas pueden cambiar – usted podría haber escogido (y podría todavía escoger) otros métodos.  Ellas son independientes debido a que su existencia no depende de si algo existe ocurre: usted las ha escogido, y ellas seguirán  constantes a través del periodo de evaluación.

Variables dependientes son las que podrían cambiar o no como resultado de la presencia de las variable(s) independiente(s).  En una evaluación, su programa o intervención es la variable independiente.  (si usted está evaluando un número de métodos o condiciones diferentes, cada uno de ellos es una variable independiente.)  Lo que sea que usted está tratando de cambiar es la variable dependiente.  (Si usted está tratando ver cambios en más de un comportamiento o resultado, cada tipo de cambio es una variable dependiente diferente.)  Ellas son llamadas variables dependientes debido a que los cambios en ellas dependen de la acción de la variable independiente… o de algo más.

 Las mediciones son solo eso –medidas de las variables dependientes. Ellas usualmente se refieren a procedimientos que tienen resultados que pueden ser traducidos en números, y que pueden tomar la forma de evaluaciones, observaciones, encuestas, entrevistas, o pruebas comunitarias. Ellas también podrían contar incidentes o medir la magnitud de la variable dependiente (número o porcentaje de niños que tienen sobrepeso o son obesos, crímenes violentos en 100,000 habitantes, etc.)

  Las observaciones podrían involucrar mediciones, o ellas podrían simplemente registrar lo que pasa en circunstancias específicas: las formas en que la gente usa un espacio, los tipos de interacción que tienen los niños en un aula, la naturaleza de las interacciones durante una evaluación.  Para conveniencia, los investigadores a menudo usan “observación” para referirse a cualquier tipo de medición y nosotros usaremos la misma convención aquí.

Diseño inicial y final de un grupo individual.

El diseño más simple es también probablemente el menos preciso y deseado: la medición u observación inicial (antes de) y final (después de). Esto consiste en simplemente medir lo que sea que a usted le interese con un grupo – la tasa de mortalidad infantil, el desempleo, la contaminación del agua – utilizar su intervención a ese grupo o comunidad, y luego observar de nuevo. Este tipo de diseño asume que una diferencia en las dos observaciones le dirá si hubo un cambio durante el periodo entre ellos, y también asume que cualquier cambio positivo fue causado por la intervención.

En la mayoría de los casos, un diseño inicial-final no le dirá mucho, debido a que no trata realmente ninguno de los asuntos investigativos que hemos discutido. No toma en cuenta la influencia de otros factores en la variable dependiente, y no le dice nada acerca de las tendencias de cambio o del progreso de cambio durante el periodo de evaluación –solo dónde estaban los participantes al principio y dónde estaban al final.  Puede ayudarle a determinar si ciertos tipos de cosas han pasado – si existió una reducción en el nivel de logros educativos o la cantidad de contaminación ambiental en un río, por ejemplo – pero no le dirá el por qué.  A pesar de sus limitaciones, tomar mediciones antes y después de la intervención es mucho mejor que ninguna medición.

Aún mirar a algo tan meramente simple para medir, antes y después, como la presión sanguínea (en un programa para la prevención de enfermedades del corazón) es cuestionable. La presión sanguínea puede ser más baja al final de la observación que al inicio, pero eso no le dice nada acerca de cuánto haya bajado o subido en medio.  Si las lecturas fueron tomadas por diferentes personas, el cambio puede ser en parte a las diferencias en su habilidad, o a cuán relajado pudo cada uno hacer sentir a los participantes. La familiaridad con el programa podría también haber reducido la presión sanguínea de la mayoría de los participantes desde la medición inicial a la medición final, como lo pudo haber hecho algún otro factor que no fuera específicamente parte de la variable independiente que estaba siendo evaluada.

Diseño de series de tiempo interrumpido con un solo grupo (series de tiempo simple). 

Una serie de tiempo interrumpido usó mediciones repetidas antes y después de la implementación retrasada de la variable independiente (p.ej., el programa, etc.) para ayudar a excluir otras explicaciones.  Este diseño relativamente fuerte – con comparaciones entre el grupo – trata la mayoría de las amenazas a la validez interna.

La forma más simple de este diseño es tomar observaciones repetidas, implementar el programa o intervención, y observar un número de veces durante el periodo de evaluación, incluyendo el final. Este método es una gran mejoría sobre el diseño inicial-final ya que rastrea la tendencia del cambio, y puede por lo tanto, ayudar a ver si fue realmente la variable independiente la que causó algún cambio. Este puede también ayudar a identificar la influencia de los factores externos tales como cuando la variable dependiente muestra un cambio significativo antes de que la intervención es implementada.

Otra posibilidad para este diseño es implementar más de una variable independiente, ya sea al tratar dos o más, una después de la otra (a menudo con un lapso en medio), o al agregar cada una a lo había antes. Esto presenta una visión no solo del progreso del cambio, sino también muestra muy claramente qué causa el cambio. Esto le da al evaluador la oportunidad no solo de ajustar el programa, sino de descartar elementos que no tienen efecto.

Existen un número de variaciones acerca del tema: series de tiempo interrumpido, incluir una variación de los tiempos de observación; implementar la variable independiente repetidamente; e implementar una variable independiente, luego otra, luego ambas juntas para evaluar su interacción.

En cualquier variedad del diseño de series de tiempo interrumpido, es importante saber qué es lo que se busca. En una evaluación de un programa de control de muertes en las vías de tránsito en el Reino Unido  que se enfocaba en reducir la conducción de vehículos bajo los efectos del alcohol, mediciones mensuales parecían mostrar solo una disminución pequeña en los accidentes mortales. Cuando las estadísticas de los fines de semana, cuando había más posibilidades de encontrar conductores ebrios en las carreteras, eran separados, entonces, ellas mostraron que la mortalidad en los fines de semana había bajado considerablemente debido a la implementación del programa, y se mantenía bajo después de éste. Si los investigadores no se hubieran dado cuenta de  que ese era el caso, el programa podría haber sido cancelado, y la tasa de accidentes de los fines de semana no se hubiera reducido.

Diseño de series de tiempo interrumpido con grupos múltiples (referencia múltiple/series de tiempo).

Este tiene la misma posibilidad como el diseño de series de tiempo con el grupo individual, con la adicción de usar mediciones repetidas con uno o más otros grupos (lo que se llama referencia múltiple). Al usar referencias múltiples (grupos), la validez externa o la generalidad de los descubrimientos es mejorada – podemos ver si los efectos ocurren con grupos diferentes o bajo condiciones diferentes.

Este diseño de series de tiempo múltiple –usualmente una introducción paulatina (por etapas) de la intervención con diferentes grupos o comunidades – le da al investigador más  oportunidades:

• Usted puede tratar un método o programa con dos o más grupos del mismo.
• Usted puede tratar un método o programa con diferentes poblaciones, para ver si es efectivo con otros.
• Usted puede variar el tiempo o intensidad de una intervención con grupos diferentes.
• Usted puede examinar diferentes intervenciones al mismo tiempo.
• Usted puede tratar las mismas dos o más intervenciones con cada uno de los dos grupos, pero revertir su orden para ver si la secuencia hace alguna diferencia.

De nuevo, existen más variaciones posibles aquí.

Diseño del grupo de control.

Una manera común de evaluar los efectos de una variable es usar un grupo de control. Este grupo de control es usualmente similar al grupo participante, pero o no tiene ninguna intervención del todo, o recibe un tipo de intervención diferente con el mismo propósito que se le da al grupo participante. Un diseño del grupo de control es usualmente el más difícil de establecer – usted tiene que encontrar grupos apropiados, observarlos a los dos regularmente, etc. – pero es generalmente considerado como el más confiable.

El término grupo de control viene del intento de controlar influencias externas y otras influencias en la variable dependiente. Si todo acerca de los dos grupos excepto su exposición al programa siendo evaluado promedia lo mismo, entonces cualquier diferencia en los resultados se debe a la exposición. El término grupo de comparación es más modesto; este típicamente presenta a una comunidad observada para estar pendiente de niveles similares del problema/meta y características relevantes de la comunidad o la población  (p.ej., educación, pobreza).

El patrón oro aquí es el grupo de control al azar, uno que es elegido totalmente al azar, ya sea de entre la población que el programa o la intervención está tratando – aquellos en riesgo de enfermedades del corazón, hombres desempleados, padres jóvenes – o, si es apropiado, la población en general. Un grupo al azar elimina los problemas de selección que nosotros hemos discutido anteriormente, así como asuntos que podrían salir de las diferencias en cultura, raza, u otros factores.

Un grupo de control que es cuidadosamente escogido tendrá las mismas características como el grupo de intervención (el foco de la evaluación). Si, por ejemplo, los dos grupos vienen del mismo tipo de personas que tienen una condición de salud particular, y son escogidos al azar ya sea para ser tratados con la manera convencional o con el nuevo enfoque/método, puede ser asumido que – debido a que ellos fueron escogidos al azar de la misma población – ambos grupos será sujetos, en promedio, a las mismas influencias externas, y tendrán la misma diversidad de antecedentes/orígenes/formación. Por lo tanto, si existe una diferencia significativa en sus resultados, es  bastante seguro asumir que la diferencia viene de la variable independiente – el tipo de intervención, y no de algo más.

La dificultad para las organizaciones gubernamentales y basadas en la comunidad es encontrar o crear un grupo de control al azar. Si el programa tiene una larga lista de espera, puede ser capaz de crear un control al seleccionar a aquellos que reciben la intervención al azar de primero. Eso por si solo crea problemas, ya que la gente a menudo deserta de las listas de espera debido a la frustración u otras razones.  Ser incluido en la evaluación puede ayudar a mantenerlos, por el otro lado, al darles una conexión más cercana al programa y al hacerlo sentir valorados.

Un programa de ESOL (Inglés como segunda u otra lengua) en Boston con una lista de espera de tres años trató el problema al ofrecer a aquellos en la lista de espera una opción diferente.  Ellos recibieron cintas de video (videocasetes) para usar en la casa, en conjunto con una tutoría bisemanal por estudiantes avanzados y estudiantes de posgrado del programa.  Así, ellos se convirtieron en un grupo de comparación con una intervención de alguna manera diferente que, como se esperaba, fue menos efectiva que el programa mismo, pero fue más efectiva que ninguna intervención, y los mantuvo en la lista de espera.  Esto también les dio una ventaja una vez que ellos empezaron a ir a clases, muchos de ellos empezaron en un nivel intermedio en vez de hacerlo a nivel de principiantes.

Cuando no existe una lista de espera o un grupo similar para comparar, las organizaciones comunitarias a menudo usan un grupo de comparación – uno compuesto de participantes en otro lugar o programa y cuyas características, antecedentes y experiencia de los miembros pueden o no pueden ser similares a aquellos del grupo participante. Esta situación puede suscitar algunos de los mismos problemas relacionados a la selección vista cuando no existe un grupo de control. Si las únicas comparaciones potenciales involucran grupos muy diferentes, puede ser mejor usar un diseño, como el diseño de series de tiempo interrumpido que no involucra un grupo de control del todo, donde la comparación se da dentro (no entre) los grupos.

Los grupos pueden verse similares, pero pueden diferir de una manera importante. Dos grupos de participantes  de un programa de intervención de abuso de sustancias, por ejemplo, pueden tener historias similares, pero si un programa es voluntario y el otro no, los resultados tienen la tendencia a no ser comparables. Un grupo probablemente estará más motivado  y menos resentido que el otro, y estará compuesto de personas las cuales ya conocen que tienen un problema potencial.  La motivación y la determinación de los participantes, en vez de la efectividad de los dos programas, puede influenciar la magnitud del cambio observado.

 

Este asunto puede darse en el diseño de un grupo individual también. Un programa que pueda, en promedio, parecer que es relativamente poco efectivo puede probar, al hacer una inspección profunda, ser bastante efectiva con ciertos participantes –aquellos con un antecedente educativo específico, por ejemplo, o con experiencias de vida particulares.  Ver los resultados desde esta visión puede ser una parte importante de una evaluación, y darle información valiosa y  utilizable.

Escoger un diseño

La discusión sobre diseños investigativos de esta sección no está en ninguna manera completa.  Aquí tratamos de brindar una introducción de lo que está disponible.  Existen literalmente cientos de libros y artículos escritos acerca de este tema, y usted probablemente querrá más información.  Existen un número de métodos estadísticos que pueden compensar por diseños menos-que-perfectos, por ejemplo: algunos grupos comunitarios tienen recursos para juntar a un grupo de control al azar, o para implementar dos o más programas similares para ver cuál funciona mejor.

 

Dado esto, el material que sigue se trata solo de una guía general.  Nosotros no intentamos ser específicos acerca del tipo de diseño que usted necesita en qué circunstancias, solamente tratamos de sugerir algunas cosas para tener en mente en situaciones diferentes.  Existe ayuda disponible en un gran número de lugares: Mucho puede ser encontrado en la Internet (ver la parte de “Recursos” de esta sección para encontrar algunos sitios); existen libros y artículos numerosos (el texto clásico en el diseño de investigación está también citado en “Recursos”); y las universidades son un gran recurso, tanto a través de sus bibliotecas como de los profesores y estudiantes de posgrado los cuales podrían estar interesados en lo que usted está haciendo y estar dispuestos a ayudar con su evaluación.  Use cualquiera o todos estos para encontrar qué funcionará mejor para usted.  Financiadores podrían también estar dispuestos a ya sea brindar asistencia técnica para las evaluaciones, o a incluir dinero en su subvención o contrato específicamente para pagar por una evaluación profesional.

Su meta al evaluar su esfuerzo es obtener la información más confiable y certera posible, dadas las preguntas de su evaluación, la naturaleza de su programa, a lo que sus participantes consienten (acceden), sus limitaciones de tiempo, y sus recursos. Lo importante aquí no es establecer un estudio investigativo perfecto, pero diseñar su evaluación para obtener información real, y ser capaz de separar los efectos de los factores externos de los efectos de su programa. Entonces ¿cómo hacer para escoger el mejor diseño que será funcional para usted? Los pasos están en la primera oración de este párrafo.

Tenga en cuenta las preguntas de su evaluación. 

¿Qué necesito saber?  Si la intención de su evaluación es simplemente ver si algo específico pasó, es posible que un diseño simple inicial y posterior se haga. Si, como es lo más probable, usted quiere conocer tanto el cambio que ha ocurrido, y si ha ocurrido, si ha en efecto sido causado por su programa, usted necesitará un diseño que ayude a  descartar los efectos de influencias externas y los antecedentes de los participantes.

Para muchos programas comunitarios, un grupo de control o comparación es útil, pero no es absolutamente necesario. Piense detenidamente acerca de la frecuencia y el momento oportuno de sus observaciones y la cantidad de tipos de información que usted puede recolectar. Con medidas repetidas, usted puede obtener un panorama bastante acertado sobre la efectividad de su programa desde un diseño de series de tiempo simple. Los diseños de series de tiempo interrumpido con un solo grupo, los cuales son a menudo los más factibles para organizaciones pequeñas, pueden darle una evaluación muy confiable si ellos están estructurados adecuadamente. Eso generalmente significa obtener observaciones de referencia múltiples (lo suficiente para establecer una tendencia) antes que el programa comience; observar frecuentemente y documentar sus observaciones cuidadosamente (a menudo tanto con datos cuantitativos – expresados en números – y cualitativos – expresados en registros de incidentes y acerca de lo que hicieron y dijeron los participantes); e inclusive durante la intervención y las observaciones de seguimiento para ver si los efectos son mantenidos.

En muchas de estas situaciones, un diseño de series de tiempo interrumpido con múltiples grupos es razonablemente posible, pero como  un experimento “que ocurre naturalmente”. Si su programa incluye dos o más grupos o clases, cada uno trabajando hacia las mismas metas, usted tiene la oportunidad de escalonar la introducción de la intervención a través de los grupos. Esta comparación con (y a través de) los grupos le permiten a usted eliminar factores como la habilidad del facilitador y las influencias comunitarias (asumiendo que todos los participantes vienen de la misma población en general.)  Usted podría también tratar diferentes métodos o secuencias en tiempo, para ver cuál funciona mejor.

En algunos casos, la pregunta real no es si su método o programa funciona o no, sino si funciona mejor que otros métodos o programas que se podrían estar usando. Enseñar una habilidad – por ejemplo, la capacitación laboral, la crianza de niños, el control de la diabetes, la resolución de conflictos – a menudo calza en esta categoría. Aquí, usted necesita una comparación de este tipo. Mientras que las evaluaciones de algunas de éstas – tratamiento médico, por ejemplo – pueden requerir un grupo de control, otros pueden ser comparados con datos en el área específica, con resultados publicados de otros programas, o al usar indicadores a nivel comunitario  de evaluaciones en otras comunidades.

Existen programas comunitarios donde el factor crucial es muy simple. Si usted está trabajando para controlar la contaminación del agua, su preocupación mayor podría ser la cantidad de contaminación que sale de la cañería de las aguas residuales, o la cantidad encontrada en el río. Su única medición del éxito podría ser mantener la contaminación por debajo de cierto nivel, lo cual significa que tener un control regular de la calidad del agua es la única evaluación que se necesita. Existen probablemente pocos programas comunitarios donde la evaluación sea tan fácil – usted podría, por ejemplo, querer conocer cuál de las actividades de control de contaminación es la más efectiva – pero si la suya es solo una, un diseño simple puede ser todo lo que usted necesita.

Tenga en cuenta la naturaleza de su programa.

¿Qué características tiene su programa -¿cómo se ve?-, y qué es lo que intenta hacer? ¿Qué es lo que funciona con los participantes en grupos, o individualmente, por ejemplo? ¿Tiene ciclos – clases o talleres que comienzan o terminan en ciertas fechas, o un programa de tiempo limitado que los participantes pueden tomar solo una vez? ¿O pueden los participantes tomar dichas clases/talleres cuando ellos estén listos y mantenerse hasta que alcancen sus metas? ¿Cuánto del trabajo del programa depende del personal, y cuánto hacen los participantes por su cuenta? ¿Cuán importante es el contexto del programa –manera que se relacionan el personal, los participantes y otros, la filosofía general del programa, el entorno físico, la organización cultural?  (La cultura de una organización consiste en las maneras tradicionales y aceptadas de hacer las cosas, los patrones de relaciones, cómo se viste la gente, cómo actúan y se comunican con los demás, etc.)

Si usted trabaja con participantes en grupos, un diseño de grupos múltiples – uno de series de tiempo interrumpido o un grupo de control – podría ser más fácil de usar. Si usted trabaja con participantes individualmente, tal vez una serie de tiempo simple o un diseño de grupo individual sería más apropiado.

Si su programa tiene el tiempo limitado – uno de solo una vez nada más, o con sesiones que siguen a la anterior – usted querrá un diseño que calce con su programa y tiempo, y que pueda darle resultados confiables en el tiempo que usted tiene.  Una posibilidad es usar un diseño de grupo múltiple, con grupos que siguen a los siguientes, sesión por sesión. El programa para cada grupo podría ser ajustado, basado en los resultados del grupo anterior, para que así usted tenga la posibilidad de poner a prueba nuevas ideas cada sesión.

• Si su programa no tiene un comienzo o final claro, usted probablemente tendrá la necesidad de usar un diseño de grupo individual que considere a los participantes individualmente, o por el nivel de su desempeño inicial. Usted podría también tener que compensar el hecho que los participantes pueden ingresar al programa con diferentes niveles, o con diferentes metas.

Un proverbio dice que usted nunca camina en el mismo río dos veces, debido a que el agua que pasa por él siempre está cambiando.  Lo mismo es verdad para la mayoría de los programas comunitarios. Alguien que ingrese a un programa en un momento particular podría tener una experiencia totalmente diferente a la de una persona similar ingresando en un momento diferente, aún si el proceso del programa es el mismo para ambos. Un participante particular podría animar a los demás alrededor de ella, y crear una atmósfera abrumadoramente positiva diferente a la experimentada por los participantes que ingresaron al programa después de que ésta persona se fue, por ejemplo. Es muy difícil controlar este tipo de diferencia a través del tiempo, pero es importante estar consciente de que puede existir, y a menudo existe, y puede afectar los resultados de una evaluación del programa.

• Si el contexto y la cultura organizacional o del programa son importantes, entonces usted probablemente querrá comparar sus resultados con participantes en un grupo de control en una situación similar donde esos factores son diferentes, o son ignorados.

Existe, por supuesto, una gran variedad de posibilidades aquí: casi cualquier diseño puede ser adaptado a casi cualquier situación en las circunstancias adecuadas. Este material tiene el propósito solamente de darle una idea de cómo comenzar a pensar acerca del diseño para una evaluación.

Tenga en cuenta que sus participantes (y personal) estén de acuerdo.

Además del efecto que podría tener en los resultados de su evaluación, usted podría encontrar que mucha observación puede  hacer que surjan protestas por parte de participantes los cuales sienten que su privacidad está siendo amenazada, o de los miembros del personal que ya de por sí tienen demasiado trabajo y ven la evaluación solo como una carga más a su trabajo. Usted podría ser capaz de superar estos obstáculos, o usted podría tener que llegar a un acuerdo – menos o diferentes tipos de observaciones, un diseño menos molesto/ intruso – con el objetivo de ser capaz de conducir la evaluación del todo.

Existen otras razones por las cuales los participantes podrían oponerse a la observación, o por los menos a una observación intensa.  La posibilidad de ser avergonzado, un deseo de confidencialidad (mantener su participación en el programa en secreto de los miembros de su familia u otros), aún la auto-protección (en el caso de violencia doméstica, por ejemplo) puede contribuir a la falta de voluntad de ser un participante en la evaluación.  Los miembros del personal podrían tener algunas de las mismas preocupaciones.

 

Existen maneras de tratar con estos asuntos, pero no hay forma de garantizar que ellas funcionarán.  Una es informar a los participantes al comienzo acerca de qué exactamente se espera hacer, escuchar sus objeciones, y reunirse con ellos (más de una vez, si es necesario)  para llegar a una propuesta satisfactoria.  Los miembros del personal tienden a quejarse menos si ellos estuvieron involucrados en el planeamiento de la evaluación, y así tienen algo que decir acerca de la frecuencia y la naturaleza de las observaciones.

Tenga en cuenta sus limitaciones de tiempo.

Como hemos mencionado anteriormente, lo importante aquí es escoger un diseño que le dará información razonablemente confiable. En general, su diseño no tiene que ser perfecto, pero tiene que ser lo suficientemente bueno para tener una indicación lo suficientemente razonable de que se están dando cambios, y que ellos son el resultado de su programa. Cuán preciso usted puede ser es por lo menos parcialmente controlado por las limitaciones de su tiempo debido a la financiación, las consideraciones del programa, y otros factores.

Las limitaciones de tiempo podrían también ser obligatorias. Algunas de las más comunes son:

• La estructura del programa. Una evaluación puede tener más sentido si es conducido para coincidir con un ciclo de un programa regular.
• Financiación. Si usted es financiado solo como un proyecto piloto, por ejemplo, usted tendrá que llevar a cabo su evaluación en el mismo lapso de tiempo de la financiación, y pronto para mostrar que su programa es lo suficientemente exitoso para volver a ser financiado. Un horario de tiempo para la evaluación podría ser parte de su subvención o contrato, especialmente si el financiador está pagando por él.
• Horarios de los participantes. Un programa educativo rural podría necesitar  una pausa varios meses al año para permitirles a los participantes plantar y  cuidar los cultivos, por ejemplo.
• La seriedad del asunto. Un retraso en conocer si un programa de prevención de violencia es efectivo o no podría costar vidas.
• La disponibilidad de evaluadores profesionales. Tal vez el equipo de evaluación puede solo trabajar durante un marco de tiempo particular.

Tenga en cuenta sus recursos.

Los planificadores estratégicos a menudo aconsejan que los grupos y organizaciones consideren los recursos de último: ya que si no ellos terminarían rechazando muchas buenas ideas debido a que ellas son muy caras o difíciles, en vez de tratar de encontrar maneras de hacerlas funcionar con los recursos que se tienen a mano. Los recursos incluyen no solamente el dinero, pero también el espacio, materiales y equipo, personal, y habilidades y pericia. A menudo, uno de estos puede ser substituido por otro: una persona del personal con experiencia en investigación puede tomar el lugar del dinero que se utilizaría para pagar a un consultor, por ejemplo. Una asociación con una universidad cercana podría no solo darle pericia si no además el equipo necesario.

La lección aquí es comenzar a determinar el mejor diseño posible para sus propósitos, sin contemplar los recursos. Usted podría tener que decidirse por algo de menor tamaño, pero si usted comienza por lo que usted quiere, usted tiene más posibilidad de acercarse a ello que si usted asume que no tiene la posibilidad de obtenerlo.

En resumen

La manera que usted diseña su evaluación investigativa estará muy relacionada con cuán  preciso y confiable son sus resultados, y cuán bien usted puede usarlos para mejorar su programa o intervención. El diseño debería ser uno que trate de la mejor manera  las amenazas claves a la validez interna (ya sea que la intervención cause el cambio) y la validez externa (la habilidad de generalizar sus resultados en otras situaciones, comunidades, y poblaciones).

Diseños investigativos comunes –tales como diseños de tiempo interrumpido grupo de control – puede ser adaptado a varias situaciones, y combinado de varias formas para crear un diseño que es tanto apropiado como posible para su programa. Eso podría ser necesario para buscar ayuda de un asesor, un socio universitario, o simplemente alguien con experiencia en investigación para así identificar un diseño que calce con sus necesidades.

Un buen diseño tratará sus preguntas de evaluación, y tomará en consideración la naturaleza de su programa, cuáles participantes  y personal del programa estarán de acuerdo, sus limitaciones de tiempo, los recursos que usted tiene disponible para la evaluación. A menudo tiene sentido considerar los recursos de último, para que así usted no rechace buenas ideas debido a que ellas parecen demasiado caras o difíciles. Una vez que usted escoja un diseño, usted puede a menudo encontrar una manera de compensar la falta de recursos para hacerlo realidad.

¿Qué queremos decir por un diseño para la evaluación?

___El diseño de la evaluación es la disposición que asegura que dicha evaluación confiablemente le diga a usted lo que usted necesita saber.

___Un diseño apropiado le mostrará a usted si realmente obtuvo resultados, y si esos resultados se produjeron debido a sus acciones o a las circunstancias que usted creó, o a otros factores.

¿Por qué se debería escoger un diseño para su evaluación?

___Para que su evaluación sea confiable.  

___Para que usted pueda ubicar con exactitud las áreas a mejorar, así como aquellas que son exitosas. 

___Para que sus resultados sean creíbles.

___Para que usted pueda identificar factores no relacionados con lo que usted está haciendo que tengan un efecto –positivo o negativo – en sus resultados y en las vidas de los participantes.  

___Para que usted puede identificar consecuencias que no intencionadas (tanto positivas como negativas) y corregirlas.   

___Para que usted tenga un plan coherente y una estructura organizada para su evaluación.    

¿Cuándo debería escoger un diseño para su evaluación?

___En lo ideal, cuando usted está planeando el programa y la evaluación, antes de que usted comience cualquier implementación.   

___En la realidad, para muchas organizaciones, al comienzo de un ciclo del programa, o cuando un grupo nuevo de participantes  comienza. 

¿Quién debería estar involucrado en la selección de un diseño?

___Es de extremada utilidad  involucrar a alguien con experiencia en investigación para ayudar en la decisión de un diseño apropiado, y para ayudar entender de que se trata cada posible diseño. 

¿Cómo seleccionar un diseño apropiado para su evaluación?

1.  Tener en cuenta las consideraciones de investigación necesarias.

___Entender las amenazas a la validez interna (si es que la intervención produce el cambio)

• Historia

• Maduración 

• Efectos de la evaluación u observación en los participantes  

• Cambios en la medición   

• Regresión hacia la media    

• Selección de los participantes     

• Pérdida de datos o participantes    

•  Naturaleza del cambio   

• Combinación de los efectos de dos o más de estos    

___Entender las amenazas a la validez externa (generalizabilidad de sus hallazgos) 

• Interacción de la prueba o la recolección de datos y el programa o intervención

• Interacción de los procedimientos de selección y el programa o la intervención   

• Los efectos de la preparación de la investigación   

• La interferencia de programas o intervenciones múltiples    

2.  Entender diseños de investigación comunes   

___Diseño inicial y final de un grupo individual

___Diseño de series de tiempo interrumpido con un solo grupo (series de tiempo simple)

___Diseño de series de tiempo interrumpido con grupos múltiples

___Diseño del grupo de control o comparación

3.  Escoger un diseño 

___Tenga en cuenta las preguntas de evaluación 

___Tenga en cuenta la naturaleza de su programa  

___Tenga en cuenta que sus participantes y personal estén de acuerdo 

___Tenga en cuenta sus limitaciones de tiempo   

___Tenga en cuenta sus recursos

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué queremos decir por recolectar información?

• ¿Qué queremos decir por analizar información?

• ¿Por qué se debería recolectar y analizar información para su evaluación?

• ¿Cómo se recolecta y se analiza la información?¿Qué queremos decir por recolectar información?

En secciones previas a este capítulo, hemos discutido el estudiar el asunto, decidir en el diseño para la investigación, en crear un sistema de observación para la obtención de información para su evaluación. Ahora es el momento para recolectar su información y analizarla –descifrar que es lo que significa – para que así usted pueda usarla para sacar conclusiones acerca de su trabajo. En esta sección, nosotros examinaremos cómo hacer exactamente eso.

¿Qué queremos decir por recolectar información?

Esencialmente, recolectar información significa poner su diseño para recolectar información en acción. Usted ha decidido cómo usted va a obtener información – ya sea por medio de observación directa, entrevistas, encuestas, experimentos y evaluaciones, u otros métodos – y ahora usted y/u otros observadores tienen que implementar su plan. Sin embargo, todavía hay más que recolectar. Si ustedes están llevando a cabo observaciones, por ejemplo, usted tiene que definir qué está observando y programar para hacer las observaciones en los momentos indicados, así usted puede realmente observar lo que usted necesita. Usted tiene que registrar las observaciones de maneras apropiadas y organizarlas para que así ellas sean lo más útiles posibles.

El documentar (registrar) y organizar la información puede tomar diferentes formas. Eso depende del tipo de información que usted está recolectando. La manera en que usted recolecta su información deberá estar relacionada a cómo usted está planeando analizarla y usarla. Dejando de lado el método que usted decida usar, documentar debe hacerse simultáneamente con la recolección de información si es posible, o muy pronto después, para que así nada se pierda y la memoria de lo que se observó no se vuelva borrosa.

Algunas de las cosas que usted podría hacer con la información que usted recolecta incluye:

• Recolectar información de todas clases de fuentes y observaciones.
• Hacer fotocopias de todos los formularios, registros, grabaciones de audio y vídeo, y cualquier otro tipo de material recolectado para prevenir cualquier pérdida o eliminación accidental de información, u otra clase de problema.
• Digitalizar los relatos, números, y otra información y guardar en un programa de computación, donde ellos puedan ser organizados y/o pueden ser utilizados en diversas maneras.
• Llevar a cabo cualquier operación matemática o similar necesaria para tener la información cuantitativa lista para el análisis. Estas podrían, por ejemplo, incluir ingresar observaciones numéricas en un diagrama, tabla, u hoja de cálculo, o calcular la media (promedio), la mediana (valor que ocupa el lugar central), y/o la moda (valor más repetido) de un set de números.
• Transcribir (hacer una versión exacta palabra por palabra de) los contenidos de las grabaciones de audio o vídeo.
• Codificar información, particularmente información cualitativa que no está expresada en números, de una manera que permita ser procesada por un programa específico de software o puede ser sometido a un análisis estadístico.)
• Organizar la información de manera que sea más fácil de trabajar. Cómo lo haga depende del diseño de su investigación y sus preguntas de evaluación. Usted podría agrupar las observaciones con base a la variable dependiente (indicador de éxito) al cual ellos se relacionan, por los individuos o grupos de participantes, por el tiempo, por la actividad, etc. Usted podría también agrupar las observaciones en diferentes maneras, así usted puede estudiar interacciones entre las diferentes variables.

Existen dos tipos de variables en investigación. Una variable independiente. Una variable independiente (la intervención) es una condición implementada por el investigador o comunidad para ver si eso creará un cambio o mejoría. Esto podría ser un programa, método, sistema u otra acción. Una variable dependiente es lo que puede cambiar como resultado de la variable independiente o la intervención. Una variable dependiente podría ser un comportamiento, resultados/beneficios, u otra condición. Un programa para dejar de fumar, por ejemplo, es una variable independiente que puede cambiar el comportamiento de los miembros del grupo hacia el fumado, la variable dependiente primaria

¿Qué queremos decir por analizar información?

Analizar información incluye examinarla de maneras que muestran las relaciones, patrones, tendencias, etc. que puedan ser encontradas. Eso podría significar el someterlo a operaciones estadísticas que puedan mostrarle no solo qué tipos de relaciones parecen existir entre las variables sino a qué nivel usted puede confiar en las repuestas que usted está obteniendo. Eso podría significar comparar su información con la de otros grupos (un control o un grupo de comparación, figuras a nivel estatal, etc.), para ayudar a sacar conclusiones de la información obtenida. El punto, en términos de su evaluación, es el obtener una evaluación/valoración precisa con el objetivo de entender de mejor manera su trabajo y sus efectos en aquellos por los cuales usted está preocupado, o con el propósito de entender de mejor maneras la situación a nivel general.

Existen dos tipos de información con la cual usted está propenso a trabajar, aunque no todas las evaluaciones necesariamente incluirán ambos. Información cuantitativa se refiere a la información que es recolectada como, o puede ser transformada en, números, lo cual puede ser mostrado y analizado matemáticamente. Información cualitativa es recolectada como descripciones, anécdotas, opiniones, citas, interpretaciones, etc. y son generalmente o no capaces de ser reducido a números, o considerados más valiosa o informativa si es dejada como un relato (narrativamente). Como usted podría esperarse, la información cuantitativa y la cualitativa necesitan ser analizadas de diferente forma.

Información cuantitativa.

Como hemos mencionado, la información cuantitativa es recolectada normalmente directamente como números.

• La frecuencia (índice, duración) de los comportamientos o condiciones específicas.
• Puntuaciones de pruebas (ej., puntuaciones/niveles de conocimientos, habilidad, etc.)
• Resultado de encuestas (ej., comportamiento reportado, o consecuencias de las condiciones ambientales; índices de satisfacción, estrés, etc.)
• Números o porcentajes de las personas con ciertas características en una población (diagnosticados con diabetes, sin empleo, hispano-hablantes, menores de 14 años de edad, nivel educativo completado, etc.)

La información puede también ser recolectada en formas diferentes de la numérica, y ser convertido en información cuantitativa para el análisis. Los investigadores pueden contar el número de veces que un evento es documentado en las entrevistas o registros, por ejemplo, o asignarle números a los niveles de intensidad de un evento o comportamiento observado. Por ejemplo, las iniciativas comunitarias a menudo quieren documentar la cantidad e intensidad de los cambios ambientales que ellos promueven – los nuevos programas y las políticas que surgen como resultado de sus esfuerzos. Si esta clase de conversión es necesaria o útil depende de la naturaleza de lo que usted está observando y en los tipos de preguntas que su evaluación necesita responder.

La información cuantitativa es usualmente sometida a procedimientos estadísticos como calcular la media o promedio de veces que un evento o comportamiento ocurre (por día, mes, año). Estas operaciones, debido a que los números son información “sólida” y no se interpreta, pueden dar respuestas definitivas, o cercanas a ser definitivas a diferentes preguntas. Varios tipos de análisis cuantitativo pueden indicar cambios en una variable dependiente relacionada a – frecuencia, duración, momento (cuando el asunto particular pasó), intensidad, nivel, etc. Ellos pueden permitirle comparar esos cambios con otros, los cambios en otra variable o cambios en otra población. Ellos podrían ser capaces de decirle, en un grado particular de fiabilidad, si esos cambios son propensos a ser causados por su intervención o programa, o por otro factor, conocido o desconocido.Y ellos pueden identificar relaciones entre las diferentes variables, lo cual puede o no significar que uno causa el otro.

Información cualitativa.

Diferente de los números o “datos rigurosos”, la información cualitativa parece ser “blanda”, lo que quiere decir que no puede ser siempre reducida a algo definido. Eso es en algunas maneras una debilidad, pero es a su vez una fortaleza. Un número puede decirle cuán bien salió un estudiante en una prueba (examen); la expresión en su cara después de ver su nota, sin embargo puede decir mucho más acerca del efecto del ese resultado en su vida. Esa expresión no puede ser traducida por un número, ni lo puede hacer el conocimiento del maestro acerca de la historia, progreso, y experiencia del estudiante, todo lo cual termina en la interpretación del maestro de esa expresión facial. Y esa interpretación puede ser más valiosa en ayudar a la superación del estudiante que saber la nota o la puntuación numérica de la prueba.

Como explicamos anteriormente, la información cualitativa puede ser muchas veces convertida en números, usualmente al contar el número de veces que situaciones específicas ocurren en el curos de observaciones o entrevistas, o al asignar números o índices a dimensiones (ej., importancia, satisfacción, facilidad del uso).

Los retos de traducir datos cualitativos en cuantitativos tienen que ver con el factor humano. Aún si la mayoría de las personas están de acuerdo con lo que 1 (más bajo) o 5 (más alto) significa con respecto a los índices de “satisfacción” con un programa, los índices 2, 3 y 4 pueden ser muy diferentes para diferentes personas. Además, los números no dicen nada acerca de por qué las personas reportaron de la manera que lo hicieron. Uno pudo no gustarle el programa debido al contenido, el facilitador, la hora del día, etc. De igual manera puede ser cierto cuando usted está contando los momentos que fue mencionado un evento, tal como al comienzo de una nueva política o programa en una comunidad basada en entrevistas o registros de archivo. Donde una persona pueda ver un cambio en el programa que él considera importante otra persona puede omitirlo debido a que es percibido no importante.

Los datos cualitativos pueden algunas veces decirle cosas que los datos cuantitativos no pueden. Eso puede revelar el por qué ciertos métodos están trabajando o no, si parte de que se está haciendo entra en conflicto con la cultura del participantes, lo que los participantes ven como importante, etc. Eso puede también mostrar patrones – en comportamiento, ambiente físico y social, u otros factores – que los números en sus datos cuantitativos no y ocasionalmente aún identifica variables que los investigadores no estuvieron conscientes.

Es a menudo útil recolectar tanto la información cuantitativa y cualitativa

El análisis cuantitativo es considerado a ser objetivo – sin ningún prejuicio humano adherido a él- debido a que depende de la comparación de números de acuerdo a cálculos matemáticos. El análisis de datos cualitativos es generalmente logrado con métodos más subjetivos – que dependen de las opiniones de las personas, su conocimiento, suposiciones, e inferencias (y por lo tanto prejuicios) – que aquella llevada a cabo de los datos cuantitativos. La identificación de patrones, la interpretación de lo que dijo la gente u otra comunicación, el reconocimiento de tendencia – todos estos pueden ser influenciados por la forma en que el investigador ve el mundo. Esté consciente, sin embargo, que el análisis cuantitativo está influenciado por un número de factores subjetivos de igual manera. Lo que el investigador escoge medir, la precisión de las observaciones, y la manera que la investigación está estructurada al preguntar solo ciertas preguntas puede todo influenciar los resultados, así como lo puede hacer el entendimiento y la interpretación del investigador de los posteriores análisis.

¿Por qué se debería recolectar y analizar información para su evaluación?

Parte de la respuesta aquí es que no cada organización – particularmente las pequeñas con bases comunitarias o no gubernamentales – necesitará tener recursos amplios para conducir una evaluación formal. Ellos pueden tener que estar satisfechos con evaluaciones menos formales, las cuales pueden aún ser extremadamente útiles al brindar dirección para un programa o intervención. Una evaluación informal involucrará alguna recolección de datos y análisis. Esta recolección de datos y que tenga sentido es crítico para una iniciativa y su éxito futuro, y tiene un número de ventajas.

• Los datos pueden mostrarse si hubo cualquier cambio significativo/importante en las variables dependientes que se esperando influenciar. La recolección y el análisis de datos ayudan a ver si su intervención produjo los resultados deseados.

El término “importancia” tiene un significado específico cuando usted está discutiendo estadísticas. El nivel de importancia de un resultado estadístico es el nivel de confianza que usted puede tener en la respuesta que usted obtiene. Generalmente, los investigadores no consideran un resultado significativo/ importante solo si muestra por lo menos un 95% de certeza de que es correcto (llamado el nivel .05 de importancia, debido a que existe un 5% de posibilidad de que eso esté equivocado.) El nivel de importancia está construido en fórmulas estadísticas: una vez que se obtiene un resultado matemático, una tabla (o el software que se está usando) le dirá el nivel de importancia.

Así, si el análisis de datos encuentra que la variable independiente (la intervención) influenció la variable dependiente en el 0.5 nivel de importancia, eso significa que existe una probabilidad o posibilidad de un 95% de que su programa o intervención obtuvo el efecto deseado. El nivel .05 de importancia es generalmente considerado un resultado razonable, y el .01 nivel (99% de probabilidad) es considerado a ser lo más cercano a la certeza que ser puede llegar.

Un 95% de nivel de certeza no significa que el programa trabaja en un 95% de los participantes, o que eso va a trabajar un 95% de las veces. Esto significa que existe sólo un 5% de posibilidad que el programa no es realmente lo que está influenciando la(s) variable(s) dependiente(s) y causando los cambios que deberían estar asociados a él.

• Ellos pueden sacar a la luz factores que pueden estar asociados con cambios en las variables dependientes. Los análisis de datos pueden ayudar a descubrir influencias inesperadas; por ejemplo, que el esfuerzo fuera dos veces tan largo para aquellos participantes que también eran parte del grupo de apoyo. Esto puede ser usado para identificar aspectos claves de implementación.
• Ellos pueden mostrar conexiones entre varios factores que pueden tener un efecto en los resultados de su evaluación. Algunos tipos de procedimientos estadísticos buscan conexiones (“correlaciones” es el término de investigación) entre las variables. Ciertas variables dependientes pueden cambiar cuando otros cambian. Estos cambios pueden ser similares – ej., ambas variables aumentan o disminuyen (ej., por forme la habilidad de en la lectura aumenta, la cantidad de lectura hecha por ellos también aumenta.) O lo opuesto puede pasar – ej., las dos variables cambian en direcciones opuestas (conforme la cantidad de ejercicio que hacen aumenta, el peso de las personas disminuye). Correlaciones no significan que una causa la otra, o que ambas tiene la misma causa, pero ellos pueden brindar información valiosa acerca de asociaciones esperables en una evaluación.
• Ellos pueden ayudar a esclarecer las razones por las cuales su trabajo fue efectivo o, tal vez, no tan efectivo como usted esperaba. Al combinar los análisis cuantitativos y los cualitativos, usted puede a menudo determinar no solo que funcionó o que no, pero el por qué. El efecto de factores culturales, cuán bien se están usando los métodos, lo apropiado que es su enfoque para la población – estos así como otros factores que influencian el éxito pueden ser esclarecidos por la recolección cuidadosa de datos y su análisis. Este conocimiento le da una base para adaptar y cambiar lo que usted hace para que sea más factible que usted logre los resultados deseados en el futuro.
• Ellos pueden brindar evidencia creíble para mostrarle a los socios (interesados) que su programa fue exitoso, o que usted había sacado a la luz, y tratado las limitaciones. Los socios, tal como los financiadores y las juntas comunitarias, quieren saber que sus inversiones están siendo invertidas de la mejor manera. Al mostrar evidencia de los resultados intermedios (ej., nuevos programas y políticas) y resultados a largo plazo (ej., las mejorías en educación o los indicadores de salud) se está volviendo más y más importante para recibir – y mantener- la financiación.
• Su uso muestra que usted es serio acerca de la evaluación y acerca de mejorar su trabajo. Ser un buen fideicomisario o administrador de las inversiones comunitarias incluye revisiones regulares de datos relacionados al progreso y a la mejoría.
• Ellos pueden mostrarle al área de estudio lo que se está aprendiendo, y así pavimentar el camino para que otros implementen métodos y enfoques exitosos. De esa manera, usted estará ayudando a mejorar los esfuerzos comunitarios y, ultimadamente, la calidad de vida para las personas que se benefician.

¿Cuándo y por quién debería ser la información recolectada y analizada?

Al hablar de recolección de datos, la parte del “cuándo” de la pregunta es relativamente simple: la recolección de datos debería no después de que se comience a trabajar – o antes de que usted comience con el objetivo de establecer una línea de fondo o punto de comienzo – y continuar a lo largo. Idealmente, usted debería recolectar datos por periodo de tiempo antes de comenzar su programa o intervención con el propósito de determinar si existe alguna tendencia en los datos antes del comienzo de la intervención. Además, con el propósito de evaluar los efectos a largo plazo de su programa, usted debería recolectar datos posteriores (para el seguimiento) por un periodo de tiempo después de la conclusión del programa.

El momento del análisis puede ser visto de por lo menos dos maneras: Una es que es mejor analizar su información cuando usted la ha recolectado en su totalidad. La otra es que si usted la analiza conforme usted la va recolectando, usted es capaz de cambiar de opinión acerca de la información que usted realmente necesita, y de ajustar su programa para que responda a la información de usted está obteniendo. El enfoque que se decida tomar depende de los propósitos de su investigación. Si usted está más interesado en una evaluación sumativa – encontrar si su enfoque fue efectivo, usted podría estar más inclinado hacia la primera opción. Si usted está orientado hacia la implementación – la evaluación formativa – nosotros recomendamos obtener información a lo largo del camino. Ambos enfoques son legítimos, pero la recolección de datos en proceso continuo y su revisión puede particularmente traer mejorías en su trabajo.

El “quién” de la pregunta puede ser más complejo. Si usted está razonablemente familiar con las estadísticas y los procedimientos estadísticos, y usted tiene recursos de tiempo, dinero, y personal, es probable que usted haga un estudio relativamente formal, al usar pruebas estadísticas estandarizada. (Existen muchos tipos de software –tanto para comprar y gratuito o como open-source o “código abierto” – disponible para ayudarlo. Vínculos de algunos de estos recursos están disponibles en esta sección debajo de “Recursos”.)

Si ese no es el caso, usted tiene algunas opciones:

• Usted puede contratar o encontrar a un evaluador externo voluntario, tal como los de una Universidad o institución de estudios superiores cercana, para que se encargue de la recolección de datos y/o el análisis por usted.
• Usted puede llevar a cabo una evaluación menos formal. Sus resultados pueden no ser tan sofisticados como si usted lo hubiera llevado a cabo por medio de procedimientos estadísticos rigurosos, pero ellos pueden aún decirle mucho acerca de su programa. Solo los números – el número de deserciones (y cuándo desertan más), por ejemplo, o las características de la gente a la que usted le sirve – puede darle información importante y utilizable.
• Usted puede tratar de aprender suficiente acerca de estadísticas y software estadísticos para llevar a cabo una evaluación formal usted mismo. (Lleve un curso, por ejemplo.)
• Usted puede recolectar los datos y luego enviársela a alguien –un programa universitario, un amigo o un investigador, o alguien contratado – para procesarlo todo para usted.
• Usted puede recolectar y basarse principalmente en datos cualitativos. Si esto es una opción depende principalmente de lo que se trate el programa. Usted no querrá llevar a cabo una evaluación formal de efectividad de un medicamento nuevo usando solamente datos cualitativos, pero usted podría ser capaz de mostrar algunas conclusiones razonables acerca de patrones de uso o cumplimiento con base en la información cualitativa.
• Si es posible, use un grupo de control al azar o uno lo más similar al otro para compararlos. Si su control está apropiadamente estructurado, usted puede sacar algunas conclusiones bastantes confiables simplemente al comparar sus resultados con aquellos de su grupo de intervención. De nuevo, estos resultados no serán tan confiables como si la comparación fuera hecha usando procedimientos estadísticos, pero ellos pueden indicar si usted está en la dirección correcta. Es suficientemente fácil ver si hay o no una diferencia mayor entre los números de los dos o más grupos. Si el 95% de los estudiantes en su clase pasó la prueba, y sólo un 60 aquellos en un grupo similar pero no instruido pasaron, usted puede estar seguro que su clase hizo la diferencia de alguna manera, aunque usted pueda que no sea capaz de decir exactamente qué fue lo que importó. De la misma manera, si un 72% de sus estudiantes pasaron y un 70% del grupo de control también pasaron, parece ser bastante claro que su instrucción tenía esencialmente ningún efecto, si los grupos comenzaron aproximadamente en el mismo lugar.

Quién debería realmente recolectar y analizar los datos depende de la manera de su evaluación. Si usted está haciendo un evaluación participativa, mucho de la recolección de datos – y analizarlos- será hecha por los miembros de la comunidad o los participantes del programa ellos mismos. Si usted está llevando a cabo una evaluación en la cual la observación es especializada, los recolectores de datos podrían ser miembros del equipo de trabajo, profesionales, voluntarios altamente entrenados, u otros con habilidades o capacitación específica (estudiantes de maestría, por ejemplo). El análisis también puede ser logrado por un proceso participativo. Aún donde procedimientos estadísticos complicados son necesarios, los participantes y/o los miembros de la comunidad podrían ser involucrados al explicar que es lo que esos resultados realmente significan una vez que la matemática está hecha y los resultados están listos. Otra manera en que el análisis puede ser logrado es por medio de los profesionales u otros individuos capacitados, dependiendo de la clase de la naturaleza a ser analizada, los métodos de análisis, y el nivel de sofisticación al cual se intenta tener en las conclusiones.

¿Cómo recolectar y analizar información?

Aún si su evaluación incluye procedimientos formales o informales, usted todavía tiene que recolectar y analizar la información, y existen algunos pasos básicos que usted puede tomar para hacerlo.

Implementar su sistema de medición.

 Hemos discutido acerca de diseñar un sistema observacional para obtener información. Ahora es el momento de poner ese sistema a cabo.

• Claramente defina y describa cuáles mediciones u observaciones son necesarias. La definición y descripción debería ser lo suficientemente clara para permitirle a los observantes estar desacuerdo en qué es lo que ellos están observando y de buena fuente documentar los datos de igual manera.
• Seleccionar y capacitar a los observadores. Particularmente si esto es parte de un proceso participativo, los observadores necesitan capacitación para saber qué documentar; para reconocer los comportamientos clave, eventos, y condiciones; y para alcanzar un nivel aceptable de confiabilidad interna (acuerdo entre los observadores.)
• Llevar a cabo observaciones en momentos apropiados para el periodo apropiado. Esto puede incluir revisar material archivado; llevar a cabo entrevistas, encuestas, o grupos focales; enfocarse en la observación directa, etc.
• Documentar los datos en las maneras acordadas. Esto puede incluir papel y lápiz, computadoras (al usar una computadora portátil u otro aparato de uso manual en el área, ingresar números en el programa, etc.), audio o vídeo, revistas, etc.

 Organizar los datos que usted ha recolectado.

La manera que usted haga esto depende de qué es lo que usted está planeando hacer con eso, y en qué se está interesado.

• Ingresar cualquier dato a la computadora. Esto puede significar simplemente digitalizar los comentarios, descripciones, etc., e incluirlos en un programa de procesamiento de palabras, o al ingresar información variada (posiblemente incluir el audio o vídeo) a una base de datos, hoja de cálculo, un programa GIS, o algún otro tipo de software o archivo.
• Transcribir cualquier audio- o cintas de vídeos. Esto los hace más fáciles para trabajar y copiar, y permite la oportunidad para aclarar cualquier segmento de dicción que sea difícil de entender.
• Darle una puntuación a cualquier prueba y documente las puntuaciones apropiadamente.
• Clasificar su información en maneras apropiadas de su interés. Esto puede incluir clasificar por categoría de observación, por evento, por lugar, por individuo, por grupo, por el tiempo de observación, o por una combinación o algún otro estándar.
• Cuando sea posible, necesario, y apropiado, transforme los datos cualitativos en datos cuantitativos. Esto puede involucrar, por ejemplo, contar el número de veces que asuntos específicos fueron mencionados en las entrevistas, o cuán a menudo ciertos comportamientos fueron observados.

Llevar a cabo gráfica de datos, inspecciones visuales, análisis estadísticos, u otras operaciones en los datos de forma apropiada.

Nos hemos referido varias veces a los procedimientos estadísticos que usted puede aplicar a los datos cuantitativos. Si usted tiene los números correctos, usted puede descubrir mucho acerca de si su programa está causando o contribuyendo a un cambio o mejoría, cuál es ese cambio, si existen conexiones esperadas o inesperadas entre las variables, cómo se compara su grupo con otro que usted esté evaluando, etc.

Existen otras posibilidades excelentes para el análisis además de los procedimientos estadísticos, sin embargo. Algunas de ellas incluyen:

• Conteo simple, inspección visual y gráficos de frecuencia o índices de comportamiento, eventos, etc., a través del tiempo.
• Usar inspección visual de los patrones a lo largo del tiempo para identificar discontinuidades (aumentos, disminuciones marcadas) en las medidas a través del tiempo (sesiones, semanas, meses).
• Calcular la media (promedio), la mediana (valor que ocupa el lugar central), y/o la moda (valor más repetido) de una serie de medidas u observaciones. ¿Cuál fue la presión sanguínea promedio, por ejemplo, de las personas que se ejercitaron por 30 minutos al día por lo menos cinco días a la semana, en contraposición a aquellos que se ejercitaron dos días a la semana o menos?
• Usar entrevistas cualitativas, conversaciones, y observación participativa para observar (y seguirle a pista a los cambios) en las personas o situaciones. Los diarios pueden ser particularmente reveladores en esta área debido a que ellos documentan las experiencias de las personas y sus reflexiones a través de un tiempo.
• Encontrar patrones en los datos cualitativos. Si muchas personas se refirieron a problemas o barreras similares, estos pueden ser importantes en el entendimiento del asunto, al determinar qué funciona o qué no y por qué, o más.
• Comparar los verdaderos resultados con las metas o puntos de referencia previamente determinadas. Una medida de éxito podría ser alcanzar una meta para el planeamiento o programa de implementación, por ejemplo.

Tome nota de cualquier resultado significativo o interesante.

Dependiendo de la naturaleza de su investigación, los resultados podrían ser estadísticamente significativos (el 95% o mejor certeza de la que hemos discutido anteriormente), o simplemente importantes o inusuales. Ellos pueden o no ser socialmente significativos (p.ej., suficientemente grandes para resolver el problema).

Existen un número de tipos diferentes de resultados que usted puede estar buscando.

• Diferencias entre las personas o los grupos. Si usted ha repetido mediciones para individuos/grupos a través del tiempo, podemos ver si existen aumentos/disminuciones marcadas en (la frecuencia, tipo) de comportamiento (eventos, etc.) después de la introducción del programa o intervención. Cuando los efectos son vistos y solo cuando la intervención es introducida – y si la intervención es escalonado (retrasado) a lo largo de la gente o los grupos – esto aumenta nuestra certeza que la intervención, y no algo más, está produciendo los efectos observados.
• Diferencias entre dos o más grupos. Si usted tiene uno o más grupos de control al azar en un estudio formal (grupos que son escogidos al azar con una misma población como el grupo en su programa, pero no están recibiendo el mismo programa o intervención, o no está recibiendo una del todo), luego la significancia estadística de las diferencias entre los grupos debería decir si su programa tiene una alguna influencia mayor en la(s) variable(s) dependiente(s) que la que se está experimentando por los otros grupos.
• Los resultados que muestran cambios significativos estadísticamente hablando. Con o sin un grupo de control o de comparación, muchos procedimientos estadísticos pueden decirle si los cambios en las variables dependientes son verdaderamente significativos (o posiblemente no lo sean debido al cambio). Estos resultados pueden decir muy poco acerca de las causas del cambio (o ellos pueden, dependiendo de cómo usted ha estructurado su evaluación), pero ellos le dicen a usted que es lo que está pasando, y le dan un lugar para comenzar.
• Correlaciones. Correlación significa que existen conexiones entre dos o más variables. Correlaciones pueden algunas veces resaltar a relaciones importantes que usted podría no haber predicho. Algunas veces ellos pueden dar luz al asunto por el mismo, y algunas veces en los efectos de las prácticas culturales de un grupo. En algunos casos, ellos pueden realzar las causas potenciales de un asunto o condición, y así pavimentar el camino para intervenciones futuras.
• Patrones. En ambos, tanto la información cuantitativa y cualitativa, patrones a menudo emergen: ciertas condiciones de salud parecen agruparse en áreas geográficas particulares; las personas de un grupo en particular se comportan de maneras similares; etc. Estos patrones podría no ser específicamente lo que usted está buscando o espera encontrar, pero ellos podrían ser importantes por ellos mismos o sacar a la luz áreas en las que usted esté interesado. En algunos casos, usted podría necesitar someterlos a procedimientos estadísticos (análisis de regresión, por ejemplo) ver si, en realidad, ellos están al azar, o si ellos constituyen patrones reales.
• Descubrimientos importantes evidentes. Si es el resultado de un análisis estadístico, o la evaluación de sus datos y la aplicación de lógica, algunos descubrimientos pueden resaltar. Si el 70% de un grupo de participantes con sobrepeso en un programa de actividad física y nutrición saludable bajan su peso y presión sanguínea significativamente, comparado con solamente el 20% de un grupo similar no en el programa, usted puede probablemente asumir que el programa ha sido efectivo. Si no existe ningún cambio del todo en los resultados en educación después de dos años de su programa educativo, entonces usted puede estar o llevando a cabo un programa no efectivo, o simplemente no está alcanzando a aquellos que tienen más tendencias de tener pobres resultados (lo cual también puede ser interpretado como que está llevando a cabo un programa que no es efectivo.)

No todos los descubrimientos importantes necesariamente le dirán si su programa trabaja o que es el método más efectivo. Podría ser obvio para la recolección de datos, por ejemplo, que, mientras la violencia o las lesiones en la carretera no sea visto como un problema a nivel de ciudad, ellos son mucho más altos en una o más áreas particulares, o que los índices de diabetes están marcadamente mucho más altos para grupos particulares o para aquellos viviendo en áreas con mayores diferencias de ingresos. Si usted tiene los recursos, es sabio ver los resultados de su investigación en un número de maneras diferentes, ambos para encontrar cómo mejorar su programa, y aprender qué más usted podría hacer para afectar el asunto.

Interpretar los resultados.

Una vez que usted ha organizado sus resultados y que los revise a través ya sea de un análisis estadístico u otro que usted ya haya planeado, es el momento para descifrar qué es lo que significa su evaluación. Probablemente la pregunta más común que la investigación evaluativa es dirigida hacia si el programa que está siendo evaluado trabajo o hace una diferencia. En términos de investigación, que a menudo se traduce en “¿Cuáles fueron los efectos de la variable independiente (el programa, intervención, etc.) en la(s) variable(s) independiente(s) (el comportamiento, las condiciones, u otros factores que se intentaba cambiar)?” Existen un número de posibles preguntas a esta pregunta:

• Su programa tuvo exactamente los efectos en las variables dependientes que usted esperado y deseaba que tuviera. Estadísticas u otros análisis mostraron claros efectos positivos en un alto nivel de importancia para las personas en su programa y – si usted usó un diseño de grupo-múltiple – ninguno o muy pocos, con los mismos efectos para un grupo de control similar y/o para un grupo que recibía una intervención diferente con el mismo propósito. Su programa educativo en infancia, por ejemplo, grandemente aumentó los resultados de desarrollo para los niños de la comunidad, y también contribuyó a un aumento en el porcentaje de los niños que mejoraron en la escuela.
• Su programa no tuvo efecto. Su programa no produjo resultados significativos en la variable dependiente, por sí misma o al ser comparada con otros grupos. Esto significaría que no hubo ningún cambio como resultado del programa o la intervención.
• Su programa tuvo un efecto negativo. Por ejemplo, la violencia entre compañeros íntimos aumentó (o por lo menos parece ser) parte del resultado de su intervención. (Es relativamente común para los eventos reportados, tales como la violencia o las lesiones, que se aumente cuando la intervención resulta en una mejoría de vigilancia o facilidad de reporte).
• Su programa tuvo los efectos esperados y otros efectos también.
• Estos efectos podrían ser positives.Su programa de prevención de la violencia juvenil, por ejemplo, podría haber resultado en una reducción grande de la violencia entre los adolescentes, y podría también haber tenido resultados en una mejoría significativa del rendimiento académico por parte de los jóvenes involucrados.
  • Estos efectos podrían ser neutrales. El mismo programa de prevención de la violencia juvenil podría de alguna manera dar como resultado que los jóvenes vean más televisión después de la escuela.
  • Estos efectos podrían ser negativos. (Estos efectos son usualmente llamados consecuencias sin intención.) La violencia juvenil disminuyó significativamente, peor la incidencia de las jóvenes embarazadas o el consumo de alcohol entre los jóvenes podría aumentar significativamente al mismo tiempo.
  • Estos efectos podrían ser múltiples, o mixtos. Por ejemplo, un programa para reducir el VIH/SIDA podría disminuir los rangos de sex sin protección pero también podría aumentar el conflicto y los casos de violencia entre parejas.
  • Su programa no tuvo efecto o tuvo un efecto negativo y otros efectos al mismo tiempo. Como con los programas con efectos positivos, estos pueden ser positivos, neutrales; individuales o múltiples; o consistentes o mixtos.

Si su análisis le da una indicación clara de que lo que usted está haciendo está logrando sus propósitos, la interpretación es relativamente simple: Usted debería seguir haciéndolo, mientras trata otras maneras de hacerlo aún más efectivo, o mientras trata de alcanzar otros asuntos relacionados de igual manera.

Como lo hemos discutido a lo largo y ancho de la Caja de Herramientas Comunitarias, los programas buenos son dinámicos – constantemente buscando formas de mejorar, en vez de asumir que lo están haciendo de la mejor manera que puede ser.

Si su análisis muestra que su programa no es efectivo o es negativo, sin embargo –o, en ese caso, si un análisis positivo lo deja a usted preguntándose cómo hacer que sus esfuerzos exitosos sean aún más exitosos – la interpretación se vuelve aún más compleja. ¿Está usted usando un método absolutamente erróneo? ¿Está usted usando un enfoque que podría ser efectivo, pero está muy mal implementado? ¿Existe un factor particular que está contribuyendo a que usted no esté tomando en cuenta_ ¿ Existen barreras hacia el éxito – culturales, experiencias, características personales, discriminación sistemática – presentes en la población de la cual son los participantes? ¿Existen componentes particulares o elementos que usted puede cambiar para hacer a su programa más efectivo, o debería usted comenzar de nuevo de cero? ¿Hacia qué se debería dirigir para hacer un buen programa aún mejor?

Interpretación cuidadosa y muy perspicaz de sus datos podría permitirle responder a preguntas como éstas. Usted podría ser capaz de usar correlaciones, por ejemplo, para generar hipótesis acerca de sus resultados. Como lo hemos discutido antes, si los cambios positivos o negativos en variables particulares son consistentemente asociados con cambios positivos o negativos en otras variables, las dos pueden ser conectadas. (La palabra “pueden” es importante aquí. Las dos pueden estar conectadas, pero podrían no estarlo, o ambos podrían estar relacionados a una variable tercera de la cual no se está consciente o que se considera trivial.) Tal conexión puede mostrarle la dirección hacia un factor (p.ej., acceso al apoyo) que está causando los cambios en ambas variables, y que debería ser tratada para hacer su programa exitoso. Las correlaciones podrían también indicar patrones en sus datos, o podría dirigirlo hacia una manera no esperada de ver el asunto al que usted se está dirigiendo.

Usted puede a menudo usar datos cualitativos para entender el significado de una intervención, las reacciones de las personas hacia los resultados. La observación que los participantes están constantemente sufriendo de una variedad de problemas de salud podría ser localizado, a través de datos cualitativos, en problemas de nutrición (debido a la pobreza o a la ignorancia) o a restricciones culturales (algunas mujeres musulmanas podría no estar dispuestas – no ser capaces debido a una prohibición familiar - a aceptar la asistencia o tratamiento por parte de doctores varones, por ejemplo).
Una vez que usted organizó sus datos, tanto los resultados y cualquier cosa que pueda ser analizado estadísticamente necesita ser analizado lógicamente. Esto podría no brindar información convincente pero de seguro le dará algunas ideas para desarrollar a futuro, y algunos indicadores de conexiones y posibilidades que usted podría no haber considerado todavía. Eso también le mostrará algunos resultados adicionales - gente reaccionando de forma diferente al programa que antes, por ejemplo. Los números pueden decirle si existe un cambio, pero ellos no pueden siempre decirle qué lo causa o por qué (aunque algunas veces si lo hacen), o por qué algunas personas se benefician mientras otros no. Estos son a menudo asuntos que importan para análisis lógicos, o para el pensamiento crítico.

El análisis y la interpretación de los datos que ha recolectado lo llevan, de alguna manera, de vuelta al comienzo. Usted puede usar la información que ha obtenido para ajustar y mejorar su programa o intervención, evaluarlo de nuevo, y usar esa información para ajustar y mejorarlo aún más, mientras esté vigente. Usted tiene que mantener el proceso para asegurarse que se está haciendo el mejor trabajo que se puede hacer y para promover cambios en individuos, sistemas, y políticas que hagan a una comunidad más saludable y mejor.

Usted tiene que convertirse en un detective cultural para entender su iniciativa, y, de algunas maneras, cada evaluación es un estudio antropológico.

En resumen

El corazón de la investigación evaluativa es obtener información acerca del programa o la intervención que usted está evaluando y analizando para determinar qué le dice acerca de la efectividad de lo que usted está haciendo, así como acerca de cómo puede mantener y mejorar esa efectividad.

La recolección de los datos cuantitativos – información expresada en números – y llevarla a la inspección visual o al análisis estadístico formal puede decirle si su trabajo está teniendo los efectos deseados, y podría de igual manera ser capaz de decirle por qué o por qué no. Puede también resaltar las conexiones (correlaciones) entre las variables, y llamar la atención hacia factores que usted podría no haber considerado.

Recolectar y analizar datos cualitativos – entrevistas, descripciones de factores ambientales, o eventos, y circunstancias –pueden brindar una idea de cómo los participantes experimentan el asunto que usted está tratando, qué barreras y ventajas experimentan ellos, y qué se podría cambiar o agregar para mejorar lo que usted hace.
Una vez que usted haya obtenido el conocimiento que brinda su información, es hora de comenzar el proceso de nuevo. Use lo que usted ha aprendido para continuar a evaluar lo que usted hace al recolectar y analizar los datos, y continuamente mejorar su programa.

¿Qué queremos decir por recolectar información?

­­___Recolectar datos significa poner su diseño de un sistema de evaluación (medición) en operación

___Recolectar datos involucra reunir información a través de observaciones, entrevistas, evaluaciones, encuestas, y/u otras maneras; y organizarlo para que sea más fácil trabajar con ellos.

¿Qué queremos decir por analizar información?

___Analizar los datos involucra examinar la información que se ha recolectado de maneras que revelen las relaciones, patrones, tendencias, etc. que pueden encontrarse en ella.

___Los datos pueden ser cuantitativos (recolectados como números) o cualitativos (recolectados como información narrativa, registros, grabaciones, notas de diarios, etc.)

___Los datos cuantitativos son usualmente analizados al someterlos a uno o más muestras gráficas o a operaciones estadísticas que demuestran la importancia de relaciones entre las variables.

___Los datos son usualmente analizados lógicamente, al buscar patrones y relaciones reveladas entre ellos.

___Los datos cualitativos pueden algunas veces convertirse en datos cuantitativos, por ejemplo, al contar (p.ej., el número de veces que un comportamiento ocurrió en varias circunstancias) o al estimar en una escala numérica tales dimensiones como importancia, satisfacción, o calidad (p.ej., la calidad de vivienda o calidad de vida en los vecindarios).

___Una combinación de datos cuantitativos y cualitativos a menudo produce el mejor panorama general.

¿Por qué se debería recolectar y analizar datos para su evaluación?

___Esto puede mostrar si existió o no realmente algún cambio significativo en las variables dependientes las cuales esperaba influenciar.

___Esto puede mostrarle conexiones entre varios factores que podrían tener un efecto en los resultados de su evaluación.

___Esto puede implicar o mostrar las razones por las cuales su trabajo fue efectivo o ineficaz.

___Esto puede brindarle a usted evidencia creíble para mostrarle a sus financiadores y la comunidad que su programa es exitoso, o lo que usted ha revelado, y está arreglando, los elementos que son barreras hacia el éxito.

___Esto puede mostrar que usted es serio acerca de la evaluación y acerca de mejorar su trabajo.

___Esto puede mostrarle al área de trabajo que usted está haciendo sus trabajos bien, y así pavimentar el camino para que otros usen métodos y enfoques similares como las mejores prácticas.

¿Cuándo y por quién debería ser la información recolectada y analizada?

__ La recolección de datos debería de comenzar no más tarde de cuando se comienza a trabajar y debería de continuar a lo largo del proceso.

__ Si usted quiere ver si cualquier cambio es parte de la tendencia a largo-plazo, usted debería recolectar datos de los participantes un tiempo después antes de que su programa realmente comience.

___Si usted quiere entender los efectos a largo plazo, usted debería recolectar datos de los participantes un tiempo después de que ellos hayan dejado/terminado su programa.

___Los datos deberían ser recolectados y analizados por personas capaces de hacerlo.

___La recolección y análisis de datos puede ser hecho por cualquiera desde los miembros de la comunidad los cuales han sido entrenados hasta por profesionales con experiencia para realizar estudios.

¿Cómo recolectar y analizar información?

___Implementar el sistema observacional que usted ha planeado.

___Organizar los datos que usted ha recolectado.

___Llevar a cabo gráficas de datos, inspección visual , análisis estadístico, u operaciones en los datos como sea apropiado. Conduct data graphing, visual inspection, statistical analysis, or other operations on the data as appropriate.

___Tomar nota de cualquier resultado significativo o interesante.

___Interpretar los resultados.

Example #1: Santa Monica’s Use of Data to Lift All Boats: A Deeper Look

Four years ago, Santa Monica took a data-driven approach to become a true City of Wellbeing where everyone thrives. The city used a Wellbeing Index to produce a data-based guide for steering policy. The city used existing information from city departments and fresh input from surveys. The Wellbeing index sets a framework for priorities and promotes initiatives on health and wellness.

Contributed by Lia Thompson, University of Kansas, Community Tool Box Intern.

 

 

Una presentación en PowerPoint que resume los puntos principales de la sección.

در راه تلاش برای درک یک فرهنگ، فهم چرایی تصمیم‌ها و اقدامات مردم می‌تواند بی‌اندازه مهم باشد. وقتی مردم‌شناسان می‌خواهند فرهنگی را درک کنند، اغلب خودشان را در آن فرهنگ غرق می‌کنند تا بتوانند آن را از درون بررسی کنند و بشناسند. پژوهشگری که خود را به این شکل در دل فرهنگی جای می‌دهد نه فقط می‌تواند در مورد آنچه روی می‌دهد شناختی پیدا کند – اینکه مردم زندگی روزانه خود را چگونه پی می‌گیرند، چه آیین‌ها و رسومی دارند، جشن‌های آن‌ها چگونه است، و چیزهایی از این دست – بلکه می‌تواند بفهمد که اعضای آن گروه فرهنگی راجع به رویدادها چه دیدگاهی دارند. آن‌ها می‌توانند ساختار آن فرهنگ را ذره ذره کنار هم بچینند – یعنی باورها و پیش‌فرض‌هایی که زیربنای همه رفتارهای مردم را تشکیل می‌دهند و جهان‌بینی که این باورها و پیش‌فرض‌ها را پدید آورده و پشتیبان آن‌هاست.

بسته به آنکه تلاش شما معطوف به تغییر چه چیز باشد، ممکن است ناگزیر شوید در ارزشیابی به چیزی بیش از فقط رفتار افراد توجه کنید. برای مثال، اگر می‌کوشید انحصارگرایی اجتماعی مبنی بر نژاد یا جنسیت را از میان ببرید یا فرهنگ خشونت‌ را تغییر دهید، ممکن است که تمام متن جامعه درگیر موضوع شود. نمی‌توان حتما با برگزاری آزمون یا شمارش دفعاتی که افراد اعمال خاصی را انجام می‌دهند به دانشی عمیق درباره باهمستان یا بخشی از آن دست یافت. بلکه باید شناختی از جهان‌بینی کل باهمستان و آنچه که باعث پدید آمدنش شده است داشت – چه دین باشد، چه عوامل اجتماعی یا سیاسی، اقتصاد، ترکیبی از چند چیز و یا عاملی کاملا متفاوت. بهترین راه برای رسیدن به این شناخت عمیق شاید غرق شدن در فرهنگ باهمستانی باشد که درباره آن کار می‌کنید. این بخش بررسی است درباره کاربرد پژوهش‌ قوم‌نگاری – همان نوعی غرق‌شدگی فرهنگی که شرح دادیم – به عنوان روشی برای ارزشیابی.

اطلاعات قوم‌نگاری چیست؟

اطلاعات قوم‌نگاری مجموعه داده‌هایی است درباره یک فرهنگ یا گروه خاص که دقیقا از اعضای آن فرهنگ یا گروه به دست آمده است، و تا حد ممکن با استفاده از دیدگاه و جهان‌بینی خود اعضا به تشریح این جهان‌بینی می‌پردازد. هدف این است که با این اطلاعات بتوانیم فرهنگی را از بطن آن درک کنیم – به عبارت دیگر، پیش‌فرض‌ها، رسوم و رفتار مورد قبول در آن را از دیدگاه کسانی که با این فرهنگ زندگی می‌کنند، توصیف کنیم و توضیح دهیم.

این اطلاعات ممکن است هنجارهای باهمستان، دانش و شرایط بهداشتی، واقعیت‌های سیاسی، دین، وضع اقتصادی و جهان‌بینی را هم در بر بگیرد.

هنجارهای باهمستان. این هنجارها عبارتند از چیزهایی که باهمستان یا گروه در رفتارها و فعالیت روزمره عادی یا قابل‌ قبول تلقی می‌کنند. هنجارهای باهمستان را می‌توان از چند منظر نگریست:

• نقش‌های جنسیتی. این نقش‌ها بیانگر آنند که از زن‌ها و مردها انتظار می‌رود چه کنند، چگونه رفتار کنند، چگونه لباس بپوشند، و از این قبیل؛ و نیز اینکه نحوه ارتباط آن‌ها با هم در شرایط گوناگون چگونه باید باشد.
• ساختار اجتماعی. ساختار اجتماعی مشخص می‌کند که چه کسی در باهمستان از جایگاه بالاتری برخوردار شود، چگونه می‌توان پایگاه اجتماعی به دست آورد، گروه‌های اجتماعی چگونه تشکیل می‌شوند و چه شکل‌هایی به خود می‌گیرند، و داوران اجتماعی چه کسانی هستند – یعنی آن‌ها که مقررات و معیارها را وضع می‌کنند. ساختار اجتماعی همچنین مشخص می‌کند که چه کسی فرودست به حساب می‌آید، چه کسی از نظر اجتماعی طرد شده است، چقدر احتمال دارد که فردی با شایستگی، کارآفرینی، تحصیلات یا حتی فعالیت غیرقانونی و غیره، پایگاه اجتماعی خود را ارتقا دهد. ساختار اجتماعی هم معین می‌کند که آیا دنیای باهمستان به طبقات اجتماعی یا سلسله‌مراتب تقسیم شده است یا نه و اگر شده است چگونه؛ و اینکه آیا تصور می‌شود بعضی جایگاهی بالاتر از دیگران دارند.
• رفتار. چه رفتاری و چه گفتاری در انظار پذیرفتنی محسوب می‌شود؟ این بخش در بر گیرنده مسائلی است مانند اینکه مردم چگونه با یکدیگر سلام و احوال‌پرسی می‌کنند (و تاثیر پایگاه اجتماعی، جنسیت و سن بر این رفتار چقدر است)؛ نیز این که مردم به تعارفات و توهین‌های واقعی یا فرضی چگونه واکنش نشان می‌دهند (و از نظر آن‌ها چه چیز تعارف و تحسین محسوب می‌شود و چه چیز توهین به شمار می‌آید)، یا به آیین‌ها و دیگر رفتارهای مختص این جماعت، و به رفتاری که باهمستان می‌پذیرد یا می‌بخشد (یا تشویق می‌کند). همچنین بیش‌تر باهمستان‌ها و گروه‌ها معیارهایی برای رفتارهایی که برای گروه بسیار غیر قابل‌ قبول یا زیانبار است، چه علنی چه غیرعلنی، تعیین می‌کنند و مرتکبین این رفتارها به شیوه‌های رسمی، از جمله طرد شدن از گروه، تنبیه می‌شوند.

دانش و شرایط بهداشت و تندرستی. این مردمی که شما نگران وضعیتشان هستید درباره شرایط بهداشت و تندرستی در کل و در باهمستان چه می‌دانند، و چه رفتارهای سالم (یا ناسالمی) دارند. بعضی از مواردی که باید بررسی شوند عبارتند از:

• دانش درباره بهداشت و تندرستی پیش از تولد، دوره نوزادی و خردسالی و روش‌ها و رفتارهای بهداشتی در هر یک از این دوره‌ها.
• شناخت و کثرت تاثیر مواد مخدر، الکل، دخانیات و اعتیاد به طور کلی.
• آگاهی از بیماری‌های مزمن و دیگر مسائل بهداشتی و تندرستی که در باهمستان شایع هستند و نیز تهدیدها یا مزایای محیط‌ زیستی در ارتباط با تندرستی.
• دانش درباره تغذیه و فعالیت بدنی، ارتباط آن‌ها با تندرستی و رفتارها و روش‌هایی که نشان‌دهنده این دانش باشد.
• دخیل بودن در برنامه‌های سنجش سلامتی، واکسیناسیون و دیگر راهبردهای محافظتی پزشکی.
• ارتباط با یک تامین‌کننده اصلی خدمات درمانی که مردم به طور مرتب با او در تماس‌ باشند.
• درصد جمعیتی که به خدمات بهداشت و درمان دسترسی دارند.

قدرت و واقعیت‌های سیاسی. چه کسانی مناصب قدرت را در اختیار دارند؟ افکار عمومی را چه کسانی هدایت می‌کنند و سیاست‌گذاران چه کسانی هستند؟ قدرت چگونه اعمال می‌شود – رسمی یا غیررسمی، عادلانه یا بی‌رحمانه، برای منفعت شخصی یا برای منفعت مردم؟ هدف‌ها یا فعالیت‌های مدنی چگونه تحقق می‌یابند (یا آیا اصلا تحقق می‌یابند)؟ چه کسانی فاقد قدرت هستند یا خود را فاقد قدرت می‌بینند؟ دغدغه‌های چه کس یا کسانی در اولویت است و به آن‌ها توجه می‌شود؟ آیا قوانین برای عده‌ای به شکلی متفاوت از دیگران به اجرا درمی‌آید؟ شاید بتوان با پاسخ این پرسش‌ها و پرسش‌های مشابه تصویری روشن از روابط قدرت و واقعیت‌های سیاسی یک باهمستان یا گروه ترسیم کرد.

دین. مذهب موضوعی پیچیده است، زیرا دامنه تاثیرگذاری آن، بسته به شمار جمعیتی که از آن پیروی کند، ممکن است از هیچ تا همه جامعه در نوسان باشد. نقشی که دین در زندگی هر روزه باهمستان ایفا می‌کند، چقدر بزرگ است؟ دین چگونه بر زندگی روزانه تاثیر می‌گذارد؟ با پرسیدن پرسش‌هایی دقیق از این دست می‌توانید تصویری مشخص از نقش دین در باهمستان در ذهن خود ترسیم کنید.

• آیا اکثریت مردم در باهمستان پیرو یک مذهب خاص هستند و یا باهمستان متشکل از افرادی است که پیروان مذاهب گوناگونند، و نیز آیا بسیاری از ‌آن‌ها هیچ گرایش مذهبی ندارند؟
• نهادهای مذهبی چه نقشی ایفا می‌کنند – از جمله نقش ارشاد معنوی، مراکز اجتماعی، مشاوره سیاسی، منابع اطلاعاتی، رهبری باهمستان (در کسوت روحانیان)، یا بعضی از این موارد و یا همه آن‌ها؟
• اگر اکثریت اعضای باهمستان پیروان یک مذهب خاص هستند، آن مذهب چه اندازه شمول‌گراست و چقدر به باورمندان ادیان دیگر تسامح نشان می‌دهد؟
• آیا مردم می‌کوشند دیگرانی که را به دین آن‌ها باور ندارند، اصلاح کنند و به دین خود دعوت کنند؟

وضع اقتصادی. وضعیت اقتصادی باهمستان یا گروه چگونه است؟

• آیا باهمستان به مشکل بیکاری یا کم‌اشتغالی دچار است؟
• آیا باهمستان متکی به یک صنعت واحد، یا یک نوع اشتغال و یا یک صاحب‌کار است (مثلا یک تولیدی، یک نوع زراعت، یک پایگاه نظامی)؟
• آیا در استخدام یا ترفیع تبعیض اعمال می‌شود؟ علیه چه کسی یا به نفع چه کسی؟
• باهمستان نسبت میان تحصیلات و فرصت اقتصادی را چگونه می‌بیند و نظام تحصیلی آن تا چه اندازه خوب است؟
• اخلاق کار در باهمستان تا چه اندازه قوی است؟
• پیشرفت اقتصادی در باهمستان چقدر دست‌یافتنی و آسان است؟
• آیا مسکن آبرومندانه مقدور و دست‌یافتنی است؟
• آیا اکثر مردم می‌توانند نیازهای اولیه خانواده‌های خود را تامین کنند، یا آیا فقر مشکلی جدی است؟ بی‌خانمانی چطور؟ گرسنگی چطور؟
• نابرابری‌ها در میزان درآمد و ثروت تا چه حد است؟ چه گروه‌هایی نابرابری‌ها را بیش‌تر لمس می‌کنند؟

«نیازهای اولیه» یک عبارت نسبی است. مثلا در دهکده‌ای واقع در یک باهمستان محروم، این عبارت شاید به معنی یک یا دو وعده غذا در روز، سرپناهی محقر شامل یک اتاق، دسترسی به آب و پخت‌ و پز و برخورداری از سوختی برای گرما، داشتن یک دست لباس اضافه (اما شاید فقط یک جفت کفش)، و برخورداری گه‌گاهی از امکانات درمانی باشد. در شهری توسعه یافته، این عبارت معمولا به معنی سه وعده غذای پروپیمان، یک مسکن چندخوابه شامل آشپزخانه و حمام، چند دست لباس فصلی مناسب و آراسته، دسترسی منظم به امکانات درمانی و حتی امکانات رفاهی چون تلفن، تلویزیون، اینترنت و حتی اتومبیل است. مفهوم عبارت «نیازهای اولیه» (فراتر از آنچه فقط برای زنده‌ ماندن ضروری است) بستگی دارد به اینکه مابقی جامعه وجود چه چیز را بدیهی و عادی بداند.

• جهان‌بینی. این مفهوم با بسیاری از مواردی که در بالا توضیح دادیم هم‌پوشانی دارد و دربرگیرنده نگاهی است که افراد در یک باهمستان (و لذا اغلب خود باهمستان در کل) به خود و زندگی‌شان دارند. یک «جهان‌بینی» در واقع مجموعه‌ای از پیش‌فرض‌ها درباره «برحق‌ بودن» چیزهایی است که هر کس در دنیای پیرامون خود به کار می‌بندد. بعضی از مهم‌ترین عناصر جهان‌بینی عبارتند از:
• نگرش به قدرت. در این جا سه عنصر وجود دارد: قدرت چگونه تعریف می‌شود؛ کدام تعریف – چنانچه تعریفی در کار باشد – درست قلمداد می‌شود؛ و قدرت را چگونه می‌نگریم و با آن چگونه برخورد می‌کنیم. قدرت اشکال گوناگونی دارد که از قدرت یک مقام رسمی (قضات، پلیس، آموزگاران، سیاستمداران، ماموران دولت) گرفته تا قدرتی که به واسطه نیروی بدنی یا اقتصادی اعمال می‌شود (نظیر قدرت جنگ‌سالاران، رهبران باندها، صاحبان کار و سرپرستان و ناظران) و نیز قدرت ناشی از دانش، احترام و داشتن موقعیتی در ساختار اجتماعی (مانند قدرت ریش‌سفیدان و گیس‌سفیدان، پزشکان، رهبران کسب‌وکار، روحانیان، دانشگاهیان و اشخاصی که به درستکاری و هوشمندی شهره‌اند) در نوسان است. اینکه چه کسی صاحب‌ قدرتی مشروع تلقی ‌شود بستگی دارد به وفاداری و هم‌بستگی (شما با «یکی از خودتان» بیعت می‌کنید). از این روست که می‌بینیم رهبر یک باند که از همان گروه قومی است که بیش‌تر ساکنان محله به آن تعلق دارند، ممکن است بتواند بیش‌تر از پلیس در آن منطقه اعمال قدرت کند. یک موضوع دیگر در این ارتباط این است که بدانیم چه کسی قدرت واقعی را در دست دارد و چه کسی می‌تواند منافع باهمستان را به بهترین شکل پیش ببرد. نگاه بنیادی به قدرت ممکن است از احترام بدون چون و چرا (باور به اینکه قدرت همیشه برحق است و باید به آن اعتماد کرد و فرمانبردار بود) تا بی‌احترامی عمیق (باور به اینکه قدرت همیشه در پی منافع خویش و ظالمانه است و باید فعالانه یا منفعلانه در برابر آن ایستاد) متفاوت باشد.
• حس کارآیی و قدرت مهار محیط. آیا مردم احساس می‌کنند که مهار زندگی‌شان کاملا و یا تا حد بسیار در دست خودشان است و یا هیچ‌ گونه اختیاری بر آن ندارند؟ آیا احساس می‌کنند که با کار و تلاش می‌توانند چیزی را عوض کنند و یا باعث تغییر در زندگی خود یا باهمستان بشوند؟ اگر تصور می‌کنند که اختیار کار در دست آن‌ها نیست، پس به گمان آن‌ها سررشته کار در دست چه کسی است؟ در دست سیاستمداران؟ ثروتمندان؟ کسانی که با زور اعمال قدرت می‌کنند؟ اگر شمار افراد جوان (یا گروه‌هایی که از نظر اجتماعی به حاشیه رانده شده‌اند) در باهمستان بسیار است، آن‌ها چه فکر می‌کنند و چقدر خود را دارای اختیار یا فاقد آن می‌بینند؟
• مهار امور ممکن است در دست یک شخص یا گروهی از افراد در قدرت «رسمی» باشد (مانند رئیس جمهور، صاحب‌خانه، مدیر مدرسه، رئیس اداره، پدر و مادر، پلیس)؛ یا در یک نهاد یا مجموعه‌ای از نهادها باشد (دولت، اداره بهزیستی، دانشگاه، کلیسا، ارتش)؛ یا در مجموعه‌ای از اصول حقوقی، اخلاقی یا مذهبی نهفته باشد؛ یا در قراردادها و میثاق‌های یک گروه باشد که فرد هم عضوی از آن است (مثلا یک تیم فوتبال، طبقه اعیان، موسسه مذهبی، و موارد مشابه)؛ و یا در تصمیم‌ها و کردار خود فرد باشد. نگاه یک شخص به توانمندی خود برای مهار زندگی‌اش به چند عامل بستگی دارد، از جمله پیشینه خانوادگی و شیوه‌ای که تربیت شده، تحصیلات، مسائل عاطفی و تجربه‌های زندگی. مسلم است که حتی در یک باهمستان بسیار همگون افراد دیدگاه‌های متفاوتی به این موضوع دارند، اما معمولا هنجارهای باهمستان نشانگر نظرات اکثریت اعضای باهمستان است.
• روابط و اعتماد. آیا اعضای جمعیت دیگران را عمدتا قابل اعتماد می‌دانند، یا اینکه دایره افراد قابل اعتماد را به اعضای خانواده خود یا کسانی که عضوی از یک حلقه کوچک خودی‌ها هستند محدود می‌دانند؟ آیا زنان و مردان به روابط زناشویی (یا جنسی در میان جوانان) نگاهی متفاوت از هم دارند، و اگر چنین است چگونه؟ در کل دیدگاه‌ها راجع به روابط زناشویی چیست (مثبت، منفی، از هر دو طرف حمایت‌گرانه، استثمارگرانه، و از این قبیل)؟ رفتار با کودکان چگونه است، آیا لوس می‌شوند، کتک می‌خورند، انتظار می‌رود که نان‌آور باشند، عزیز داشته می‌شوند یا به چشم نانخور اضافی دیده می‌شوند؟ آیا برای روابط اقتصادی و اجتماعی و نیز برای روابط میان مردمی که به طبقات متفاوت اقتصادی و اجتماعی تعلق دارند، قوانین و مقررات آشکار یا نانوشته‌ای وجود دارد؟
• وظایف و حقوق. آیا اکثریت اعضای باهمستان یا گروه خود را مکلف به رعایت منافع عموم و نیز منافع شخصی می‌دانند؟ آیا گروه را به چشم یک باهمستان می‌بینند و یا فقط در قبال خانواده/ یا دوستان نزدیک خود احساس تکلیف و تعهد می‌کنند؟ از باهمستان یا گروه چه انتظاری دارند؟ ‌آن‌ها در جامعه بزرگ‌تر و در باهمستان چه حقوقی برای خود قائل هستند؟

بسته به ماهیت گروه یا باهمستان مورد بحث و نیز بسته به ماهیت جامعه‌ای که آن گروه بخشی از آن را تشکیل می‌دهد، موضوع حقوق و تکالیف ممکن است در هر جایی به شدت متفاوت باشد. مثلا در روستایی با اهالی کشاورز در کشوری در حال توسعه، مردم شاید با نوعی احساس وظیفه و تکلیف در قبال دیگران تربیت می‌شوند، زیرا در آن روستا همه به هم متکی هستند. اگر محصول یک خانواده از دست برود، مردم روستا خود را موظف می‌دانند که خوراک آن خانواده را تامین کنند، زیرا می‌دانند که بعید نیست سال آینده یکی از همین خانواده‌هایی که کمک می‌کنند خود بدون خوراک بماند. در شهرهای کوچک در و محیطی کم‌وبیش صنعتی شده هم دست‌ کم تا حدی همین حس همیاری وجود دارد.

در محله‌های شهرهای بزرگ هم، در صورتی که بسیاری از ساکنان محله از سال‌ها پیش در این نقطه از شهر زندگی کرده و آن جا بزرگ شده باشند شاید روال زندگی مانند همان روستاها و شهرهای کوچک باشد؛ و یا ممکن است این محله‌ها فضایی بی‌روح باشد که ساکنانش به‌ندرت همدیگر را می‌شناسند و چندان در قبال هم احساس تعهد و تکلیف نمی‌کنند. اغلب اوقات، اگر مردم اصولا چنین احساسی داشته باشند، برای گروه خاص خودشان است، به هر شکل که آن گروه تعریف شود، و/یا برای کل جامعه است. در این حالت، احساس وظیفه و تعهد بیش‌تر در قالب یک اصل بیان می‌شود، چه اصل دینی چه اخلاقی/فلسفی، و دیگر به صورت نوعی پیوند میان فرد و گروهی از مردم که او در کنارشان زندگی می‌کند وجود ندارد.

• تسامح و شمول‌گرایی. آیا باهمستان یا گروه شمول‌گراست – به عبارت دیگر آیا به افرادی که از باهمستان‌ها و فرهنگ‌های دیگر باشند روی خوش نشان می‌دهد و تفاوت‌ها را می‌پذیرد؟ آیا به «بیگانگان» بی‌اعتماد است و در حق آن‌ها تبعیض روا می‌دارد؟ آیا قوانین و رسومی وجود دارد که ضامن به رسمیت شناختن حقوق افراد شود، و آیا این قوانین و رسوم مورد احترامند یا به اجرا گذاشته می‌شوند؟ آیا رفتارهایی که متفاوت باشند تحمل می‌شوند؟ چه کسانی از نظر اجتماعی طرد می‌شود و بر چه اساسی (مثلا بر پایه تفاوت‌های نژادی یا قومی، یا طبقه اجتماعی)؟
• احساس یگانگی. اعضای جمعیت چگونه خود را یکی می‌دانند، و با چه کسانی احساس یگانگی و همبستگی می‌کنند؟ خانواده؟ گروه قومی؟ گروه هم‌ترازان (نوجوانان، موسیقی‌دان‌ها، اعضای حزب سیاسی، دوستان نزدیک، تیم ورزشی)؟ باهمستان (محله، شهر، ایالت، منطقه)؟ به عنوان افراد، یا صرفا به عنوان بخشی از نژاد بشر؟

چرا ممکن است اطلاعات قوم‌نگاری برای ارزشیابی مهم باشد؟

• در بسیاری موارد اطلاعات قوم‌نگاری برای ما تشریح می‌کند که چرا رویکردی موثر واقع می‌شود یا چرا تاثیرگذار نیست، آن هم به شیوه‌هایی که از عهده اطلاعات کمی برنمی‌آید.
• اطلاعات قوم‌نگاری بینش خوبی درباره شیوه‌هایی که شرکت‌کنندگان یا ذی‌نفعان برنامه‌ها و طرح‌های پیشگامانه آن‌ها را تجربه می‌کنند، به پژوهنده می‌دهد، در حالی که کارکنان و دیگر مشارکت‌کنندگان در طرح در این موارد یا پیش‌بینی می‌کنند یا نظر خود را بیان می‌کنند.
• اطلاعات قوم‌نگاری به روشن شدن مسائلی که باید حل شوند کمک می‌کند و بدین ترتیب شرکت‌کنندگان می‌توانند به کار شما واکنش نشان دهند.
• اطلاعات قوم‌نگاری به روشن شدن موضوع و تاثیرات آن بر جمعیت مورد بحث و نیز اهمیت موضوع برای این جمعیت کمک می‌کند.
• اطلاعات قوم‌نگاری به شما کمک می‌کند تا درباره فرهنگی که موضوع کار شماست به شناختی روشن‌تر و جامع‌تر برسید تا بتوانید در آینده بهتر برنامه‌ریزی کنید و تغییرات لازم را اعمال کنید.

چه زمانی لازم است اطلاعات قوم‌نگاری را گردآوری کنید؟

اطلاعات قوم‌نگاری مفید است، اما یک مطالعه قوم‌نگارانه، حتی اگر جزئی باشد، مستلزم زحمت و تلاش است. به ویژه اگر شما بخشی از یک سازمان کوچک باهمستان‌محور یا غیردولتی باشید، ممکن است که نخواهید وقت کارکنان یا داوطلبان خود را صرف گردآوری اطلاعاتی کنید که واقعا ضروری نیست. پس چه موقع اطلاعات قوم‌نگاری ممکن است در واقع ضروری باشد؟

• وقتی که با جمعیتی یا گروه فرهنگی سر و کار داشته باشید که با آن‌ها آشنایی ندارید و خود نیز بخشی از آن‌ها نیستید.
• وقتی با گروهی کار می‌کنید که ماهیتش به‌خوبی روشن است و فرصتی برای رشد و شکوفایی فرهنگ خود داشته است.
• وقتی برای کاری که انجام می‌دهید شناخت و درک زمینه و فرهنگ باهمستان ضروری باشد.
• وقتی به موقعیتی دقیق و کاملا مشخص می‌پردازید – و در فرآیند ارزشیابی غالبا هم چنین پیش می‌آید – که با یک گروه جمعیتی ویژه سروکار دارد.

اطلاعات قوم‌نگاری را چگونه گردآوری می‌کنید؟

حال که تصمیم گرفته‌اید اطلاعات قوم‌نگاری را گرد‌آوری کنید و در برنامه‌ریزی و ارزشیابی کار خود به کار ببرید چگونه می‌خواهید آن را به دست آورید؟ در گام نخست باید ببینید که به چه نوع اطلاعاتی نیاز دارید. بعد باید مشخص کنید که چگونه آن را به دست آورید، اعتماد گروهی را که می‌خواهید درباره‌اش بدانید جلب کنید، برای مطالعه میدانی خود برنامه‌ریزی کنید و بعد طرحتان را اجرا کنید.

۱. مشخص کنید که به چه اطلاعاتی نیاز دارید. یک وقت ممکن است بخواهید که از تمام زیر و بم فرهنگ گروه آگاه شوید؛ و در موقعیتی شاید فقط یک موضوع بسیار مشخص و ویژه مورد نظر شما باشد. اگر با یک گروه فرهنگی برجسته سر و کار دارید – گروهی که برای مثال هویت آن بر اساس قومیت یا دین تعریف شده است، و فرهنگش در طول سده‌ها شکل گرفته است – آن وقت شاید نیاز باشد که سال‌ها وقت صرف کنید تا فرهنگش را بشناسید. اما اگر گروه مورد نظر شما بخشی از فرهنگ کلی باشد – مثلا یک کلاس دوره متوسطه، یا یک محل‌ کار – که در درون آن فضای بسته و محیط فیزیکی و روحی خاص، فرهنگی برای خود به وجود آورده باشد، آن وقت برای یک بررسی مفید قوم‌نگاری شاید چند روز یا چند هفته کفایت کند. در اکثر موارد، وقتی برای یک ارزشیابی به گردآوری اطلاعات قوم‌نگاری مشغولید، فرهنگ را در ارتباط با موضوعی بسیار معین بررسی خواهید کرد.

برای انجام پژوهش قوم‌نگاری درباره موضوعی مشخص باید نخست آن موضوع را خوب تعریف کنید تا بتوانید در مشاهدات و گفت‌وگوهای خود بر آن تمرکز کنید. دقیقا چه نکته‌ای را باید در مورد جمعیت مورد نظر خود بدانید که مشخصه ارزشیابی شما باشد؟ پرسشی که اغلب مطرح می‌شود این است که «شرکت‌کنندگان (یا اعضای جمعیتی که این شرکت‌کنندگان به آن تعلق دارند) برنامه یا طرح پیشگامانه را چگونه ارزیابی می‌کنند؟» سوال‌های دیگری هم می‌توان پرسید: آیا برنامه و فعالیت‌های مربوط به آن از نظر فرهنگی مناسب و محترمانه هستند؟ آیا هدف‌های شرکت‌کنندگان همانند اهداف سازمان است یا تفاوت چشمگیری میان آن‌ها وجود دارد؟ آیا امتیازات یا موانع فرهنگی وجود دارند که بر احتمال موفقیت برنامه یا امکان مشارکت افراد در آن تاثیر بگذارند؟ چه چیز باعث تقویت آن امتیازات یا از میان بردن آن موانع می‌شود؟ آیا ناهمگونی‌های فرهنگی میان شرکت‌کنندگان و کارکنان یا داوطلبان طرح – یا کم‌اطلاعی فرهنگی یک یا هر دو طرف – مانعی در راه اثربخشی برنامه است؟

فرض کنید که برای مثال می‌خواهید بدانید دانش‌آموزان یک کارگاه سوادآموزی درباره آن چه نظری دارند. در این مورد شما با یک فرهنگ دینی یا قومی منسجم سر و کار ندارید، بلکه با فرهنگ آن کلاس سر و کار دارید، مگر آن که تمام دانش‌آموزان کارگاه پیشینه دینی یا قومی مشترکی داشته باشند.

بعضی پرسش‌ها که ممکن است مطرح کنید از این قرار است:

• نظر دانش‌آموزان درباره تحصیل چیست (آیا آن را چیزی مختص طبقات بالای اجتماع به شمار می‌آورند، آیا آن را برای خود و خانواده‌هایشان ضروری می‌دانند، آیا آن را نوعی تحمیل تلقی می‌کنند؛ آیا آن را به عنوان فرصت فراغتی از کار و امرار معاش می‌نگرند، آیا آن را مجوزی برای رسیدن به یک زندگی بهتر قلمداد می‌کنند، یا گمان می‌کنند که تحصیل از ملزومات پیوستن و به رسمیت شناخته شدن در باهمستان است)؟
• آموزگاران را چگونه می‌بینند (برای آن‌ها احترام بسیار قائل‌اند، از آن‌ها می‌ترسند، مرعوب آن‌ها هستند، تحقیرشان می‌کنند، سردرگمند)؟
• رویکردشان به یادگیری چیست (علاقه‌مند هستند، با پشتکار و پایبندی آن را دنبال می‌کنند، هیچ شناخت یا تجربه‌ای در این زمینه ندارند، روحیه همکاری و مساعدت دارند، ترس و دلهره دارند، امیدوارند)؟
• چه موانع فرهنگی بر سر راه یادگیری وجود دارد؟ امتیازات فرهنگی تحصیل کدامند؟ (برای مثال، در بسیاری از خانواده‌ها، حمایت خانواده ممکن است عامل بسیار مهمی باشد.)
• چه استدلال‌هایی برای یادگیری و چه روش‌هایی برای تدریس موثرند و دانش‌آموزان به آن‌ها واکنش مثبت نشان می‌دهند؟
• بین خودشان چه بحث‌هایی هست؟
• آیا در کلاس درس تحرکات میان‌فرهنگی هست که ریشه در فرهنگ‌های دانش‌آموزان داشته باشد و محیط یادگیری را بهبود بخشد یا از اعتبارش کم کند (مانند تبعیض جنسیتی یا نژادی یا تعصبات قومی)؟

وقتی بدانید که به چه پرسش‌هایی می‌خواهید پاسخ بدهید بهتر می‌توانید منبعی را که باید از آن اطلاعات بگیرید مشخص کنید، پی می‌برید که روند کار چقدر طول می‌کشد و – شاید مهم‌تر از همه – خواهید دانست که چه روشی در پیش بگیرید. (در بحث برنامه‌ریزی و مطالعه میدانی، به این موضوع به تفصیل خواهیم پرداخت.)

۲. مشخص کنید که برای انجام چه کاری منابع و امکانات در اختیار دارید. اگر شما بخشی از یک سازمان کوچک مردم‌نهاد (سمن) هستید که به مهاجران خدمات ارائه می‌دهد، بعید است آن قدر پول و وقت در اختیار داشته باشید که مثلا بتوانید دو سال در کشوری به سر ببرید که مبدا مهاجران است. اما ممکن است آنقدر امکانات داشته باشید که مدتی در محله‌های مهاجران بمانید و با افکار و انتظارت، و زندگی آن‌ها آشنا شوید. شاید با همین کار بتوانید برای ارزشیابی خود اطلاعات مردم‌نگاری مفیدی به دست آورید که با سال‌ها پژوهش در زمینه فرهنگ هائیتی هم به دست نیاید.

۳. اعتماد اعضای گروه مورد نظر خود را جلب کنید. فرقی نمی‌کند که شما یک ارزیابی‌کننده بیرونی باشید، یا اطلاعات قوم‌نگاری را از شرکت‌کنندگان برنامه خود گردآوری کنید، در هر حال باید آنقدر اعتماد مردم را به دست آورده باشید تا آنچه را که می‌خواهید بدانید به شما بگویند و نشان دهند.

اگر در باهمستان مربوطه حضور داشته باشید این کار راحت‌تر خواهد بود – به‌ویژه اگر برنامه شما مدتی است که ادامه داشته و مردم از آن پشتیبانی می‌کنند و به کارتان احترام می‌گذارند. در این حالت شاید بسیاری را در باهمستان بشناسید که به شما اعتماد دارند و شما و کارتان را تایید می‌کنند.

بهترین راهبرد غالبا این است که ورود شما به باهمستان تحت حمایت فردی صورت گیرد که مورد اعتماد اعضای باهمستان است – مثلا یک روحانی، یک رهبر باهمستان یا رهبر قبیله‌ای، یک عضو باهمستان که از دیرباز مورد احترام بوده یا ریش‌سفید یا گیس‌سفید است، یا یک مربی و کسانی از این دست. معمولا یک برنامه جدید به این شکل به باهمستان معرفی می‌شود.

اما اگر از امکان فوق بی‌بهره‌اید، آن وقت باید خودتان به باهمستان قدم بگذارید. ببینید که چه موقع می‌توانید با اعضای باهمستان دیدار کنید – در مسابقات ورزشی، جشنواره‌ها، چایخانه‌ها، مراکز خرید و جاهای دیگر. مکانی را انتخاب کنید که شروع کار در آن برای شما آسان باشد، چون اگر خودتان احساس راحتی کنید بسیار بهتر می‌توانید کاری کنید که دیگران با شما راحت باشند .

۴. برای مطالعه میدانی خود برنامه‌ریزی کنید. محور اصلی پژوهش قوم‌نگاری شما مطالعه میدانی است. این مطالعه در اصل سازوکار مشاهداتی شماست (نگاه کنید به بخش 3 همین فصل). این کار مستلزم رفتن به محیط طبیعی جمعیت موردنظرتان و مشاهده مردم و گفت‌وگو با آن‌هاست، و به این معنا نیست که در فضایی غیرطبیعی نظیر محیط یک اداره یا آزمایشگاه و یا در موقعیتی ساختگی مثلا با آزمون یا تجربه، تحقیق کنید.

تا به اینجا، با برنامه‌ریزی مطالعه میدانی بخشی از کار را انجام داده‌اید. گام‌های اصلی عبارتند از:

• پرسش‌های خود را معین کنید. شاید این کار را همان موقع که مشخص کردید به چه اطلاعاتی نیاز دارید خودبه‌خود انجام داده باشید. این پرسش‌ها احتمالا با پرسش‌های ارزشیابی شما مربوطند، اما یکی نیستند. آن‌ها باید به تناسب گروهی که مورد نظر شماست تنظیم شوند و از این نظر منطقی به نظر برسند (یعنی باید بتوان با مشاهده و/یا مصاحبه و دیگر روش‌های جمع‌آوری اطلاعات، پاسخ این پرسش‌ها را یافت)، و نیز از نظر ارزیابی (باید به شما اطلاعاتی بدهند که کمک کند کار خود را ارزیابی کنید و آن را اصلاح و بهتر سازید).
• مشخص کنید که برای گردآوری اطلاعات از چه روش(هایی) استفاده خواهید کرد. برای شناخت فرهنگ باهمستان یا گروه چند راه وجود دارد:
  • نوع مصاحبه‌های تک‌به‌تک یا گروهی ممکن است از گپی خودمانی تا مصاحبه‌هایی کم‌وبیش رسمی، و مصاحبه‌های ضبط‌ شده شبه‌ساختاری و ساختاری متفاوت باشد.
  • مشاهدات مستقیم شرکت کننده یا غیرشرکت‌کننده.
  • تعامل غیررسمی.
  • شرکت در رویدادهای باهمستان، جشن‌ها، کار و غیره.
  • نظرسنجی‌ها. اگر از نظرسنجی استفاده می‌کنید سوالات باید پایان‌ باز باشند (مثلا اینطور آغاز شوند: نظرتان راجع به … چیست؟) و نه از نوع موافقم/مخالفم.
  • منابع خبر نفر سوم (دیگر افراد آگاه)
  • اسناد و مدارک – متن‌ها، شنیداری-دیداری، بودجه‌ها، پوسترها، بروشورها، کتابچه‌های راهنما، آثار هنری و غیره – که به وسیله این افراد یا برای آن‌ها پدید آمده‌اند و دارای اهمیت هستند (مثلا متن‌های مذهبی) و خطاب به گروه نوشته شده‌اند (مانند دستورالعمل‌ها و سیاست‌ها).
  • داده‌های قوم‌نگاری و اسناد دولتی – سرشماری، اسناد دادگاه، داده‌های مربوط به بهداشت عمومی و غیره.
• مشخص کنید که برای این اطلاعات با چه کسی باید تماس بگیرید و چگونه. این اشخاص ممکن است افراد ویژه‌ای باشند که به دلیل موقعیتشان در باهمستان یا ارتباطشان با موضوع مورد تحقیق و یا ویژگی‌های به‌خصوص دیگر انتخاب می‌شوند؛ یا ممکن است که فقط افراد عادی جامعه باشند – یعنی هر کسی که بتوانید با او تماس بگیرید. آیا با اشخاص مورد نظرتان به طور مستقیم تماس می‌گیرید، به آن‌ها رایانامه می‌فرستید، شخصا نزد آن‌ها می‌روید یا تلفن می‌زنید؟ آیا به طور تصادفی با افراد تماس می‌گیرید – مثلا در مراسم باهمستان سر صحبت را با آدم‌ها باز می‌کنید، در مکان‌های عمومی به افراد نزدیک می‌شوید تا با آن‌ها صحبت کنید، در خانه‌ها را می‌زنید؟ یا به واسطه میانجی‌هایی چون رهبران باهمستان، روحانیان، مترجمان و غیره ارتباط برقرار می‌کنید؟

۵. کار میدانی خود را انجام دهید و یادداشت‌های میدانی بردارید. یک مطالعه قوم‌نگارانه مستلزم کار میدانی است – یعنی رفتن به محل زندگی مردمی که درباره‌شان تحقیق می‌کنید، مشاهده آن‌ها و تعامل با آن‌ها در محیط خودشان. این کار ممکن است زحمت چندانی نداشته باشد و فقط نیاز باشد که پیاده به جایی در نزدیکی خیابان خود بروید، و یا ممکن است به مراتب دشوارتر باشد و مستلزم آن باشد که به دهکده‌ای دور سفر کنید. به هر حال ماهیت مطالعه شما هر چه باشد، مبانی آن یکی خواهد بود.

یادداشت‌های میدانی یادداشت‌هایی هستند که شما از گفت‌وگوها، مشاهدات و دیگر مجموعه داده‌های خود برمی‌دارید. این یادداشت‌ها را باید یا در طول دیدار، گفت‌وگوها، مشاهدات و غیره بنویسید و یا بلافاصله پس از گفتگو و پیش از آنکه دیده‌ها و شنیده‌ها در حافظه‌تان کمرنگ و دستخوش تغییر شود. در صورت امکان، با ضبط صدا یا گرفتن فیلم ویدیویی هم می‌توان نسخه‌ای دقیق از آنچه گفته یا انجام شده را در اختیار داشت.

فهرستی از مطالبی که باید در یادداشت‌های میدانی گنجانده شوند عبارت است از:

• تاریخ، زمان و مکان مشاهده.
• وقایع مشخص، اعداد، جزئیات آنچه در محل روی می‌دهد.
• برداشت‌های حسی: مناظر، صداها، بافت‌ها (نرمی یا زبری)، بوها، مزه‌ها
• واکنش‌های شخصی به ضبط یادداشت‌های میدانی.
• واژگان خاص، عبارت‌ها، خلاصه گفت‌وگوها و زبان خودی‌ها.
• پرسش‌هایی درباره مردم یا رفتارهایی که در محل دیده شده برای بررسی در آینده.
• شماره‌گذاری صفحه‌ها برای نظم و ترتیب دادن به مشاهدات.

اطلاعات قوم‌نگاری را چگونه تفسیر می‌کنید؟

اگر اطلاعات قوم‌نگاری که گردآوری کرده‌اید، برای درک پویایی برنامه و نتایج ارزشیابی شما به کار نرود، هیچ سود و ثمری ندارد. نخستین کار این است که یادداشت‌های میدانی خود و هر اطلاعات دیگری را که جمع‌آوری کرده‌اید مرتب کنید و سر و سامان بدهید.

مرتب کردن نسخه نهایی یادداشت‌های کامل شده. یادداشت‌ها را بر اساس الگوها، اطلاعات قوم‌نگاری (جنسیت، سن، سطح تحصیلات، وضعیت اجتماعی-اقتصادی و غیره)، مبحث یا مضمون – خلاصه هر چیزی که با موضوع پژوهش شما سازگار باشد دسته‌بندی کنید. گاه ممکن است آن‌ها را به چند صورت دسته‌بندی کنید. گاهی هم فقط با کنار هم گذاشتن یادداشت‌ها به شیوه‌ یا شیوه‌هایی خاص الگویی پدیدار می‌شود یا موضوعی برجسته می‌شود که پیش‌تر از آن آگاه نبوده‌اید.

از زاویه دید علاقه اولیه‌تان شروع کنید و توصیفی از فرهنگ موردنظر را آن گونه که می‌پندارید اعضای گروه فرهنگی آن را می‌بینند بر کاغذ آورید. بسته به هدفی که دارید، حجم این نوشته ممکن است متفاوت باشد و از شرحی بسیار کامل درباره آن فرهنگ تا توصیفی بسیار مختصر از دیدگاه اعضای آن گروه فرهنگی – اعم از یک روستا، اداره، دفتر نمایندگی، دایره مصرف‌کنندگان، کشور – درباره جنبه‌ای خاص از برنامه شما، مفصل یا مختصر باشد.

بیایید دوباره نگاهی به آن برنامه سوادآموزی بیندازیم. اگر بیش‌تر اعضای کلاس به فرهنگی تعلق دارند که در آن زنان به طور معمول از مردان تمکین می‌کنند، شاید مشکل بتوان در یک کلاس مختلط زنان را قانع کرد که مشارکت فعال داشته باشند. این مشکل ویژه چنین کلاسی است، زیرا روش تدریس تا اندازه‌ای مبتنی است بر تشویق هر چه بیش‌تر به سخن گفتن از همان آغاز. اگر زنان به سخن گفتن راغب نباشند – حتی به رغم آن که درک زبانی آن‌ها رو به بهبود است – پیشرفتشان کند خواهد بود.

تحلیل‌ها از یادداشت‌های میدانی خود را واکاوی کنید. از تاثیر متقابل بینش‌ها، هنجارها و رسوم فرهنگ مورد نظر بر موضوع محوری پرسش‌های شما، به چه چیز درباره این بینش‌ها، هنجارها و رسوم پی بردید؟ اکنون که پژوهش شما کامل شده، هنوز هم تحلیل‌های اولیه خود را قبول دارید؟ آن ایده‌هایی که فکر می‌کنید احتمالا نادرست هستند یا بر اطلاعات غلطی بنا شده‌اند را کنار بگذارید، و اگر این کار را نکرده‌اید، تحلیل‌ها را از نو بیان و جایگزین تحلیل‌های پیشین کنید تا آموخته‌های جدید شما را بازنمایند.

بکوشید که پاسخ به پرسش‌های اولیه خود را از نگاه افراد مورد نظرتان ببینید.

• آیا مردم محلی هم پرسش را با همان نگاهی می‌بینند که شما می‌بینید؟
• آیا عواملی هست که بر نگاه آن‌ها به پاسخ اثرگذار است و شما از آن‌ها بی‌خبر بوده‌اید؟
• آیا عواملی هست که نگاه مردم به آن‌ها و رفتارشان در قبال آن‌ها با نگاه و عملی که شما انتظار دارید تفاوت داشته باشد.
• چیزی که برای شما مهم است از نگاه گروه چقدر اهمیت دارد؟
• آیا انتظارات شما و آن‌ها از نتایج کار یکی است؟ اگر چنین است، آیا آن‌ها در مورد نحوه رسیدن به نتایج با شما هم‌عقیده‌اند؟ اگر نیستند، آیا انتظارات شما و آن‌ها با هم در تضاد است یا به کلی متفاوت از هم است؟ آیا از شروع کار، نگاه آن‌ها به واقعیت موجود با نگاه شما یکی بوده است؟
• آیا بعضی از بینش‌ها، هنجارهای فرهنگی یا رفتارهای آن‌ها که ریشه در فرهنگشان هم دارد، مانعی در راه موفقیت برنامه شما به وجود آورده و شما اکنون درگیر مقابله با آن بینش‌ها و غیره هستید، یا ممکن است که برای مقابله با آن‌ها تلاش کنید؟
• آیا بعضی از بینش‌ها، هنجارهای فرهنگی یا رفتارهای آن‌ها که ریشه در فرهنگشان دارد به نحوی از انحاء پشتیبان موفقیت برنامه شماست و شما حالا هم از این موضوع بهره‌برداری می‌کنید و یا ممکن است که چنین کنید؟
• آیا برنامه شما پیامدهایی پیش‌بینی‌نشده یا ناخواسته – مثبت یا منفی – دارد که نتیجه کارکرد عوامل فرهنگی باشد؟

چند مثال احتمالی از کلاس سوادآموزی ما: آیا شاگردان جوان‌تر کلاس عمدا از پاسخ دادن یا حتی نشان دادن مهارت‌های رو به‌ رشدشان در زبان انگلیسی ابا دارند، زیرا نمی‌خواهند به شاگردان مسن‌تر کلاس فخر بفروشند و باعث شرمندگی آن‌ها شوند، زیرا آموخته‌اند که باید به بزرگ‌تر احترام گذاشت و از او تمکین کرد؟ آیا اعضای کلاس به وضوح سرعت یادگیری/آموزش را کم می‌کنند تا با کندترین شاگردان کلاس هماهنگ باشند، به شکلی که ‌کندترها احساس شرمساری نکنند؟ آیا ناسازگاری‌هایی ناشی از ناهمگونی‌های فرهنگی از این قبیل وجود دارد؟

از آنچه درباره شرکت‌کنندگان فهمیده‌اید به صورت اطلاعات پشتیبان طرح خود یا پاسخ‌هایی به پرسش‌های ارزشیابی استفاده کنید. بعضی از پرسش‌هایی که ممکن است از خود بپرسید عبارتند از:

• فرهنگ، نگرش‌ها و هنجارهای جمعیت مورد نظر شما چگونه بر اثربخشی برنامه‌ای که برای آن‌ها تهیه کرده‌اید تاثیر می‌گذارند؟
• آیا روش‌های شما برای فرهنگ مورد مطالعه‌تان مناسب است؟
• آیا چنین نیست که شما با بعضی از فعالیت‌ها و روش‌هایتان یا در واقع با کل برنامه‌‌‌‌تان دارید موانعی ایجاد می‌کنید به جای آنکه موانع را بردارید؟
• چگونه می‌توانید کارها را برای شرکت‌کنندگان خود آسانتر یا مفیدتر کنید؟
• تاثیرگذارترین کاری که انجام می‌دهید، چیست؟ آیا می‌توانید از داده‌های قوم‌نگاری خود بفهمید که چرا این کار تاثیرگذار است؟

همچنان به گردآوری اطلاعات قوم‌نگاری بپردازید تا سرمشق کارتان باشد. همانطور که تا وقتی برنامه یا طرح پیشگامانه شما تداوم دارد ارزشیابی هم ادامه پیدا می‌کند، بررسی قوم‌نگارانه هم باید ادامه یابد تا بتوانید با استفاده از اطلاعات بیش‌تر برنامه خود را بهبود بخشید و آن را با فرهنگ باهمستان سازگار کنید.

خلاصه

قوم‌نگاری – یعنی تلاش برای درک یک فرهنگ از زاویه دید اعضای آن فرهنگ – ممکن است در یک ارزیابی معتبر از برنامه یا طرح پیشگامانه بسیار مفید باشد. اطلاعات قوم‌نگاری شاید به شما بگوید که چرا شرکت‌کنندگان به شکل خاصی رفتار می‌کنند یا واکنش نشان می‌دهند، چه بخش‌هایی از برنامه شما با هنجارهای فرهنگی شرکت‌کنندگان در تضاد است یا این هنجارها را تقویت می‌کند، و چرا اجزایی خاص از برنامه کم‌وبیش تاثیرگذارند. این دانش شاید به شما کمک کند که فعالیت خود را به شکلی اصلاح کنید که تاثیرگذارتر شود و برای شرکت‌کنندگان ارزشمندتر.

What is ethnographic information?

__ Ethnographic information is information about a particular culture or group gathered specifically from members of that culture or group, defining and using their own perspective and world view.

__ Elements of ethnographic information include:

• Community norms
• Health conditions and knowledge
• Power and political realities
• Religion
• Economics
• World view

__ Ethnographic information is obtained directly from those who live it.

__ The gathering of ethnographic information takes place in the environment where members of the culture normally spend their time (natural setting).

__ Ethnographic information is meant to help you understand a culture from the point of view of its members.

­­__ Ethnographic information is simply descriptive, not judgmental.

Why might ethnographic information be important to evaluation?

__ In many circumstances, ethnographic information explains why approaches work or don’t work in ways that quantitative information can’t.

__ Ethnographic information gives real insight into the ways participants or beneficiaries of programs and initiatives experience them.

__ Ethnographic information helps to clarify what needs to be addressed in order for participants to respond to your approach.

__ Ethnographic information can clarify the issue and its effect on and importance to the population of interest.

__ Ethnographic information can help you gain a clearer and more complex understanding of the culture you’re working with, so you can make better plans and adjustments in the future.

When might you want to collect ethnographic information?

__ When you’re engaged with a population or cultural group that you’re not familiar with or part of.

__ When you’re working with a clearly-defined group that has had a chance to develop its own culture.

__ When an understanding of the context and culture of the community is fundamental to what you’re doing.

__ When you’re addressing, as is often the case in an evaluation, a focused, clearly-defined situation that involves a specific population group.

Who should collect and interpret ethnographic information?

__ That depends on such factors as how much time you have, whether you already have a foothold in the community (or are part of it), the size of the group you’re concerned with, your financial resources, etc.

How do you gather ethnographic information?

__ Decide what kinds of information you need.

__ Determine what you have the resources to do.

__ Gain the trust of the group you’re concerned with

__ Plan your field study

• Decide on your questions.
• Decide on your methods of data collection.
• Decide whom you’ll need to contact and how.
• Work out ethical issues.

__ Carry out your field study, taking careful field notes, including jottings, descriptions, analyses, and personal reflections on what you learned.

How do you interpret ethnographic information?

__ Organize your data.

__ Write as complete a description as possible of the culture or the element(s) of the culture you’re concerned with from the perspective of its members.

__ Reexamine the analyses from your field notes.

__ Try to understand the answer to your original question from the point of view of those you’re concerned with.

__ Translate what you’ve learned about participants into answers to, or supporting information for answers to, your evaluation questions.

__ Continue to gather ethnographic information to guide your work.

Existing data can help you evaluate whether an intervention is working without requiring you to collect every piece of information yourself. When relevant, reliable data are already available, using them can save time and resources while strengthening your evaluation. It is important to have data to evaluate the effectiveness of an intervention.

To support an evaluation, existing data must be relevant to your population, issue, intervention, and evaluation questions. They also need to be available in a form you can analyze. You data may need to clean, combine, or otherwise prepare the data before use. This section explains how to find, assess, and use existing data thoughtfully.

WHAT Is EXISTING DATA?

Existing data is information that an organization, agency, researcher, or other source has already collected for reporting, program administration, research, or another purpose. Examples include administrative and program records, public datasets and dashboards, surveys, research studies, and community assessments. Some sources are updated regularly, while others provide a snapshot from a particular point in time.

 

COMMON SOURCES OF EXISTING DATA 

Some of the most common sources of data that may be useful for your evaluation include: 

• Public records from governmental agencies
• Research organizations
• Health and human service organizations
• Schools and education departments
• Academic and similar institutions
• Business and industry 

Existing data is often available through online dashboards, open-data portals, reports, electronic record systems, downloadable files, or direct requests to the organization from which the data originated. Some information will still require a formal data request or data-sharing agreement, particularly when it contains confidential or sensitive information. 

TYPES OF EXISTING DATA YOU MIGHT LOOK FOR 

Depending on your evaluation questions, you might look for data about a specific population or geographic area, including: 

• Knowledge and awareness of issues
• Demographics of the population (e.g., age, education, income)
• Behavior
• Health and development outcomes
• Environmental conditions or risk/protection factors affecting the population 

WHY COLLECT AND USE EXISTING DATA?  

There are sometimes good reasons to collect new data, including when the information you need is not available elsewhere. When you collect new data, you also have more control over who is included, what is measured, and how the information is gathered. However, primary data collection can be time and resource intensive. 

If the information you need, or something very close to it, already exists, there are several good reasons to find and use it. 

• Existing data can save substantial time and effort, especially when you need information about a large population, geographic area, or time period. They may also provide broader coverage or greater detail than your organization could collect on its own.
• Existing datasets may already have been cleaned, organized, analyzed, or documented by people with specialized expertise. This work can reduce the technical burden on your team, although you should still review the methods, definitions, and limitations before using the results.
• Even with raw data, the basic organization and preparation (transcription of interviews, entry of numbers into a spreadsheet or specific software, etc.) may have already been done, again saving time and resources.
• It’s quite possible that you can find more information than you’d be able to gather if you did it yourself. The existing data you find may be more sweeping or more specific than what you’d be able to gather. They may involve more people than you’d be able to, cover a larger geographic area, or provide more detail.
• Existing data could touch on important areas you have not considered, or identify patterns or relationships you wouldn’t have looked for.  In cases like these, the use of data that already exist might change your whole view of your work, and help bring you to a level of effectiveness you wouldn’t have reached otherwise.
• The data may have been collected using established methods and systems. This can save time and strengthen your evaluation, but it does not guarantee that the data are free from bias, missing information, inconsistent definitions, or other limitations. You still need to understand how the data were collected.
• Existing data can help you examine change over time. Historical information can show whether an observed change is part of a longer trend and whether similar patterns appear in comparable communities, the state, or the nation. This perspective may be difficult to obtain through short-term data collection alone.
• Existing data can make it possible for small organizations with limited resources to conduct thorough evaluation studies. Most small community-based organizations simply have neither the money nor the personnel to gather large amounts of data – but, there’s no need to when the data you need exist elsewhere. 

WHEN SHOULD YOU COLLECT AND USE EXISTING DATA? 

• When it’s available and accessible. This is the key question. If you know the data exist and can obtain appropriate access, they may be useful. If the data do not exist, are too difficult to locate, or cannot be shared because of privacy or other restrictions, you may need another approach.
• When it’s relevant. As with availability, the relevance of the data to what you’re trying to find out is a key issue. All the existing data in the world won’t do you any good if they don’t help you answer your evaluation questions.
• When you don’t have the time and/or resources to collect the data yourself. Whether it’s a matter of the size and scope of your organization, time pressure from a funder to produce an evaluation, or some other factor, existing data may be the only source of the information you need.
• When the data match your evaluation needs. Data should align with the population, place, time period, measures, and program elements you are studying. Select only sources that can help answer your evaluation questions; otherwise, the information may provide an incomplete or misleading picture. 

HOW DO YOU FIND AND USE EXISTING DATA? 

As you search for and use existing data, there are several questions you should ask. 

Are the data a good fit for your evaluation? 

Before using an existing source, look beyond whether it is easy to obtain. Ask whether it can answer your evaluation question and whether it can be meaningfully compared with any data you collect yourself. 

• Who and what do the data represent? Make sure the population, geographic area, and issue are relevant to your program.
• When were the data collected or updated? Older data can be useful for trends and context, but may not reflect current conditions.
• How were the data collected and defined? Review the data source’s methods, measures, and definitions. Two sources may use the same term—for example, “service received” or “graduation”—but mean different things.
• Are the data complete and sufficiently detailed? Consider missing data, small numbers, the level of detail available, and whether results can be broken down in ways that are useful and appropriate.
• What limitations or potential biases should you keep in mind? Administrative data reflect the people who use a service and the way staff record information; survey and research data may be affected by sampling, response rates, or measurement choices.
• Can you use the data ethically and securely? Follow data-sharing agreements and privacy requirements. Whenever possible, use aggregate or de-identified data rather than information that could identify individuals. 

WHAT INFORMATION DO YOU NEED, AND WHY? 

To answer this question, you first might think about what information you need for your evaluation that doesn’t necessarily require gathering data on current participants. 

Some possibilities include: 

• Data on past participants. You may want to compare the results for current participants with data on past participants, especially if you’ve changed your methods or the population has changed significantly.
• Community-level indicators are specific, measurable signs of conditions or change across a community. Examples include program participation, services delivered, crime rates, or new cases of HIV. These indicators can help you track community trends and assess whether an initiative may be contributing to change. 

Community-level indicators describe trends for the community as a whole, rather than changes among individual participants. For example, an initiative to reduce alcohol use among young people might track weekend and nighttime single-vehicle crashes involving teenagers. Choose indicators because they are meaningful to the initiative and community—not only because data happen to be available. 

• Specific information on appropriate characteristics of the population you’re working with. This may be used to compare your participants to the population they’re part of, as well as to track specific differences that might be a result of your program.

Both general and specific information might include several categories to choose from. These categories include: 

• Demographics:
  • Demographic characteristics, such as age, race, ethnicity, gender identity, household composition, education, income, employment, housing, disability status, primary language, and geographic location
  • Geographical location and distribution, population density, etc.
  • Economics – income, employment, living conditions
  • Housing – household size and ownership
  • Education level  
  • Other characteristics –primary language spoken, etc. 
• Behavior:
  • Health-related – tobacco use, physical activity, diet, etc.
  • Alcohol and other substance use
  • Sexual behavior  
  • Various other behaviors – work habits, consumer patterns, etc. 
• Health and Development Outcomes:
  • Incidence (new cases) and prevalence (existing cases) of specific health conditions (e.g., diabetes, injuries, infant mortality)
  • Developmental and educational outcomes, such as completion of primary or secondary education and equitable participation by people with disabilities
  • General health and well-being characteristics of the population or community Access to health and human services (e.g. those with access to clean water and sanitation
  • Knowledge and awareness of issues (e.g. survey data on public concern with violence)
  • Environmental conditions or risk/protective factors (e.g. exposures to pollution or toxins) 

• Cultural information. Norms, customs, celebrations, beliefs, and practices related to culture. If you can see whether and where your group’s efforts are fitting with participants’ cultures, it will help you to determine whether that’s an issue, and where you might need to make changes. 
• Data on a similar group that can be used as a control or comparison. This might be a group from the same population that signed up for but did not experience the program, or another comparable community in a different place.
• Results of previous studies. You’d probably be most interested in studies that looked at the same issue and population group you’re addressing. These can provide a standard of comparison, as well as some sense of what kinds of results might be reasonable to expect.

Suppression of Statistics

An issue that you should be aware of and prepared to encounter during your research is suppression of statistics.  When research deals with small populations or data pools, in order to protect the privacy of individuals, it is sometimes necessary to suppress data. In other words, when the number of cases in a category - i.e., females in Wyandotte County who died from lung cancer in 2004 - is small enough that disclosing the data might allow a specific individual to be identified, steps are taken to protect the privacy of individuals.

The most common method of preventing the identification of specific individuals is through cell suppression. This means not providing counts in individual cells where doing so would potentially allow identification of a specific person. Cell suppression can also be done by combining cells from different small groups to create larger groupings that reduce the risk of identifying individuals.

The table below, from the Kansas Department of Health and Environment's Bureau of Epidemiology and Public Health Informatics, shows a break-down by race of deaths due to chronic liver disease and cirrhosis in Wyandotte County, KS in 2010. Because the numbers for Black and Other individuals are small enough that it might be possible to identify individuals from those statistics, the data is suppressed, as indicated by the #.

Death Statistics for Chronic liver disease & cirrhosis for Wyandotte County, 2010
White	Black	Other	All races
14	#	#	20
# Indicates numbers below 6

The National Association of County and City Health Officials (NACCHO) has a useful tip sheet that explores this and other challenges of data collection and analysis in jurisdictions with small populations and provides useful information for overcoming these challenges.

In addition to the question of confidentiality, low numbers in a given category can also be an issue when considering the stability of data. In other words, when there are low numbers or incidences in the data you are researching, it is more difficult to accurately calculate rates and it can give an inaccurate picture of the categories you are researching.  For instance, if the number of lung cancer deaths in 2004 was 20, and in 2005 it was 30, statistically that is a 50% rise over one year, which is quite a substantial fluctuation; however, it may be that it is simply a normal variation in reporting. Because the numbers reported are so small, even minor changes can seem substantial, and this can result in unreliable or unstable data. The table below, from the Kansas Department of Health and Environment's Bureau of Epidemiology and Public Health Informatics, shows a break-down by race of deaths due to breast cancer in 2010 in Wyandotte County, KS. Because the numbers available for White, Black, and Other are too small to allow for an accurate, reliable calculation of the rates for that year, the information is suppressed, indicated by the @.@ symbols.

Death statistics for malignant neoplasms of breast, Wyandotte County, 2010
	White	Black	Other	All Races
Number	15	6	#	23
Rate	@.@	@.@	@.@	15.5
@.@ indicates numerator too small for rate calculation # indicates numbers below 6

However, there are a couple of strategies that can be used to help avoid or address these problems of instability.

Combining several years of data can produce more stable estimates when annual counts are small. Rolling averages—for example, comparing 1997–2000 with 1998–2001—can help show change over time while reducing year-to-year variation. The tradeoff is that multi-year estimates may make recent changes or program effects harder to detect.

Expanding the geographic area can also increase the number of observations and improve statistical stability. For example, you might use regional or state data when county-level counts are too small. However, broader estimates may not reflect local conditions and can hide meaningful differences among communities. 

Who is likely to have collected that information?

Public agencies, research organizations, universities, schools, health and human service providers, funders, advocacy groups, community organizations, and businesses may all maintain useful data. Start with the source most likely to collect information about your topic, population, or geographic area.

In some cases, you might know for certain that it exists; in others, you’ll have to search around. Some places to start:

Public records.

Government records at all levels – including federal state, county, and local. Copies of publicly-funded studies (after publication), financial information, crime statistics, demographic information, and much more are available in public records.

Some you might be most interested in:

• Census Bureau. In most developed countries, the census covers a broad range of demographic, economic, and geographic information.
• Federal and state departments and ministries. From environmental data to farming practices and subsidies to poverty statistics to public health issues, the federal government is a vast storehouse of information.
• Various levels of the court system. In the U.S., where civil and criminal trials and their results are public, their records are public also.
• Police records. Arrests, domestic disputes, injury reports, and other information can be found in police reports.
• Securities Exchange Commission and other business regulators. The SEC and other regulators require businesses to file various information, usually annually, including annual financial reports and environmental statements, all of it public.
• County commissions, agencies, and authorities. County Extension Services in the U.S. (part of the U.S. Department of Agriculture) can be particularly helpful.
• City and town clerks’ offices.

Sometimes, government agencies are reluctant to share information, even though it’s public.  The Freedom of Information Act (FOIA) deals with this issue in the U.S.  It allows for access to a wide range of federal government records.  Similar laws at the state level do the same for state documents.

• Research organizations. Think tanks, independent oversight organizations, and research organizations all issue reports on various topics, often backed up by studies.

Some of these organizations aren’t, and don’t pretend to be, politically neutral.  They have agendas, conservative or liberal, and some of them interpret their research in light of those agendas.  It’s important to be aware of the bias of any archival data that you use if you want reliable data.  However, many organizations with a political stance nonetheless try to make their studies as objective as possible.

• Academia. Much research in health, human services, social issues, education, the environment, and the sciences is conducted by universities and institutions connected to them. This includes theses and dissertations for advanced degrees, as well as the results of funded research web search engines, such as Google scholar, can help locate research information.
• News media. Newspapers, magazines, and radio and TV outlets all keep archives, often going back to the founding of the publication or station. These are often available to the public – sometimes on line – either free or for a fee. Although they are unlikely to contain detailed study results, they often have summaries of important studies, and may serve to point you in the right direction to find what you need.
• Foundations and other private funders.These organizations fund studies of all kinds, and many publish or otherwise make available the results as a condition of funding.
• Hospitals and other health care providers are sometimes university-related, and may conduct studies of various health issues. They also may collect, as an administrative necessity, demographic and other statistics on their patients, as well as information on the frequency, geographical location, and intensity of various medical conditions.
• Mental health providers may have data on particular types of conditions, or on who is most at risk for particular behaviors or conditions (e.g. depression).
• Human service and other non-governmental community-based organizations. The information most likely to be gleaned from these organizations is administrative, and to cover such areas as demographics and the location and character of community issues.

Depending on its nature, some of the research carried out or administrative data gathered by universities, health and mental health providers, and human service organizations may have some restrictions on them because of confidentiality. These restrictions usually only cover access to individual records and identification of study participants, and generally don’t pose a barrier to obtaining aggregate results of studies, assessments, or surveys with no identification of individuals.

• Advocates and watchdog organizations may collect data (either locally, statewide, or nationally) on businesses, on the environment, and on other particular issues – nearly anything that pertains to their causes – and they’re usually willing to share it.
• Community activists. These folks tend to focus on specific issues, but if your issues are similar to theirs, they may have a great deal of information that’s useful to you.
• Community economic development organizations are likely to have economic data, land-use maps and patterns (perhaps including population distribution by race, ethnicity, age, etc.), environmental information, and other similar material you might find useful.
• Businesses and corporations, particularly large ones, often collect information on their workforces, economics and economic trends, and similar topics.

WHERE SHOULD YOU LOOK FOR EXISTING DATA? 

The question here is not only where to find existing information, but where to find it most quickly and easily. Some of this material will be published, some only available from the organizations that collected it. Looking in the right place first can save you a lot of time and trouble. 

Your own records and data 

Unless it’s brand new, your own organization should have administrative records, past evaluations, assessments, and other data that might be helpful to you. Don’t ignore this obvious and easily accessible source of information. 

Online data portals and websites 

Many public documents and datasets are available online. Start with the website or open-data portal of the government agency, organization, or institution most likely to have collected the data. In the U.S., federal, state, tribal, county, and municipal agencies often provide searchable reports, dashboards, or downloadable files. Similar sources are available in many other countries.

Many of the other sources of information mentioned above are likely to have websites also. Whether their data is available on those sites is another matter, and depends to some extent on what kind of information you’re seeking. Watchdog organizations and some think tanks are likely to post at least some of the results of their research on websites because they want it to be as public as possible. Community economic development organizations likewise usually have informative websites, since they’re trying to attract businesses and residents to an area.

Health providers and academics, on the other hand, may post their research on a website, but only after it’s been published in a journal or book, or presented at a conference. That means that you’re not apt to find very recent data (from the past year, for example). Local health and human service providers and schools rarely conduct formal research, and rarely post any administrative data on their websites, for two reasons: confidentiality, to which we’ve already referred, and the fact that most of that data are intended for internal use, and therefore not seen as useful to anyone outside the organization.  Business websites generally include material only of interest to potential customers. Community activists may or may not have websites at all.

Assess online data sources carefully. Favor information from the organization that originally collected or maintains the data, and look for clear documentation of methods, definitions, update schedules, and limitations. If a source is unfamiliar or a finding seems uncertain, compare it with other credible sources before using it. 

Go directly to the source

When data is not publicly available, contact the organization that maintains them. Explain what information you need, how you plan to use it, the level of detail required, and how you will protect privacy. Be prepared to discuss a data-sharing agreement, reasonable costs, or a mutually beneficial exchange of information or expertise. 

When requesting data from another organization for comparison, frame the conversation around shared learning rather than competition. Explain why the comparison is useful, how you will account for differences between programs or populations, and how findings will be interpreted and shared. An existing relationship built on trust and mutual respect can make this collaboration easier. 

Libraries

Libraries and librarians can help you identify credible datasets, government reports, scholarly research, archives, and specialized databases. They may also help you develop search terms, locate hard-to-find sources, and assess whether a source is authoritative. 

What are you planning to do with the data once you have it?

Plan how you will use the data before requesting or downloading them. Determine which variables, time periods, population groups, and level of detail you need. If you intend to compare existing data with information from your program, make sure the groups, definitions, measures, and collection periods are sufficiently similar to support a meaningful comparison.

If you’re planning to subject your data to statistical analysis, you’ll want information that either is, or can be made, quantitative. If the information you’re collecting on your participants is largely qualitative, then the existing data should be qualitative as well. Furthermore, the information you get either should determine or should match the way you collect your own data, so that there’s a reasonable comparison, assuming a comparison is what you’re intending. 

USING EXISTING DATA 

In many evaluations, you will combine existing data with new information collected from participants. Existing program or administrative records may also provide current information about participants, depending on what is recorded, how quickly the data are updated, and whether you have appropriate access. You may be able to find earlier data on participants to use as a baseline or data on a similar group to use as a comparison or control. 

The “almost” here refers to a situation where you’re evaluating a program in retrospect – looking back at it after it’s underway or been completed.  It may be possible in that case to find existing data that will allow you to determine the program’s effectiveness in terms of process, outcomes, or both. 

Although you’ll probably collect information on the participants in the program you’re evaluating, there are a number of ways you might use existing data: 

• To better understand the context of your evaluation. These might be ethnographic data (see Section 6 of this chapter), oral histories, assessment information, interviews, etc. You’d use it to get a clearer picture of the community in a number of ways, and to help you interpret the results of your evaluation.  It might, for instance, give you insight into why a particular approach did or didn’t work, or why some participants stayed in the program while others didn’t.
• To identify areas to address. A clearer picture of the community allows for a deeper understanding of the community’s needs and concerns.
• To establish a baseline against which to measure your results. For this purpose, you’d need recent information about where the population you’re working with stands on the dependent variables or outcomes you’re concerned with. That would tell you where the participants started from (on average), so that you could see from the measures you used in your evaluation whether and how much they might have improved because of your work. 

In an evaluation, the intervention is the program, policy, service, or other action expected to contribute to change. The outcomes are the behaviors, conditions, or other results that may change. For example, a violence-prevention program is the intervention, while changes in violent behavior and related injuries are outcomes. 

• To identify already-existing trends that may affect the results of your evaluation study. The fact that there’s been a change in participants between the beginning and end of your evaluation doesn’t necessarily mean that you’ve caused it. Among other things, it may be part of an ongoing trend toward change that started well before your program did, and may continue after it.  Archival data might show such a trend over a number of measures of your dependent variable in the population your participants come from.
• To establish a standard of comparison against which to measure your efforts. There are two ways that you could use archival data for this purpose.  One is to use census, statewide, and/or community-wide data to compare with that of the population you’re working with. That comparison can give you a sense of how serious the issue is for your group, compared to the general public.  The second way is to use similar data to compare your outcomes with the data on the larger population. This might work especially well when you’re using community-level indicators (e.g., rate of injuries, percentage of girls completing different education levels).

You might find, for example, that even though community-level indicators moved in the right direction – the sale of tobacco products went down, say – they still compared unfavorably with the state or national averages for the same indicators.  That knowledge might be important in future goal-setting and in using your evaluation results to gain community support or funding. 

• To act as a control or comparison group. One of the best ways to learn whether or not your program had an effect is to compare the participants you’re working with to those in another group that received no program or a different one. The best alternative here is to create a group from the same population as participants – so that all participants will have approximately the same background, environmental influences, cultural norms, etc. – and to conduct the same observations on both groups at the same times, so that the only difference between them is the program that one of them is exposed to. In practice, creating or finding a perfect control group is often difficult.  Archival data may be able to provide a reasonable alternative, in the form of data collected on a comparison group or population similar to that of participants in your program.

Often, the most likely possibility is a group that was part of another program with the same goal as yours, but using different methods. This has the advantage not only of providing a control, but of letting you infer whether your approach works as well as, not as well as, or better than that of the comparison group. 

• To provide data for a longitudinal study.  If you think your program might have a long-term effect, or if you think it will interact with the effects of past events, circumstances, or programs, you might want to conduct a longitudinal study – one that looks at participants over a longer period of time – for your evaluation. You may not have the time or resources to collect data over a period of years, but you may be able to find archival information that allows you to draw some conclusions about long-term effects.

There are at least two circumstances where you might be able to use existing data for a longitudinal perspective.  The first is one in which you’re looking at the effect of an issue on the population for a length of time before your program began. This might make it easier to see program results in context, and to understand whether the program broke a cycle and started real change. The second circumstance is when you’re looking back at the effects of a program that was completed some time ago.  In some circumstances, the effects of a program multiply or accelerate over time. Particularly if your program was aimed at changes throughout the community (reducing intimate partner violence, for instance), you may be able to find existing data that tells you whether the effects of your program continued, kept growing, or trailed off. 

In Summary

Existing data can help you understand community conditions, establish a baseline, identify trends, compare outcomes, and examine change over time. Useful sources include your own records as well as data maintained by public agencies, community organizations, health and human service providers, universities, funders, and other institutions. Select data that fit your evaluation questions, examine their quality and limitations, and follow all privacy and data-sharing requirements. Used thoughtfully, existing data can make evaluation more feasible and informative—especially for organizations with limited time and resources.

What are archival data?

___Archival data is data that already exists as a result of administrative procedures or past studies or evaluations

___Be aware of sources of archival data:

• Public records
• Research organizations
• Health and human service organizations
• Schools and education departments
• Academic and similar institutions
• Business and industry

___Be aware of the possible types of data available:

• Demographics
• Behavior
• Health and development outcomes
• Attitudes – racial, political, social, etc.
• Knowledge and awareness of issues
• Environmental conditions or factors affecting the population and/or your work

Why collect and use archival data?

___It’s easier and less time-consuming than collecting all the data yourself

___Archival data may have already been processed by people with more statistical expertise than you, making it easier to use in analysis

___Even with raw data, the basic organization and preparation (transcription of interviews, entry of numbers into a spreadsheet or specific software, etc.) may have already been done, again saving time and resources

___It’s quite possible that you can find more information than you’d be able to gather if you did it yourself

___Archival data could touch on important areas you might not have thought of, or identify patterns or relationships you wouldn’t have looked for

___It may eliminate the need to correct for such problems as lack of inter-rater reliability or observer bias

___Archival data allows the possibility of looking at the effects of your work over time

___Archival data can make it possible for small organizations with limited resources to nonetheless conduct thorough evaluation studies

When should you collect and use archival data?

___When it’s available

___When it’s relevant

___When you don’t have the time and/or resources to collect the data yourself

___When it can truly inform your evaluation

How do you collect and use archival data?

___Determine what information you’re looking for and why

Possible categories of information you’d be interested in:

___Data on past participants

___General information on the population and/or the community you’re working with

___Specific information on appropriate characteristics of the population you’re working with

___Cultural information

___Data on a similar group that can be used as a control or comparison

___Results of previous studies

___Determine who is likely to have collected that information:

• Government departments and agencies, the census, and other entities whose data are likely to be available in public records
• Research organizations
• Academia
• News media
• Foundations and other private funders
• Hospitals and other health care providers
• Mental health providers
• Human service and other community-based organizations
• Advocates and watchdog organizations
• Community activists
• Community economic development organizations
• Businesses and corporations

___Decide where you should look for archival data

• Your own archives
• The Internet
• The original source
• Libraries

___Decide what you plan to do with the data once you have it

Use archival data:

___To better understand the context of your evaluation

___To identify areas to address

___To establish a baseline against which to measure your results

___To identify already-existing trends that may affect the results of your evaluation study

___To establish a standard of comparison against which to measure your efforts

___To act as a control or comparison group

___To provide data for a longitudinal study

Tool 1: Common Secondary Data Sources Used to Address Gender-Based Violence

This tool from Strategic Prevention Solutions provides descriptions of common secondary data sources useful for addressing gender-based violence, along with common challenges with secondary sources.