Sección 3. Recopilación de datos: diseño de un sistema de observación

El centro comunitario de salud local estaba iniciando un programa para fomentar la actividad física regular entre las personas con presión arterial alta. El programa tenía un objetivo sencillo: lograr que los participantes realizaran 45 minutos de ejercicio aeróbico moderado al menos cuatro veces por semana durante seis meses. La esperanza era que este régimen ayudara a reducir la presión arterial, favoreciera la pérdida de peso y generara una sensación general de bienestar. Un objetivo relacionado era que los participantes continuaran ejercitándose por su cuenta después de que el programa terminara.

El Centro reunió a un grupo de 50 personas dispuestas a participar. Después de realizarles chequeos médicos, todos asistieron a talleres sobre alimentación, el funcionamiento y los riesgos de la hipertensión, y sobre cómo iniciar y mantener una rutina de ejercicio regular sin lesiones. También recibieron asesoramiento sobre los tipos de ejercicios que podían realizar -caminar, andar en bicicleta, nadar, etc. -- y sobre cómo hacer que el ejercicio resultara agradable. Para ayudar a los participantes a integrar el ejercicio en su vida diaria, el centro decidió permitirles hacerlo a su conveniencia, utilizando las actividades que eligieran, siempre que mantuvieran el patrón de 45 minutos, cuatro veces por semana. Además, se les pidió que llevaran un registro de la frecuencia y tipo de ejercicio realizado, y que se reunieran, en grupos de cinco, con los consejeros del Centro de Salud una vez al mes para revisar la presión arterial, el peso y los progresos, así como para recibir apoyo, motivación y orientación.

El centro debía entonces decidir cómo evaluar el programa. La meta de desempeño del programa -lo que los participantes debían hacer realmente- era mantener el programa de ejercicio durante el período de seis meses. Dado que cada participante lo hacía por su cuenta, sería difícil observarlos a todos cada vez que se ejercitaban. Sin embargo, el centro necesitaba saber si realmente lo estaban haciendo. Los otros objetivos del programa -reducir la presión arterial y bajar de peso- también debían observarse de alguna manera. ¿Cómo podría el centro diseñar un sistema para averiguar si el comportamiento de actividad física realmente estaba ocurriendo y si esto resultaba en una disminución de la presión arterial y del peso corporal?

Una vez que haya determinado sus preguntas de evaluación y reunido información sobre qué debe observar, debe encontrar una forma de hacerlo. De eso se tratan los sistemas de observación. Al igual que el centro en el ejemplo, usted deberá encontrar maneras de observar el comportamiento, las condiciones y los cambios -o la falta de ellos- que le permitan responder a sus preguntas de evaluación. Esta sección trata sobre cómo establecer sistemas de observación para lograr justamente eso.

¿Qué entendemos por diseñar un sistema de observación?

Un sistema de observación es la forma en que se obtiene información sobre su programa: lo que el programa, sus participantes y sus implementadores están haciendo realmente, y lo que parece estar ocurriendo como resultado. El término “observación” aquí puede referirse a la observación directa -es decir, observar a las personas, las condiciones, las actividades o los resultados para ver qué sucede-, pero también puede abarcar formas menos directas de monitorear el funcionamiento y los resultados de un programa. Sus modalidades incluyen el seguimiento del comportamiento de individuos y grupos para analizar los resultados en diferentes niveles. Algunos métodos de observación que pueden resultar útiles en distintas situaciones de evaluación son los siguientes:

• Observación directa. Esta es la forma más pura y verificable de observación: consiste en mirar directamente a las personas o en observar condiciones o situaciones de primera mano. Por ejemplo, si usted participa en un esfuerzo para aumentar el uso y el sentido de pertenencia vecinal hacia un parque público, podría observar directamente cuánto y cómo las personas utilizan el parque visitándolo en diferentes días, con distintos tipos de clima y bajo diversas circunstancias durante un período prolongado de tiempo.
  Los observadores directos pueden ser “invisibles”, como lo sería un observador de la actividad del parque, o pueden ser miembros del personal que trabajan con los participantes y registran lo que sucede. En cualquier caso, están tomando mediciones como observadores externos, no como participantes.
• Observación participante. Un observador participante forma parte de la acción y observa desde adentro. En el caso del parque, un observador participante podría ser un residente del vecindario directamente involucrado en el esfuerzo o alguien que se integre a la vida del parque con fines de observación. Podría trotar allí todos los días o unirse a un juego semanal de voleibol para conocer a otras personas que usan el parque con regularidad. Sus propias notas sobre lo que observa en el parque formarían parte de su registro.
• Autoinformes. Algunos de los resultados que se buscan tal vez no sean visibles en absoluto, al menos no para usted. Los cambios en lo que las personas hacen en privado -como el uso de anticonceptivos- no pueden (ni deben) ser observados directamente por un externo. De manera similar, cuando el objetivo es influir en el comportamiento de un gran número de personas, como promover una alimentación saludable en la comunidad, no será factible observar directamente a todos. En tales casos, se pide a las personas que informen sobre su propio comportamiento. Así, un sistema de observación puede incluir entrevistas, diarios, encuestas u otros medios de reporte en primera persona. Dado que este tipo de informe puede estar sujeto a sesgos, normalmente se complementa con otras formas de evidencia (por ejemplo, observar la pérdida de peso como resultado de conductas relacionadas con la alimentación saludable y la actividad física).
• Informes de terceros. Un sistema de observación puede incluir o depender de los informes de otras personas que tienen experiencia directa con las personas o las condiciones que son objeto de estudio. Maestros, oficiales de libertad condicional, guardaparques, enfermeras de salud pública, trabajadores sociales -incluso bartenders o peluqueros- pueden ser valiosas fuentes de información de segunda mano. Estos informes, al igual que los autoinformes, pueden recopilarse mediante entrevistas, diarios, encuestas, listas de verificación y otros medios similares.
• Observación electrónica o mecánica. En este caso, el observador no es una persona (aunque al final alguien revisará la información), sino un dispositivo operado automáticamente o en funcionamiento continuo: una cámara, una grabadora de audio, un monitor cardíaco, un podómetro, un rastreador GPS (sistema de posicionamiento global) u otro tipo de equipo. Por ejemplo, una cámara activada por un sensor de movimiento se utiliza con frecuencia para estudiar la densidad de una población animal en un área o en un trayecto determinado.
• Pruebas de diversos tipos. Dependiendo de lo que se desee medir, esta categoría puede abarcar desde pruebas escritas de aprendizaje académico hasta evaluaciones prácticas de habilidades o análisis de sangre. También puede incluir pruebas de nuevos métodos y procedimientos de programas, con el fin de verificar su eficacia antes de aplicarlos.
• Registros públicos y otros documentos. Informes policiales, datos censales, estadísticas de empleo, información de salud pública- todos estos y otros registros pueden proporcionar información sobre indicadores a nivel comunitario que ayuden a determinar los resultados de su trabajo.
• Productos o resultados del comportamiento. A veces es más práctico observar el producto o resultado de un comportamiento, en lugar del comportamiento en sí. Por ejemplo, si se está investigando la contaminación ambiental, podríamos observar la cantidad de desechos o toxinas en el suelo o en el agua, en lugar de observar directamente el vertido ilegal de esos materiales. De manera similar, una iniciativa orientada a prevenir la obesidad infantil podría utilizar los registros escolares de altura y peso para medir la obesidad, además de observaciones directas de los almuerzos escolares y los informes de los jóvenes en encuestas sobre alimentación.

Además de especificar qué tipos de observación va a utilizar, el diseño de un sistema de observación debe cubrir también cuándo, dónde, con qué frecuencia, por quién y bajo qué circunstancias se realizarán las observaciones, así como exactamente qué se va a observar. Todo esto depende de lo que esté observando y de la información que espere obtener de su evaluación (otra vez, vuelva a sus preguntas de evaluación).

Entre otras consideraciones: ¿analizará el proceso de su iniciativa o programa -los pasos que siguió para ponerlo en marcha y si se ajustaron fielmente a lo que pretendía-? ¿Examinará lo que realmente hizo -el número de participantes, los métodos utilizados, el tiempo que tomó todo, cuánto tiempo permanecieron los participantes, etc.? ¿Le interesa saber qué partes de lo que hizo fueron exitosas y cuáles no? ¿Y qué desea conocer acerca de los resultados -los efectos de su programa?

Diseñar un sistema de observación implica pensar con cuidado en lo que necesita saber y crear un sistema que sea lo más probable posible para proporcionarle esa información de forma precisa y sencilla. En la parte “cómo hacerlo” de esta sección analizaremos el proceso de diseño con más detalle, incluyendo los asuntos mencionados en los dos párrafos anteriores.

¿Por qué diseñar un sistema de observación?

Si se toma en serio la evaluación, existen varias razones para diseñar un buen sistema de observación:

• Ayuda a obtener información confiable. Diseñar un sistema que estandarice los métodos, los momentos y otros aspectos de la observación permitirá que la información obtenida de diferentes observadores y lugares sea más precisa y coherente, y por lo tanto, más útil para la evaluación general.
• Permite conocer exactamente lo que necesita saber, sin esfuerzos innecesarios. Puede diseñar un sistema que se enfoque en lo que realmente le interesa e ignore lo que no. Esto significa que no tendrá que clasificar datos innecesarios y que dispondrá de los medios adecuados para recopilar la información que necesita para responder sus preguntas de evaluación.
• Garantiza que las observaciones se realicen. Un sistema coherente, diseñado y aceptado por quienes realizarán las observaciones -cualquiera sea su forma- aumenta significativamente la probabilidad de que las observaciones se realicen en el momento, lugar y forma adecuados.
• Facilita el análisis de los datos. Un sistema de observación coherente y bien estructurado le proporciona información útil para el análisis científico, ya sea cuantitativo (basado en números y estadísticas) o cualitativo (basado en narraciones e interpretación del significado de los comportamientos y los eventos).
• Ayuda a evitar evaluaciones improvisadas. Un sistema de observación bien diseñado permite recopilar información de manera sistemática y evita terminar con una masa de datos desconectados que no necesariamente se relacionan con lo que se desea conocer.
• Facilita justificar sus hallazgos. Cuanto más precisa sea su información, más confiables serán las conclusiones que se deriven de ella. Si su sistema de observación está bien diseñado e implementado, será mucho más fácil argumentar que sus datos son fiables, exactos y una base sólida para las conclusiones alcanzadas.
• Aumenta la credibilidad ante financiadores y responsables de políticas. Las personas que controlan los fondos y las políticas se preocupan especialmente por la rendición de cuentas. Si usted puede presentarles una evaluación útil basada en datos recopilados mediante un sistema de observación bien diseñado y confiable, estarán más inclinados a considerarlo una voz experta y confiable en el campo.
• Permite compartir sus prácticas con confianza. Un sistema de observación bien diseñado hace posible confiar en que los resultados de su evaluación reflejan la realidad. Si esos resultados demuestran que su programa es altamente efectivo, puede transmitir sus métodos como una buena práctica a colegas y otros profesionales, sin preocuparse de estar recomendando enfoques que quizá no funcionen adecuadamente.
• Proporciona la mejor información posible sobre lo que funciona en su programa y lo que necesita ajustarse.

¿Cuándo se debe diseñar un sistema de observación?

Como hemos comentado, un sistema de observación no se refiere únicamente a la observación directa, sino a cualquier método para examinar y registrar el proceso, las actividades y los resultados de su programa. Un sistema de observación es parte fundamental de la evaluación, ya que es lo que le dirá qué ocurrió realmente. Por lo tanto, lo ideal es diseñar ese sistema antes de comenzar a implementar el programa, de modo que pueda monitorearlo a lo largo de toda su existencia.

Ese es el ideal. La realidad para muchos trabajadores comunitarios -especialmente quienes laboran en organizaciones comunitarias pequeñas- es que la evaluación comienza cuando hay tiempo, energía y recursos disponibles, lo que suele ocurrir meses o incluso años después de iniciado el programa. Sea cual sea el momento en que comience, el sistema de observación debe diseñarse para responder a las preguntas de evaluación que se plantee. Dado que las observaciones deben ser consistentes y confiables, vale la pena tomarse el tiempo necesario para asegurarse de diseñar un sistema de evaluación eficaz.

Es preferible poder observar todo el ciclo del programa, de principio a fin. Algunos programas no tienen un ciclo definido, y la observación puede centrarse en el comportamiento o los resultados de los participantes individuales más que en el programa en su totalidad. En estas situaciones, la evaluación puede comenzar cuando nuevos participantes inician el programa y se les observa desde el comienzo.

Si ha estado registrando eventos, llevando diarios, etc., antes de comenzar la evaluación, es posible que ya disponga de información que pueda incorporarse a los resultados de su observación. Sin embargo, si su diseño requiere observaciones directas específicas, la definición de estas puede ser tan precisa que observaciones similares registradas en los diarios del personal quizás no cumplan los criterios para ser incluidas. Por otro lado, si los diarios o registros del personal forman parte del sistema que está implementando, es posible que pueda utilizar toda o la mayor parte de la información que ya tiene (y, de hecho, podría diseñar el sistema de observación para que así sea).

El verdadero riesgo aquí es que, para cuando su sistema de observación esté operativo, ya podría haber pasado por alto algo importante. Puede ocurrir que la primera parte del programa sea crucial, al menos para algunos participantes o ciertos cambios, y usted empezará a observar después de que esos cambios ya se hayan producido. Por eso, es importante iniciar las observaciones desde el principio, de modo que su sistema pueda captarlos.

¿Quién debe diseñar un sistema de observación?

Como hemos mencionado varias veces, la Community Tool Box tiene un sesgo a favor de los procesos participativos, y en particular de la investigación y evaluación participativa. En el caso de un sistema de observación, éste funcionará mejor si lo diseña un grupo que incluya a quienes serán los observadores reales. Si ellos participan en la planificación, estarán familiarizados con el sistema, sabrán exactamente qué información se espera que observen y comprenderán sus roles dentro del sistema de observación.

En una organización comunitaria o pequeña, es probable que el tiempo sea un factor limitante, ya que probablemente haya pocas personas haciendo demasiadas tareas. En ese caso, el nivel y la naturaleza del sistema de observación deben ser manejables por el personal, ya sea que ellos mismos sean los observadores o que faciliten la observación para evaluadores externos o voluntarios. Si ayudan a planificar y establecer el sistema, tendrán mucho más incentivo para asegurarse de que funcione que si se les impone.

El diseño del sistema de observación debe incluir específicamente a las personas que realizarán la observación, quienes a menudo son miembros del personal o miembros del grupo que se beneficiará del programa. Además, es útil incluir a investigadores u otras personas que comprendan los sistemas de observación y puedan ayudar a diseñar un sistema que satisfaga las necesidades específicas del proyecto de evaluación o investigación. También puede ser beneficioso incluir a individuos de los grupos que serán observados, para abordar cuestiones culturales y proporcionar retroalimentación sobre su respuesta al diseño. Por lo tanto, el equipo de diseño del sistema de observación podría estar formado tanto por miembros del grupo general de planificación de la evaluación como por otros reclutados específicamente para trabajar en el sistema de observación.

La lista de quienes podrían participar incluye:

• Personal y administradores del programa
• Personal de apoyo (quien a menudo realiza registros o ingreso de datos)
• Evaluadores externos o consultores de investigación
• Participantes o beneficiarios
• Observadores voluntarios

Si, por alguna razón, el grupo de diseño no incluye a nadie con experiencia en investigación, una capacitación que incluya información sobre los diferentes métodos de observación y sobre qué métodos son más propensos a producir ciertos tipos de información podría ser de gran ayuda para orientar el proceso de diseño. Si el grupo sí incluye investigadores, esa información podría presentarse como parte de la discusión sobre el diseño y las distintas posibilidades, en lugar de en formato de capacitación o taller.

¿Cómo se diseña un sistema de observación?

Entonces, ya ha definido las preguntas de evaluación y planificado la evaluación. Ahora es momento de determinar cómo obtendrá los datos necesarios para responder a esas preguntas.

Revise sus preguntas de evaluación

¿Recuerda estas preguntas? Usted decidió qué quería saber para determinar si su programa era efectivo. Volvamos al ejemplo del inicio de esta sección: el programa del centro comunitario de salud local. El centro estaba iniciando un programa de actividad física para personas con hipertensión. Su objetivo era que los participantes realizaran 45 minutos de ejercicio moderado al menos cuatro veces por semana durante seis meses.

Se esperaban varios resultados de esta actividad:

• Que la presión arterial de los participantes disminuyera
• Que los participantes que necesitaban perder peso lo hicieran
• Que los participantes experimentaran una sensación de mayor bienestar
• Que los participantes continuaran con la rutina de ejercicio después de que finalizara el programa de seis meses

Algunas preguntas de evaluación, por lo tanto, podrían ser:

• ¿Cumplieron los participantes con la rutina de ejercicio recomendada durante el período del programa?
• ¿Disminuyó la presión arterial de los participantes al final de los seis meses?
• ¿Perdieron peso, al final de los seis meses, aquellos participantes que necesitaban hacerlo?

Podrían surgir muchas otras preguntas, algunos ejemplos son:

• ¿Cuál fue la asistencia a los talleres? ¿Los participantes los encontraron útiles? ¿Los participantes que asistieron a todos o la mayoría de los talleres lograron mejores resultados que quienes no asistieron?
• ¿Experimentaron los participantes una mayor sensación de bienestar al final de los seis meses?
• ¿Continuaron los participantes con la rutina de ejercicio (y mantuvieron su presión arterial baja) después de que terminó el programa?

Las respuestas a estas preguntas son solo algunas de las que el centro deseaba obtener, pero nos sirven como ejemplos para esta parte de la sección.
También puede estar interesado en su propio proceso: qué tan bien planifica e implementa su programa. Además, puede tener un marco temporal específico en el que espera obtener resultados. También podría contar con hitos o logros intermedios -pequeños avances hacia un objetivo mayor- que desee registrar. Todo esto debe considerarse al diseñar su sistema de observación.

Decida qué necesita observar para responder sus preguntas

Dependiendo del tipo de programa o iniciativa en la que participe y de la naturaleza de sus preguntas de evaluación, hay un amplio rango de opciones para elegir.

Algunos de los más comunes:

• Comportamiento de los participantes. Esto puede incluir cualquier cosa, desde los comportamientos agresivos de los niños en el patio de la escuela o en un espacio de juego, hasta el nivel de habilidad en soldadura de los participantes de un programa de capacitación laboral, o las interacciones sociales de los usuarios del parque vecinal que mencionamos antes. Las posibilidades son casi infinitas.
• Comportamiento de otras personas. La prueba definitiva de si un programa de capacitación en mediación entre pares en la escuela secundaria funciona, por ejemplo, puede no ser el comportamiento de los mediadores que reciben la capacitación, sino el comportamiento de los estudiantes con quienes trabajan. También es posible observar cómo los participantes son tratados por el personal del programa y viceversa.
• Condiciones. Una iniciativa puede tener como objetivo cambiar directamente las condiciones -eliminar una casa ocupada por drogas, construir viviendas asequibles, limpiar un río contaminado- o puede buscar influir en esos cambios mediante programas, cambios ambientales o políticas.
• Observaciones de productos o resultados del comportamiento. Cuando el comportamiento, evento o condición en sí no es visible u observable, ya sea porque es privado o porque ocurre a un nivel que no puede observarse directamente, puede ser necesario medir sus productos o resultados. Por ejemplo, sería prácticamente imposible observar directamente la frecuencia con la que los adolescentes practican sexo seguro, pero sí sería posible conocer la tasa de infecciones de ETS entre ellos y el número de embarazos adolescentes antes, durante y después de un programa de educación sobre sexo seguro dirigido por pares.

Cuando los productos o efectos son todo lo que puede observar, debe asegurarse de haber elegido los adecuados para analizar. Estos deberían ser, en la medida de lo posible, resultados claros del comportamiento o la condición que le interesa estudiar, y debe tener en cuenta -y tratar de corregir- cualquier otro factor que pudiera haberlos causado.

• Conocimientos o actitudes de los participantes. Al igual que con el comportamiento de los participantes, el rango de posibilidades aquí es enorme, desde los puntajes en una prueba de conocimientos hasta casi cualquier otro aspecto que se pueda imaginar.
• Conocimientos o actitudes de otras personas. Por ejemplo, un programa de incidencia política podría estar interesado en cambiar las actitudes de legisladores o del público, pero podría no tener contacto directo con quienes espera influir. En este caso, podrían utilizarse encuestas de opinión pública repetidas para evaluar la disposición a apoyar un cambio de política específico.
• Cumplimiento de metas. Algunos programas tienen un objetivo particular que constituye su única razón de existir. Esto podría ser la aprobación o derogación de una ley, la construcción de una escuela, la liberación de uno o más presos políticos, etc. En este caso, la única pregunta de evaluación podría ser si se alcanzó la meta (o en qué medida). Para estas situaciones, puede utilizarse una escala de cumplimiento de metas para medir el grado de logro (por ejemplo, de 5 = resultado más favorable, a 1 = resultado menos favorable).
• Interacciones. El enfoque de una evaluación podría centrarse en la naturaleza de las interacciones, o en si ciertos individuos o grupos interactúan o se involucran entre sí. Por ejemplo, si el objetivo es aumentar la interacción entre padres e hijos, se podrían medir los intercambios y las respuestas entre ambas partes. Asimismo, las interacciones entre participantes del programa, el personal, o entre participantes y personal, podrían ser el foco de las observaciones.

Todas las posibilidades mencionadas anteriormente pueden estar relacionadas tanto con los objetivos del programa -es decir, lo que el programa quiere lograr- como con el proceso e implementación -cómo el programa organiza y lleva a cabo su trabajo.

También existen algunas áreas de observación que se relacionan específicamente con el proceso e implementación del programa:

• Planificación. La medición aquí puede centrarse en quién participó en la planificación de cada parte del programa, cómo se elaboró el plan, cuál fue su contenido, nivel de satisfacción, etc.
• Cronograma. ¿Cuándo comenzó la planificación, la implementación y la evaluación del programa? ¿Cuánto tiempo duró cada etapa? ¿Se cumplieron los plazos y, si no, por qué no?
• Número de participantes. ¿Cuántos participantes tuvo? ¿Cuál fue el tiempo promedio que pasaron en el programa? ¿Cuántos abandonaron antes de finalizarlo? ¿Cómo se compararon esos números con lo esperado?
• Métodos. ¿Qué métodos utilizó en el programa o intervención? ¿Cómo se aplicaron?
• Implementación del programa. ¿Qué hizo realmente? Esto incluiría la actividad del programa, su frecuencia y duración, el número de participantes atendidos, dónde se llevó a cabo (si es relevante) y cómo se desarrolló.

Además de identificar qué desea observar, debe definirlo con precisión, para que los observadores sepan exactamente qué buscar. Debe asegurarse de que todas las observaciones de un comportamiento particular, por ejemplo, se refieran al mismo fenómeno (por ejemplo, características específicas que determinen si el comportamiento ocurrió), incluso si las observaciones las realizan diferentes personas. Si no utilizan la misma medida, no podrá confiar plenamente en la información obtenida. Establecer los límites de observación en cada categoría -lo que se incluye, lo que se excluye y dónde están los límites- ayudará a eliminar desacuerdos y hará que la observación sea más confiable.

Para continuar con el ejemplo del centro de salud, veamos qué necesita observar el Centro. Para determinar si los participantes realmente están haciendo ejercicio de manera regular, el centro debe encontrar una forma de observar el comportamiento de las personas (por ejemplo, mediante registros de actividad o autoinformes sobre la frecuencia con la que realizaron actividad física). Para saber si han perdido peso, el centro debe observar un resultado del comportamiento, como el peso corporal o el índice de masa corporal (IMC). Para conocer si están experimentando una mayor sensación de bienestar, el centro debe recopilar autoinformes de los participantes. Y para saber si continúan con el ejercicio después de que el programa haya terminado, debe encontrar una forma de observar el comportamiento una vez concluido el programa.

Decidir cómo se llevarán a cabo las observaciones

Anteriormente, hablamos sobre algunos métodos de observación. Ahora volveremos a ellos y los examinaremos con mayor detalle.

• Observación directa. La observación directa implica ya sea el enfoque de “mosca en la pared”, en el cual el observador es anónimo y generalmente pasa desapercibido, o - más comúnmente en organizaciones de servicios de diversos tipos - consiste en un evaluador externo identificado o un miembro del personal que trabaja con los participantes y registra, a veces con su ayuda, sus comportamientos y ciertos aspectos de la situación. Los observadores anónimos son particularmente útiles en situaciones donde las personas que están siendo observadas también son anónimas —por ejemplo, al observar condiciones, eventos grandes o actividades como el uso del parque vecinal mencionado anteriormente, donde las personas involucradas pueden ser cualquiera.

Un método común de observación directa -ya sea que el observador sea un miembro del personal del programa o un participante- es el uso de un diario o registro de actividades.
El observador anota o registra de alguna otra manera, poco después del suceso, un relato de lo que ocurrió y de los eventos relacionados, incluyendo con frecuencia sus reacciones o reflexiones sobre esas experiencias. El diario o registro de actividades se convierte así en una representación del desarrollo del programa, detallando el progreso de participantes específicos, los ajustes realizados y el nivel de satisfacción.

La naturaleza de los diarios o registros obviamente variará según el tipo de programa, y no todos los programas o iniciativas se prestan a este tipo de observación. Sin embargo, especialmente en situaciones donde varias personas escriben diarios o registros que cubren el mismo período y los mismos eventos, estos pueden ser una herramienta de observación muy poderosa y reveladora.

• Observación participante. Como ya hemos explicado, los observadores participantes se convierten en parte del evento, la actividad, la cultura, etc. que se está observando, y la experimentan de primera mano. Así, en un programa de salud o de servicios humanos, el observador podría ser un participante real (es decir, un miembro del grupo al que está dirigido el programa) o un evaluador que se une a los participantes en sus actividades. En el caso del parque, por ejemplo, un residente del vecindario que ya lo visita regularmente podría ofrecerse como voluntario para registrar cómo él y otras personas lo utilizan realmente: cuándo acuden diferentes personas o grupos, qué hacen una vez allí, qué zonas del parque frecuentan y quién interactúa con quién, entre otros aspectos.

Un programa de micro-subvenciones fue diseñado por una organización no gubernamental en una aldea rural con el fin de aumentar los ingresos mediante la creación de pequeños negocios por parte de los participantes. Los miembros del personal participaron en cada taller y tomaron parte en actividades como la capacitación en préstamos y financiamiento, mientras observaban simultáneamente las actividades y a los demás participantes. Al final de cada jornada, el personal realizaba discusiones grupales, en las que compartían lo que habían observado y pedían a los participantes que analizaran lo que habían hecho. En este caso, el personal actuó como observadores participantes, y su participación aumentó significativamente su capacidad para ayudar a sus clientas -mujeres de bajos ingresos de pequeñas aldeas- a comprender y aprovechar sus propias experiencias.

• Autoevaluaciones o autoinformes. Cuando el objeto de su observación es el comportamiento de los participantes que ocurre fuera del programa (por ejemplo, la cantidad de tiempo que los participantes dedican a leer con sus hijos), a menudo es necesario confiar en las propias observaciones de los participantes. Esta dependencia tiene, como es de esperar, tanto ventajas como desventajas. Por un lado, los participantes conocen bien sus propias acciones. Por otro, pueden omitir aspectos que les resulten embarazosos o informar de manera que crean que otros quieren ver. Además, dado que no tienen experiencia previa ni capacitación como observadores, pueden pasar por alto -o considerar sin importancia- comportamientos o condiciones que serían valiosos para fines de evaluación.

Una solución obvia sería capacitar a los autoinformantes como observadores, y en algunos casos -ensayos médicos, por ejemplo- eso es tanto razonable como común. En otras situaciones, sin embargo, eso iría demasiado lejos hacia decirles a los participantes “las respuestas correctas”, y por lo tanto posiblemente cambiar lo que informan hacia lo que creen que uno quiere escuchar. También existe una gran ventaja en los autoinformes: cuando son honestos y representan un cambio real en el comportamiento o la experiencia de quienes los realizan, son mucho más poderosos que cualquier cosa que otra persona pudiera decir sobre su experiencia.

Los autoinformes, al menos tal como se definen aquí, implican una variedad de posibles técnicas para la recolección de datos. Entrevistas individuales y grupales, grupos de enfoque, reuniones públicas, encuestas y cuestionarios, diarios, listas de verificación e incluso conversaciones informales podrían ser maneras para que los participantes transmitan información para una evaluación.

• Informes de segunda mano. Estos son informes sobre el comportamiento de los participantes o sobre las condiciones que provienen de personas asociadas con esos participantes o condiciones, pero que no están directamente vinculadas a su programa o esfuerzo. Podrían ser trabajadores de servicios, maestros, profesionales de la salud, trabajadores juveniles, familiares (particularmente padres de niños pequeños), empleadores, casi cualquier persona. Las observaciones de segunda mano deben considerarse con las mismas precauciones que las de las personas que trabajan estrechamente con los participantes. Las relaciones entre observador y participante, la simpatía o empatía hacia los participantes, o los prejuicios personales de los observadores pueden impedir que los informes sean objetivos. Estos observadores también pueden necesitar capacitación.
• Observación electrónica o mecánica. Existen algunas circunstancias en las que la observación humana es imposible o poco práctica. Las observaciones del exceso de velocidad a menudo se realizan electrónicamente, al igual que las observaciones de condiciones de salud dentro del cuerpo humano (usando radiografías, tomografías computarizadas o de resonancia magnética, electrocardiogramas, etc.). En estas situaciones, la objetividad no representa un problema, pero es necesario asegurarse de que el equipo utilizado funcione correctamente, esté bien configurado, mantenido y protegido contra posibles daños. También es importante que quien interprete la información que proporciona el equipo esté capacitado para hacerlo y comprenda los límites y usos apropiados de esa información.
• Pruebas u otras herramientas de observación similares. Las organizaciones educativas y de salud a menudo utilizan diversos tipos de pruebas como herramientas de observación. En un contexto de servicios humanos, generalmente se utilizan para observar el progreso en habilidades, niveles de competencia o desarrollo. En salud pública o medicina, las pruebas pueden emplearse para observar el estado de salud (por ejemplo, exámenes de detección de colesterol elevado) y los efectos del tratamiento. Pueden ser muy útiles en todas estas circunstancias, pero también son muy específicas y dejan poco espacio para la intuición. Además, los resultados de las pruebas de habilidades, conocimiento o capacidad intelectual pueden verse influenciados por nerviosismo, falta de sueño, problemas personales u otros factores que tienen poco que ver con la competencia real.
• Registros públicos y similares. Si se están utilizando indicadores a nivel comunitario, como las tasas de mortalidad infantil o de lesiones por accidentes de tránsito, como una forma de analizar los resultados, será necesario usar registros, datos censales y otros materiales similares para obtener la información necesaria.

Para continuar con nuestro ejemplo anterior, el centro de salud local tendría que utilizar una variedad de estos métodos de observación. Las observaciones iniciales y continuas de la presión arterial y el peso en las sesiones mensuales de asesoramiento se realizarían mediante el uso de instrumentos —un manguito de presión arterial y una báscula—, así como mediante observación visual directa. (Aunque una reducción evidente de grasa puede no indicar pérdida de peso si la grasa ha sido reemplazada por músculo, sí indica un aumento en la condición física, lo cual puede ser igualmente beneficioso. Los niveles de condición física también podrían medirse mecánica y electrónicamente, si el programa así lo decidiera.)

La cantidad y el tipo de ejercicio que realizara cada participante serían autoobservados y autoinformados a través de diarios y entrevistas. Las sensaciones de bienestar serían autoinformadas, pero también podrían ser observadas por consejeros capacitados para identificar cambios a lo largo del tiempo en la postura, la presentación personal y otros indicadores observables. Finalmente, las observaciones del ejercicio continuo se obtendrían mediante una o más visitas de seguimiento algún tiempo después de que el programa terminara, con entrevistas, mediciones de presión arterial y peso, y una observación visual más directa de los niveles de condición física. (Los participantes también podrían aceptar continuar llevando diarios durante un período determinado después de que el programa finalice, proporcionando así un auto-reporte de sus niveles continuos de actividad física.)

Decida cuándo necesita observar

La pregunta aquí es si necesita comenzar las observaciones desde el inicio del programa (casi siempre es así) y con qué frecuencia debería observar a lo largo del proceso de evaluación.

Algunas de las posibilidades:

• Observación previa y posterior. Esto implica realizar observaciones al inicio y al final del período de evaluación o del programa. Es el equivalente a lo que muchas escuelas hacen con las pruebas estandarizadas: evalúan los puntajes de lectura al principio y al final de cada año, y luego comparan ambos para determinar cuánto han avanzado los estudiantes. Aunque este tipo de observación puede indicar si hubo cambios durante el programa, no ofrece evidencia sólida sobre cómo ocurrió el cambio, qué lo causó o qué tan efectivas fueron las estrategias utilizadas.

Esta explicación asume únicamente la observación antes y después. La mayoría de las posibilidades aquí incluyen la observación previa y posterior, pero añaden otras observaciones adicionales. Para la mayoría de los tipos de evaluación, debería comenzar a observar desde el principio, o incluso antes del inicio (para comprender si los posibles cambios forman parte de una tendencia ya existente). Si realiza su primera observación a mitad del proceso, no sabrá si los cambios ocurrieron antes de ese punto. Un cambio importante puede suceder al inicio en algunas intervenciones, al final en otras, de manera constante a lo largo del proceso en otras más, o incluso solo después de que la intervención haya concluido. Es importante saber exactamente desde dónde comenzó para comprender por completo lo que está observando. Puede ser que una intervención larga no sea más efectiva que una corta, o que una breve no tenga ningún efecto. Solo puede determinarlo conociendo el punto de partida y mediante mediciones repetidas o continuas.

Si su programa o esfuerzo tiene un objetivo específico y puntual -por ejemplo, la aprobación de una ley o la limpieza de un espacio determinado-, puede ser tentador evaluarlo únicamente según si alcanzó la meta o no (es decir, una sola observación al final del esfuerzo). Esto sería un error, porque no tomaría en cuenta qué partes del esfuerzo fueron exitosas y por qué, independientemente de si logró la meta. Esa es una información esencial que necesitará la próxima vez -y habrá una próxima vez- que usted u otras personas en la comunidad emprendan un esfuerzo similar.

• A intervalos regulares durante el período de evaluación. Usted podría elegir cualquier intervalo, desde una vez por hora hasta una vez al mes o más, dependiendo de lo que esté observando. La regularidad facilita la programación de las observaciones y ofrece una visión continua, intervalo por intervalo, de lo que está ocurriendo.
• A intervalos irregulares durante el período de evaluación. La razón de este tipo de programación puede ser logística (usted observa cuando puede); puede tener que ver con asegurar que las observaciones no sean esperadas, de modo que se obtenga una imagen más auténtica de lo que se está evaluando; o puede ser un intento de observar el programa o esfuerzo de manera aleatoria, nuevamente con el fin de obtener una representación precisa.
• En momentos específicos durante el período de evaluación. En este caso, usted podría querer observar lo que sucede o lo que los participantes están haciendo en distintos momentos identificables que implican diferentes condiciones. Por ejemplo, al observar el uso del parque comunitario mencionado anteriormente, usted podría asegurarse de visitarlo entre semana, los fines de semana, por la mañana, por la tarde y por la noche, en cada una de las cuatro estaciones, con lluvia, nubes, sol y nieve, así como en los días en que se realicen eventos especiales, para ver quiénes usan el parque y cómo lo hacen bajo diversas condiciones y en distintos momentos. Si está monitoreando el proceso y el progreso del programa, es importante asegurarse de observar cada una de sus etapas -la planificación, la preparación, la implementación, la evaluación y cualquier seguimiento- para obtener una visión completa de lo que se hizo y cómo se hizo. Esto le proporcionará la información necesaria para analizar y realizar los ajustes pertinentes en la manera en que lleva a cabo su labor.
• De forma continua. Cuando el observador es un miembro del personal que trabaja con los participantes del programa (o uno o más de los propios participantes), puede ser posible realizar observaciones de manera continua. En este caso, el observador podría observar directamente utilizando listas de verificación, mantener un diario, pedir a los participantes que registren información, grabar las sesiones en video o audio, o registrar lo que ocurre de alguna otra manera, de modo que exista un registro continuo y diario del comportamiento y de lo que sucede en el entorno del programa.

En el centro de salud local, parte de la observación -particularmente el monitoreo de la presión arterial y el peso de los participantes- se realizaría a intervalos regulares, durante las reuniones mensuales. También habría cierta observación continua, consistente en que los participantes llevarían un registro de sus programas de ejercicio en diarios personales. Finalmente, averiguar si los participantes continuaron con sus rutinas implicaría una o dos observaciones de seguimiento, posiblemente seis meses y un año después de que el programa haya concluido.

Defina y describa los comportamientos, productos, condiciones y/o eventos que deben ser observados

Si desea asegurarse de que los observadores comprendan a qué se refieren en sus informes, debe ser específico sobre lo que desea que observen. El grupo de planificación, o un subgrupo del mismo -lo ideal sería un grupo que incluya una alta proporción de personas que serán realmente los investigadores y observadores-, debe establecer estándares de identificación para cada elemento a observar. Estos estándares deberían explicar cómo se manifiesta, cuándo es probable que ocurra, quiénes probablemente estén involucrados, etc.
Por ejemplo, para observar el acoso escolar o la violencia interpersonal en un patio de recreo, sería necesario contar con definiciones claras de dicho comportamiento, ejemplos y contraejemplos, e instrucciones para la puntuación. De esta manera, todos los observadores podrían comenzar con la misma guía sobre lo que deben buscar.

Diseñe la capacitación para los observadores

A menos que toda la observación vaya a ser realizada por quienes participan directamente en la planificación (lo cual no es imposible en una organización pequeña), y dependiendo de su experiencia previa, los observadores podrían necesitar capacitación en una o más áreas:

• Qué es importante registrar y por qué. Las personas sin experiencia en investigación podrían no darse cuenta de la importancia de registrar detalles como la fecha, la hora, la duración de la evaluación, el lugar y las circunstancias de cualquier observación, una descripción de quiénes estuvieron involucrados y por cuánto tiempo, si hubo personas o condiciones inesperadas presentes, etc. Por ejemplo, una observación realizada temprano en la mañana podría proporcionar un conjunto diferente de observaciones que una realizada a última hora de la tarde o noche. La presencia de otras personas en una situación o entrevista -parientes, amigos, personal del programa- puede cambiar el carácter de los comportamientos observados o de la información ofrecida. Por lo tanto, es crucial que los observadores comprendan que el contexto de la observación puede ser tan importante como su contenido.
• Las definiciones y descripciones de los comportamientos, condiciones, eventos o situaciones a observar. Definiciones y descripciones cuidadosas de lo que se debe observar no serán de mucha utilidad si quienes realizarán las observaciones no están familiarizados con ellas.
• Efectos de la observación. En algunos casos, el comportamiento de los participantes podría cambiar como resultado de sus reacciones al ser observados. Los observadores deben ser conscientes de esa posibilidad y procurar que su propia conducta sea lo más discreta posible, para no influir en los comportamientos de los participantes.

Además de los observadores humanos, la presencia de equipos de audio o video también puede tener un efecto. Una manera de contrarrestarlo es esperar para comenzar a recopilar datos hasta que los participantes se hayan acostumbrado a la presencia del equipo. También es importante obtener el permiso de los participantes con anticipación para utilizar equipos de grabación.

• Sesgo del observador. Especialmente en situaciones donde los observadores también son parte del personal del programa, sus relaciones con los participantes o simplemente su vínculo con el esfuerzo en general pueden afectar sus informes u observaciones. Si sienten simpatía o antipatía por un participante en particular, eso podría influir en cómo interpretan o describen el comportamiento de esa persona. Si están muy comprometidos con el éxito del programa que se evalúa, pueden -de manera intencional o no- presentar los resultados de la forma más favorable posible. Además, tanto si forman parte del personal como si no, los observadores pueden verse influidos por sus suposiciones personales, su contexto cultural, religioso o educativo, o por sus circunstancias psicológicas o de vida actuales. Si se les ayuda a reconocer estos sesgos y a comprender por qué y cómo deben ser reconocidos o eliminados, habrá una mayor probabilidad de que realicen observaciones más confiables.
• Desviación del observador. En ocasiones, después de un tiempo de estar observando, las observaciones de las personas tienden a adquirir cierta regularidad basada en reglas personales en lugar de definiciones compartidas y estandarizadas. Por ejemplo, podrían tender a evaluar el comportamiento de ciertos participantes basándose más en experiencias pasadas que en lo que realmente observan en el momento.

También puede ser necesario corregir los efectos, sesgos o desviaciones del observador a lo largo del proceso de evaluación. Esto forma parte de diseñar mecanismos de verificación de la precisión y la fiabilidad basados en un estándar establecido.

Diseñar mecanismos de verificación de la fiabilidad y la precisión

Si la información ha de ser confiable, es importante que cuando dos observadores registren un comportamiento determinado, ambos signifiquen exactamente lo mismo. Esto depende tanto de la capacitación (como se mencionó anteriormente) como de la verificación, ya sea al inicio o periódicamente, para asegurarse de que todos los observadores estén interpretando las situaciones de la misma manera. Un diseño participativo del sistema puede ser útil en este aspecto. Si los observadores participan en la definición de lo que van a observar, hay muchas más probabilidades de que lo perciban de forma similar.

Algunas maneras de asegurar el acuerdo entre los observadores:

• Utilizar un estándar externo. Una forma de definir lo que se está buscando es emplear un estándar que todos los observadores usen y acepten. “El comportamiento X se presenta de esta manera, ocurre en estas circunstancias, dura este periodo de tiempo y tiene estos efectos o resultados posteriores.” El uso de estándares externos suele implicar una lista de verificación o un instrumento similar. El observador marca los componentes de un comportamiento o condición, documentando así lo que observa de un modo que permitiría a otro observador calificar el mismo evento de manera equivalente. Dichos estándares ayudan a garantizar la precisión continua del sistema de observación.

Los equipos de investigación y los laboratorios suelen utilizar estándares para garantizar la coherencia en la identificación de diversas condiciones. Cada condición se describe con detalle e incluye distintos indicadores posibles, como las mediciones de la presión arterial o la presencia de toxinas ambientales.

• Verifique la fiabilidad entre evaluadores. La fiabilidad entre evaluadores es el término utilizado en la investigación para evaluar si todos los observadores interpretan de la misma manera los mismos elementos, ya sean comportamientos, condiciones o eventos. Una forma de abordarla consiste en comparar a los observadores entre sí. Dos o más observadores son expuestos a las mismas situaciones o a la misma información y luego se comparan sus registros, por ejemplo, de casos de acoso. Si todos coinciden esencialmente en sus observaciones, la fiabilidad entre evaluadores es alta, y todo está en orden. Por lo general, en investigación, si los observadores concuerdan en un 80 % o más de las veces, las observaciones se consideran confiables. Si no coinciden en lo que observaron, se debe identificar la fuente del desacuerdo. Puede que definan los términos de manera diferente o que sus antecedentes influyan en cómo interpretan una misma situación. Sea cual sea la causa, es necesario descubrir esas diferencias y encontrar una manera de lograr que todos los observadores perciban las situaciones de manera similar y precisa.
• Utilice verificaciones aleatorias de terceros. Un investigador, director del programa u otra persona que tenga claro qué información es importante y cómo se presentan las distintas condiciones o comportamientos puede realizar observaciones en situaciones elegidas al azar junto con un observador habitual, para verificar si sus registros coinciden razonablemente. Si discrepan una vez, puede no tener importancia; pero si las discrepancias son constantes, entonces hay un problema que debe abordarse.

Determine cómo revisar y ajustar su sistema de observación para la próxima evaluación

Esta sección es la versión de “manténgase en ello”. Al igual que su programa, su evaluación -incluido su sistema de observación- debe ser evaluada y ajustada para que sea lo más eficaz posible.

Ahora usted está listo para comenzar a recopilar y analizar los datos. Con una planificación cuidadosa y una buena capacitación, debería poder obtener la información que necesita para su evaluación.

En resumen

Para llevar a cabo una evaluación que le permita ver su programa o esfuerzo con claridad y ajustarlo o mejorarlo, usted debe contar con una manera de recopilar información precisa y útil sobre él. El sistema de observación que utilice es la forma en que usted observa lo que está haciendo: su propio proceso, el comportamiento de los participantes, su progreso y resultados, así como las condiciones que afectan su esfuerzo o que su esfuerzo busca cambiar. Todo esto con el fin de obtener la información que analizará para evaluar su trabajo. Ese sistema debe ser viable dentro de sus recursos y debe ajustarse a la naturaleza de su programa; por lo tanto, diseñarlo es una parte esencial de su evaluación.

El diseño de sistemas de observación se lleva a cabo mejor mediante un proceso participativo, especialmente uno que involucre tanto a investigadores o evaluadores como a quienes realizarán la recolección de datos. Esa participación les permitirá comprender claramente el sistema, la información necesaria y los posibles obstáculos que podrían encontrar durante la recolección de datos. El resultado debería ser un sistema más confiable y, en última instancia, datos más precisos para su evaluación.