Sección 5. Recolectar y analizar información

• ¿Qué queremos decir por recolectar información?

• ¿Qué queremos decir por analizar información?

• ¿Por qué se debería recolectar y analizar información para su evaluación?

• ¿Cómo se recolecta y se analiza la información?¿Qué queremos decir por recolectar información?

En secciones previas a este capítulo, hemos discutido el estudiar el asunto, decidir en el diseño para la investigación, en crear un sistema de observación para la obtención de información para su evaluación. Ahora es el momento para recolectar su información y analizarla –descifrar que es lo que significa – para que así usted pueda usarla para sacar conclusiones acerca de su trabajo. En esta sección, nosotros examinaremos cómo hacer exactamente eso.

¿Qué queremos decir por recolectar información?

Esencialmente, recolectar información significa poner su diseño para recolectar información en acción. Usted ha decidido cómo usted va a obtener información – ya sea por medio de observación directa, entrevistas, encuestas, experimentos y evaluaciones, u otros métodos – y ahora usted y/u otros observadores tienen que implementar su plan. Sin embargo, todavía hay más que recolectar. Si ustedes están llevando a cabo observaciones, por ejemplo, usted tiene que definir qué está observando y programar para hacer las observaciones en los momentos indicados, así usted puede realmente observar lo que usted necesita. Usted tiene que registrar las observaciones de maneras apropiadas y organizarlas para que así ellas sean lo más útiles posibles.

El documentar (registrar) y organizar la información puede tomar diferentes formas. Eso depende del tipo de información que usted está recolectando. La manera en que usted recolecta su información deberá estar relacionada a cómo usted está planeando analizarla y usarla. Dejando de lado el método que usted decida usar, documentar debe hacerse simultáneamente con la recolección de información si es posible, o muy pronto después, para que así nada se pierda y la memoria de lo que se observó no se vuelva borrosa.

Algunas de las cosas que usted podría hacer con la información que usted recolecta incluye:

• Recolectar información de todas clases de fuentes y observaciones.
• Hacer fotocopias de todos los formularios, registros, grabaciones de audio y vídeo, y cualquier otro tipo de material recolectado para prevenir cualquier pérdida o eliminación accidental de información, u otra clase de problema.
• Digitalizar los relatos, números, y otra información y guardar en un programa de computación, donde ellos puedan ser organizados y/o pueden ser utilizados en diversas maneras.
• Llevar a cabo cualquier operación matemática o similar necesaria para tener la información cuantitativa lista para el análisis. Estas podrían, por ejemplo, incluir ingresar observaciones numéricas en un diagrama, tabla, u hoja de cálculo, o calcular la media (promedio), la mediana (valor que ocupa el lugar central), y/o la moda (valor más repetido) de un set de números.
• Transcribir (hacer una versión exacta palabra por palabra de) los contenidos de las grabaciones de audio o vídeo.
• Codificar información, particularmente información cualitativa que no está expresada en números, de una manera que permita ser procesada por un programa específico de software o puede ser sometido a un análisis estadístico.)
• Organizar la información de manera que sea más fácil de trabajar. Cómo lo haga depende del diseño de su investigación y sus preguntas de evaluación. Usted podría agrupar las observaciones con base a la variable dependiente (indicador de éxito) al cual ellos se relacionan, por los individuos o grupos de participantes, por el tiempo, por la actividad, etc. Usted podría también agrupar las observaciones en diferentes maneras, así usted puede estudiar interacciones entre las diferentes variables.

Existen dos tipos de variables en investigación. Una variable independiente. Una variable independiente (la intervención) es una condición implementada por el investigador o comunidad para ver si eso creará un cambio o mejoría. Esto podría ser un programa, método, sistema u otra acción. Una variable dependiente es lo que puede cambiar como resultado de la variable independiente o la intervención. Una variable dependiente podría ser un comportamiento, resultados/beneficios, u otra condición. Un programa para dejar de fumar, por ejemplo, es una variable independiente que puede cambiar el comportamiento de los miembros del grupo hacia el fumado, la variable dependiente primaria

¿Qué queremos decir por analizar información?

Analizar información incluye examinarla de maneras que muestran las relaciones, patrones, tendencias, etc. que puedan ser encontradas. Eso podría significar el someterlo a operaciones estadísticas que puedan mostrarle no solo qué tipos de relaciones parecen existir entre las variables sino a qué nivel usted puede confiar en las repuestas que usted está obteniendo. Eso podría significar comparar su información con la de otros grupos (un control o un grupo de comparación, figuras a nivel estatal, etc.), para ayudar a sacar conclusiones de la información obtenida. El punto, en términos de su evaluación, es el obtener una evaluación/valoración precisa con el objetivo de entender de mejor manera su trabajo y sus efectos en aquellos por los cuales usted está preocupado, o con el propósito de entender de mejor maneras la situación a nivel general.

Existen dos tipos de información con la cual usted está propenso a trabajar, aunque no todas las evaluaciones necesariamente incluirán ambos. Información cuantitativa se refiere a la información que es recolectada como, o puede ser transformada en, números, lo cual puede ser mostrado y analizado matemáticamente. Información cualitativa es recolectada como descripciones, anécdotas, opiniones, citas, interpretaciones, etc. y son generalmente o no capaces de ser reducido a números, o considerados más valiosa o informativa si es dejada como un relato (narrativamente). Como usted podría esperarse, la información cuantitativa y la cualitativa necesitan ser analizadas de diferente forma.

Información cuantitativa.

Como hemos mencionado, la información cuantitativa es recolectada normalmente directamente como números.

• La frecuencia (índice, duración) de los comportamientos o condiciones específicas.
• Puntuaciones de pruebas (ej., puntuaciones/niveles de conocimientos, habilidad, etc.)
• Resultado de encuestas (ej., comportamiento reportado, o consecuencias de las condiciones ambientales; índices de satisfacción, estrés, etc.)
• Números o porcentajes de las personas con ciertas características en una población (diagnosticados con diabetes, sin empleo, hispano-hablantes, menores de 14 años de edad, nivel educativo completado, etc.)

La información puede también ser recolectada en formas diferentes de la numérica, y ser convertido en información cuantitativa para el análisis. Los investigadores pueden contar el número de veces que un evento es documentado en las entrevistas o registros, por ejemplo, o asignarle números a los niveles de intensidad de un evento o comportamiento observado. Por ejemplo, las iniciativas comunitarias a menudo quieren documentar la cantidad e intensidad de los cambios ambientales que ellos promueven – los nuevos programas y las políticas que surgen como resultado de sus esfuerzos. Si esta clase de conversión es necesaria o útil depende de la naturaleza de lo que usted está observando y en los tipos de preguntas que su evaluación necesita responder.

La información cuantitativa es usualmente sometida a procedimientos estadísticos como calcular la media o promedio de veces que un evento o comportamiento ocurre (por día, mes, año). Estas operaciones, debido a que los números son información “sólida” y no se interpreta, pueden dar respuestas definitivas, o cercanas a ser definitivas a diferentes preguntas. Varios tipos de análisis cuantitativo pueden indicar cambios en una variable dependiente relacionada a – frecuencia, duración, momento (cuando el asunto particular pasó), intensidad, nivel, etc. Ellos pueden permitirle comparar esos cambios con otros, los cambios en otra variable o cambios en otra población. Ellos podrían ser capaces de decirle, en un grado particular de fiabilidad, si esos cambios son propensos a ser causados por su intervención o programa, o por otro factor, conocido o desconocido.Y ellos pueden identificar relaciones entre las diferentes variables, lo cual puede o no significar que uno causa el otro.

Información cualitativa.

Diferente de los números o “datos rigurosos”, la información cualitativa parece ser “blanda”, lo que quiere decir que no puede ser siempre reducida a algo definido. Eso es en algunas maneras una debilidad, pero es a su vez una fortaleza. Un número puede decirle cuán bien salió un estudiante en una prueba (examen); la expresión en su cara después de ver su nota, sin embargo puede decir mucho más acerca del efecto del ese resultado en su vida. Esa expresión no puede ser traducida por un número, ni lo puede hacer el conocimiento del maestro acerca de la historia, progreso, y experiencia del estudiante, todo lo cual termina en la interpretación del maestro de esa expresión facial. Y esa interpretación puede ser más valiosa en ayudar a la superación del estudiante que saber la nota o la puntuación numérica de la prueba.

Como explicamos anteriormente, la información cualitativa puede ser muchas veces convertida en números, usualmente al contar el número de veces que situaciones específicas ocurren en el curos de observaciones o entrevistas, o al asignar números o índices a dimensiones (ej., importancia, satisfacción, facilidad del uso).

Los retos de traducir datos cualitativos en cuantitativos tienen que ver con el factor humano. Aún si la mayoría de las personas están de acuerdo con lo que 1 (más bajo) o 5 (más alto) significa con respecto a los índices de “satisfacción” con un programa, los índices 2, 3 y 4 pueden ser muy diferentes para diferentes personas. Además, los números no dicen nada acerca de por qué las personas reportaron de la manera que lo hicieron. Uno pudo no gustarle el programa debido al contenido, el facilitador, la hora del día, etc. De igual manera puede ser cierto cuando usted está contando los momentos que fue mencionado un evento, tal como al comienzo de una nueva política o programa en una comunidad basada en entrevistas o registros de archivo. Donde una persona pueda ver un cambio en el programa que él considera importante otra persona puede omitirlo debido a que es percibido no importante.

Los datos cualitativos pueden algunas veces decirle cosas que los datos cuantitativos no pueden. Eso puede revelar el por qué ciertos métodos están trabajando o no, si parte de que se está haciendo entra en conflicto con la cultura del participantes, lo que los participantes ven como importante, etc. Eso puede también mostrar patrones – en comportamiento, ambiente físico y social, u otros factores – que los números en sus datos cuantitativos no y ocasionalmente aún identifica variables que los investigadores no estuvieron conscientes.

Es a menudo útil recolectar tanto la información cuantitativa y cualitativa

El análisis cuantitativo es considerado a ser objetivo – sin ningún prejuicio humano adherido a él- debido a que depende de la comparación de números de acuerdo a cálculos matemáticos. El análisis de datos cualitativos es generalmente logrado con métodos más subjetivos – que dependen de las opiniones de las personas, su conocimiento, suposiciones, e inferencias (y por lo tanto prejuicios) – que aquella llevada a cabo de los datos cuantitativos. La identificación de patrones, la interpretación de lo que dijo la gente u otra comunicación, el reconocimiento de tendencia – todos estos pueden ser influenciados por la forma en que el investigador ve el mundo. Esté consciente, sin embargo, que el análisis cuantitativo está influenciado por un número de factores subjetivos de igual manera. Lo que el investigador escoge medir, la precisión de las observaciones, y la manera que la investigación está estructurada al preguntar solo ciertas preguntas puede todo influenciar los resultados, así como lo puede hacer el entendimiento y la interpretación del investigador de los posteriores análisis.

¿Por qué se debería recolectar y analizar información para su evaluación?

Parte de la respuesta aquí es que no cada organización – particularmente las pequeñas con bases comunitarias o no gubernamentales – necesitará tener recursos amplios para conducir una evaluación formal. Ellos pueden tener que estar satisfechos con evaluaciones menos formales, las cuales pueden aún ser extremadamente útiles al brindar dirección para un programa o intervención. Una evaluación informal involucrará alguna recolección de datos y análisis. Esta recolección de datos y que tenga sentido es crítico para una iniciativa y su éxito futuro, y tiene un número de ventajas.

• Los datos pueden mostrarse si hubo cualquier cambio significativo/importante en las variables dependientes que se esperando influenciar. La recolección y el análisis de datos ayudan a ver si su intervención produjo los resultados deseados.

El término “importancia” tiene un significado específico cuando usted está discutiendo estadísticas. El nivel de importancia de un resultado estadístico es el nivel de confianza que usted puede tener en la respuesta que usted obtiene. Generalmente, los investigadores no consideran un resultado significativo/ importante solo si muestra por lo menos un 95% de certeza de que es correcto (llamado el nivel .05 de importancia, debido a que existe un 5% de posibilidad de que eso esté equivocado.) El nivel de importancia está construido en fórmulas estadísticas: una vez que se obtiene un resultado matemático, una tabla (o el software que se está usando) le dirá el nivel de importancia.

Así, si el análisis de datos encuentra que la variable independiente (la intervención) influenció la variable dependiente en el 0.5 nivel de importancia, eso significa que existe una probabilidad o posibilidad de un 95% de que su programa o intervención obtuvo el efecto deseado. El nivel .05 de importancia es generalmente considerado un resultado razonable, y el .01 nivel (99% de probabilidad) es considerado a ser lo más cercano a la certeza que ser puede llegar.

Un 95% de nivel de certeza no significa que el programa trabaja en un 95% de los participantes, o que eso va a trabajar un 95% de las veces. Esto significa que existe sólo un 5% de posibilidad que el programa no es realmente lo que está influenciando la(s) variable(s) dependiente(s) y causando los cambios que deberían estar asociados a él.

• Ellos pueden sacar a la luz factores que pueden estar asociados con cambios en las variables dependientes. Los análisis de datos pueden ayudar a descubrir influencias inesperadas; por ejemplo, que el esfuerzo fuera dos veces tan largo para aquellos participantes que también eran parte del grupo de apoyo. Esto puede ser usado para identificar aspectos claves de implementación.
• Ellos pueden mostrar conexiones entre varios factores que pueden tener un efecto en los resultados de su evaluación. Algunos tipos de procedimientos estadísticos buscan conexiones (“correlaciones” es el término de investigación) entre las variables. Ciertas variables dependientes pueden cambiar cuando otros cambian. Estos cambios pueden ser similares – ej., ambas variables aumentan o disminuyen (ej., por forme la habilidad de en la lectura aumenta, la cantidad de lectura hecha por ellos también aumenta.) O lo opuesto puede pasar – ej., las dos variables cambian en direcciones opuestas (conforme la cantidad de ejercicio que hacen aumenta, el peso de las personas disminuye). Correlaciones no significan que una causa la otra, o que ambas tiene la misma causa, pero ellos pueden brindar información valiosa acerca de asociaciones esperables en una evaluación.
• Ellos pueden ayudar a esclarecer las razones por las cuales su trabajo fue efectivo o, tal vez, no tan efectivo como usted esperaba. Al combinar los análisis cuantitativos y los cualitativos, usted puede a menudo determinar no solo que funcionó o que no, pero el por qué. El efecto de factores culturales, cuán bien se están usando los métodos, lo apropiado que es su enfoque para la población – estos así como otros factores que influencian el éxito pueden ser esclarecidos por la recolección cuidadosa de datos y su análisis. Este conocimiento le da una base para adaptar y cambiar lo que usted hace para que sea más factible que usted logre los resultados deseados en el futuro.
• Ellos pueden brindar evidencia creíble para mostrarle a los socios (interesados) que su programa fue exitoso, o que usted había sacado a la luz, y tratado las limitaciones. Los socios, tal como los financiadores y las juntas comunitarias, quieren saber que sus inversiones están siendo invertidas de la mejor manera. Al mostrar evidencia de los resultados intermedios (ej., nuevos programas y políticas) y resultados a largo plazo (ej., las mejorías en educación o los indicadores de salud) se está volviendo más y más importante para recibir – y mantener- la financiación.
• Su uso muestra que usted es serio acerca de la evaluación y acerca de mejorar su trabajo. Ser un buen fideicomisario o administrador de las inversiones comunitarias incluye revisiones regulares de datos relacionados al progreso y a la mejoría.
• Ellos pueden mostrarle al área de estudio lo que se está aprendiendo, y así pavimentar el camino para que otros implementen métodos y enfoques exitosos. De esa manera, usted estará ayudando a mejorar los esfuerzos comunitarios y, ultimadamente, la calidad de vida para las personas que se benefician.

¿Cuándo y por quién debería ser la información recolectada y analizada?

Al hablar de recolección de datos, la parte del “cuándo” de la pregunta es relativamente simple: la recolección de datos debería no después de que se comience a trabajar – o antes de que usted comience con el objetivo de establecer una línea de fondo o punto de comienzo – y continuar a lo largo. Idealmente, usted debería recolectar datos por periodo de tiempo antes de comenzar su programa o intervención con el propósito de determinar si existe alguna tendencia en los datos antes del comienzo de la intervención. Además, con el propósito de evaluar los efectos a largo plazo de su programa, usted debería recolectar datos posteriores (para el seguimiento) por un periodo de tiempo después de la conclusión del programa.

El momento del análisis puede ser visto de por lo menos dos maneras: Una es que es mejor analizar su información cuando usted la ha recolectado en su totalidad. La otra es que si usted la analiza conforme usted la va recolectando, usted es capaz de cambiar de opinión acerca de la información que usted realmente necesita, y de ajustar su programa para que responda a la información de usted está obteniendo. El enfoque que se decida tomar depende de los propósitos de su investigación. Si usted está más interesado en una evaluación sumativa – encontrar si su enfoque fue efectivo, usted podría estar más inclinado hacia la primera opción. Si usted está orientado hacia la implementación – la evaluación formativa – nosotros recomendamos obtener información a lo largo del camino. Ambos enfoques son legítimos, pero la recolección de datos en proceso continuo y su revisión puede particularmente traer mejorías en su trabajo.

El “quién” de la pregunta puede ser más complejo. Si usted está razonablemente familiar con las estadísticas y los procedimientos estadísticos, y usted tiene recursos de tiempo, dinero, y personal, es probable que usted haga un estudio relativamente formal, al usar pruebas estadísticas estandarizada. (Existen muchos tipos de software –tanto para comprar y gratuito o como open-source o “código abierto” – disponible para ayudarlo. Vínculos de algunos de estos recursos están disponibles en esta sección debajo de “Recursos”.)

Si ese no es el caso, usted tiene algunas opciones:

• Usted puede contratar o encontrar a un evaluador externo voluntario, tal como los de una Universidad o institución de estudios superiores cercana, para que se encargue de la recolección de datos y/o el análisis por usted.
• Usted puede llevar a cabo una evaluación menos formal. Sus resultados pueden no ser tan sofisticados como si usted lo hubiera llevado a cabo por medio de procedimientos estadísticos rigurosos, pero ellos pueden aún decirle mucho acerca de su programa. Solo los números – el número de deserciones (y cuándo desertan más), por ejemplo, o las características de la gente a la que usted le sirve – puede darle información importante y utilizable.
• Usted puede tratar de aprender suficiente acerca de estadísticas y software estadísticos para llevar a cabo una evaluación formal usted mismo. (Lleve un curso, por ejemplo.)
• Usted puede recolectar los datos y luego enviársela a alguien –un programa universitario, un amigo o un investigador, o alguien contratado – para procesarlo todo para usted.
• Usted puede recolectar y basarse principalmente en datos cualitativos. Si esto es una opción depende principalmente de lo que se trate el programa. Usted no querrá llevar a cabo una evaluación formal de efectividad de un medicamento nuevo usando solamente datos cualitativos, pero usted podría ser capaz de mostrar algunas conclusiones razonables acerca de patrones de uso o cumplimiento con base en la información cualitativa.
• Si es posible, use un grupo de control al azar o uno lo más similar al otro para compararlos. Si su control está apropiadamente estructurado, usted puede sacar algunas conclusiones bastantes confiables simplemente al comparar sus resultados con aquellos de su grupo de intervención. De nuevo, estos resultados no serán tan confiables como si la comparación fuera hecha usando procedimientos estadísticos, pero ellos pueden indicar si usted está en la dirección correcta. Es suficientemente fácil ver si hay o no una diferencia mayor entre los números de los dos o más grupos. Si el 95% de los estudiantes en su clase pasó la prueba, y sólo un 60 aquellos en un grupo similar pero no instruido pasaron, usted puede estar seguro que su clase hizo la diferencia de alguna manera, aunque usted pueda que no sea capaz de decir exactamente qué fue lo que importó. De la misma manera, si un 72% de sus estudiantes pasaron y un 70% del grupo de control también pasaron, parece ser bastante claro que su instrucción tenía esencialmente ningún efecto, si los grupos comenzaron aproximadamente en el mismo lugar.

Quién debería realmente recolectar y analizar los datos depende de la manera de su evaluación. Si usted está haciendo un evaluación participativa, mucho de la recolección de datos – y analizarlos- será hecha por los miembros de la comunidad o los participantes del programa ellos mismos. Si usted está llevando a cabo una evaluación en la cual la observación es especializada, los recolectores de datos podrían ser miembros del equipo de trabajo, profesionales, voluntarios altamente entrenados, u otros con habilidades o capacitación específica (estudiantes de maestría, por ejemplo). El análisis también puede ser logrado por un proceso participativo. Aún donde procedimientos estadísticos complicados son necesarios, los participantes y/o los miembros de la comunidad podrían ser involucrados al explicar que es lo que esos resultados realmente significan una vez que la matemática está hecha y los resultados están listos. Otra manera en que el análisis puede ser logrado es por medio de los profesionales u otros individuos capacitados, dependiendo de la clase de la naturaleza a ser analizada, los métodos de análisis, y el nivel de sofisticación al cual se intenta tener en las conclusiones.

¿Cómo recolectar y analizar información?

Aún si su evaluación incluye procedimientos formales o informales, usted todavía tiene que recolectar y analizar la información, y existen algunos pasos básicos que usted puede tomar para hacerlo.

Implementar su sistema de medición.

 Hemos discutido acerca de diseñar un sistema observacional para obtener información. Ahora es el momento de poner ese sistema a cabo.

• Claramente defina y describa cuáles mediciones u observaciones son necesarias. La definición y descripción debería ser lo suficientemente clara para permitirle a los observantes estar desacuerdo en qué es lo que ellos están observando y de buena fuente documentar los datos de igual manera.
• Seleccionar y capacitar a los observadores. Particularmente si esto es parte de un proceso participativo, los observadores necesitan capacitación para saber qué documentar; para reconocer los comportamientos clave, eventos, y condiciones; y para alcanzar un nivel aceptable de confiabilidad interna (acuerdo entre los observadores.)
• Llevar a cabo observaciones en momentos apropiados para el periodo apropiado. Esto puede incluir revisar material archivado; llevar a cabo entrevistas, encuestas, o grupos focales; enfocarse en la observación directa, etc.
• Documentar los datos en las maneras acordadas. Esto puede incluir papel y lápiz, computadoras (al usar una computadora portátil u otro aparato de uso manual en el área, ingresar números en el programa, etc.), audio o vídeo, revistas, etc.

 Organizar los datos que usted ha recolectado.

La manera que usted haga esto depende de qué es lo que usted está planeando hacer con eso, y en qué se está interesado.

• Ingresar cualquier dato a la computadora. Esto puede significar simplemente digitalizar los comentarios, descripciones, etc., e incluirlos en un programa de procesamiento de palabras, o al ingresar información variada (posiblemente incluir el audio o vídeo) a una base de datos, hoja de cálculo, un programa GIS, o algún otro tipo de software o archivo.
• Transcribir cualquier audio- o cintas de vídeos. Esto los hace más fáciles para trabajar y copiar, y permite la oportunidad para aclarar cualquier segmento de dicción que sea difícil de entender.
• Darle una puntuación a cualquier prueba y documente las puntuaciones apropiadamente.
• Clasificar su información en maneras apropiadas de su interés. Esto puede incluir clasificar por categoría de observación, por evento, por lugar, por individuo, por grupo, por el tiempo de observación, o por una combinación o algún otro estándar.
• Cuando sea posible, necesario, y apropiado, transforme los datos cualitativos en datos cuantitativos. Esto puede involucrar, por ejemplo, contar el número de veces que asuntos específicos fueron mencionados en las entrevistas, o cuán a menudo ciertos comportamientos fueron observados.

Llevar a cabo gráfica de datos, inspecciones visuales, análisis estadísticos, u otras operaciones en los datos de forma apropiada.

Nos hemos referido varias veces a los procedimientos estadísticos que usted puede aplicar a los datos cuantitativos. Si usted tiene los números correctos, usted puede descubrir mucho acerca de si su programa está causando o contribuyendo a un cambio o mejoría, cuál es ese cambio, si existen conexiones esperadas o inesperadas entre las variables, cómo se compara su grupo con otro que usted esté evaluando, etc.

Existen otras posibilidades excelentes para el análisis además de los procedimientos estadísticos, sin embargo. Algunas de ellas incluyen:

• Conteo simple, inspección visual y gráficos de frecuencia o índices de comportamiento, eventos, etc., a través del tiempo.
• Usar inspección visual de los patrones a lo largo del tiempo para identificar discontinuidades (aumentos, disminuciones marcadas) en las medidas a través del tiempo (sesiones, semanas, meses).
• Calcular la media (promedio), la mediana (valor que ocupa el lugar central), y/o la moda (valor más repetido) de una serie de medidas u observaciones. ¿Cuál fue la presión sanguínea promedio, por ejemplo, de las personas que se ejercitaron por 30 minutos al día por lo menos cinco días a la semana, en contraposición a aquellos que se ejercitaron dos días a la semana o menos?
• Usar entrevistas cualitativas, conversaciones, y observación participativa para observar (y seguirle a pista a los cambios) en las personas o situaciones. Los diarios pueden ser particularmente reveladores en esta área debido a que ellos documentan las experiencias de las personas y sus reflexiones a través de un tiempo.
• Encontrar patrones en los datos cualitativos. Si muchas personas se refirieron a problemas o barreras similares, estos pueden ser importantes en el entendimiento del asunto, al determinar qué funciona o qué no y por qué, o más.
• Comparar los verdaderos resultados con las metas o puntos de referencia previamente determinadas. Una medida de éxito podría ser alcanzar una meta para el planeamiento o programa de implementación, por ejemplo.

Tome nota de cualquier resultado significativo o interesante.

Dependiendo de la naturaleza de su investigación, los resultados podrían ser estadísticamente significativos (el 95% o mejor certeza de la que hemos discutido anteriormente), o simplemente importantes o inusuales. Ellos pueden o no ser socialmente significativos (p.ej., suficientemente grandes para resolver el problema).

Existen un número de tipos diferentes de resultados que usted puede estar buscando.

• Diferencias entre las personas o los grupos. Si usted ha repetido mediciones para individuos/grupos a través del tiempo, podemos ver si existen aumentos/disminuciones marcadas en (la frecuencia, tipo) de comportamiento (eventos, etc.) después de la introducción del programa o intervención. Cuando los efectos son vistos y solo cuando la intervención es introducida – y si la intervención es escalonado (retrasado) a lo largo de la gente o los grupos – esto aumenta nuestra certeza que la intervención, y no algo más, está produciendo los efectos observados.
• Diferencias entre dos o más grupos. Si usted tiene uno o más grupos de control al azar en un estudio formal (grupos que son escogidos al azar con una misma población como el grupo en su programa, pero no están recibiendo el mismo programa o intervención, o no está recibiendo una del todo), luego la significancia estadística de las diferencias entre los grupos debería decir si su programa tiene una alguna influencia mayor en la(s) variable(s) dependiente(s) que la que se está experimentando por los otros grupos.
• Los resultados que muestran cambios significativos estadísticamente hablando. Con o sin un grupo de control o de comparación, muchos procedimientos estadísticos pueden decirle si los cambios en las variables dependientes son verdaderamente significativos (o posiblemente no lo sean debido al cambio). Estos resultados pueden decir muy poco acerca de las causas del cambio (o ellos pueden, dependiendo de cómo usted ha estructurado su evaluación), pero ellos le dicen a usted que es lo que está pasando, y le dan un lugar para comenzar.
• Correlaciones. Correlación significa que existen conexiones entre dos o más variables. Correlaciones pueden algunas veces resaltar a relaciones importantes que usted podría no haber predicho. Algunas veces ellos pueden dar luz al asunto por el mismo, y algunas veces en los efectos de las prácticas culturales de un grupo. En algunos casos, ellos pueden realzar las causas potenciales de un asunto o condición, y así pavimentar el camino para intervenciones futuras.
• Patrones. En ambos, tanto la información cuantitativa y cualitativa, patrones a menudo emergen: ciertas condiciones de salud parecen agruparse en áreas geográficas particulares; las personas de un grupo en particular se comportan de maneras similares; etc. Estos patrones podría no ser específicamente lo que usted está buscando o espera encontrar, pero ellos podrían ser importantes por ellos mismos o sacar a la luz áreas en las que usted esté interesado. En algunos casos, usted podría necesitar someterlos a procedimientos estadísticos (análisis de regresión, por ejemplo) ver si, en realidad, ellos están al azar, o si ellos constituyen patrones reales.
• Descubrimientos importantes evidentes. Si es el resultado de un análisis estadístico, o la evaluación de sus datos y la aplicación de lógica, algunos descubrimientos pueden resaltar. Si el 70% de un grupo de participantes con sobrepeso en un programa de actividad física y nutrición saludable bajan su peso y presión sanguínea significativamente, comparado con solamente el 20% de un grupo similar no en el programa, usted puede probablemente asumir que el programa ha sido efectivo. Si no existe ningún cambio del todo en los resultados en educación después de dos años de su programa educativo, entonces usted puede estar o llevando a cabo un programa no efectivo, o simplemente no está alcanzando a aquellos que tienen más tendencias de tener pobres resultados (lo cual también puede ser interpretado como que está llevando a cabo un programa que no es efectivo.)

No todos los descubrimientos importantes necesariamente le dirán si su programa trabaja o que es el método más efectivo. Podría ser obvio para la recolección de datos, por ejemplo, que, mientras la violencia o las lesiones en la carretera no sea visto como un problema a nivel de ciudad, ellos son mucho más altos en una o más áreas particulares, o que los índices de diabetes están marcadamente mucho más altos para grupos particulares o para aquellos viviendo en áreas con mayores diferencias de ingresos. Si usted tiene los recursos, es sabio ver los resultados de su investigación en un número de maneras diferentes, ambos para encontrar cómo mejorar su programa, y aprender qué más usted podría hacer para afectar el asunto.

Interpretar los resultados.

Una vez que usted ha organizado sus resultados y que los revise a través ya sea de un análisis estadístico u otro que usted ya haya planeado, es el momento para descifrar qué es lo que significa su evaluación. Probablemente la pregunta más común que la investigación evaluativa es dirigida hacia si el programa que está siendo evaluado trabajo o hace una diferencia. En términos de investigación, que a menudo se traduce en “¿Cuáles fueron los efectos de la variable independiente (el programa, intervención, etc.) en la(s) variable(s) independiente(s) (el comportamiento, las condiciones, u otros factores que se intentaba cambiar)?” Existen un número de posibles preguntas a esta pregunta:

• Su programa tuvo exactamente los efectos en las variables dependientes que usted esperado y deseaba que tuviera. Estadísticas u otros análisis mostraron claros efectos positivos en un alto nivel de importancia para las personas en su programa y – si usted usó un diseño de grupo-múltiple – ninguno o muy pocos, con los mismos efectos para un grupo de control similar y/o para un grupo que recibía una intervención diferente con el mismo propósito. Su programa educativo en infancia, por ejemplo, grandemente aumentó los resultados de desarrollo para los niños de la comunidad, y también contribuyó a un aumento en el porcentaje de los niños que mejoraron en la escuela.
• Su programa no tuvo efecto. Su programa no produjo resultados significativos en la variable dependiente, por sí misma o al ser comparada con otros grupos. Esto significaría que no hubo ningún cambio como resultado del programa o la intervención.
• Su programa tuvo un efecto negativo. Por ejemplo, la violencia entre compañeros íntimos aumentó (o por lo menos parece ser) parte del resultado de su intervención. (Es relativamente común para los eventos reportados, tales como la violencia o las lesiones, que se aumente cuando la intervención resulta en una mejoría de vigilancia o facilidad de reporte).
• Su programa tuvo los efectos esperados y otros efectos también.
• Estos efectos podrían ser positives.Su programa de prevención de la violencia juvenil, por ejemplo, podría haber resultado en una reducción grande de la violencia entre los adolescentes, y podría también haber tenido resultados en una mejoría significativa del rendimiento académico por parte de los jóvenes involucrados.
  • Estos efectos podrían ser neutrales. El mismo programa de prevención de la violencia juvenil podría de alguna manera dar como resultado que los jóvenes vean más televisión después de la escuela.
  • Estos efectos podrían ser negativos. (Estos efectos son usualmente llamados consecuencias sin intención.) La violencia juvenil disminuyó significativamente, peor la incidencia de las jóvenes embarazadas o el consumo de alcohol entre los jóvenes podría aumentar significativamente al mismo tiempo.
  • Estos efectos podrían ser múltiples, o mixtos. Por ejemplo, un programa para reducir el VIH/SIDA podría disminuir los rangos de sex sin protección pero también podría aumentar el conflicto y los casos de violencia entre parejas.
  • Su programa no tuvo efecto o tuvo un efecto negativo y otros efectos al mismo tiempo. Como con los programas con efectos positivos, estos pueden ser positivos, neutrales; individuales o múltiples; o consistentes o mixtos.

Si su análisis le da una indicación clara de que lo que usted está haciendo está logrando sus propósitos, la interpretación es relativamente simple: Usted debería seguir haciéndolo, mientras trata otras maneras de hacerlo aún más efectivo, o mientras trata de alcanzar otros asuntos relacionados de igual manera.

Como lo hemos discutido a lo largo y ancho de la Caja de Herramientas Comunitarias, los programas buenos son dinámicos – constantemente buscando formas de mejorar, en vez de asumir que lo están haciendo de la mejor manera que puede ser.

Si su análisis muestra que su programa no es efectivo o es negativo, sin embargo –o, en ese caso, si un análisis positivo lo deja a usted preguntándose cómo hacer que sus esfuerzos exitosos sean aún más exitosos – la interpretación se vuelve aún más compleja. ¿Está usted usando un método absolutamente erróneo? ¿Está usted usando un enfoque que podría ser efectivo, pero está muy mal implementado? ¿Existe un factor particular que está contribuyendo a que usted no esté tomando en cuenta_ ¿ Existen barreras hacia el éxito – culturales, experiencias, características personales, discriminación sistemática – presentes en la población de la cual son los participantes? ¿Existen componentes particulares o elementos que usted puede cambiar para hacer a su programa más efectivo, o debería usted comenzar de nuevo de cero? ¿Hacia qué se debería dirigir para hacer un buen programa aún mejor?

Interpretación cuidadosa y muy perspicaz de sus datos podría permitirle responder a preguntas como éstas. Usted podría ser capaz de usar correlaciones, por ejemplo, para generar hipótesis acerca de sus resultados. Como lo hemos discutido antes, si los cambios positivos o negativos en variables particulares son consistentemente asociados con cambios positivos o negativos en otras variables, las dos pueden ser conectadas. (La palabra “pueden” es importante aquí. Las dos pueden estar conectadas, pero podrían no estarlo, o ambos podrían estar relacionados a una variable tercera de la cual no se está consciente o que se considera trivial.) Tal conexión puede mostrarle la dirección hacia un factor (p.ej., acceso al apoyo) que está causando los cambios en ambas variables, y que debería ser tratada para hacer su programa exitoso. Las correlaciones podrían también indicar patrones en sus datos, o podría dirigirlo hacia una manera no esperada de ver el asunto al que usted se está dirigiendo.

Usted puede a menudo usar datos cualitativos para entender el significado de una intervención, las reacciones de las personas hacia los resultados. La observación que los participantes están constantemente sufriendo de una variedad de problemas de salud podría ser localizado, a través de datos cualitativos, en problemas de nutrición (debido a la pobreza o a la ignorancia) o a restricciones culturales (algunas mujeres musulmanas podría no estar dispuestas – no ser capaces debido a una prohibición familiar - a aceptar la asistencia o tratamiento por parte de doctores varones, por ejemplo).
Una vez que usted organizó sus datos, tanto los resultados y cualquier cosa que pueda ser analizado estadísticamente necesita ser analizado lógicamente. Esto podría no brindar información convincente pero de seguro le dará algunas ideas para desarrollar a futuro, y algunos indicadores de conexiones y posibilidades que usted podría no haber considerado todavía. Eso también le mostrará algunos resultados adicionales - gente reaccionando de forma diferente al programa que antes, por ejemplo. Los números pueden decirle si existe un cambio, pero ellos no pueden siempre decirle qué lo causa o por qué (aunque algunas veces si lo hacen), o por qué algunas personas se benefician mientras otros no. Estos son a menudo asuntos que importan para análisis lógicos, o para el pensamiento crítico.

El análisis y la interpretación de los datos que ha recolectado lo llevan, de alguna manera, de vuelta al comienzo. Usted puede usar la información que ha obtenido para ajustar y mejorar su programa o intervención, evaluarlo de nuevo, y usar esa información para ajustar y mejorarlo aún más, mientras esté vigente. Usted tiene que mantener el proceso para asegurarse que se está haciendo el mejor trabajo que se puede hacer y para promover cambios en individuos, sistemas, y políticas que hagan a una comunidad más saludable y mejor.

Usted tiene que convertirse en un detective cultural para entender su iniciativa, y, de algunas maneras, cada evaluación es un estudio antropológico.

En resumen

El corazón de la investigación evaluativa es obtener información acerca del programa o la intervención que usted está evaluando y analizando para determinar qué le dice acerca de la efectividad de lo que usted está haciendo, así como acerca de cómo puede mantener y mejorar esa efectividad.

La recolección de los datos cuantitativos – información expresada en números – y llevarla a la inspección visual o al análisis estadístico formal puede decirle si su trabajo está teniendo los efectos deseados, y podría de igual manera ser capaz de decirle por qué o por qué no. Puede también resaltar las conexiones (correlaciones) entre las variables, y llamar la atención hacia factores que usted podría no haber considerado.

Recolectar y analizar datos cualitativos – entrevistas, descripciones de factores ambientales, o eventos, y circunstancias –pueden brindar una idea de cómo los participantes experimentan el asunto que usted está tratando, qué barreras y ventajas experimentan ellos, y qué se podría cambiar o agregar para mejorar lo que usted hace.
Una vez que usted haya obtenido el conocimiento que brinda su información, es hora de comenzar el proceso de nuevo. Use lo que usted ha aprendido para continuar a evaluar lo que usted hace al recolectar y analizar los datos, y continuamente mejorar su programa.