Sección 1. Seleccionar preguntas y planear la evaluación

• ¿Qué queremos decir con “seleccionar las preguntas”?

• ¿Por qué es necesario seleccionar cuidadosamente las preguntas de la evaluación?

• ¿Cuándo se deben  seleccionar las preguntas y planear la evaluación?

• ¿Quién deberá estar involucrado en el proceso?

• ¿Cómo se seleccionan las preguntas y se planea la evaluación?

Los Capítulos 36-39 de la Caja de Herramientas Comunitarias se refieren a la evaluación de los programas comunitarios. Hemos elegido dedicar tanto espacio a la evaluación porque es una de las partes más importantes de cualquier esfuerzo para mejorar  la vida comunitaria y realizar un cambio social duradero. Ella puede ayudarlos a comprender mejor qué tan bien anduvieron el planeamiento y los preparativos para su programa, si ustedes lo llevaron a cabo como pretendían,  y cuáles fueron las consecuencias.Ella puede decirles si cumplieron sus metas y objetivos originales o no, y darles información sobre lo que necesitan cambiar para ser más efectivos.

El Capítulo 36 explica cómo funciona una evaluación, y da alguna guía sobre cómo desarrollarla. El Capítulo 38 los ayudará a reunir y analizar la información que desean, y el Capítulo 39 trata sobre cómo usar esa información para mejorar su programa y acumular apoyo comunitario y financiero. Aquí, en el  Capítulo 37, observamos a la evaluación desde un punto de vista investigativo - cómo planear y estructurar una evaluación que pueda ayudarlos a comprender mejor y a mejorar lo que hacen.

En esta sección, discutiremos el primer, y tal vez más importante paso, en la investigación de la evaluación: decidir exactamente qué evaluar. Cada parte del resto de las secciones en el capítulo tratará en detalle cada paso que se tendrá que dar para diseñar, implementar, y usar la evaluación. El objetivo del capítulo es proporcionar lineamientos que sean útiles para las organizaciones de base local o comunitaria así como para estudiantes o investigadores académicos.

¿Qué queremos decir con “seleccionar las preguntas”, y por qué ello es necesario?

Cada evaluación, como cualquier otra investigación, comienza con una o más preguntas. Algunas veces, las preguntas son simples y fáciles de responder. (¿Estaremos más o menos cerca de las 50 personas que esperamos ayudar?) A menudo, sin embargo, las preguntas pueden ser complejas, y las respuestas menos fáciles de obtener. (¿Cuál, o qué combinación, de las tres partes de nuestra intervención afectarán a cuál de los dos cambios de comportamiento que buscamos en nuestros participantes?) Las preguntas que se haga su organización guiarán no sólo su evaluación, sino su programa también. Mediante su selección de preguntas, también se está definiendo qué es lo que se está tratando de cambiar.

Ustedes eligen las preguntas de su evaluación mediante el análisis del problema o tema comunitario al que están apuntando,  y al decidir cómo quieren afectarlo. ¿Por qué quieren hacer esta particular pregunta en relación con su  evaluación? ¿Cuál es la parte del asunto que es más urgente o vital cambiar? ¿Qué indicadores les dirán si ese cambio está teniendo lugar? ¿Es eso todo lo que les preocupa? Las respuestas a cada una de estas y otras preguntas ayudan a definir qué es lo que se está tratando de hacer, y, por extensión, cómo van a tratar de hacerlo.

¿Cuál es el verdadero objetivo de un programa para introducir comidas más saludables en los almuerzos escolares? Podría ser simplemente convencer a los niños de que coman más frutas, vegetales y granos enteros. Podría ser conseguir que ellos coman menos comida chatarra. Podría ser alentar la pérdida de peso en niños que tienen sobrepeso o que están obesos. Podría ser educarlos sobre la alimentación saludable,  y persuadirlos de ser más aventurados en la elección de sus comidas.

Las preguntas de evaluación que se hagan tanto reflejarán cómo determinarán las metas para el programa. Si no se mide la pérdida de peso, por ejemplo, entonces claramente eso no es a lo que están apuntando. Si solamente se toma en cuenta el aumento de alimentos saludables que consumen los niños,  se ignorará el hecho de que si ellos no dejan de comer otras cosas (comida chatarra, por ejemplo), simplemente aumentarán de peso. ¿Es eso de todos modos mejor que el que no coman alimentos saludables? Ustedes contestarán esa pregunta por lo que elijan examinar – si es mejor, les podrá no preocupar qué más están comiendo los niños; y si no, entonces sí les preocupará.

Algunas de las preguntas básicas a hacerse al seleccionar las preguntas evaluativas son:

¿Qué es lo que quieren saber?

Los académicos y otros investigadores pueden enfocar la elección de las preguntas de la investigación de manera diferente a aquéllos involucrados en los programas comunitarios. Además de sus aplicaciones prácticas y sociales, ellos pueden seleccionar problemas para investigar simplemente por qué son interesantes, o por qué se relacionan con otro trabajo que ellos o sus colegas están haciendo. Los trabajadores de servicios comunitarios y otros directamente involucrados en los programas, por el otro lado, están específicamente interesados en mejorar lo que están haciendo para poder ayudar a  elevar la calidad de vida de los participantes de sus programas, y a menudo, de la comunidad como un todo. Puesto que asumimos que la mayoría de los que usen este capítulo de la Caja de Herramientas es probable que sean trabajadores de la comunidad, veamos algunas de las razones por las que ellos podrían seleccionar un área en particular para evaluar.

Si se está aplicando o por aplicar, un programa para afectar un tema o problema comunitario,  se querrá contestar una o más de las siguientes preguntas:

¿Existe una relación causa-efecto (es decir, una acción o condición que directamente cause otra) entre una acción determinada y un cambio determinado? Generalmente, a su organización le preocupará esto en relación con su programa. (Nuestro grupo de apoyo para dejar de fumar ¿ayuda a los miembros a abandonar el cigarrillo?) Algunas veces, sin embargo, puede ser importante mirarlo en relación con la comunidad. (La prohibición de fumar en edificios públicos, bares y restaurantes, ¿lleva a una disminución en el número de residentes de la comunidad que fuman?)

Si nosotros probamos este nuevo método, ¿qué sucederá?

El programa que funcionó en el pueblo vecino, o sobre el que leímos en un periódico profesional, ¿funcionará con nuestra población, o con nuestro problema?

¿Por qué están interesados?

Algunas de las mismas diferencias entre las preocupaciones de los investigadores y las preocupaciones de los trabajadores pueden persistir aquí. Aquéllos interesados sobre todo en investigar podrán simplemente ser movidos por la curiosidad o por la urgencia de solucionar un problema difícil.  Como trabajador comunitario, por otra parte, se querrá saber los efectos de lo que está haciendo sobre las vidas de los participantes o de la comunidad.

Su interés, por lo tanto, podrá crecer por:

• Su experiencia con un problema y sus consecuencias en una determinada población o comunidad.
• Su conocimiento de prometedoras intervenciones y sus efectos sobre temas similares.
• La singularidad del tema para su particular comunidad o población.
• La similitud del tema con otros temas en su comunidad, o la interacción del tema con otros temas.

Su interés como trabajador comunitario tiene que ser considerado en relación con su evaluación y el propósito de su programa. Su intención básica es probablemente mejorar las cosas para la población o para la comunidad, pero ¿de qué modos y mediante qué medios? ¿Probarán ustedes algunas cosas nuevas con la esperanza de hacer aún más exitoso a un programa ya exitoso? ¿Se está importando una práctica promisoria para ver si funciona con su población? ¿Se está tratando de solucionar un problema profesional particularmente difícil?

Un programa de mediación comunitaria encontró que estaba teniendo poco éxito en casos que involucraban a adolescentes. Después de conversarlo con otros programas similares –todos los cuales estaban luchando con el mismo problema – los mediadores del programa idearon una serie de estrategias para tratar de llegar a los jóvenes. La pregunta general que les preocupaba - "¿Estas estrategias harán posible que mediemos exitosamente en lo que los adolescentes estén involucrados?" – era una con consecuencias reales.

¿El problema que se está enfocando es importante para la comunidad o para la sociedad?

Los informes en los medios o los intentos de la comunidad de tratar el problema son claros indicadores de que es socialmente importante. Si afecta a un grupo en particular - violencia en determinado vecindario, un alto porcentaje de enfermedades del corazón entre hombres negros de mediana edad – tiene un impacto obvio en la comunidad y en la sociedad. Si su programa o intervención tiene el potencial de ayudar a resolver el asunto en otros lugares, de ser usado por trabajadores comunitarios en otros campos, o de ser aplicado de otras maneras, la importancia de su análisis aumenta todavía más. Si el tratamiento del asunto puede llevar a un cambio social positivo y duradero, entonces el análisis es vitalmente importante.

Todo esto afecta su evaluación y las preguntas que formulen. Si el asunto es uno de importancia social, entonces la evaluación de su propio trabajo es socialmente importante también. ¿Está ejecutando los elementos de su programa o intervención que son de mayor valor para los participantes, la comunidad, y la sociedad? Si no es así, ¿cómo puede empezar a hacerlo?

¿Cómo se relaciona el asunto con el campo?

La pregunta real aquí no es si el asunto es importante en su campo de acción– lo que interesa  es si el mismo es importante para la comunidad. Sin embargo, se debe explorar si hay evidencia de campo aplicable al asunto en consideración. ¿Lo que usted está haciendo tiene más probabilidades de ser efectivo que otros enfoques que se han intentado? Si su enfoque no es efectivo, ¿hay otros enfoques que parezcan más promisorios? ¿Puede el material publicado acerca del tema ayudar a comprenderlo mejor, y a darle mejores ideas acerca de cómo encararlo?

¿Es el asunto general, en vez de específico, con respecto a su población o comunidad?

Considere si hay evidencia de que el asunto se da en distintas poblaciones y bajo una variedad de condiciones. También considere si las observaciones o métodos usados para determinar la existencia del problema son precisos y si pueden ser usados en diferentes situaciones y con diferentes grupos.Su evaluación podrá darles valiosa información para compartir con otros profesionales en diferentes campos o diferentes circunstancias.

¿Quiénes podrían usar los resultados de la evaluación?

Si su evaluación muestra que su programa o intervención tuvo éxito, esa es obviamente información valiosa, especialmente si lo que están evaluando es novedoso y no ha sido probado antes. Aún si en la evaluación aparecen problemas importantes con la intervención, esa es incluso información importante para otros  - les dice qué no funcionará, o qué barreras deben ser vencidas con el objeto de hacerlo funcionar.

Algunos de los que podrían usar sus resultados son individuos y grupos afectados por el tema; proveedores de servicios y otros que tienen que lidiar con el problema (en el caso de la violencia juvenil, por ejemplo, este último grupo podría incluir a la policía, a funcionarios escolares, a propietarios de pequeños comercios, a los padres, y a personal médico, entre otros); a defensores y activistas comunitarios y a dirigentes públicos y otros políticos. El valor de la información lleva a la pregunta de cómo pasarla, la que examinaremos en la Sección 10 de este capítulo, Preparar la intervención para su divulgación.

¿A quién concierne el asunto?

¿Quién tiene que cambiar para tratar el problema? El foco de la intervención les dirá en quiénes deberán centrarse la evaluación.

Algunas posibilidades son:

• Aquellos directamente afectados por el problema.
• Aquellos en contacto personal directo con los directamente afectados: padres, cónyuges e hijos, otros familiares, amigos, vecinos, compañeros de trabajo.
• Aquellos que trabajan o tratan de otros modos con los directamente afectados: personal médico, policías, docentes, trabajadores sociales, terapeutas, etc.
• Administradores y otros que trabajan o tratan con aquellos que son afectados indirectamente: directores de clínicas u hospitales, jefes de policía, directores escolares, directores de agencias, etc.
• Funcionarios designados o electos y otros políticos.

¿Por qué es necesario seleccionar cuidadosamente las preguntas de la evaluación?

Usted bien sabe por qué están aplicando su programa. Evaluarlo sería simplemente un tema de decidir si las cosas están mejor cuando usted las evalúa con respecto a como estaban antes de que la intervención empezara, ¿No es así? Bueno, en realidad no es así. No es tan simple. Primero, se necesita determinar qué "cosas" se están realmente analizando (¿recuerdan el ejemplo del almuerzo escolar?) Segundo, es necesario considerar la manera en que se determinará que la intervención se está haciendo bien, y qué se necesita cambiar. Aquí hay una lista parcial de razones por las que es importante la elección de las preguntas de antemano.

• Ayuda a comprender los diferentes efectos de la intervención. Al enmarcar las preguntas cuidadosamente, se puede evaluar los diferentes componentes de su esfuerzo. Si se añade un elemento después del inicio del programa, por ejemplo, podrá tal vez ver su efecto separado del resto del programa...si se propone examinarlo. De la misma manera, se puede mirar diferentes posibles efectos del programa como un todo. (Los adultos que estudian educación básica ¿leen más como resultado de estar en el programa? ¿Es más probable que ellos se registren para votar? ¿Sus niños mejoran su desempeño escolar?)
• Hace que se defina con claridad qué es lo que se está tratando de hacer. Lo que usted decide evaluar define lo que se espera conseguir. Seleccionar las preguntas de evaluación al inicio de un programa o esfuerzo deja en claro qué es lo que se está tratando de cambiar, y cuáles quiere que sean sus resultados.
• Les muestra dónde necesitan hacer cambios. El seleccionar cuidadosamente las preguntas y hacerlas específicas para sus objetivos reales debería mostrarles exactamente dónde el programa está funcionando bien y dónde no está teniendo el efecto deseado.
• Destaca consecuencias inesperadas. Cuando se reciben respuestas inusuales a las preguntas que eligen, a menudo significa que su programa ha tenido algunos efectos que no se esperaban. Algunas veces estos efectos son positivos –la gente del programa de ejercicios cardiovasculares no sólo mejoraron su estado físico, sino que la mayoría informa haber mejorado su dieta y haber perdido peso también – y algunas veces los efectos son negativos – los niños obesos de un programa para comer saludablemente realmente ganaron peso, aún cuando estuvieron comiendo una dieta más sana - y algunas veces ninguna de las dos cosas. Como los efectos secundarios de los medicamentos, las consecuencias no premeditadas de un programa pueden ser tan importantes como el programa mismo. (En el caso del programa de ejercicios, los cambios en la dieta pueden hacer tanto o más que el ejercicio para mantener la salud del corazón, por ejemplo, y pueden señalar de algún modo hacia un cambio en el enfoque del programa.)
• Guía sus elecciones futuras. Si encuentra que su programa es particularmente exitoso en ciertas partes y no en otras, por ejemplo, usted podrá decidir enfatizar más las áreas exitosas, o cambiar completamente su enfoque en las áreas no exitosas. Esto, a su vez, cambiará el énfasis también en la futura evaluación.
• En  las evaluaciones participativas, la evaluación involucra a los interesados en el establecimiento del curso del programa, haciendo de ese modo más probable que cumpla con las necesidades de la comunidad.
• Proporciona enfoque en la evaluación y en el programa. El seleccionar cuidadosamente las preguntas evaluativas evitará que usted se disperse y trate de hacer demasiadas cosas a la vez, diluyendo por lo tanto su efectividad en todas.
• Determina qué registros anotar con el objeto de reunir datos para la evaluación. Una clara elección de las preguntas evaluativas hace la recolección de datos mucho más fácil, puesto que generalmente vuelve obvio qué clase de registros deben ser llevados y qué áreas necesitan ser examinadas.

¿Cuándo debería usted seleccionar las preguntas y planear la evaluación?

Ya que las preguntas de evaluación ayudan a dar forma al trabajo, deberían seleccionarse junto a la evaluación al planear el programa completo. Eso le dará tiempo y espacio para conseguir un proceso participativo, y le dará la oportunidad de usar la evaluación como parte integral del programa. A medida que el programa se desarrolla, se encontrará agregando o ajustando preguntas para reflejar la realidad de lo que está sucediendo, pero a no ser que sus preguntas originales estuvieran  mal encaminadas (estaba equivocado acerca de qué comportamiento debía cambiar con el objeto de producir determinados resultados, por ejemplo), ellas les serán de utilidad.

Ahora discutamos la realidad de muchos programas comunitarios y  programas de base local. A menudo tienen poco personal y fondos.  Los empleados reciben pagos bajos y a menudo trabajan muchas más horas a la semana de las que les pagan debido a su dedicación a la justicia y al cambio social. La mayoría o todos los funcionarios del programa pueden incluso ser voluntarios, con trabajos de tiempo completo y  responsabilidades familiares además de su trabajo en el programa. La evaluación inicial en estas circunstancias es a menudo anecdótica – o sea, basada en comentarios e historias de los participantes sobre su progreso y observaciones personales, informales de los funcionarios. Una evaluación formal probablemente esperará hasta que haya fondos para hacerla, o hasta que alguien tenga el tiempo de coordinarla o de encargarse de ella.

En ese caso, el "cuando" se convierte en "tan pronto como se pueda". Usted puede estar trabajando con un programa que acaba de empezar, o con uno que ha estado operando por un largo tiempo. Puede saber que se necesita hacer cambios, o puede parecer que el programa está realmente logrando sus metas. Cualquiera sea la situación, se deben seleccionar las preguntas evaluativas y planear una evaluación que le dé la información que necesita para mejorar su trabajo. Aún con un programa que ha estado funcionando por un tiempo, las preguntas pueden igual ayudarle a definir o redefinir su trabajo, y ciertamente le ayudará a mejorarlo en el largo plazo.

¿Quiénes deben estar involucrados en la elección de las preguntas y el planeamiento de la evaluación?

Si ha consultado otras secciones de la Caja de Herramientas relacionadas con evaluación, se habrá dado cuenta que estamos a favor de que todos los interesados se involucren en la planeación de la evaluación. Creemos que la mejor evaluación es la participativa. Eso significa que hay representación de las opiniones y los conocimientos de la gente afectada sobre el asunto a encararse. La lista de potenciales participantes es esencialmente la misma que vimos en "¿A quién concierne el asunto?" en la primera parte de esta sección: aquéllos directamente afectados y sus contactos cercanos; aquéllos que trabajan con los directamente afectados, o que tratan directa o indirectamente con ellos y el problema; y funcionarios públicos. A estos grupos debemos agregar otros ciudadanos preocupados, y aquéllos indirectamente afectados por el tema. (Un comerciante puede no ser víctima de la violencia del vecindario, pero el temor a esa violencia puede no obstante mantener a los clientes alejados de su negocio, por ejemplo.)

Las evaluaciones que involucran a todos los interesados tienen una serie de ventajas sobre aquéllas conducidas en vacío por evaluadores externos o personal de la agencia o del programa. Es más probable que ellos reflejen las verdaderas necesidades de la comunidad, y que ejerzan presión sobre el conocimiento de la comunidad acerca de su propio contexto - historia, relaciones, cultura, etc. – sin los cuales un programa y su evaluación pueden desviarse.

La participación puede ir desde una simple consulta hasta una completa participación en todos los aspectos de una evaluación – valoración, planeamiento, recolección de datos, análisis, y trasmisión de la  información. En general, cuanto mayor sea el involucramiento de los interesados mucho mejor, pero una profunda implicación de los interesados no siempre es posible. Como el Capítulo 36, Sección 6 lo explica, hay desventajas temporales en la evaluación participativa – lleva más tiempo – e inquietudes logísticas también. Los participantes pueden no tener nada en su formación que los haya preparado para la investigación, de modo que sería necesario entrenarlos en una cantidad de áreas que requieran aptitudes, cuidadoso planeamiento, y todavía más tiempo. El nivel de participación que su evaluación puede sustentar, por lo tanto, depende en alguna medida de sus límites de tiempo y su capacidad para capacitar y apoyar a los participantes.

¿Cómo seleccionar las preguntas y planear la evaluación?

Elección de preguntas:

Al elegir preguntas evaluativas, se está realmente eligiendo un tema de investigación  - qué quiere examinar con su investigación. (La evaluación, tanto formal como informal, es en realidad investigación.). Usted debe analizar el asunto y su programa, considerar varias maneras de enfocarlos, y seleccionar la(s) que más cercanamente le digan lo que quiere saber sobre lo que está haciendo. ¿Está sólo tratando de determinar si están dando suficiente cobertura a la gente apropiada con su programa? ¿Quiere saber cómo está funcionando una intervención en poblaciones específicas? ¿Qué clases de cambios conductuales, si los hay, están teniendo lugar como resultado? ¿Cuáles son los verdaderos resultados para la comunidad? Cada una de estas – así como cualquiera de las muchas otras cosas que usted puede desear saber, implica un conjunto diferente de preguntas evaluativas. Para encontrar las preguntas que mejor se adaptan a su evaluación, hay una serie de pasos que se pueden seguir.

Describa el asunto o problema que va a tratar.

Un problema es una diferencia entre una condición ideal  (todas las personas de 10 años o más deben poder leer;  todo el mundo tiene que poder encontrar un empleo decente) y una condición real en la comunidad o sociedad  (hay un 25% de analfabetos entre quienes asisten a determinada secundaria; 50%  de los jóvenes de minorías en cierta ciudad están desempleados). Esto puede indicar la ausencia de algún factor positivo (maestros calificados y adecuadas instalaciones educacionales; empleos que no requieren experiencia y que se encuentran cercanos a vecindarios de minorías) o la presencia de algún factor negativo (dificultad de los estudiantes con el inglés; discriminación contra los solicitantes de trabajo provenientes de minorías), o alguna combinación de ellos.

Para describir el asunto o problema:

• Describa la condición ideal, incluyendo los factores positivos presentes y los factores negativos ausentes. ¿Cómo se vería todo si fuera como usted quisiera que fuera?
• Describa las condiciones reales que constituyen el problema de interés, incluyendo las condiciones negativas presentes y las condiciones positivas ausentes. ¿Cómo son realmente las condiciones?
• Describa el problema real en términos de lo que usted espera cambiar. ¿Qué factores positivos quiere crear y/o qué factores negativos quiere eliminar?

Describa la importancia del problema.

Para estar seguros de que este es un problema que se debería tratar de solucionar,  considere su importancia para los afectados y para la comunidad.

• ¿Es la discrepancia entre las condiciones ideales y las reales del tipo y tamaño como para ser consideradas importantes?
• ¿Cuáles son las consecuencias (positivas y negativas) del problema?
• ¿Quién experimenta estas consecuencias (o sea, participantes del programa, sus familias, amigos, y pares; proveedores de servicios, políticos, y otros)? ¿Cuántas personas son afectadas?
• ¿Cuán a menudo o por cuánto tiempo son afectados? ¿Cuál es la intensidad del efecto?
• ¿Cuánto importa a estas personas el hecho de que el problema es experimentado hasta este grado?
• Ustedes también podrían preguntar si los efectos del problema le importan a la sociedad  pero en realidad, eso no haría diferencia. Si le importan a la gente que los experimenta, son importantes. La sociedad no siempre considera importante un problema si es sólo un problema para una minoría, o para un grupo que es generalmente ignorado (los pobres, los sin hogar).

A la luz de estos factores, decida si el problema es importante para la evaluación.

Describa a los que contribuyen con el problema.

¿El comportamiento de quién, por su  presencia o ausencia, contribuye al problema? ¿Están ellos en el entorno personal de los participantes del programa (los participantes mismos, familiares, amigos), en el entorno de servicio (maestros, policía), o en un entorno más amplio (políticos, medios, público en general)? Para cada uno de ellos, considere los tipos de conducta que,  por su presencia o ausencia, contribuyen a la  discrepancia que constituye el problema.

Calcule la importancia y factibilidad de cambiar esos comportamientos.

¿Cuán importante es cada uno de estos comportamientos para la solución del problema? ¿Cuáles son las posibilidades de que su esfuerzo pueda tener algún efecto en cada uno de ellos?

Describa el objetivo de cambio.

 Basados en el análisis arriba mencionado, elija cambios de comportamiento para tratar en personas específicas. Donde se pueda, especifique los niveles de cambio deseados en los comportamientos y resultados seleccionados (aquellos cambios en las condiciones que deberían ocurrir para que el problema pueda solucionarse).

Por ejemplo, una meta de cambio de comportamiento podría ser un aumento en la capacitación previa al empleo – presentación personal, búsqueda de trabajo, técnicas para la entrevista, competencia interpersonal, elaboración del currículum, conocimientos básicos, etc. – para los buscadores de trabajo de entre 18 y 24 años, de las minorías. O por otro lado se podría en cambio o además enfocarse en los políticos, con el objetivo de hacer que ellos ofrezcan incentivos fiscales a los negocios que se instalen en o cerca de las comunidades de minorías.

Esta es una manera de definir su trabajo. Si se planea la evaluación mientras se planea el programa – como se debería hacer idealmente – entonces las preguntas que están pidiendo que evaluación examine reflejan los problemas que se están tratando de resolver, y este tipo de análisis es importante. Si se está comenzando la evaluación de un programa que ha estado funcionando por algún tiempo, entonces se tiene que analizar qué tipo de consecuencias se creen (esperan) que el programa está teniendo, y adónde ellas conducen. Se podría estar hablando de cambios en conductas específicas de participantes, conductas que actúan como indicadores de otros cambios, o de resultados de otros tipos  (participantes que obtengan empleo, por ejemplo, lo que puede tener una relación directa con la conducta del participante o puede tener más que ver con condiciones económicas locales.)

Asegúrese de que los cambios esperados constituyan una solución o una contribución sustancial al problema.

Si se concluye que los cambios no resultarían en una contribución sustancial, revise la escogencia del problema y/o su selección de la población meta y las acciones como sea necesario. Si se piensa que lo que se está mirando en una evaluación no se enfoca en el problema, entonces se debería estar observando otra cosa. Si los objetivos que se han elegido sí constituyen toda o una parte sustancial de la solución, entonces ya se han encontrado sus preguntas.

Una vez llegados a este punto, usted ha elegido sus preguntas evaluativas y -si se está en el comienzo del proceso de planificar su programa y su evaluación – el enfoque de su programa también. Cómo planear la implementación del programa es el tema de varios otros capítulos de la Caja de Herramientas Comunitarias, particularmente, en el resto de esta sección, nos ocuparemos de los otros factores que se necesitan considerar para armar su evaluación. Entonces, en el resto de este capítulo, discutiremos en detalle cómo encontrar las respuestas a las preguntas evaluativas que se han escogido, y qué hacer entonces con esa información.

Ahora que se han elegido sus preguntas, habrían dos factores más a considerar: los lugares en los que la evaluación se realizará, y los participantes cuyos comportamientos, actividades, o circunstancias serán evaluados. Si su programa es relativamente pequeño y/o tiene sólo un entorno o lugar, nada de esto será un problema – tanto los lugares como los participantes serán simplemente los del  programa. Sin embargo, si no se tienen los recursos – tanto financieros, como de tiempo o de personal - para evaluar al programa completo.

 Hay algunas situaciones en las que la elección del lugar y/o de los participantes puede ser importante:

• Si su programa es muy grande y/o tiene múltiples locaciones.
• Si los diferentes lugares conllevan diferentes servicios, actividades, o condiciones, o usan diferentes métodos.
• Si su programa incluye diferentes grupos de participantes (grupos que están en diferentes etapas del programa, o que están expuestos a diferentes métodos o servicios).
• Si los grupos de participantes pertenecen a poblaciones con culturas claramente diferentes, provenientes de raza, etnia, clase, religión, u otros factores.
• Si usted es un evaluador externo (alguien no conectado a un programa que es traído para evaluarlo) o un académico u otro investigador independiente.

Lugar

Múltiples locaciones.

Las locaciones múltiples pueden presentar un desafío para una evaluación, porque, aunque se hicieran todos los esfuerzos posibles para hacer el programa exactamente igual en todos los lugares, raramente será así. Si el programa depende de la interacción humana - maestro/alumno, consultor/consultado, entrenador/entrenado, doctor/paciente, etc. – habrá diferencias de lugar en lugar dependiendo del personal en cada uno. (La excepción es cuando las mismas personas trabajan en todos los lugares, proporcionando los mismos servicios en cada lugar a diferentes horas o en diferentes días.) Aún cuando todos sean igualmente competentes,  no hay dos miembros del personal o equipos que hagan las cosas exactamente de la misma manera o se relacionen con los participantes exactamente del mismo modo, y las diferencias pueden verse reflejadas en diferencias en los resultados. Si los métodos u otros factores varían de lugar en lugar, ello complicará todavía más la situación.

Además, el carácter físico de un lugar puede influenciar no sólo la efectividad del  programa, sino también el reclutamiento de participantes y si ellos permanecerán o no al programa el tiempo suficiente para que tenga algún efecto (a menudo llamado "retención.") La disposición del lugar, comodidad, aparente protección y seguridad, y – a menudo lo más importante – la facilidad para llegar a él, todo afecta a que los participantes se inscriban y permanezcan en el programa.

Donde se tenga la posibilidad de evaluar a todos los lugares, será útil incorporar a la evaluación un método para compararlos. Esto  permitirá identificar y adoptar en todos los lugares métodos, condiciones, o actividades que parecen hacer particularmente exitoso un lugar, e identificar y cambiar en todos los lugares los métodos, condiciones, o actividades que parecen crear barreras contra el éxito.

Si no se puede evaluar cada lugar por separado, se tendrá que decidir cuál o cuáles darán la información que ayudará más a ajustar y mejorar su  programa. Si se está especialmente preocupado por evaluar su efectividad total, esto significará evaluar el o los sitios más apegados a la normativa del programa, en cuanto a métodos, condiciones, actividades, metas, interacción participante/personal, etc. Si, por otro lado, su consideración principal es saber si un método o una situación especial o inusual está funcionando, se podría evaluar el lugar (o los lugares) menos parecido(s) a los otros.

Si los lugares parecen sólo mínimamente diferentes, algunas otras consideraciones que pueden entrar en el juego son:

• El número y la característica  de los participantes en el lugar. Los participantes en un determinado lugar pueden estar experimentando los efectos del problema más severamente, o pueden tener una característica particular importante, tal como una barrera de lenguaje.
• La capacidad y disposición de participantes y personal para apoyar la investigación evaluativa. Si el personal en un determinado lugar no puede o no quiere registrar observaciones, asistencia, y otros datos clave, o si los participantes no pueden o no quieren ser entrevistados o monitoreados, la evaluación en ese lugar puede ser dificultosa.
• La estabilidad de la población en la localidad. Si los participantes en un lugar van y vienen continuamente – a menos que esa sea la intención del programa – puede ser difícil obtener información que contribuya a una evaluación precisa.
• La excepción, por supuesto, ocurre aquí si uno de los puntos de la evaluación es averiguar por qué los participantes permanecen por tan corto tiempo, y tratar de desarrollar métodos o crear condiciones para ayudarlos a quedarse en el programa el tiempo suficiente para alcanzar sus objetivos.

Lugares con diferentes métodos, condiciones, actividades, o servicios.

Los programas son a veces organizados de modo que diferentes métodos sean usados o diferentes servicios sean provistos en diferentes lugares. En otros casos, las condiciones pueden variar de lugar en lugar a causa de las ubicaciones geográficas de los lugares  o el espacio disponible. La situación ideal es evaluar todos los lugares y comparar los efectos de los diferentes métodos, condiciones, o servicios. Cuando esto no es posible, se tendrá que decidir qué es lo más importante de averiguar.

Si los métodos, servicios, o condiciones en un lugar determinado son nuevos o innovadores, usted podrá querer evaluarlos, en vez de aquellos que ya son conocidos y han sido evaluados. Puede haber un método o servicio en particular que se quiera evaluar, en cuyo caso la decisión acerca de qué lugar seleccionar es obvia. La decisión debe estar basada en lo que tenga más sentido para su programa, y en lo que les dé la mejor información para mejorar su efectividad.

Cuando se tenga la posibilidad de seleccionar más de un lugar para evaluar, generalmente tiene más sentido seleccionar dos o tres lugares que sean diferentes – especialmente si cada uno es representativo de otros lugares del programa o de iniciativas del programa – de modo que se pueda comparar su efectividad. Aún donde los lugares parecieran esencialmente similares, se obtendrá más información evaluando a todos lugares que se puedan.

Participantes

Grupos Múltiples.

Hay una cantidad de razones por las cuales pueden existir grupos múltiples de participantes en un programa. Usted podría iniciar grupos diferentes en momentos diferentes, ya sea debido a que el programa tiene un esquema de inicio progresivo (se inicia cuando hay suficiente gente para una clase o grupo de capacitación), o porque el programa está dirigido a diferentes grupos  (por ejemplo, de 5 años de edad, de 8 años, y de 14 años). También se podría probar diferentes estrategias con diferentes grupos. El Proyecto Brookline de Educación Temprana (BEEP), un programa que apunta a disponer escuelas para niños desde antes de nacer y hasta los 5 años, inscribió familias las cuales esperaban un bebé en tres estudios de seguimiento en el curso de tres años. Además, a las familias de cada estudio se les asignó a uno de tres niveles de servicio. De este modo, había realmente nueve grupos diferentes entre los participantes del BEEP, aún cuando en el tercer año, todos estaban recibiendo servicios al mismo tiempo.

Una vez más, si no hay problema para evaluar el programa completo, los participantes simplemente serán todos. Si ello no es posible, hay una cantidad de elecciones potenciales:

• Evaluar su trabajo con sólo un grupo, con la esperanza de que el trabajo con los otros será evaluado en el futuro. En este caso, probablemente se querrá seleccionar el grupo que parece necesitar más el programa (o sea es más crucial). Ellos podrían tener un mayor riesgo  (de ataque al corazón, de fracaso escolar, de quedarse sin casa, etc.) o podrían estar experimentando el asunto o problema en un mayor nivel de intensidad (incidentes diarios de disparos en el vecindario, altas tasas de embarazo juvenil, desempleo masivo).
• Incluya un número pequeño (2-4) de grupos en su evaluación. Tal vez se quieran seleccionar grupos con características contrastantes (diferentes edades, por ejemplo, o encarados con diferentes estrategias). Por otro lado, dependiendo del enfoque de su evaluación, se podría querer grupos que son esencialmente similares, para ver si su trabajo es consistente en sus efectos.
• Elija a unos pocos participantes de cada grupo para enfocar su evaluación en ellos. Aunque esto no les dará un panorama completo, debería darles información suficiente para saber dónde su programa está cumpliendo con sus objetivos y dónde necesita mejorarse. Las diferencias en los modos en que los participantes en los diferentes grupos responden a su programa (asumiendo que haya diferencias) pueden también darles ideas para maneras de cambiar lo que se está haciendo.

Participantes de diferentes poblaciones y culturas.

Los factores culturales pueden tener un enorme efecto en las respuestas de los participantes a un programa. Ellos pueden influenciar las concepciones de los roles sociales, las responsabilidades familiares, los comportamientos aceptables y no aceptables, las actitudes hacia la autoridad (y sobre quien constituye la autoridad), los temas permitidos de conversación, la moralidad, el rol de la religión – y la lista sigue y sigue. Al planear un programa que involucra a miembros de diferentes poblaciones y culturas, se tienen esencialmente tres opciones:

• Planear su programa e implementarlo de la misma manera para todos los involucrados. Si el programa involucra grupos  - clases, grupos de apoyo, etc. – la afiliación de los participantes está determinada no por el grupo poblacional sino por el momento en que ellos se inscriben, a qué hora del día  pueden asistir, para qué se inscriben, o cualesquiera que sean los otros criterios que tengan sentido lógico.
• Planear su programa para que sea tan culturalmente sensible como sea posible, y tratar de dejar afuera cualquier cosa que pudiera ser ofensiva o difícil para cualquier grupo. En esta instancia, se debe estar preparado para responder si los participantes de una población determinada pidieran a un grupo de los suyos (o sea de personas de su mismo grupo cultural).
• Dividir a los participantes por grupo cultural y planear diferentes propuestas culturalmente sensibles para cada uno. Su propuesta general puede ser la misma para todos, pero la manera en que se aplica puede diferir según la cultura.

En cualquiera de estas instancias, probablemente sería importante comprender qué tan bien está funcionando su enfoque con los miembros de las distintas poblaciones. Si se puede evaluar el programa completo, asegúrese de incluir suficientes miembros de cada grupo con el fin de poder comparar resultados (y sus opiniones del programa) entre ellos. Si sus posibilidades de evaluación son limitadas, entonces sus opciones son similares a aquéllas para grupos múltiples de otras clases, y dependerán de qué exactamente es lo más útil para su organización o iniciativa.

Aquí hay interacciones entre la elección de lugares y la elección de participantes. Se puede estar preocupado de los efectos de su  programa sobre una determinada población, la que puede estar en gran parte concentrada en un lugar. En ese caso, si se dispone de recursos limitados,  se podría evaluar sólo ese lugar, o ese lugar y otro más.

Sin tomar en cuenta otras consideraciones, se puede querer fijar algunos lineamientos acerca de quiénes incluir en la evaluación.¿Cuánto tiempo tiene que estar la gente en el  programa, por ejemplo, antes de ser incluida? En otras palabras, ¿qué se considera como participación? (Esto también fija un criterio sobre quién deberá ser considerado como desertor: cualquiera que empieza, pero deja el programa antes de cumplir con el estándar de participación.) ¿Qué sucede con aquéllos cuya asistencia es errática – unos días aquí, unos días allá, algunas veces con semanas  de ausencia? ¿Tendrán que haber asistido un cierto número de horas para ser considerados participantes?

Estos asuntos pueden ser más complejos de lo que parecen. La gente puede comenzar y abandonar un programa numerosas veces, y luego finalmente volver y completarlo. Muchos otros comienzan los programas numerosas veces, y nunca llegan a completarlos. Es generalmente imposible adivinar la diferencia hasta que algunos realmente llegan al punto de finalización, lo que sea que ello signifique para el programa en cuestión.

En sentido inverso al escenario de los que comienzan-muchas-veces-antes-de-completarlo, puede haber unas pocas personas que permanecen en un programa justo hasta llegar al final, y allí abandonan.  Esto puede tener que ver con el miedo de tener que sobrellevar el éxito y un cambio en la imagen propia, o puede simplemente ser un patrón que la persona ha aprendido, y que tendría que “des-aprender” antes de poder completar el programa.

¿Deberían alguna o todas estas personas ser incluidas en o excluidas de una evaluación, tanto antes (a causa de su historia en el programa) como después del hecho? Esa es una decisión que se tendrá que tomar, basados en lo que su inclusión o exclusión les diga. Sólo asegúrese de que su evaluación claramente describa los criterios que se decidieron usar para sus participantes.

Si usted es un evaluador externo o un académico u otro investigador independiente

Hasta este momento, hemos ignorado grandemente las dificultades de evaluación que enfrentan los evaluadores que no están directamente conectados con la organización o institución que lleva a cabo el programa que ellos están evaluando. Si usted ha sido contratado o designado por la organización o por uno de los patrocinadores para evaluar el programa, usted debe establecer un vínculo de confianza, tanto con la organización y su personal como con los participantes, si se espera obtener buena información con la cual trabajar. También se debe aprender bastante en poco tiempo acerca de la comunidad, la organización, el  programa, y los participantes, para idear un buen plan de evaluación,  y para analizar los datos que usted y otros reúnan.

Si se es un investigador independiente – un estudiante graduado, un académico, un periodista – Usted encontrará obstáculos aún mayores. Primero, tiene que encontrar un lugar donde desarrollar su investigación - un programa a evaluar – que calce con sus intereses de investigación. Entonces, usted tiene que convencer a la organización que está llevando a cabo ese programa de que le permita hacer la investigación. Una vez que haya logrado esto, todavía se enfrentará con todas las mismas tareas que un evaluador externo: establecer confianza,  entender el contexto, etc.

Veamos primero el proceso que como investigador independiente deberá seguir para seleccionar y ganar acceso a un lugar apropiado para sus intereses. Una vez que haya logrado ese acceso, se habrá convertido en un evaluador externo, por lo tanto desde ese punto en adelante,  el proceso de preparación para la evaluación será igual para ambos.

Elija un lugar/localidad.

Si usted es un académico o un estudiante, probablemente podrá encontrar un programa apropiado preguntando a colegas, profesores, y otros investigadores de su institución. Si ninguno de ellos sabe de alguno en ese momento, alguien casi seguramente podrá ponerlo en contacto con agencias de servicios humanos y otras que lo harán. Otras posibles fuentes de información incluyen el Internet, patrocinadores, asociaciones profesionales, coaliciones de servicios humanos y de salud, y organizaciones comunitarias. La información sobre fondos públicos está a menudo disponible en la web, en las bibliotecas, o en los archivos de los diarios. Cuanto más ampliamente usted extienda su red, más probabilidades tendrá de encontrar el programa que está buscando.

El programa adecuado obviamente dependerá de sus intereses de investigación, pero algunas preguntas que  serán parte de su elección incluyen:

• ¿El escenario incluye personas que están realmente experimentando el problema que es de interés para usted?
• ¿Es el escenario similar a otros de este tipo? (Si no lo es, su programa puede no ser útil a otros que estén trabajando con el problema, aún cuando funcione bien en su propio contexto.)
• ¿Proporciona el escenario de trabajo apoyo para la investigación? ¿Ayudarán los empleados, los participantes, y otros con la recolección de datos,  serán serviciales acerca de las preguntas de contexto, cooperarán con usted?
• ¿El lugar cuenta con los recursos para mantener el programa después de que su evaluación esté hecha?
• ¿El lugar de trabajo permite los cambios en la operación requeridos por la investigación? Si el planeamiento de la evaluación y la elección de las preguntas apuntan a hacer las cosas de manera diferente, el programa ¿podrá hacer y hará los cambios necesarios?
• ¿Es el la propuesta de evaluación y el lugar de trabajo accesible?

La accesibilidad incluye no solamente la de los discapacitados, sino también si un lugar está en un vecindario  que hace sentir bienvenidos o seguros a los participantes, si es fácilmente accesible por el transporte público o se puede llegar a pie desde las áreas de las cuales se extraen los participantes, y si está ubicado en un edificio o institución que no se sienta intimidante o extraño (un campus o un edificio universitario pueden parecer tan amenazantes como una fortaleza para alguien que se sienta inseguro acerca de sus antecedentes educativos, por ejemplo.) La accesibilidad puede ser el factor determinante para que los participantes consideren ser parte de un programa, o para que permanezcan en él.

¿Es estable la iniciativa? El programa y la organización, ¿son lo suficientemente estables como para saber que se podrá mantener el trabajo en el nivel necesario, al menos hasta que se complete la evaluación?

Una vez que se haya encontrado un escenario de trabajo apropiado, tendrá que convencer a la organización de colaborar con usted en una evaluación. Los tres pasos siguientes están dirigidos hacia ese objetivo.

Aprenda lo más que pueda sobre la organización que ha elegido.

Así como usted no iría a una entrevista de trabajo sin hacer algunas averiguaciones acerca del empleador, tampoco debería tratar de ganar la cooperación de una organización sin saber algo acerca de ella - su misión, sus metas, a quién responde, quiénes son el director y los miembros directivos, etc. Si alguien le habló de la organización, esa persona puede tener, o conocer a alguien que tenga, mucha de la información que usted necesita. Si la organización mantiene un sitio Web, mucha de esa información estará disponible allí. Si está registrada, la oficina de la Secretaría de registro del estado y/u otras oficinas estatales tendrán información acerca  de los miembros oficiales (o sea,  el Consejo Directivo) y otros aspectos de la organización. Las agencias de financiamiento pueden también tener la información que sea motivo de registro público, incluyendo las propuestas. (Ver "Averigüe todo lo que se pueda sobre el contexto" más abajo.)

Contacte a la(s) persona(s) apropiada(s) y solicite una entrevista.

Averigüe a quién (nombre, así como posición) debe dirigirse para hablar sobre la realización de un proyecto de investigación en la organización que usted ha elegido.

Dependiendo de la organización, éste podría ser el presidente del consejo directivo, el director ejecutivo, o el director del programa (si el programa que a usted le interesa es sólo una parte de una organización más grande). En cualquier caso, sería inteligente involucrar al director del programa aún cuando él no sea el que tome la decisión final, puesto que su cooperación será crucial para completar su investigación.

• Si puede, consiga una presentación personal. Siempre es mejor si usted llega recomendado por alguien conocido por la persona con la cual usted necesita hablar.
• Si no puede conseguir una presentación personal, lo mejor es enviar una carta solicitando una reunión y explicando la razón de dicha reunión, y seguidamente hacer una llamada telefónica.
• Antes de la reunión, envíe una propuesta delineando lo que pretende hacer.Esta debería tener la suficiente sustancia como para ayudar a la organización a decidir si quiere trabajar con usted,  pero no ser tan específica como para no permitir un planeamiento colaborativo de la evaluación.

Planee y prepárese para la reunión inicial. Hay varios propósitos para esta reunión, además del primordial de obtener el permiso y el apoyo para su proyecto (o al menos un acuerdo para seguir discutiendo la posibilidad). Ellos incluyen:

• Establecer sus credenciales - la experiencia, la formación educativa, y cualquier otro factor que lo habilite a conducir esta  evaluación. Esto puede incluir referencias de colegas, profesores, u otras organizaciones con las que haya trabajado.
• Aprender más acerca del programa y la organización.
• Explicar qué quiere hacer y por qué, cómo se presentarán probablemente los resultados de la evaluación, qué se hará con ellos, quién tendrá acceso, etc. Esta explicación también deberá cubrir los temas de confidencialidad y autorización de los participantes.
• Explicar lo que se necesita de la organización y/o del programa - participación de los  participantes y el personal, por ejemplo, cualquier apoyo logístico, acceso a registros, o acceso a actividades del programa.
• Explicar lo que usted está ofreciendo a cambio – sus servicios para una evaluación formal y extensa, todos los gastos, equipos y materiales, otros servicios de apoyo, o cualquier otra cosa más que se tenga para ofrecer.
• Aclarar las necesidades de la organización, y discutir cómo encajan con las suyas – y cómo ambas pueden satisfacerse.

Asumiendo que su presentación ha sido convincente, y usted es ahora el  evaluador del programa, el resto de los pasos que siguen se aplican tanto a los investigadores independientes como a  los evaluadores externos.

Averigüe todo lo que se pueda sobre el contexto.

Esto puede resultar diferente para los evaluadores externos que para los investigadores independientes, pero es igualmente importante para ambos.Significa averiguar de antemano todo lo que se pueda sobre la comunidad, la organización, el programa, y los participantes  – la estructura social de la comunidad y dónde encajan los participantes dentro de ella, la historia del problema en cuestión, cómo es vista la organización, las relaciones entre grupos e individuos,  la política comunitaria etc.

Si usted es un evaluador externo, puede tomar ideas de los administradores del  programa, del personal, y de los participantes acerca de la comunidad, la organización, y el asunto en cuestión. Pídales que lo dirijan a otros  - líderes comunitarios, funcionarios, residentes de mucho tiempo, clérigos, miembros confiables de determinados grupos – que puedan también darle sus perspectivas. Si es posible, conozca la comunidad físicamente: camine y/o conduzca por ella, visite comercios, parques, restaurantes, la biblioteca. El comprender cómo el problema incide en la comunidad, la naturaleza de las relaciones entre grupos e individuos, y cómo es la vida en los vecindarios donde viven los participantes, le ayudará mucho al analizar la evaluación del programa.

Si usted es un investigador independiente, aprenda lo más que pueda sobre el contexto antes de contactar al programa. Los sitios web  (de la organización y/o la comunidad) y las bibliotecas son dos posibles fuentes de información, como también lo son la literatura sobre la comunidad y la organización. y la gente que conoce la comunidad. Aprender de antemano sobre la comunidad, la organización, y los participantes, le ayudará a determinar si este programa encaja con su investigación  y a abogar por su cooperación con su proyecto. Una vez que usted cuente con esa cooperación, puede seguir el mismo sendero que un evaluador externo (puesto que eso es lo que usted es) para aprender lo más que pueda sobre el contexto del programa.

Establezca confianza con los administradores del programa, el personal, y los participantes.

Esta puede ser la parte más difícil de una evaluación para alguien de afuera de la organización. No hay ningún acto de magia o línea de tiempo predecible, pero hay varias cosas que se pueden hacer:

• Sea usted mismo. No sienta que debe actuar de cierta manera: trate con la gente del programa como lo hace con amigos y conocidos en otras circunstancias.La gente se da cuenta cuando alguien está siendo falso, y es  poco probable que confíen en usted si ese es el caso.
• Trate a todo el mundo con el mismo respeto, como colegas en un proyecto de investigación.
• No asuma que sabe más que nadie por ser el profesional.
• Comparta libremente lo que sabe, pero no se ate a ningún proceso o método determinado, especialmente en respuesta a una posición opuesta de un individuo importante.
• Pregunte a los administradores, personal, y participantes lo que ellos quieren de la evaluación, y discuta cómo la evaluación podría proporcionárselo.
• No tenga miedo de decir "No lo sé, pero lo voy a averiguar," y hágalo.
• Ejecute fielmente cualquier cosa que diga que va a hacer. No prometa nada que no podrá cumplir, y fije plazos de entrega razonables, con el fin de poder cumplirlos.

Los últimos dos pasos se aplican a todos, evaluadores internos y externos.

Apunten a una evaluación participativa.

Hemos discutido más arriba el involucramiento de todos los interesados al máximo posible. El involucrar a los participantes, personal del programa, y otros interesados en un planeamiento y una investigación participativa puede a menudo otorgarles los datos más precisos, y darles acceso a personas y lugares que normalmente no tendrían. Por otro lado, el planeamiento y la investigación participativa,  como hemos explicado, llevan tiempo y energía. Si se tiene un tiempo limitado, tal vez no se pueda armar un proyecto totalmente participativo.  Se puede, sin embargo, todavía consultar a los interesados, e involucrarlos en maneras que no requieran necesariamente capacitación o grandes cantidades de su tiempo.Ellos pueden ayudarlos a programar las entrevistas con los participantes u otros informantes importantes, por ejemplo, y/o actuar como informantes ellos mismos en lo relativo a condiciones y relaciones comunitarias.

Por lo menos la gente a cargo del programa, y probablemente aquéllos que lo implementan también, esperarán tomar parte en el planeamiento de la evaluación. Ellos son, después de todo, los que necesitan saber si su trabajo es efectivo, y cómo mejorarlo. El involucrar a los participantes también, en roles que van de informantes acerca del contexto a verdaderos investigadores, probablemente enriquezca la cantidad y calidad de la información que ustedes obtengan.

Planeen la evaluación, en colaboración con los interesados.

Esa colaboración deberá darse en el más alto nivel de participación posible, dada la naturaleza del programa, el tiempo disponible, y la capacidad de los involucrados (si los participantes del programa son niños de cinco años, ellos probablemente tendrán relativamente poco que contribuir al planeamiento de la evaluación... pero sus padres podrían querer involucrarse.)

El planeamiento mismo comprende diez  áreas diferentes, cada una de las cuales será tema de una de las restantes secciones en este capítulo:

• Recolección y síntesis de la información.
• Diseño de un sistema de observación.
• Desarrollo y prueba de una intervención prototipo.
• Selección de un diseño experimental apropiado.
• Recolección y análisis de los datos.
• Recolección e interpretación de la información etnográfica.
• Recolección y uso de los datos de archivo.
• Alentar la participación a través de la investigación.
• Refinar la intervención basándose en la evaluación.
• Preparación de los resultados de la evaluación para su divulgación.

Una vez que el planeamiento está hecho, es tiempo de empezar a llevar a cabo la evaluación.Y cuando se haya terminado – después de haber analizado la información y planeado y realizado los cambios que se necesitarán – es tiempo de comenzar el proceso otra vez, con el fin de poder determinar si esos cambios tuvieron los efectos que se pretendían. La evaluación, como gran parte del trabajo comunitario, es un proceso que sigue así por la misma cantidad de tiempo que el trabajo mismo. Ella es absolutamente esencial para la mejora continua de su programa.

En resumen

La selección de las preguntas evaluativas - las áreas de su trabajo que se examinarán como parte de la evaluación de su programa - es clave para definir exactamente qué es lo que se está tratando de lograr. Por esa razón, esas preguntas deben ser elegidas cuidadosamente como parte del proceso de planeamiento para el programa mismo, de modo que las preguntas puedan guiar su trabajo así como la evaluación de él. Cuanto más se pueda involucrar a los interesados en esa selección y ese planeamiento, más probable será que se cree un programa que logre exitosamente sus metas de servicio para la comunidad.

La buena selección de esas preguntas supone comprender el contexto del programa - la comunidad, los participantes, la cultura de todo grupo que esté involucrado, la historia del problema y de la estructura social de la comunidad y de la organización - y (si usted es un evaluador externo sin ataduras con el programa) el establecimiento de una confianza con administradores, miembros del personal, y participantes. Esa confianza le permitirá realizar una evaluación participativa que extraiga el conocimiento y los talentos de todos los interesados, y planear una evaluación que se ajuste a las metas de su programa y que analice con precisión  sus fortalezas y sus debilidades. Con ese análisis en la mano,  se podrán hacer cambios para mejorar el programa. Entonces se estará cercano a comenzar todo el proceso otra vez, con el fin de poder evaluar los efectos de los cambios que se han realizado.