| Community Tool Box

• لماذا نقيّم برامج الصحة والتنمية المجتمعية؟
• كيف نقيّم برنامجاً محدداً؟
• ما هي "معايير" التقييم الجيدة؟
• تطبيق إطار العمل: إجراء التقييمات الأمثل

تقوم في مختلف أرجاء العالم برامج وتدخلات كثيرة جرى تطويرها من أجل تحسين الظروف في المجتمعات المحلية. فالناس يجتمعون معاً للعمل على خفض مستوى العنف السائد، أو لتوفير سكن محمول الكلفة لكل الناس، أو لمساعدة الطلاب على أداء أفضل في المدارس – على سبيل المثال.

ولكن كيف نعرف إن كانت هذه البرامج فعالة؟ فإن لم تكن فعالة – وحتى لو كانت كذلك، فكيف لنا أن نجعلها أفضل لصالح الناس المحليين؟ وأخيراً، كيف تستطيع منظمة أن تتخذ خيارات ذكية في ما يتعلق بالبرامج التي يحتمل أن تنجح في ذلك المجتمع؟

على امتداد السنوات الماضية، ازداد الميل نحو استخدام التقييم لفهم الممارسات وتحسينها. لقد حلّ الاستخدام المنتظم للتقييم مشكلات كثيرة كما ساعد أعداداً لا تحصى من المنظمات المجتمعية على أن يفعلوا ما يُحسنوا عمله.

على الرغم من ازدياد القدرة على فهم الحاجة إلى التقييم وإلى استخدامه، بقيت الحاجة إلى إطار عمل متفق عليه لتقييم البرامج قائمة. وفي العام 1997 أدرك العلماء في المركز الأمريكي لمكافحة الأمراض ومنعها CDC، الحاجة إلى تطوير مثل هذا الإطار. نتيجةً لذلك، شكل المركز مجموعة عمل على التقييم ضمّت خبراء في حقلي الصحة العامة والتقييم. وطُلب من أعضاء المجموعة تطوير إطار يلخص وينظم العناصر الأساسية في تقييم البرامج. هذا القسم في "عدة العمل المجتمعي" يصف الإطار الناجم عن جهود مجموعة العمل.

على وجه التحديد سنقوم في هذا القسم بالتالي:

• مناقشة مزايا تقييم برنامج محدد

• شرح كيفية تقييم برنامج محدد

• توفير معايير قياسية للتقييم الجيد

• مناقشة كيف يمكن لمجموعتكم أن تطبق الإطار، وبالتالي كيف يمكن للمجموعات أن تنفذ التقييم الأمثل.

الأداة 1 (أنظر "الأدوات") تزودكم بروابط إلى معلومات عن كيفية التنفيذ في "عدة العمل المجتمعي"، أي معلومات تتصل بعمليات التقييم. لكن، قبل أن نبدأ، نود أن نقدم بعض التعريفات لمصطلحات سيجري استخدامها في هذا الجزء.

التقييم: المقصود هنا التحقيق المنظم في أهلية وقيمة وأهمية شيء أو جهد ما. لقد تغيرت ممارسة التقييم بشكل كبير في العقود الثلاثة الماضية: فقد جرى تطوير طرائق ومقاربات جديدة، وهو – أي التقييم – يستخدم اليوم بشكل متزايد في مشاريع متنوعة.

البرامج: في كل هذا الجزء، نستخدم كلمة "برامج" لوصف الشيء أو الجهد الذي يجري تقييمه. وهذا ينطبق على أي عمل يستهدف تحسين النتائج لمصلحة مجتمعات محلية بكاملها، أو لقطاعات محددة أكثر (المدارس، أماكن العمل، مثلاً)، أو لمجموعات فرعية (كالشباب، أو أشخاص يعانون العنف أو مصابين بفيروس HIV أو الإيدز). يقصد بهذا التعريف أن يكون عريضاً للغاية.

الأمثلة على الأنواع المختلفة من البرامج يمكن أن تشمل:

• التدخلات الخدماتية المباشرة (كبرنامج يوفر فطوراً مجانياً لتحسين التغذية لتلاميذ المدارس الإبتدائية).

• جهود لتعبئة مجتمع محلي (تنظيم حملة مقاطعة منتوجات زراعية من أجل تحسين أحوال العمال الزراعيين).

• مبادرات بحثية (كاستكشاف ما إذا كان من الممكن خفض التفاوت في الأوضاع الصحية بين المدن والأرياف أو بسبب الانتماء إلى أقلية معينة أو عِرق معين).

• نظم المسح (مثلاً: هل الاكتشاف المبكر للاستعداد لدخول المدرسة يحسّن المخرَجات التربوية؟).

• أعمال المناداة أو المناصرة (كتنظيم حملة للتأثير على المشرّعين ودفعهم إلى تمرير تشريع حول منع التبغ).

• حملة تسويق اجتماعي (مثلاً، حملة لتشجيع الأمهات على الإرضاع الطبيعي وخفض معدل وفيات الرضّع).

• مشاريع البنية التحتية (كبرنامج لبناء قدرات الوكالات الحكومية على دعم مبادرات التنمية المجتمعية).

• برامج التدريب (كبرنامج تدريب وظيفي لخفض البطالة في الأحياء الحضرية).

• النظم الإدارية (كبرنامج لتحسين فعالية الخدمات الصحية).

تقييم البرامج: أي نوع التقييم الذي نناقشه في هذا القسم يمثل ممارسةً تنظيمية جوهرية لكل أعمال الصحة والتنمية المجتمعية. إنه طريقة في تقييم مشاريع وأنشطة محددة يمكن أن تشارك فيها مجموعات محلية أكثر تقييم منظمة بأكملها أو تقييم مبادرة مجتمعية شاملة.

أصحاب المصلحة: يشير هذا المصطلح إلى أولئك الذين يهمهم البرنامج أو الجهد – أو يراهنون عليه. من هؤلاء هناك الأشخاص الذين يفترض أنهم يستفيدون (كالأطفال وأهلهم أو من يرعاهم) أو أصحاب النفوذ المحدد (كالمسؤولين المنتخبين أو المعيّنين) أو أولئك الذين يعارضونه ( أي خصوم البرنامج أو الجهد المتحملين). والسؤالان الرئيسيان عن "أصحاب المصلحة" هما: مَن يهمه الأمر؟ وما الذي يهمه فيه؟

يقدم هذا القسم، إطار عمل يعزز الفهم المشترك لتقييم البرنامج. الهدف الأعلى هو أن نسهّل على كل مَن يشترك في أعمال الصحة والتنمية المجتمعية تقييم جهودهم.

لماذا نقيّم برامج الصحة والتنمية المجتمعية؟

إن التقييم الذي نتحدث عنه في هذا القسم هو من النوع الذي يمكن ربطه بسهولة بعمليات البرنامج اليومية. والتشديد هنا هو على التقييم العملي والمتواصل الذي يشرك جميع العاملين في  البرنامج وأعضاء المجتمع المحلي وأصحاب مصلحة آخرين، أي أنه لا يقتصر على خبراء التقييم. ويوفر هذا النوع من التقييم مزايا للمهنيين العاملين في صحة وتنمية المجتمع المحلي. على سبيل المثال، فهو يكمل عمل مديري البرامج من خلال:

• المساعدة على توضيح خطط البرنامج

• تحسين التواصل بين شركاء البرنامج

• جمع المردود (التغذية المرتدة) اللازم لتحسين فعالية البرنامج والمسؤولية عنه.

من المهم أن نتذكر أيضاً أن التقييم ليس نشاطاً جديداً بالنسبة إلى أولئك العاملين بيننا على تحسين مجتمعاتنا المحلية. في الواقع، نحن نقيس جدارة عملنا طوال الوقت وذلك عندما نطرح أسئلة، ونشاور الشركاء، ونجري تقديرات وقياسات بناء على المردود، ثم نستعمل هذه الأحكام من أجل تحسين العمل. وفي الحالات التي يكون فيها الرهان منخفضاً، فإن هذا النوع من التقييم غير الرسمي يمكن أن يكون كافياً. ولكن، وعندما يكبر الرهان والأهداف - أي عندما يتعلق الأمر بكثير من المال والوقت أو عندما يكبر عدد الناس المتأثرين - عندها يصبح من المعقول أن تستخدم منظمتكم إجراءات تقييم أكثر رسمية، ومنظورة ومبررة.

كيف نقيّم برنامجاً محدداً؟

قبل أن تبدأ منظمتكم بتقييم البرنامج ينبغي أن تكون الأجوبة عن الأسئلة التالية واضحة تماماً لمجموعتكم. ولتوضيح المقصود بكل جواب دعونا ننظر في بعض الردود في برنامج افتراضي هدفه منع القيادة والشرب، (أو منع القيادة المتهورة أو صدم الأطفال والتلاميذ...)

• "القيادة الذكية" برنامج يركز على خفض حالات القيادة بعد الشرب من خلال التوعية العامة والتدخل (أو على سلامة الأطفال عند قطع الشوارع بأمان أي خفض ).

ما هي المعايير التي تستخدم في الحكم على أداء البرنامج (يمكن تعديل الأسئلة بحسب البرنامج)؟

• عدد سكان المجتمع المحلي الذين باتوا يعرفون البرنامج وأهدافه

• عدد الناس الذين يستخدمون المتطوعين في نقلهم إلى منازلهم - بعد الشرب- أو يساعدون الأطفال على قطع الطرقات بأمان.

• النسبة المئوية من الناس الذي يبلغون عن حالات القيادة والشرب أو القيادة المتورة التي تهدد سلامة الناس.

• الرقم المعروف عن حوادث التدهور أو الإصطدام المفردة أي في سيارة واحدة ليلاً (هذه طريقة شائعة في تحديد ما إذا كان عدد الأشخاص الذين يقودون ثملين قد تغيّر) (أو عدد الأطفال الذين يتعرضون للصدم أثناء قطع الشوارع)

ما الأرقام القياسية في الأداء التي يجب الوصول إليها في معايير الأداء؟

• 80% من سكان المجتمع المحلي يعرفون عن البرنامج وأهدافه بعد السنة الأولى من إطلاقه

• عدد الأشخاص الذين يستخدمون سيارات أجرة (بدلاً من سياراتهم) سيزداد 20% في السنة الأولى (أو عدد حوادث صَدْم الأطفال سيتراجع 20%)

• نسبة الأشخاص الذين يبلغون عن حالات القيادة بعد الشرب سيتراجع 20% في السنة الأولى

• عدد حوادث الاصطدام/ التدهور الليلية المنفردة (أو صدم التلاميذ) سيتراجع 10% في أول سنتين من البرنامج.

ما الدليل الذي يمكن أن يشير إلى الأداء بناءً على المعايير القياسية؟

• استطلاع عشوائي بالهاتف يُظهر مدى معرفة السكان عن البرنامج والتغيير في السلوك

• سجل الوارد من "متطوعي" النقل الآمن الذي يخبرنا عن عدد الأشخاص الذين يستخدمون هذه الخدمة (أو من مجموعات "القطع الآمن")

• المعلومات عن حوادث الاصطدام/ التدهور/ الصدم التي يمكن جمعها من سجلات الشرطة

ما الذي نستنتجه من أداء البرنامج بناءً على الدليل المتاح؟

• هل أن التغيير الذي حصل نتيجة لجهودنا نحن أم نتيجة أمر آخر؟ أو (هل إن تغييراً لم يحصل أو أن التغيير ليس كافياً في سلوك الأشخاص أو في النتيجة)

• هل على مجموعات "القيادة الذكية" (أو مجموعات قطع الشارع بأمان) أن تغير طريقة العمل أم أننا لم ننتظر بما يكفي لنرى النتائج؟

يقدم إطار العمل التالي نهجا منظماً في الإجابة عن هذه الأسئلة

إطار عمل لتقييم البرنامج

يوفر للبرنامج طريقة لفهم وتحسين الممارسات في مجال صحة وتنمية المجمع باستعمال طرائق مفيدة وملائمة ودقيقة وفي المتناول. إطار العمل الموصوف أدناه هو أداه عملية مرنة تلخّص في ترتيب منطقي العناصر المهمة في تقييم البرامج. يحتوي الإطار بُعدَين مترابطين:

• خطوات في ممارسة التقييم

• مقاييس التقييم "الجيد"

الشكل الأول يظهر إطار العمل:

كلام الشكل: خطوات في التقييم

إشراك أصحاب المصلحة

وصف البرنامج

تركيز مخطط التقييم

جمع أدلة صادقة

تبرير الاستنتاجات

مقاييس التقييم "الجيد"

ضمان الاستخدام وتشارك الدروس المستخلصة

المنفعة

الجدوى

الملاءمة

الدقة

خطوات الإطار الست تمثل أعمالاً ينبغي أن تكون جزءاً من أي تقييم. وقد نصادف الخطوات في الممارسة في شكل غير متسلسل، إلا أن المنطق يقول باتباعها في التسلسل الموصى به. ويعود ذلك إلى أن الخطوات الأسبق توفر الأساس لإحراز تقدم لاحق. وبذلك، فإن تقرير كيفية تنفيذ خطوة معينة يجب ألا يتم بشكل نهائي ما لم يجر التعامل مع الخطوات التي تسبقها.

إلا أن المقصود بهذه الخطوات ألا تكون جامدة بل قابلة للتكييف. فمن الأساسي لتنفيذ تقييم جيد أن نتمتع بحساسية إزاء السياق الفريد الخاص به (تاريخ البرنامج ومناخه التنظيمي، مثلاً). الغرض من الخطوات أن تخدم كنقاط انطلاق يمكن للمجتمعات المحلية أن تفصّل حولها تقييماً يلبي احتياجاتها على أفضل وجه.

خطوات في التقييم

الخطوات الست هي:

• إشراك أصحاب المصلحة – أو "أصحاب الرهان"

• وصف البرنامج

• تركيز مخطط التقييم

• جمع أدلة صادقة

• تبرير الاستنتاجات

• ضمان الاستخدام وتشارك الدروس المستخلصة.

إن فهم هذه الخطوات الأساسية الست والالتزام بها سيؤدي إلى تحسين معظم جهود التقييم. انظر أداة العمل 1 من أجل الوصول إلى أقسام أخرى من "عدة العمل المجتمعي" والتي يمكنها أن تساعدكم على تنفيذ الخطوات الست في إطار العمل.

الجزء الثاني من إطار العمل هو طقم من المقاييس المعيارية لقياس جودة أنشطة التقييم. هناك 30 مقياساً منظمة في المجموعات الأربع التالية:

• المنفعة

• الجدوى

• الملاءمة

• الدقة

هذه المعايير القياسية (سْتانْدرد) تساعد على الإجابة عن السؤال: "هل سيكون هذا التقييم تقييماً جيداً؟". ونحن نوصي باستعمالها بوصفها المعايير المبدئية التي تساعد على الحكم على نوعية أنشطة تقييم البرنامج.

دعونا، بدايةً، نلقي نظرة على الخطوات المحددة في تقييم البرنامج. وبعدها ننظر في هذا القسم على المعايير القياسية المحددة في التقييم "الجيد".

خطوات في تقييم البرنامج

إشراك أصحاب المصلحة

"أصحاب المصلحة" (أو المراهنون) هم الناس أو المنظمات الذين يمكن أن يكسبوا أو يخسروا شيئاً ما من نتيجة التقييم وكذلك مما سيترتب على هذه النتيجة. لا يمكن إجراء التقييم في عزلة. إذ يكاد كل ما يحصل في صحة وتنمية المجتمع المحلي يشمل شراكات، أي تحالفات بين المنظمات، وأعضاء مجالس الإدارة، والمتأثرين بالمشكلة وآخرين. لذلك، على أي جهد جدي لتقييم البرنامج أن  يراعي القيم المختلفة عند الشركاء. ويجب أن يكون أصحاب المصلحة جزءاً من التقييم لكي يضمنوا أن وجهات نظرهم قد جرى فهمها. أما حين لا يجري إشراك أصحاب المصلحة إشراكاً ملائماً فالأرجح أن يحصل تجاهل أو انتقاد أو مقاومة للنتائج.

بالمقابل، فإذا كانوا طرفاً في عملية التقييم فهم يمكن أن يشعروا إلى حدٍ بعيد بتملك عملية التقييم ونتائجها. وقد يرغبون في تطوير العملية والدفاع عنها وضمان أن ينجح التقييم فعلاً.

لذلك يبدأ التقييم بإشراك أصحاب المصلحة. وفور إشراكهم كان الناس سيساعدون على تنفيذ كل خطوة من الخطوات التالية. وهناك ثلاث مجموعات رئيسية من أصحاب المصلحة من المهم إشراكهم:

• أولئك المشاركون في إدارة البرنامج

• أولئك الذين يخدمهم البرنامج أو يتأثرون به

• أولئك الذين يستخدمون التقييم في الدرجة الأولى.

دعونا نلقي نظرة على كل مجموعة على حدة.

• الناس أو المنظمات المشاركة في عمليات البرنامج يمكن أن يضموا أفراداً من المجتمع المحلي، أفراداً من الأسر، منظمات الأحياء أو الجيرة، شركاء الائتلافات، موظفي التمويل، الإداريين، والمدراء والطاقم.

• الناس أو المنظمات الذين يخدمهم البرنامج أو يتأثرون به يمكن أن يضموا عملاء، أفراداً في الأسر، منظمات الأحياء، المعاهد الأكاديمية، الرسميين المعنيين والمنتخبين، مجموعات المناداة أو المناصرة، وسكان المجتمع المحلي. وقد يكون من المهم إشراك الأفراد الذين يشككون في البرنامج أو يعادونه. إن فتح التقييم على وجهات نظر متعارضة واستدراج المساعدة من خصوم البرنامج المحتملين يمكن أن يعزز مصداقية التقييم. لمزيد من المعلومات، انظروا الفصل 30، القسم 6 عن: تشجيع مشاركة الخصوم كما الحلفاء.

وعلى وجه مماثل، فإن الأفراد والمجموعات الذين يمكن أن يتأثروا سلباً بالتغييرات الناجمة عن التقييم لهم الحق في المشاركة. مثلاً، من المهم أن نشمل أولئك الذين سيتأثرون إذا ما جرى توسيع البرنامج، أو تغييره، أو الحد منه أو إنهائه نتيجةً للتقييم.

• مستخدمو التقييم الأساسيون المستهدَفون هم على وجه التحديد الأفراد الذين يوجدون في موقع يتيح لهم أن يقرروا النتائج وأن يفعلوا شيئاً حيالها. وعلينا ألا نخلط بينهم وبين مستخدمي البرنامج المستهدفين، مع أن بعضهم يجب أن يُشْرَك في هذه المجموعة. في الواقع، فإن المستخدِمين الأساسيين المستهدَفين ينبغي أن يشكلوا مجموعة فرعية من مجمل أصحاب المصلحة الذين جرى تحديدهم. التقييم الناجح يحدد المستخدِمين الأساسيين المستهدَفين مثل طاقم البرنامج والممولين، وذلك في مرحلة مبكرة من صياغته، ويحافظ على تفاعل متكرر معهم لضمان أن يلبي التقييم قيمهم واحتياجاتهم على وجه التحديد.

إن مدى انخراط أصحاب المصلحة، ونوعه، يختلفان من تقييم إلى آخر. على سبيل المثال، يمكن أن يشارك أصحاب المصلحة مباشرةً في تصميم وتنفيذ التقييم. ويمكن استخدام اجتماعات دورية وتقارير ووسائل اتصال أخرى لإبقائهم على علم بتقدم التقييم.

عند العمل مع هكذا مجموعة قد يكون من المفيد تطوير عملية صريحة من أجل تشارك السلطة وحل النزاعات. يمكن أن يساعد ذلك على تجنب التشديد الزائد على قيم أي فرد من أصحاب المصلحة. الفصل 20، القسم 6 عن "التدريب على حل النزاعات" يمكن أن يفيد في إقامة مثل هذه العملية.

يمكن إيجاد مزيد من المعلومات عن تحديد أصحاب المصلحة والعمل معهم في:

• الفصل 20،القسم 3: "فهم قادة المجتمع المحلي، والمقيّمين والممولين: ما هي مصالحهم؟"

• الفصل 18،القسم 3: "تحديد الأهداف وعوامل التغيير: من يمكن أن ينتفع ومن يمكن أن يساعد؟"

وصف البرنامج

وصف البرنامج هو ملخص التدخل الذي يجري تقييمه، وعليه أن يشرح ما يحاول البرنامج أن ينجزه وكيف يحاول أن يحقق هذه التغيرات. وسيصور الملخص المكوّنات والعناصر الجوهرية، وقدرة البرنامج على إحداث التغيير، والمرحلة التي وصل إليها في تطوره، وكيف يناسب البرنامج البيئة التنظيمية والمجتمعية الأوسع.

إن كيفية وصف البرنامج ترسم الإطار المرجعي لكل القرارات المستقبلية الخاصة بتقييمه. مثلاً، إذا وُصف البرنامج على أنه "يحاول أن يقوي تطبيق القوانين التي تَنهى عن التدخين (أو الشرب) تحت السن القانونية"، فإن التقييم قد يكون مختلفاً تماماً عما لو كان وُصف على أنه "برنامج لخفض تدخين النرجيلة (أو القيادة المخمورة) عند الشباب دون العشرين". كذلك، فالوصف يتيح لأعضاء المجموعة أن يقارنوا البرنامج بجهود مماثلة أخرى، ويسهّل اكتشاف تلك الأجزاء من البرنامج التي أحدثت التغيير. للمزيد من المعلومات أنظروا من الفصل18،القسم 1: "تصميم التدخلات المجتمعية".

فضلاً عن ذلك، فإن أصحاب المصلحة المختلفين قد تكون لديهم أفكار مختلفة عما يُفترض أن يُنجزه البرنامج. مثلاً، إن برنامجاً يستهدف خفض حالات التزويج المبكر قد يدفع بعض الأعضاء إلى الاعتقاد بأن ذلك قد يشجع على "تدهور الأخلاق" ويشكل مخاطر على الشباب والشابات، فيما غيرهم يرى أن ذلك يزيد من الأعباء الاجتماعية والاقتصادية على الأسرة (مثال آخر من مجتمعات تعاني هذه المشكلة: خفض حالات حمل المراهقات: البعض يراه تشجيعاً على الوصول إلى موانع الحمل وبعض آخر يراه تركيزاً على الامتناع عن ممارسة الجنس فحسب).

أي تقييم يُجرى من دون اتفاق على تعريف البرنامج قد لا ينفع تماماً. وفي حالات كثيرة، فإن عملية العمل مع أصحاب المصلحة على تطوير وصف واضح ومنطقي للبرنامج يأتي بمنافع تسبق بكثير إيجاد بيانات لقياس فعالية البرنامج.

الجوانب المحددة التي يجب أن يشملها وصف البرنامج:

• الحاجة

• التوقعات

• الأنشطة

• الموارد

• مرحلة التطور

• السياق (البيئة المحلية للبرنامج)

• النموذج المنطقي

دعونا ننظر في كل جانب، واحداً بعد آخر:

1. بيان الحاجة يصف المشكلة أو الهدف أو الفرصة التي يخاطبها البرنامج، وهو يبدأ بطرح ما سيفعله البرنامج للرد عل ذلك. الأوجه المهمة التي يجب أن تراعي في ما يتعلق بالحاجة إلى البرنامج تشمل: طبيعة المشكلة أو الهدف، من يتأثر بالمشكلة أو الهدف، ما حجم المشكلة أو الهدف وما وكيف يتغيران. للمزيد من المعلومات أنظروا من الفصل 17،القسم 3 ، عن: تعريف وتحليل المشكلة.

2. التوقعات هي النتائج المقصودة بالبرنامج. وهي تشرح ما على البرنامج أن يحقق من أجل أن يعتبر ناجحاً. في معظم البرامج فإن الإنجازات تكون متتابعة (أولاً نحقق هذا... ثم نريد أن نفعل ذاك...).  لذلك يجب أن ننظمها بحسب الزمن بحيث تنطلق من النتائج المرجوة المحددة (والفورية) إلى الواسعة (والأبعد مدى). مثلا، فإن رؤيا  البرنامج رسالته وأهدافه العامة وأهدافه المباشرة كلها تمثل مستويات متنوعة من درجة تحديد التوقعات من البرنامج (أنظروا شرحها في الفصل 8،القسم 1: نظرة عامة على التخطيط الاستراتيجي: الرؤيا، الرسالة، الأهداف، الاستراتيجيات، خطة العمل).

3. الأنشطة هي كل شيء يفعله البرنامج من أجل إحداث تغييرات. إن وصف مكوّنات البرنامج وعناصره تسمح بإدراج الاستراتيجيات والأعمال المحددة في تسلسل منطقي. هذا يُظهر أيضاً كيف ترتبط أنشطة مختلفة في البرنامج أحدها بالآخر، كما في العلاقة بين التربية وبين إعمالها. وكذلك، يوفر وصف أنشطة البرنامج فرصة للتمييز بين الأنشطة التي هي من مسؤوليات البرنامج مباشرة وتلك التي تنفذها برامج أخرى أو منظمات شريكة. ويمكن هنا أيضاً ذكر أمور خارج البرنامج يمكن أن تؤثر في نجاحه كمثل قوانين أشد صرامة في معاقبة من يبيع السجائر أو الكحول تحت السن القانونية.

4. الموارد تشمل الوقت، والمواهب، والتجهيزات، والمعلومات، والمال والأرصدة الأخرى المتاحة لتنفيذ أنشطة البرنامج. ومراجعة الموارد التي يمتلكها البرنامج تنبئ بالكثير عن حجم وكثافة الخدمات. ويمكن أيضاً أن تشير إلى مواضيع فيها تباين بين ما تريد المجموعة أن تفعل وبين الموارد المتوافرة لتنفيذ هذه الأنشطة. إن فهم تكاليف البرنامج ضرورة لقياس المعادلة بين التكلفة والمنفعة عند التقييم.

5. مرحلة تطور البرنامج تعكس مدى نضجه. كل برامج الصحة والتنمية المجتمعية تنضج وتتغير مع الوقت. لذا على الأشخاص الذين يجرون التقييم وأولئك الذين يستخدمون نتائج التقييم أن يأخذوا في اعتبارهم الطبيعة الدينامية للبرامج. مثلاً، البرنامج الذي تلقى لتوه أول منحة قد يختلف في أوجه كثيرة عن برنامج يُنفذ منذ عقد من الزمن.

هناك ما لا يقل عن 3 مراحل منظورة من التطور: التخطيط، والتنفيذ والآثار أو النتائج. ففي مرحلة التخطيط تكون الأنشطة ما زالت غير مختبرة ويكون هدف التقييم هو أن يجعلها على أدق ما يمكن. وفي مرحلة التنفيذ يجري اختبار أنشطة البرنامج في الميدان وتعديلها – هنا يستهدف التقييم اكتشاف ما يحصل في "العالم الحقيقي" وأن يحسن عمليات التنفيذ. أما في مرحلة الآثار، فيكون قد مرّ من الوقت ما يكفي لظهور آثار البرنامج. هنا يستهدف التقييم تحديد نتائج البرنامج وفهمها، بما في ذلك تلك التي لم تكن مقصودة.

6. إن وصف سياق البرنامج - أو إطاره – يأخذ في اعتباره سِمات مهمة في البيئة التي يعمل فيها البرنامج. وهذا يشمل فهم تاريخ المنطقة وجغرافيتها والسياسات فيها وظروفها الاجتماعية والاقتصادية، وكذلك ما فعلته المنظمات الأخرى. والتقييم الواقعي والمتجاوب يكون حساساً إزاء تنوع واسع من المؤثرات المحتملة على البرنامج. إن فهم السياق يساعد المستخدِمين على تفسير نتائج التقييم بدقة وعلى تقدير مدى صلاحيتها للتعميم. مثلاً، إن برنامجاً لتحسين ظروف السكن في وسط مدينة قد يحقق نجاحاً كبيراً في حين أنه قد لا ينجح في بلدة صغيرة في منطقة أخرى من البلاد من دون تعديل كبير. أنظروا المزيد عن ذلك في من الفصل 19،القسم 4: تكييف التدخلات المجتمعية لتلائم ثقافات ومجتمعات محلية مختلفة.

7. النموذج المنطقي يدمج عناصر البرنامج الأساسية في صورة واحدة تُظهر كيف يُفترض بالبرنامج أن يشتغل. وهو يُظهر الأحداث التي يُفترض أنها ستُحدِث التغيير. كثيراً ما يُعرض المنطق في صورة رسم متدفق، أو خارطة أو جدول للتعبير عن تسلسل الخطوات التي تقود إلى نتائج البرنامج. من أجل مثال على نموذج منطقي لبناء القدرات على تغيير المجتمع المحلي والنظم (الذي طورته جامعة كانساس) أنظروا الفصل 1، القسم 3 عن نموذج الممارسة عندنا: بناء القدرات من أجل تغيير المجتمع المحلي والنظم.

إن تكوين نموذج منطقي يسمح لأصحاب المصلحة بتحسين اتجاه البرنامج وتركيزه. وهو يكشف الافتراضات الخاصة بشروط تحقيق فعالية البرنامج ويوفر إطاراً مرجعياً لإجراء تقييم أو أكثر للبرنامج. يستطيع نموذج منطقي مفصل أن يكون أيضاً أساساً لتقدير أثر البرنامج في نقاط نهائية لا يجري قياسها مباشرة. مثلاً، سيكون من الممكن تقدير معدل تراجع الأمراض من عدد معروف من الأشخاص الذين يشاركون في التدخل إذا كان هناك معرفة مسبقة عن فعاليته.

يتفاوت مدى وصف البرنامج بين تقييم برنامج وآخر. وهكذا يمكن أن تكون أنشطة كثيرة مختلفة جزءاً من تطوير ذلك الوصف. مثلا، يمكن استجماع مصادر عدة من المعلومات معاً من أجل إنشاء وصف متكامل. إن دقة وصف برنامج قائم يمكن تأكيدها من خلال نقاش مع أصحاب المصلحة. ويمكن التحقق من وصف ما يحدث باستعمال مراقبة الأنشطة في الميدان مباشرة. ويمكن توسيع وصفٍ ضيقٍ للبرنامج من خلال الاستعانة بعوامل نابعة من السياق (مثل وتيرة تبدل العاملين، أو عدم كفاية الموارد، أو الضغوط السياسية، أو مشاركة الناس بقوة)، أي العوامل التي قد تؤثر في أداء البرنامج. للمزيد من المعلومات، أنظروا الفصل 39، القسم 3 عن: تقديم معلومات التقييم إلى جمهور من المجتمع المحلي.

التركيز على تصميم التقييم

نعني بالتركيز على تصميم التقييم إنجاز تخطيط مسبق عن وجهة التقييم والخطوات التي يتطلبها للوصول هناك. إذ ليس من الممكن أو المفيد أن يحاول التقييم الإجابة عن كل أسئلة جميع أصحاب المصلحة: يجب أن توجد في التقييم نقطة تركيز، أو بؤرة. فالخطة المركزة تركيزاً جيداً تشكل ضمانة لعدم استخدام الوقت والموارد استخداماً غير مُجدٍ.

هناك أنواع مختلفة من التقييم واختيار أحدها يتوقف على ما تريدون أن تعلموه. ولكن، وفور بدء عملية جمع البيانات فقد يصبح من الصعب – أو حتى من المستحيل – تغيير ما تفعلون حتى ولو اتضح أن طرقاً أخرى يمكن أن تنجح أكثر. إن الخطة المحكمة يمكنها أن تتنبأ بالاستعمالات المقصودة وأن تخلق استراتيجية تقييم تمتلك أفضل حظٍ في أن تكون ناجحة، وممكنة، وملائمة، ودقيقة. والمسائل التي ينبغي مراعاتها هنا تشمل:

• الغرض

• المستخدمين

• الاستخدامات

• الأسئلة

• الطرق

• الاتفاقات

دعونا نلقي نظرة على كل واحدة منها.

الغرض يشير إلى النية في التقييم. فالغرض الواضح يخدم أساساً لتقييم التقييم، وطرقه، ومنفعته. إن أخذ الوقت الكافي لبلورة الغرض العام يمنع منظمتكم من أن تتخذ قرارات غير مدروسة في ما يتعلق بكيفية إجراء التقييم واستخدامه.

هناك أربعة أغراض عامة، على الأقل، يمكن أن تدفع مجموعة محلية إلى إجراء تقييم:

لاكتساب نظرة أعمق: هذا يمكن أن يحصل، مثلاً، عند تقرير ما إذا كان المطلوب استخدام نهج جديد (مثلاً، هل ينجح برنامج محلي لحراسة الحي؟). فالمعرفة الناتجة عن مثل هذا التقييم تزودنا معلوماتٍ عما إذا كان عملياً. ويمكن للمعلومات عن تقييم برامج أخرى مشابهة أن تزود برنامجاً قيد النشوء بالنظرة الأعمق اللازمة لتوضيح كيفية تصميم أنشطته.

تحسين طرق العمل: هذا الغرض يلائم مرحلة التطبيق حيث يحاول البرنامج أن يشرح ما فعله. ويمكن استخدام المعلومات لوصف عمليات البرنامج، وتحسين طرق عمل البرنامج، ولجعل الإستراتيجية العامة أكثر دقة. والتقييمات التي تجري لهذا الغرض تشمل الجهود لتحسين نوعية أنشطة البرنامج أو فعاليته أو كفاءته.

تحديد مفاعيل البرنامج: التقييمات هنا تتفحص العلاقة بين أنشطة البرنامج وعواقبه المنظورة. مثلاً، هل ازداد عدد الطلاب الذين ينهون الدراسة الثانوية نتيجةً للبرنامج؟ إن البرامج الأكثر ملاءمة لهذا النوع من التقييم هي برامج ناضجة قادرة على طرح ما حصل بوضوح ومَن كان المستهدف منه. ومثل هذه التقييمات عليها أن توفر دليلاً على مساهمة البرنامج في الوصول إلى أهداف عامة أبعد مدى من قبيل خفض حالات إساءة معاملة الأطفال أو الجريمة في المنطقة. ويساعد هذا النوع من التقييم على بناء المساءلة، وبذلك بناء صدقية البرنامج أمام الممولين والمجتمع المحلي.

للتأثير في أولئك المشاركين فيه: إن المنطق والتأمل المطلوبين من المشاركين في التقييم يمكن أن يكونا في حد ذاتهما محفزاً على تغيير في المشاركين أنفسهم. بذلك، يكون أحد أغراض برنامج التقييم أن تولد عمليته ونتائجه أثراً إيجابياً. مثل هذا الأثر يمكن أن يكون:

1. "تمكين" المشاركين في البرنامج (مثلاً، المشاركة في تقييمٍ ما يمكنها أن تزيد من شعور أفراد المجتمع المحلي بسلطتهم على البرنامج)

2. إكمال البرنامج (مثلاً، استخدام استبيان للمتابعة يمكنه أن يعيد تعزيز رسائل البرنامج الرئيسية)

3. تعزيز تطوير العاملين (مثلاً، من خلال تعليم الطاقم كيف يجمعون ويحللون ويفسرون الدليل)...

4. ... أو المساهمة في النمو التنظيمي (مثلاً، يمكن التقييم أن يوضّح علاقة البرنامج برسالة المنظمة ودورها).

المستخدِمون هم الأشخاص المحدَدون الذين يتسلمون ما خرج به التقييم. وهم الذين سيختبرون مباشرةً عواقب المقايضات المحتومة في عملية التقييم. مثلاً، يمكن أن تكون إحدى المقايضات إجراء تقييم متواضع نسبياً بما يلائم الموازنة الأمر الذي يؤدي إلى نتائج مؤكدة بأقل مما لو كان التقييم شاملاً تماماً. من هنا يكون للمستخدِمين المستهدفين الحق في المشاركة في اختيار مجال تركيز التقييم لأنهم هم الذين سيتأثرون بنتائجه. إن تصميم التقييم من دون مشاركة ملائمة من قبل مستخدِميه في اختيار بؤرة تركيزه قد يتحول إلى تمرين منحرف وغير ذي صلة. بالمقابل، عندما يجري تشجيع المستخدِمين على توضيح استخدامات التقييم والأسئلة ذات الأولوية والطرق المفضلة فهذا على الأرجح يساعد على التركيز على الأمور التي ستحدد مضمون الخطوات في المستقبل وتؤثر فيها.

الاستخدامات تصف ما الذي سنفعله بما سنتعلمه من التقييم. هناك تشكيلة متنوعة من الاستخدامات المحتملة لتقييم البرنامج. عموماً، تتوزع الاستخدامات إلى الفئات الأربع الخاصة بالأغراض المذكورة أعلاه: اكتساب نظرة أعمق، تحسين طرق عمل الأشياء، تحديد مفاعيل البرنامج، والتأثير في المشاركين. القائمة التالية تقدم أمثلة على الاستخدامات في كل فئة.

بعض الأمثلة على استخدام التقييم

لاكتساب نظرة أعمق:

• تقدير حاجات ورغبات أفراد المجتمع المحلي (أنظروا الفصل 3، القسم 7) عن إجراء مسوحات تقدير الحاجات.

• تحديد العوائق أمام استخدام البرنامج

• تعلم كيفية وصف وقياس أنشطة البرنامج على أفضل وجه.

تحسين طرق عمل الأشياء:

• جعل الخطط الرامية إلى تقديم ممارسات جديدة أكثر دقة

• تحديد مدى تطبيق الخطط

• تحسين المواد التثقيفية

• تعزيز القدرة الثقافية (أنظروا الفصل، 19 القسم 14عن: تكييف التدخلات لملاءمة ثقافات ومجتمعات محلية مختلفة)

• التأكد من صيانة حقوق المشاركين

• وضع أولويات تدريب العاملين (انظروا الفصل، 10 القسم عن: تطوير برامج تدريب للعاملين)

• إجراء تعديلات في منتصف الدورة

• توضيح الاتصال

• تحديد ما إذا كان رضى العميل قد تحسن

• مقارنة الكلفة إلى المنفعة

• استكشاف المشاركين الأكثر انتفاعاً من البرنامج

• تعبئة الدعم من المجتمع المحلي للبرنامج (أنظروا الفصل 46، القسم 4 عن: جذب الدعم لبرامج محددة).

تحديد مفاعيل البرنامج:

• مقياس النمو في مهارات المشاركين في البرنامج

• مقارنة التغيرات في السلوك مع مرور الوقت

• تقرير أين ستخصص الموارد الجديدة

• توثيق مستوى النجاح في تحقيق الأهداف (أنظروا الفصل 38، القسم 1 عن: قياس النجاح: تقييم مبادرات شاملة في صحة المجتمع المحلي)

• إظهار أن متطلبات المساءلة قد جرى تلبيتها

• استخدام المعلومات من  تقييمات متعددة للتنبؤ بالمفاعيل المحتملة لبرامج متشابهة.

للتأثير في المشاركين:

• إعادة تعزيز رسائل البرنامج

• تنشيط الحوار وزيادة الوعي بقضايا الناس

• توسيع الإجماع بين الشركاء على أهداف البرنامج العامة

• تعليم العاملين وأصحاب المصلحة الآخرين مهارات التقييم

• جمع قصص نجاح

• دعم التغيير والتحسين في المنظمة

بعد ذلك، يكون على التقييم أن يجيب عن أسئلة محددة. وصياغة الأسئلة تشجع أصحاب المصلحة على كشف ما يعتقدون ما يجب على التقييم تلبيته، أي ما هي الأسئلة الأهم عند أصحاب المصلحة المراهنين على البرنامج؟ إن عملية التقييم تساعد على تركيز  التقييم تركيزاً أكثر دقة.

الطرائق المتاحة لإجراء التقييم تُستمد من علم السلوك والبحث الاجتماعي والتنمية الاجتماعية. وهناك ثلاثة أنواع من الطرائق المعتمدة بشكل عام، وهي: الاختبارية، وشبه الاختبارية وتلك القائمة على الملاحظة.

• إن تصاميم الطرائق الاختبارية تستخدم اختيارات عشوائية لمقارنة مفعول التدخل ما بين مجموعات متماثلة في العادة (مثلاً، مقارنة مجموعة طلاب مختارة عشوائياً شاركت في برنامج للقراءة بعد المدرسة بمجموعة طلاب لم تشارك).

• أما الطرائق شبه الاختبارية فتعقد مقارنات بين مجموعات غير متكافئة (مثلاً، بين المشاركين في البرنامج وأولئك في لائحة الانتظار) أو أنها تستخدم مقارنات ضمن مجموعة على مدى فترة من الزمن، كما في مسلسل متقطع زمنياً يمكن فيه إدخال تدخل  تتابعي على أفراد مختلفين أو مجموعات أو سياقات مختلفة.

• أما الطرائق القائمة على الملاحظة أو على دراسات الحالة فهي تستخدم مقارنات ضمن المجموعة لوصف وشرح ما يحدث (مثلاً، دراسات حالة مقارنة في مجتمعات محلية متعددة).

إن أياً من الطرائق الثلاث ليست أفضل من غيرها. فطرائق التقييم يجب اختيارها بسبب ما توفره من معلومات ملائمة للرد على أسئلة أصحاب الرهان أو المصلحة وليس بسببٍ من كونها مألوفة أو سهلة أو محبوبة. إن للاختيار عواقب تتعلق بما يمكن أن يُحتسب دليلاً وكيف سيُجمع هذا الدليل وما هي المطالب التي ستعلن. وحيث أن خيار كل طريقة له انحيازاته وحدوده فإن التقييمات التي تخلط الطرائق هي أكثر متانة.

الطرائق قد تحتاج إلى مراجعة أو تعديل على امتداد عملية التقييم. فالظروف التي تجعل مقاربة معينة نافعة يمكن أن تتبدل. مثلاً، إن الاستخدام المقصود بالتقييم يمكن أن ينحرف من كيفية تحسين البرنامج ليصبح كيفية المساعدة على تحديد ما إذا كان البرنامج يجب أن يستمر أم لا. لذلك، فالطرائق قد تحتاج إلى تكييف أو إعادة تصميم من أجل إبقاء التقييم في مساره.

الاتفاقات تلخص إجراءات التقييم وتوضح دور كل شخص ومسؤولياته. فالاتفاق يصف كيف ستنفذ أنشطة التقييم. وتشمل عناصر الاتفاق بيانات عن الغرض المقصود، والمستخدمين، والاستخدامات، والطرائق كما يتضمن ملخصاً عن منتّجات التقييم، والمسؤوليات، وجدول تنفيذ زمني وموازنة.

وتتوقف درجة "رسمية" الاتفاق على العلاقات القائمة بين المعنيين به. مثلاً، الاتفاق قد يتخذ شكل عقد قانوني، أو بروتوكولاً أو محضراً مفصلاً أو مذكرة تفاهم بسيطة. ولكن، بغض النظر عن درجة رسميته فإن اتفاقاً صريحاً يوفر فرصة لتأكيد التفاهم المتبادل اللازم من أجل تقييم ناجح. وهو يوفر أيضاً أساساً لإجراءات التعديل إذا ما اتضح ضرورتها.

كما ترون، فإن تركيز تصميم التقييم يمكن أن يشمل أنشطة كبيرة. على سبيل المثال، فإن كلاً من مؤيدي البرنامج والمتشككين يمكن استشارتهم لضمان أن تكون أسئلة التقييم واردة من الناحية السياسية. يمكن توزيع قائمة تضم استخدامات التقييم الممكنة والملائمة لمرحلة تطور البرنامج على أصحاب المصلحة من أجل تحديد أيها الأكثر إلحاحاً. ويمكن إجراء مقابلات مع بعض المستخدِمين على وجه التحديد من أجل أن نفهم فهماً أفضل حاجاتهم من المعلومات وجدول العمل الزمني. ويمكن اختزال المتطلبات من الموارد عندما يكون المستخدمون على استعداد لتوظيف طرائق تقييم ملائمة من ناحية التوقيت ولكنها أقل دقة.

جمع دليل صادق

الدليل الصادق هو المادة الخام للتقييم الجيد. فالمعلومات التي تجمع يجب أن تكون قابلة للتصديق والوثوق بها من قبل أصحاب المصلحة، وذات صلة من أجل أن تجيب عن أسئلتهم. إن هذا يتطلب تفكيراً واسعاً في ما يمكن احتسابه "دليلاً". مثل هذه القرارات يعتمد دائماً على الوضع المحدد، ويتوقف على السؤال المطروح وعلى ما يحفز على طرحه. فبالنسبة لبعض الأسئلة، فإن معيار الصدقية عند بعض أصحاب المصلحة قد يتطلب وجود نتائج اختبار عشوائي. فيما قد يتطلب توفير الصدقية لسؤال آخر وجود طقم من الملاحظات المشغولة جيداً والمنتظمة كما في التفاعلات ما بين عامل مع المجتمع المحلي وسكانه. ويتوقف الفرق على نوع المعلومات التي يريدها أصحاب المصلحة والوضع الذي تجمع فيه.

السياق مهم! ففي بعض الأوضاع قد يكون من الضروري استشارة خبراء في التقييم. وقد يصح هذا على وجه الخصوص حين يكون الحرص على نوعية البيانات عالياً جداً. وفي أوضاع أخرى، قد يوفر الناس المحليون أعمق النظرات. إلا أنه وبغض النظر عن خبراتهم فإن على الأشخاص المنخرطين في تقييمٍ ما أن يبذلوا جهودهم في جمع معلومات ترسم صورة صادقة ومكتملة عن البرنامج وجهوده.

إن وجود دليل صادق يقوّي نتائج التقييم وكذلك التوصيات النابعة منها. وعلى الرغم من أن لكل أنواع البيانات حدوداً فإن من الممكن تحسين صدقية التقييم العامة. وتتمثل إحدى أساليب تحقيق ذلك في استخدام إجراءات متعددة في جمع البيانات وتحليلها وتفسيرها. كذلك فإن تشجيع أصحاب المصلحة على المشاركة يمكن أن يعزز الصدقية المنشورة. فحين يساعد أصحاب المصلحة على تحديد الأسئلة وجمع البيانات فالأرجح أن يتقبلوا استنتاجات التقييم والتحرك لتنفيذ توصياته.

ما يلي من سمات جمع الأدلة تؤثر، نموذجياً، على مدى صدقية جمع البيانات في أن يكون:

• مؤشرات

• مصادر

• نوعية

• كمية

• لوجستيات (عملانيات)

دعونا ننظر إليها واحدة بعد أخرى.

المؤشرات تترجم المفاهيم العامة الخاصة بالبرنامج، ومفاعيله المتوقعة، إلى أجزاء محددة وقابلة للقياس. الأمثلة على المؤشرات تشمل:

1. قدرة البرنامج على توفير الخدمات

2. معدل المشاركة

3. مستوى رضى العملاء

4. مستوى التعرض للتدخل (كم عدد الأشخاص الذين جرى تعريضهم للبرنامج ومدة التعرض)

5. التغيرات في سلوك المشاركين

6. التغيرات في ظروف أو معايير المجتمع المحلي

7. التغيرات في البيئة المحيطة (مثلاً، برامج أو سياسات أو ممارسات جديدة)

8. تغيرات طويلة الأمد في حال صحة السكان (مثلاً، معدّل حمل المراهقات في البلد).

على المؤشرات أن تخاطب المعايير التي ستستخدم في الحكم على البرنامج. أي أن المؤشرات تعكس أوجه البرنامج التي تشكل مراقبتها أكثر أهمية. ويحتاج الأمر في العادة إلى عدة مؤشرات من أجل متابعة تطبيق أو مفاعيل برنامج أو تدخل مركب.

إن إحدى طرائق تطوير مؤشرات متعددة هي في خلق "بطاقة نتائج متوازنة" تحتوي مؤشرات جرى اختيارها بعناية بحيث يكمل أحدها الآخر. تبعاً لهذه الإستراتيجية يمكن النظر إلى عمليات البرنامج ومفاعيله من زوايا متعددة باستعمال مجموعات صغيرة من المؤشرات ذات الصلة. على سبيل المثال، يمكن أن تشمل "بطاقة نتائج متوازنة" لبرنامج وحيد مؤشرات على كيفية توصيل البرنامج إلى الناس، وعلى رأي المشاركين في البرنامج، وعلى المفاعيل المنظورة، وعلى الأهداف التي تحققت، وعلى التغيرات التي تحدث في البيئة المحيطة بالبرنامج.

المقاربة الأخرى في استخدام المؤشرات المتعددة تُبنى على نموذج منطقي للبرنامج كما ناقشناه في ما سبق من هذا القسم. ويمكن استخدام النموذج المنطقي بوصفه "قالباً" يحدد نطاقاً كاملاً من المؤشرات على امتداد الممر الذي يقود من أنشطة البرنامج إلى المفاعيل المتوقعة. ويمكن تطوير مؤشرات نوعية و/أو كمية لكل خطوة في النموذج.

المؤشرات يمكن أن تقوم على قاعدة عريضة وليست بحاجة إلى التركيز على أغراض البرنامج بعيدة المدى فحسب. إذ يمكنها أن تخاطب أيضاً عوامل وسطى تؤثر على فعالية البرنامج بما في ذلك عوامل غير ملموسة كمثل جودة الخدمة أو مقدرة المجتمع المحلي أو العلاقات داخل المنظمة. ويمكن خلق مؤشرات لهذه المفاهيم ولأمثالها من خلال التحديد المنتظم لعلاماتٍ دالّة على ما يقال ويُفعل عند التعبير عن المفهوم، وتتبّع هذه العلامات.

في مجرى التقييم، قد تنشأ الحاجة إلى تعديل المؤشرات أو تبنّي مؤشرات جديدة. كذلك، فإن قياس أداء البرنامج من خلال تتبع المؤشرات لهو مجرد جزء من التقييم وينبغي عدم بلبلته كأساس لاتخاذ القرارات في حد ذاته. فهناك مخاطر محددة تنجم عن استخدام مؤشرات الأداء بديلاً من إكمال عملية التقييم والتوصل إلى استنتاجات مبررة بالكامل. مثلاً، فإن مؤشراً من نوع ارتفاع معدل البطالة قد يقود إلى الافتراض الخاطئ بأنه يعكس فشل البرنامج في حين أن المعدّل يمكن أن يعود في الواقع إلى ظروف بيئية متغيرة تخرج عن سيطرة البرنامج. انظروا القسم 1 من الفصل 38 عن:  قياس النجاح: تقييم مبادرات صحية محلية متكاملة.

مصادر الدليل في التقييم يمكن أن تكون أشخاصاً أو وثائق أو مشاهدات. ويمكن استخدام أكثر من مصدر واحد لجمع دليل لكل مؤشر. في الواقع، فإن اختيار مصادر متعددة يوفر فرصة لتغطية منظورات مختلفة عن البرنامج وتعزيز مصداقية التقييم. مثلاً، فإن منظوراً داخلياً قد تعكسه وثائق داخلية والتزامات من العاملين أو مدير البرنامج، في حين أن العملاء وأولئك الذين لا يدعمون البرنامج قد يقدموا منظورات مختلفة لا تقل في صلتها بالبرنامج. إن خلط هذه المنظورات وغيرها يوفر نظرة أشمل على البرنامج أو التدخل.

المعايير المستخدمة في اختيار المصادر ينبغي أن يكون النص عليها واضحاً بحيث يتمكن المستخدمون وأصحاب المصلحة من تفسير الدليل بدقة وتقدير ما إذا كان منحازاً. فضلاً عن ذلك، فبعض المصادر تقدم معلومات على شكل سردي (مثلاً، في شكل خبرة شخص عند مشاركته في البرنامج)، وأشكال أخرى رقمية (مثلاً، عدد الأشخاص المنخرطين في البرنامج). ودمج المعلومات النوعية والكمية يمكن أن يُنتج دليلاً أكثر اكتمالاً وأكثر نفعاً ما يلبي حاجات وتوقعات تنوعاً أوسع من أصحاب المصلحة.

الجودة تشير إلى مدى ملاءمة المعلومات المجموعة وتكاملها في التقييم. فالبيانات ذات النوعية العالية يمكن الاعتماد عليها وهي توفر معلومات أكثر. من الأسهل جمع المعلومات حين تكون المؤشرات معرّفة تعريفاً جيداً. والعوامل الأخرى التي توثر في النوعية يمكن أن تشمل تصميم الأداة، وإجراءات جمع البيانات وتدريب المشاركين في جمع البيانات، واختيار المصادر، والترميز (كُودنْغ) وإدارة البيانات وكذلك تدقيق الأخطاء الروتيني. إن الحصول على بيانات نوعية يتضمن مقايضات (مثلاً، التوسع مقابل التعمق) وعلى أصحاب المصلحة أن يقرروا معاً ما هو الأهم عندهم. ولأن لكل البيانات حدوداً فإن نية إجراء تقييم عملي هي السعي نحو مستوى من الجودة يلبي مستوى المصداقية الذي يرغبه أصحاب المصلحة.

الكمية تشير إلى حجم الدليل الذي جُمع في التقييم. ومن الضروري أن نقدّر مسبقاً حجم المعلومات اللازمة لإقامة معايير لنقرر متى نتوقف عن جمع البيانات، أي أن نعرف متى يكفي ما جُمع. والكمية تؤثر في مستوى الثقة أو الدقة عند المستخدمين – أي إلى أي مدى يمكننا أن نتأكد من أن ما تعلمناه حقيقي. وتقرر الكمية أيضاً ما إذا كان التقييم سيكون قادراً على استشعار المفاعيل. إن كل الأدلة المجموعة ينبغي أن يكون لها استخدام واضح ومتوقع.

اللوجستيات (العملانيات) هي الطرائق والتوقيت والبنية التحتية المادية اللازمة لجمع الدليل والتعامل معه. إن للناس، والمنظمات كذلك، أفضليات ثقافية تقرر الطرائق المقبولة في طرح الأسئلة وجمع المعلومات، بما في ذلك تقرير من  الذي يُعتبر شخصاً مناسباً لطرح الأسئلة. مثلا، قد يكون بعض المشاركين على استعداد لمناقشة سلوكهم مع شخص غريب فيما يرتاح آخرون إلى شخص يعرفونه. لذلك يجب أن تتناسب تقنيات جمع الأدلة في التقييم مع المعايير الثقافية عند المجتمع المحلي. إن على إجراءات جمع البيانات أن تضمن الكتمان وسرية المعلومات.

تبرير الاستنتاجات

تدرك عملية تبرير الاستنتاجات أن الأدلة في التقييم لا تتحدث بالضرورة عن نفسها. فالدليل يجب أن يُدرس بعناية من منظور عدد من أصحاب المصلحة(؟) للتوصل إلى استنتاجات مبررة ومدعومة جيداً. ويمكن تبرير الاستنتاجات حين تُربط بالدليل المجموع وتقاس بمجموعة القيم التي اتفق عليها أصحاب المصلحة(؟). وهؤلاء يجب أن يتفقوا على استنتاجات مبررة حتى يستعملوا التقييم بثقة.

هناك خمسة عناصر رئيسية في تبرير الاستنتاجات المبنية على دليل:

• المعايير القياسية

• التحليل والتركيب

• التفسير

• الحكم

• التوصيات

دعونا ننظر فيها واحداُ بعد آخر.

المعايير القياسية (سْتاندَرد) تعكس القيم التي يحملها أصحاب المصلحة عن البرنامج. إن استخدام معايير قياسية صريحة في الحكم هو أساسي في أي تقييم رصين. في الممارسة، وعندما يحدد أصحاب المصلحة قيمهم بدقة ويتفاوضون حولها تصبح هذه هي المعايير القياسية في الحكم على ما إذا كان أداء برنامج معين سيعتبر "ناجحا" أو "كافياً" أو "غير ناجح"، على سبيل المثال.

التحليل والتركيب هما طريقتان لاكتشاف وتلخيص نتائج التقييم. والغرض منهما هو اكتشاف الأنماط في الدليل إما بعزل النتائج المهمة (التحليل) أو بتجميع مصادر مختلفة من المعلومات للوصول إلى فهم أوسع (التركيب). ويتطلب التقييم القائم على طرائق مختلطة تحليل كل عنصر في الدليل على حدة كما يتطلب تركيبة من كل المصادر لتفحص الأنماط المستخرجة. إن فك الرموز وتوضيح الوقائع في جسم الدلائل يتطلب أن نتخذ قراراً حول كيفية تنظيم المعلومات، وتصنيفها، ومقارنتها وعرضها. وهذه القرارات تسترشد بالأسئلة المطروحة، وأنواع البيانات المتاحة، وخصوصاً بما يقدمه أصحاب المصلحة والمستخدِمون الأساسيون المستهدَفون.

التفسير هو الجهد اللازم لإدراك ما تعنيه نتائج التقييم. فالكشف عن حقيقة أداء البرنامج لا يكفي للتوصل إلى استنتاجات. الحقائق يجب أن تُفسّر حتى نفهم مغزاها العملي. مثلاً، إن القول "إن 15% من الناس في منطقتنا قد شهدوا عملاً عنيفاً في العام الماضي" قد يُفسر تفسيرات مختلفة بحكم الوضع. مثلاً، إذا كان 50% من أفراد المجتمع المحلي شهدوا عملاً عنيفاً في العام الماضي عندما استُجوبوا قبل 5 سنوات، فقد تستنتج المجموعة أن الأمور تتحسن رغم إن المشكلة ما زالت قائمة. أما إذا كان 7% فقط من المستجوبين قبل 5 سنوات قد قالوا الشيء نفسه فقد ترى المنظمات المحلية في ذلك علامة على الحاجة إلى تغيير ما يقومون به. باختصار، تتوقف التفسيرات على المعلومات وزوايا النظر التي يجلبها أصحاب المصلحة إلى التقييم. ويمكن تقوية التفسيرات بفعل المشاركة النشطة أو التفاعل مع البيانات والشروحات الأولية لما حدث.

الأحكام هي إفادات عن حسنات وقيمة وأهمية البرنامج. وهي تتشكل من مقارنة نتائج التقييم وتفسيراته بواحد أو أكثر من معايير قياسية مختارة. وحيث أن المعايير القياسية يمكن تطبيقها على برنامج معين فقد يتوصل أصحاب المصلحة إلى أحكام متباينة أو حتى متعاكسة. مثلاً، إن برنامجاً يزيد من توسعه بنسبة 10% قياساً بالعام الماضي يمكن أن يحكم عليه مدراء البرنامج إيجاباً بناءً على معايير قياسية  خاصة بتحسن الأداء مع مرور الوقت. أما أعضاء المجتمع المحلي فقد يشعرون أنه رغم التحسن فالبرنامج لم يتمكن بعد من تخطي عتبة دنيا من التوسع والوصول. إن حكمهم المبنى على مقاييس الإنصاف الاجتماعي سيكون بذلك سلبياً. إن الإدعاءات المتضاربة عن نوعية وقيمة وأهمية البرنامج كثيراً ما تشير إلى أن أصحاب المصلحة يستعملون معايير قياسية أو قيماً في إصدار الأحكام. هذا النوع من الاختلافات يمكن أن يكون محفّزاً على توضيح القيم والتوصل إلى الأساس (أو الأسس) التي ينبغي استخدامها في الحكم على البرنامج.

التوصيات هي أعمال قيد النظر كنتيجة للتقييم. وتشكيل التوصيات يتطلب معلومات تتجاوز ما يلزم لصياغة أحكام. مثلاً، إن معرفة أن البرنامج قادر على زيادة الخدمات المتاحة للنساء المعتدى عليهن لا يُترجم بالضرورة إلى توصية بمواصلة الجهد، خصوصاً حين توجد أولويات متنافسة أو بدائل فعالة أخرى. بذلك، فإن التوصيات بما يجب عمله تذهب بتدخل معين إلى أبعد من الأحكام الخاصة بفعالية برنامج محدد.

إن صدقية التقييم يمكن أن تتزعزع ما لم تكن التوصيات مُستندة إلى أدلة كافية أو ما لم تكن منسجمة مع قيم أصحاب المصلحة. بالمقابل، يمكن تقوية التقييم بتوصيات تستبق ما يريد مستخدمو التقييم معرفته وتستجيب له. ثلاثة أمور يمكنها أن تزيد من فرص التوصيات في أن تكون ذات صلة وأن تُستقبل استقبالاً طيباً:

• تَشارك مسودة التوصيات

• استدراج ردود فعل من أصحاب مصلحة متعددين

• تقديم خيارات بدلاً من نصائح توجيهية.

إن تبرير الاستنتاجات في تقييمٍ ما هو عملية، سيورة تتضمن خطوات ممكنة مختلفة. مثلاً، يمكن تقوية الاستنتاجات من خلال البحث عن تفسيرات بديلة من تلك التي اخترتموها ثم تَبيان لماذا هي مدعومة بالأدلة. إذ حين تكون هناك استنتاجات مختلفة ولكنها مدعومة دعماً متساوياً يصبح من الممكن تقديم كلٍّ منها مصحوباً بملخص عن نقاط قوته وضعفه. ويمكن الاتفاق قبل بدء جمع البيانات على تقنيات تحليل وتركيب وتفسير النتائج.

ضمان استخدام وتشارك الدروس المستخلصة

من السذاجة الافتراض بأن الدروس المستخلصة في التقييم سيجري استخدامها في اتخاذ القرارات والخطوات العملية التالية. على المقيّيمين بذل جهد مقصود لضمان أن تستخدم النتائج على وجه مناسب. ويتضمن التحضير لاستخدامها تفكيراً استراتيجياً وتيقظاً عند البحث عن فرص للتواصل والتأثير، وهما أمران ينبغي أن يبدأ في المراحل المبكرة في العملية وأن يستمرا عبر التقييم كله. هناك خمسة عناصر ذات أهمية رئيسية لضمان استخدام توصيات التقييم:

• التصميم:

• التحضير

• المردود من الناس (إرجاع الأثر)

• المتابعة

• النشر والتعميم

دعونا نلقي نظرة على هذه العناصر واحداً بعد آخر.

1. التصميم يشير إلى كيفية بناء أو صياغة أسئلة التقييم، وطرقه والعمليات العامة. وبحسب ما ناقشنا في الخطوة الثالثة من خطوات إطار العمل هذا (تركيز تصميم التقييم) ينبغي تنظيم التقييم منذ البداية بحيث يحقق استخدامات محددة ومتفق عليها. فوجود غرض واضح يركز على استخدام ما جرى تعلمه يساعد أولئك الذين سينفذون التقييم على معرفة مَن سيفعل ماذا بالنتائج. فضلاً عن ذلك،  فإن عملية خلق تصميم واضح سيبرز الطرائق التي تساعد أصحاب المصلحة على تحسين التقييم وتسهيل استخدام تنائجه بفضل مساهماتهم الكثيرة.

2. التحضير يشير إلى أن الخطوات المتخذة للاستعداد لاستخدام نتائج التقييم في المستقبل. فالقدرة على ترجمة المعرفة الجديدة إلى تحرك مناسب هي مهارة يمكن تقويتها عبر الممارسة. في الواقع، إن بناء هذه المهارة يمكن في حد ذاته أن ينفع التقييم، إذ من الممكن إعداد أصحاب المصلحة لاستخدام النتائج في المستقبل حين تجري مناقشة النتائج المحتملة التي قد تؤثر في اتخاذ القرارات.

على سبيل المثال، يمكن إعطاء المستخدِمين الرئيسيين وغيرهم من أصحاب المصلحة مجموعة من النتائج الافتراضية والطلب منهم تحديد قرارات أو تحركات بناءً على المعرفة الجديدة. فإذا ما أشاروا إلى أن الدليل المطروح غير كامل أو خارج الموضوع وأنه لن تتخذ أي خطوات فهذا يشكل إنذاراً مبكراً بضرورة تعديل خطة التقييم. كذلك، فالتحضير لاستخدام النتائج يعطي أصحاب المصلحة مزيداً من الوقت لاستكشاف كل من العواقب الإيجابية والسلبية الناجمة عن النتائج المحتملة واقتراح خيارات أخرى لتحسين البرنامج.

3. المردود، أو إرجاع الأثر، هو فعل التواصل الذي يحدث بين كل واحد من المشاركين في التقييم. إن إعطاء مردود إلى الآخرين أو تلقي مردود منهم يُلحقان مناخاً من الثقة بين أصحاب المصلحة. هذه العملية تحفظ التقييم على سكته حين تبقي كل مشارك على علم بما يحققه التقييم من تقدم. إن للمستخدِمين الرئيسيين ولغيرهم من أصحاب المصلحة الحق في التعليق على قرارات التقييم. فمن زاوية ضمان الاستخدام، يشكل المردود الصادر عن أصحاب المصلحة جزءاً ضرورياً من كل خطوة في التقييم. ويمكن التشجيع على الحصول على مردود ذي قيمة من خلال تنظيم مناقشات في كل خطوة من خطوات التقييم والتشارك الروتيني للنتائج المرحلية، والتفسيرات المؤقتة ومسودات التقارير. للمزيد، أنظروا الفصل 39، القسم 2 عن توفير المردود لتحسين المبادرة.

4. المتابعة تشير إلى الدعم الذي يحتاج إليه الكثير من مستخدمي التقييم بعد أن يتسلموا النتائج. وبسبب من حجم الجهود اللازمة فإن التوصل إلى استنتاجات مبررة قد يبدو وكأنه هدف في حد ذاته. لكنه ليس كذلك. إن المتابعة قد تكون ضرورية لكي تذكّرنا بالاستخدامات المقصودة لما تعلمنا. والمتابعة قد تكون مطلوبة أيضاً لمنع الدروس المستفادة من أن تضيع أو يجري تجاهلها في أثناء عملية اتخاذ قرارات مركّبة أو سياسية. لمنع هذه الهفوة قد يفيد أن نطلب من أحد المشاركين في التقييم أن يلعب دور المدافع عن نتائج التقييم في مرحلة اتخاذ القرارات.

تسهيل استخدام نتائج التقييم يحمل معه أيضاً المسؤولية عن منع إساءة الاستخدام. فنتائج التقييم محددة دائماً بالسياق الذي جرى فيه التقييم. إلا أن بعض أصحاب المصلحة قد يميل إلى انتزاع النتائج خارج سياقها من أجل استخدامها لأغراض تختلف عن تلك التي قُصدت لها. مثلاً، إن التعميم الزائد لنتائج دراسة حالة واحدة وصنع قرارات تؤثر في كل المواقع في برنامج وطني لهو مثال على سوء استخدام تقييم حالةٍ ما.

وعلى وجه مماثل، فإن خصوم البرنامج قد يسيؤون استخدام النتائج حتى انهم يبالغون في التركيز على النتائج السلبية من دون اعتبار ملائم للجوانب التي نجحت. والمتابعة النشطة يمكنها أن تساعد على تجنب هذه وتلك الأشكال من إساءة الاستخدام من خلال ضمان أن يُطبق الدليل على الأسئلة التي كانت محور التقييم المركزي وحدها.

5. النشر هو عملية التواصل التي تنقل الإجراءات أو الدروس المستفادة من التقييم إلى جمهورٍ معني بأسلوب ملائم زمنياً وغير منحاز، ومتسق. وكغيره من عناصر التقييم، ينبغي مناقشة استراتيجية التبليغ مسبقاً مع المستخدِمين المستهدَفين وأصحاب المصلحة الآخرين.. ويتطلب التخطيط لتواصلٍ فعالٍ مراعاةَ التوقيت والأسلوب والنبرة ومصدر الرسالة وأداة منتجات المعلومات وقالبها. وبغض النظر عن كيفية إنشاء التواصل فالهدف من النشر هو إنجاز كشف كامل وتبليغ غير منحاز. للمزيد أنظروا الفصل 39، القسم 3 عن: تقديم معلومات التقييم إلى جمهور محلي.

بالتزامن مع استخدامات نتائج التقييم هناك استخدامات أخرى تنساب من قلب عملية التقييم في حد ذاتها. إن "استخدامات العملية" تلك ينبغي تشجيعها. فالناس الذين يشاركون في التقييم يمكن أن يختبروا تغييرات ملموسة في معتقداتهم وتصرفاتهم. على سبيل المثال، يمكن التقييم أن يتحدى طاقم العاملين على أن يتصرفوا تصرفاً مختلفاً في ما يقومون به وأن يشككوا في الفرضيات التي تربط أنشطة البرنامج بالمفاعيل المنشودة.

كذلك فإن التقييم يحفز العاملين على توضيح فهمهم أهداف البرنامج. وزيادة الوضوح تساعد العاملين، بدورها، على أداء أفضل كفريق يركز على الهدف النهائي. باختصارـ فإن الإنغماس في منطق التقييم ومبرراته وقيمه يمكن أن يولّد مفاعيل إيجابية من قَبيل بناء القرارات على أحكام منتظمة بدلاً من افتراضات لا أساس لها.

الاستخدامات الإضافية لعملية التقييم تشمل:

• تحديد المؤشرات يوضح  المسائل التي تهم أصحاب المصلحة فعلاً

• المساعدة على إعطاء أهمية للنتائج من خلال إعادة التشديد على تحقيق نتائج إيجابية. مثلاً، قد يعرض أحد الممولين "منحاً إضافية" أو "أرباحاًُ على النتائج " إذا ما أظهر البرنامج قدراً ملموساً من التغير أو التحسن عند المجتمع المحلي.

أنظروا "الأداة 2" للحصول على "قائمة مراجعة" عن ضمان النوعية والفعالية في تقارير التقييم المستخدمة في النشر.

معايير قياسية في التقييم "الجيد"

هناك معايير معتمدة لقياس ما إذا كانت أجزاء التقييم حسنة التصميم وشغّالة على أفضل ما يمكن. لهذا الغرض طوّرت "اللجنة المشتركة للتقييم التربوي" "المعايير القياسية لتقييم البرامج". وقد صُممت هذه المعايير لقياس عمليات التقييم في  البرامج التربوية وهي صالحة أيضاً للبرامج والتدخلات المرتبطة بصحة وتنمية المجتمع المحلي.

تساعد المعايير القياسية في تقييم البرامج على إضفاء طابع عملي على إجراء تقييمات سليمة ومنصفة. فهي توفر مبادئ مدعّمة تماماً يمكن أتّباعها عند مواجهة حالات تتطلب مقايضة أو مساومة. والتزام هذه المعايير يمكن أن يحمي من إجراء تقييم غير متوازن كما في تقييم دقيقٍ ومجدٍ ولكنه غير مفيد تماماً وغير حساس في السياق المعين. والمثال الآخر على التقييم غير المتوازن هو ذاك الذي يكون مفيداً للغاية فيما تنفيذه مستحيل.

المعايير القياسية التالية يمكن تطبيقها في أثناء تطوير تصميم للتقييم وعلى امتداد مسار تطبيقه. تذكروا أن المعايير هذه مكتوبة بوصفها مبادئ إرشادية لا قواعد جامدة ملزمة في كل الظروف.

المعايير القياسية الثلاثون الأكثر تحديداً تتوزع على:

• المنفعة (صلاحية الاستخدام)

• الجدوى

• الملاءمة

• الدقة

دعونا نلقي نظرة على المعايير هذه واحداً بعد الآخر:

• معايير المنفعة:

تستعمل هذه المعايير للتأكد من أن التقييم مفيد بحق، أي أنه يجيب عن أسئلة المستخدِمين النهائيين (وحاجاتهم). معايير المنفعة القياسية السبعة هي:

1. تحديد أصحاب المصلحة: يجب تحديد الناس المعنيين والمشاركين في التقييم (أو المتأثرين به) حتى يجري استجابة حاجاتهم.

2. مصدقية المقيّم: الأشخاص الذين يقومون بالتقييم عليهم أن يكونوا موثوقين وكفوئين بحيث يجري قبولهم – عموماً – على أنهم يتمتعون بالثقة والصدقية.

3. نطاق المعلومات والاختيار: يجب أن تغطي المعلومات المجموعة أسئلةً عن البرنامج تكون في محلها وأن تستجيب حاجات ومصالح العملاء وأصحاب مصلحة محدَّدين.

4. تحديد القيم: إن المنظور والإجراءات والمبررات المنطقية المستخدمة في تفسير نتائج التقييم يجب أن يجري وصفها بعناية بحيث تكون أساساً واضحاً للحكم على منافع وقيمة البرنامج.

5. وضوح التقرير: على تقارير التقييم أن تشرح بوضوح البرنامج موضع التقييم بما في ذلك سياق التقييم والغرض منه والإجراءات والنتائج. إن هذا سيساعد على ضمان أن تكون المعلومات المقدمة جوهرية وسهلة الفهم.

6. الجدول الزمني والنشر: إن نتائج التقييم في منتصف دورة البرنامج يجب أن يجري تشاركها مع المستخدِمين المستهدَفين حتى تُستعمل في الوقت والشكل المناسبين.

7. أثر التقييم: يجب أن يجري تخطيط التقييم وتنفيذه والتبليغ عن نتائجه بطرق تشجع أصحاب المصلحة على أن يتابعوا حتى النهاية بحيث يُستخدم التقييم.

• معايير الجدوى القياسية:

وظيفة هذه المعايير هي ضمان أن يكون التقييم معقولاً، أي أن الخطوات التي جرى تخطيطها هي عملية وصالحة. المعايير هنا هي:

1. إجراءات عملية: إجراءات التقييم يجب أن تكون عملية، وأن تُبقي التقطع في الأنشطة اليومية في أثناء جمع المعلومات ضمن حدٍ أدنى.

2. الصلاحية السياسية: ينبغي التخطيط للتقييم وتنفيذه مع مراعاة مسبقة لمواقف المجموعات المختلفة ومصالحها. هذا يساعد في الحصول على تعاونها بحيث يجري تجنب المحاولات المحتملة لإحباط عمليات التقييم أو لإساءة استخدام نتائجه، أو للرد عليها.

3. جدوى الكلفة: على التقييم أن يكون فعّالاً وأن ينتج ما يكفي من المعلومات القيّمة ما يبرر الموارد المستخدمة.

• معايير الملاءمة القياسية

ضمن هذه المعايير أن يكون التقييم أخلاقياً وأن يلتزم تنفيذه حقوق ومصالح المعنيين به. وتتمثّل المعايير الثمانية هنا في:

1. وجهة الخدمات: ينبغي أن تُعمم التقييمات بحيث تساعد المنظمات مساعدةً فعالة في خدمة حاجات المشاركين المستهدَفين.

2. الاتفاقات الرسمية: يجب الاتفاق خطياً على المسؤوليات في التقييم (أي ما يجب فعله، وكيف، ومَن ومتى) بحيث يتوجب على جميع المعنيين الالتزام بشروط الاتفاق أو أن يعيدوا مناقشته بشكل رسمي.

3. حقوق الإنسان: على التقييم أن يُصمّم ويُنفّذ بطرق تحترم وتحمي حقوق وخير الأشخاص، أي جميع المشاركين في الدراسة.

4. التفاعل الإنساني: عند العمل على التقييم مع الآخرين على المقيّمين احترام الكرامة والقيمة الإنسانية الأساسية حتى لا يشعر المشاركون بأي تهديد أو أذى.

5. قياس كامل ومنصف: على التقييم أن يكون كاملاً ومنصفاً في طريقة فحص وتسجيل نقاط القوة والضعف في البرنامج الذي يجري تقييمه. هذا يسمح بالبناء على نقاط القوة وعلى مخاطبة مجالات المشكلات.

6. كشف النتائج: على العاملين على التقييم ضمان أن تكون جميع نتائج التقييم، وكذلك قصورات التقييم، في متناول كل فرد يتأثر بالتقييم وكذلك في متناول كل من يتمتع بحق قانوني معلن في الحصول على النتائج.

7. تضارب المصالح: يجب التعامل مع تضارب المصالح بصراحة وأمانة حتى لا يؤثر سلباً على عمليات التقييم ونتائجه.

8. المسؤولية المالية: يجب أن يعكس استخدام الموارد إجراءات سليمة في مساءلة المقيّم عنها وأن يكون المقيّم حكيماً ومسؤولاً من الناحية الأخلاقية بحيث تستقيم المساءلة عن النفقات وتكون مناسبة.

• معايير الدقة القياسية

تضمن هذه المعايير أن يُنظر إلى نتائج التقييم على أنها صحيحة. وهناك 12 معياراً:

1. توثيق البرنامج: يجب وصف البرنامج وتوثيقه بوضوح ودقة بحيث يجري تحديد ما يجري تقييمه بوضوح.

2. تحليل السياق: يجب فحص السياق الذي يقوم فيه البرنامج فحصاً ثاقباً حتى يجري تحديد المؤثرات على البرنامج.

3. الأغراض والإجراءات الموصوفة: يجب رصد أغراض وإجراءات التقييم ووصفها بما يكفي من التفاصيل ما يسمح بتحديدها وقياسها.

4. مصادر ومعلومات يمكن الدفاع عنها: ينبغي وصف مصادر المعلومات المستخدمة في برنامج التقييم بتفصيل يكفي لقياس كفاية المعلومات للغرض.

5. معلومات صالحة: يجب اختيار إجراءات جمع المعلومات، وتطويرها ثم تطبيقها، بطرق تضمن أن يكون التفسير الناتج صالحاً.

6. معلومات موثوقة: يجب اختيار إجراءات جمع المعلومات، وتطويرها ثم تطبيقها، بطرق تضمن أن تكون المعلومات موثوقة بما يكفي.

7. معلومات منتظمة: يجب مراجعة المعلومات من التقييم بشكل منتظم وتصحيح أي أخطاء قد تظهر.

8. تحليل المعلومات الكمية: ينبغي تحليل المعلومات الكمية (البيانات الناجمة عن المشاهدات وأعمال المسح) في التقييم تحليلاً ملائماً ومنتظماً بحيث يجري الرد على أسئلة التقييم رداً فعالاً.

9. تحليل المعلومات النوعية: ينبغي تحليل المعلومات النوعية (المعلومات الوصفية الناجمة عن المقابلات ومصادر أخرى) في التقييم تحليلاً ملائماً بحيث يجري الرد على أسئلة التقييم رداً فعالاً.

10. استنتاجات مبرَّرة: يجب أن تكون استنتاجات التقييم مبرّرة تبريراً واضحاً حتى يفهم أصحاب المصلحة قيمتها.

11. تبليغ متجرد: إجراءات التبليغ عن نتائج التقييم، أو الإعلان عنها، يجب أن تحرص على منع تشويه تسببه مشاعر أو انحيازات الأشخاص المعنيين بالتقييم بحيث تعكس تقارير التقييم نتائج التقييم بإنصاف.

12. تقييم التقييم: يجب تقييم التقييم في حد ذاته باستخدام المعايير أعلاه وغيرها من المعايير القياسية المعنية، وذلك لضمان سلامة توجيهه وكذلك من أجل أن يتمكن أصحاب المصلحة – بعد اكتماله – من تفحص نقاط قوته وضعف من قرب.

الأداة رقم 3 (أنظر الأدوات) ترسم الخطوات الأبكر في ممارسة التقييم (مثلا، إشراك أصحاب المصلحة) والمعايير القياسية ذات الصلة (مثلاً، المنفعة).

تطبيق إطار العمل: إجراء التقييمات الأمثل

يزداد تباعاً الاتفاق على قيمة التقييم. في الواقع، كثيراً ما يطلبه المموّلون وغيرهم. لذا لم يعد في يد المهنيين الصحيين والتنمويين أن يتساءلوا عن تقييم برنامجهم من عدم تقييمه. بل أصبحت الأسئلة المناسبة هي التالية:

• ما أفضل طريقة للتقييم؟

• ما الذي سنتعلمه من التقييم؟

• كيف سنستخدم ما نتعلمه من أجل أن نصبح أكثر فعالية؟

إن إطار العمل على تقييم البرنامج يساعد على الرد على هذه الأسئلة من خلال إرشاد المستخدمين إلى استراتيجيات التقييم النافعة والمجدية والملائمة والدقيقة.

بتطلب استخدام إطار العمل هذا قدراً لا يُستهان به من المهارة في تقييم البرنامج. في معظم الحالات علينا مراعاة أصحاب مصلحة متعددين، ويكون السياق السياسي حاسماً. ولا تتبع الخطوات دائماً نظاماً منطقياً، كما إن قلّة الموارد قد تجعل من الصعب إتباع مسار التحرك المفضل. ويواجه المقيّم التحدي المتمثّل في بناء الإستراتيجية الأمثل في ظلّ الظروف التي يعمل فيها. والإستراتيجية الأمثل هي تلك التي تنجز كل خطوة من خطوات إطار العمل بطريقة تأخذ في حسبانها سياق البرنامج والتي تكون قادرة على تلبية المعايير القياسية المعنية أو حتى تخطيها.

إطار العمل هذا يجعل من الممكن الاستجابة لمصادر القلق العامة الخاصة بتقييم البرنامج. على سبيل المثال، لا يجري تنفيذ الكثير من التقييمات لمجرد أنها باهظة الكلفة. إلا أن كلفة التقييم تبقى نسبية، وهي تتوقف على السؤال المطروح وعلى مستوى اليقين المطلوب في الجواب. ويمكن لتقييم قليل الكلفة أن يوفر معلومات ثمينة بالنسبة للفهم والتحسين.

بدلاً من أن نصرف النظر عن التقييم بوصفه عملاً جانبياً يستهلك الوقت، فإن إطار العمل يشجع التقييمات الموقّّّتة توقيتاً استراتيجياً يزودنا بالمردود المعلوماتي الضروري، وهذا يمكننا من أن نربط التقييم ربطاً وثيقاً بالممارسات اليومية.

ويتمحور اهتمام آخر حول المتطلبات الفنية الملحوظة الخاصة بتصميم وتنفيذ التقييم. إلا أن المقاربة العملية التي يؤيدها إطار العمل هذا تركز على الأسئلة التي يمكن أن تحسّن البرنامج. إلى ذلك، فإن الروابط الرقمية (لينْكْسْْ) إلى النصوص الأخرى في "عدة العمل المجتمعي" الخاصة بالمعلومات عن "كيف نعمل" تساند استخدام إطار العمل هذا (انظر الأداة رقم 1).

أخيراً، فإن فكرة إجراء تقييم تقلق كثيراً من العاملين لأنهم يرون في طرق التقييم عقاباً ("لا يهمهم سوى إظهار أخطائنا")، أو إقصاءً ("لماذا لا تشركوننا؟ نحن نعرف كيف تسير الأمور"). أما إطار العمل فإنه يشجع على استخدام مقاربةً إلى التشجيع مصمّمةً لمساعدة أصحاب المصلحة المهتمين وإشراكهم في عملية ترحب بمشاركتهم.

الأداة رقم 4 تقدم قائمة مراجعة– أو تَفقّّد – لتقرير ما إذا كان التقييم يلبي المعايير الموصى بها.

باختصار

التقييم استراتيجية قوية للتمييز بين البرامج والتدخلات التي تصنع فرقا،ً من جهة، وبين تلك التي لا تفعل، من جهة أخرى. إنه قوة دافعة تعمل على تطوير وتكييف الاستراتيجيات، وتحسين البرامج القائمة، وإظهار نتائج الاستثمار في الوقت والموارد الأخرى. ويساعد التقييم أيضاً على تحديد ما إذا كان ما يجري من عمل يستحق كلفته.

إطار العمل الموصى به هذا لتقييم البرنامج هو – في الوقت نفسه – تركيبة تجمع أفضل الممارسات القائمة ومجموعة من المعايير القياسية لتحسينات إضافية. إنه يدعم مقاربة عملية إلى التقييم مبنيّة على خطوات ومعايير قياسية يمكن تطبيقها في أي وضعية كان. وحيث أن الإطار عام بشكل مقصود فإنه يوفر دليلاً مستقراً يستخدم في تصميم وتطبيق نطاق واسع من جهود التقييم في مجالات متنوعة من البرامج المحددة. ويمكن استخدام إطار العمل قالباً لابتكار خطط مفيدة من التقييم يساهم في الفهم والتحسين.

الأداة رقم 1: الأدوات ذات الصلة بإطار العمل الموصَى به

عند النقر على خطوات تقييم البرنامج المدرجة أدناه، ستجدون أقسام "عدة العمل المجتمعي" ذات الصلة بكل خطوة.

إشراك أصحاب المصلحة (أو المراهنين على البرنامج)

أنظروا الأقسام التالية من "عدة العمل المجتمعي":

لمساعدتكم على فهم مَن هم أصحاب المصلحة المراهنين على البرنامج، انظروا:

• الفصل 36، القسم 3: فهم القادة المحليين، والمقيّمين، والممولين: ما هي اهتماماتهم؟

• الفصل 18، القسم 3: تحديد أهداف وعناصر التغيير: مَن يمكنه الاستفادة ومَن يمكنه المساعدة؟

• الفصل 3، القسم 8: تحديد أرصدة (إمكانات) المجتمع المحلي وموارده

للتعلم عن كيفية إشراك "أصحاب المصلحة"، انظروا:

• الفصل 7، القسم 6:  إشراك أصحاب النفوذ المفاتيح في المبادرة

• الفصل 7، القسم 7:  إشراك الأشخاص الأكثر تأثراً بالمشكلة

• الفصل 3، القسم 6:  تنفيذ مجموعات مركّزة (بؤرية)

للعمل مع مجموعة متنوعة، أنظروا:

• الفصل 20، القسم 6: التدريب على تحويل النزاعات

• الفصل 30 ، القسم 6: التشجيع على إشراك الخصوم المحتملين كما الحلفاء

وصف البرنامج

أنظروا الأقسام التالية من "عدة العمل المجتمعي":

• الفصل 17، القسم 3: تحديد المشكلة وتحليلها

• الفصل 3، القسم 5: تحليل المشكلات المجتمعية

• الفصل 3، القسم 7: مسوح تقدير الحاجات

• القسم 3، الفصل 3: عقد جلسات استماع ومنتديات عامة

من أجل شرح أنشطة ومكوّنات وعناصر البرنامج شرحاً أفضل، أنظروا:

• الفصل 1، القسم 1  : تصميم التدخلات المجتمعية

• الفصل 19، القسم 2: فهم عوامل الخطر والحماية: استخدامها في اختيار الأهداف والاستراتيجيات الممكنة في التدخلات

• الفصل 19، القسم 3: تحديد استراتيجيات وتكتيكات خفض المخاطر

من أجل التمكن من وصف موارد وأرصدة البرنامج، أنظروا:

• الفصل 3، القسم 8: تحديد أرصدة وموارد المجتمع المحلي

من أجل أمثلة على النموذج المنطقي، أنظروا:

• الفصل 1، القسم 3 : نموذجنا في الممارسة: بناء القدرات من أجل تغيير المجتمع المحلي والنُظم

• الفصل 1، القسم 5: نموذجنا في التقييم: تقييم المبادرات المجتمعية الشاملة

من أجل النظر نظرة موسعة على برنامجكم في سياقه، أنظروا:

• الفصل 8، القسم 1: نظرة عامة على التخطيط الاستراتيجي (أو "الرؤيا، الرسالة، الأهداف، خطة العمل)

• الفصل 13، القسم 2: فهم ووصف المجتمع المحلي

من أجل تعديل البرنامج بحيث يناسب السياق المحلي، أنظروا:

• الفصل 39، القسم 3: عرض معلومات التقييم على جمهور محلي

• الفصل 32، القسم 5: إعادة صياغة إطار المحاورة

تركيز تصميم التقييم

من أجل توضيح الغرض، أنظروا:

• الفصل 36، القسم 5: تطوير خطة للتقييم

من أجل تحديد أسئلة التقييم، أنظروا:

• الفصل 36، القسم 5: تطوير خطة التقييم

• الفصل 3، القسم 6: عقد مجموعات مركزة (بؤرية)

من أجل أسئلة التقييم توضيحية، أنظروا:

• الفصل 1، القسم 3: نموذجنا في الممارسة: بناء القدرات من أجل تغيير المجتمع المحلي والنُظم

من أجل المساعدة على تحديد طرائق تقييم محددة، أنظروا:

• الفصل 38: بعض الطرائق في تقييم المبادرات المجتمعية الشاملة

• الفصل 3، القسم 12: إجراء المقابلات

• الفصل 3، القسم 9  : تطوير إجراءات خط الأساس في السلوك

• الفصل 8، القسم 6  : الحصول على مردود من الجماعات المستهدفة: ما التغييرات المهمة والمتيسرة

من أجل إرشاد في عقد الاتفاقات، أنظروا:

• الفصل 8، القسم 7: تحديد خطوات التحرك في إحداث تغيير في المجتمع المحلي والنُظم

جمع أدلة موثوقة

من أجل دعم تطبيق طرائق محددة في التقييم، أنظروا:

• الفصل 38: بعض الطرائق في تقييم المبادرات المجتمعية الشاملة

• الفصل 3، القسم 12: إجراء المقابلات

• الفصل 3، القسم 9: تطوير إجراءات خط الأساس في السلوك

• الفصل 8، القسم 6: الحصول على مردود من المجموعات المستهدَفة: أي التغييرات مهمة ومتيسرة؟

تبرير الاستنتاجات

من أجل عملية توضيحية في تفحص الدليل، أنظروا:

• الفصل 1، القسم 3: نموذجنا في الممارسة: بناء القدرة على تغيير المجتمع المحلي والنُظم

ضمان استخدام الدروس المستفادة وتشاركها:

انظروا الأقسام التالية من "عدة العمل المجتمعي":

من أجل التشجيع على استخدام ما تعلمته منظمتكم، أنظروا:

• الفصل 39، القسم 2: توفير مردود من أجل تحسين المبادرة

• الفصل 39، القسم 3: عرض معلومات التقييم على جمهور محلي

• الفصل45، القسم 2: إجراء حملة تسويق اجتماعي

• الفصل 46، القسم 4: جذب الدعم لبرنامج محدد

من أجل تعلم كيفية تشارك ما تعلمتموه مع مجموعات متنوعة، أنظروا:

• الفصل 4، القسم 8 من: إعداد العروض للمجتمع المحلي

• أقسام من الفصل 6: تعزيز الاهتمام بقضايا المجتمع المحلي

• الفصل 41، القسم 1: ترتيب الاحتفالات

الأداة رقم 2: قائمة مراجعة لضمان تقارير تقييم فعالة

هل التقرير...

• يوفر تقارير انتقالية ونهائية للمستخدِمين المستهدَفين في  المواعيد الملائمة لاستخدامها

• يفصّل محتويات التقرير، وتصميمه وأسلوبه لمصلحة الجمهور من خلال إشراك أعضاء من الجمهور

• يتضمن موجزاً تنفيذياً

• يلخص أصحاب المصلحة، أو أصحاب الرهان على البرنامج، وكيف جرى إشراكهم

• يشرح السمات الجوهرية للبرنامج (ربما في الملاحق)

• يشرح نقطة تركيز التقييم وحدوده

• يتضمن ملخصاً وافياً بخطة التقييم وإجراءاته

• يوفر كل المعلومات التقنية الضرورية (ربما في الملاحق)

• يحدد المعايير القياسية والمعايير الأخرى المستخدمة في أحكام التقييم

• يشرح أحكام التقييم وكيف أنها مدعمة بالأدلة

• يدرج نقاط قوة التقييم ونقاط ضعفه

• يناقش التوصيات الخاصة بالتحرك جنباً إلى جنب ميزاتها ومساوئها

• يضمن الحماية لعملاء البرنامج وغيرهم من أصحاب المصلحة من البرنامج

• يتوقع مسبقاً مفاعيل النتائج على الناس أو المنظمات

• يطرح آراء الأقلية أو آراء المنضمّين لاحقاً عند الضرورة

• يبرهن على أن التقرير دقيق وغير منحاز

• ينظم التقرير تنظيماً منطقياً ويتضمن مستوىً ملائماً من التفاصيل

• يتجنب المصطلحات التقنية المعقدة

• يستخدم أمثلة ورسوماً إيضاحية ورسوماً وقصصاً

• مكيفة عن: Worthen, BR, Sanders, JR, Fitzpatrick, JL. Program evaluation: alternative approaches and practical guidelines. 2nd edition. Addison, Wesley Logaman, Inc. New York, 1997.

الأداة رقم 3: خطوات في ممارسة التقييم والمعايير القياسية الأكثر صلة

 

الخطوات	المعايير القياسية الأكثر صلة*
إشراك أصحاب المصلحة (أصحاب الرهان على البرنامج)	تقييم شامل (د 12) تحديد أصحاب المصلحة (م 1) صدقية المقيّم (م 2) اتفاقات رسمية (مل 2) حقوق الأشخاص الإنسانية (مل 3) التفاعلات الإنسانية (مل 4) تضارب المصالح (مل 7)
وصف البرنامج	تقديرات شاملة ومنصفة (مل 5) توثيق البرنامج (د 1) تحليل السياق (د 2)
تركيز تصميم التقييم	أثر التقييم (م 7) إجراءات عملية (ج 1) الصلاحية السياسية (ج 2) الجدوى الاقتصادية (ج 3) وجهة الخدمات (مل 1) تقديرات شاملة ومنصفة (مل 5) المسؤولية المالية (مل 8) وصف الأغراض والإجراءات (د 3)
* الرموز التي تلي كل معيار مقياسي تشير إلى المجموعة المفاهمية ورقم المعيار م: المنفعة، ج: الجدوى، مل: الملاءمة، د: الدقة

الأداة رقم 4: قوائم مراجعة المعايير القياسية في التقييم

استعملوا هذه الصفحة لتحديد مدى تلبية تقييمكم للمعايير القياسية "الجيدة" في التقييم

 

المعايير القياسية في التقييم
المعيار القياسي (سْتاندرد)	هل لبّى التقييم هذا المعيار؟ (نعم/ كلا)	ملاحظات
معايير المنفعة
تحديد أصحاب المصلحة
صدقية المقيّم
نطاق المعلومات واختيارها
تحديد القيم
وضوح التقرير
الجداول الزمنية في التقرير ونشره
أثر التقييم
معايير الجدوى القياسية
إجراءات عملية
الصلاحية السياسية
جدوى الكلفة
معايير الملاءمة القياسية
وجهة الخدمات
اتفاقات رسمية
حقوق الأشخاص الإنسانية
التفاعلات الإنسانية
تقديرات كاملة ومنصفة
الكشف عن النتائج
تضارب المصالح
المسؤولية المالية
معايير الدقة القياسية
توثيق البرنامج
تحليل السياق
شرح الأغراض والإجراءات
مصادر المعلومات يمكن الدفاع عنها
معلومات صالحة
معلومات موثوقة
معلومات منتظمة:
تحليل المعلومات الكمية
تحليل المعلومات النوعية
استنتاجات مبرَّرة
تقرير غير منحاز
تقييم شامل

 

ستجدون هنا قائمة مراجعة تلخص النقاط الكبرى التي يحتويها النص.

___أنتم تدركون أن التقييم هو التحقيق المنظم في فائدة وقيمة ومغزى أمرٍ أو جهد ما.

___أنتم تدركون أن برنامجاً يُستخدم في وصف الأمر أو الجهد الذي يجري تقييمه.

___أنتم تدركون أن تقييم البرنامج هو طريقة لتقييم المشاريع المحددة والأنشطة التي قد تشارك فيها مجموعات من المجتمع المحلي.

___أنتم تدركون أن أصحاب المصلحة هم أولئك الذين يهمهم البرنامج أو الجهد – أو الذين يراهنون عليه.

أنتم تدركون أن تقييم البرنامج:

___يساعد على توضيح خطط البرنامج.

___يحسّن التواصل بين الشركاء.

___يجمع المردود اللازم من الناس المعنيين لتحسين فعالية البرنامج والمساءلة.

أنتم تعرفون كيف يجري تقييم برنامج محدد:

___تعرفون ما سيجري تقييمه.

___قررتم أي المعاير ستُستخدم في الحكم على أداء البرنامج.

___قررتم أي المعايير القياسية في الأداء التي يجب أن يصل إليها أداء البرنامج من أجل اعتباره ناجحاً.

___تعرفون الدليل الذي سيشير إلى الأداء

___تعرفون أي الاستنتاجات عن أداء البرنامج التي يمكن اعتبارها مبرَّرة بناءً على الدليل المتاح.

___أشركتم أصحاب المصلحة.

___وصفتم البرنامج.

___جعلتم تصميم التقييم مركّزاً على بؤرة معينة.

___تدركون أن نقاط تركيز التقييم يمكن أن تكون: اكتساب نظرة أعمق، وتحسين كيفية عمل الأمور، وتحديد مفاعيل البرنامج والتأثير في المشاركين فيه.

___جمعتم أدلة موثوقة.

___قدمتم مبررات لاستنتاجاتكم.

___تدركون كيف يمكن ضمان استخدام المعلومات وتشارك الدروس المستفادة.

___تعرفون أن هناك 4 فئات من معايير التقييم القياسية: المنفعة، الجدوى، الملاءمة، الدقة.

___تفهمون المعايير القياسية في كل فئة.

___تفهمون أي المعايير القياسية الأنسب في كل خطوة من خطوات ممارسة التقييم.

Una presentación en PowerPoint que resume los puntos principales de la sección.

دلا رابرتز در بیمارستان هارپرویل، در سمت متخصص تغذیه مشغول به کار شد. او که خود یک آمریکایی آفریقایی‌تبار بود، نگران چاقی مفرط کودکان سیاهپوست و این واقعیت بود که بسیاری از محلات سیاه‌نشین هارپرویل، در فروشگاه‌ها و رستوران‌ها به غذای سالم دسترسی نداشتند. به اعتقاد او، مقامات شهری باید برای تغییر این وضعیت چاره‌ای می‌اندیشیدند، اما ظاهراً مقامات مشکلی نمی‌دیدند. بنابراین دلا تصمیم گرفت دست به پژوهشی بزند تا برای پیشبرد فعالیت خود از نتایج آن استفاده کند.

دلا متوجه شد که برای جمع‌آوری اطلاعات صحیح، می‌بایست محققانی را پیدا می‌کرد که طرف اعتماد اهالی محله‌های مد نظر او بودند. اما شاید بهتر بود که او پژوهشگرانی را از بین اهالی آن محله‌ها پیدا می‌کرد. با دو کشیش که می‌شناخت تماس گرفت که یکی پزشکی آمریکایی آفریقایی‌تبار بود و در محله‌ی سیاهان طبابت می‌کرد و دیگری سرپرست مرکز تجمع باهمستان بود. ضمناً از ارتباطات خانوادگی خود نیز استفاده کرد. ظرف دو هفته، دلا گروهی از ساکنان محله را جمع کرد که مایل بودند کار تحقیقاتی انجام دهند. در میان آنان از دانش آموزان دبیرستان بود تا پدربزرگ‌ها و مادربزرگ‌ها، از افرادی که قادر به خواندن نبودند تا کسانی که در کالج چند واحد را گذرانده بودند.

گروه آنان چندین بار در بیمارستان جمع شد تا در مورد چگونگی جمع‌آوری اطلاعات از باهمستان تصمیم بگیرند. دلا چند کارگاه درباره‌ی روش‌های پژوهش و مهارت‌هایی چون نحوه‌ی ثبت مصاحبه‌ها و مشاهدات اجرا کرد. اعضای گروه درباره‌ی دشواری ثبت برای کسانی که نوشتن بلد نبودند تبادل نظر کرده و برای ضبط اطلاعات راه دیگری یافتند. قرار بر این شد که هر کدام با تعداد معینی از اهالی در رابطه با خرید مواد غذایی و عادات تغذیه‌ی آنان مصاحبه کنند و ضمناً الگوی خرید مردم از فروشگاه‌ها و رستوران‌های غذای فوری را زیر نظر بگیرند. سپس برای اتمام کار جمع‌آوری اطلاعات، ضرب‌العجلی تعیین کردند و رفتند تا هر قدر می‌توانند درباره‌ی خرید مواد غذایی و عادات غذا‌خوردن اهالی محله اطلاعات جمع کنند.

بعد از جمع‌آوری داده‌ها، معلوم شد که اهالی محله خیلی هم خوشحال می‌شدند اگر می‌توانستند مواد غذایی مغذی‌تری بخرند، اما این کار برایشان خیلی دشوار بود. آنان مجبور بودند یا مسافتی طولانی را با اتوبوس طی کنند چون بسیاری از آنان اتومبیل نداشتند، یا بعد از یک روز طولانی کاری، باید به قسمت دیگری از شهر می‌رفتندد که اغلب هم نا‌آشنا بود و تمام غروب خود را به خرید بگذرانند. خیلی از آنان هم این برداشت را داشتند که غذای سالم خیلی گران‌تر است و آنان استطاعت مالی لازم را ندارند.

در نهایت، داده‌هایی که ساکنان محله جمع‌آوری کرده بودند، در گزارشی به کار گرفته شد که دلا و سایر کارکنان حرفه‌ای بیمارستان تهیه کردند. این گزارش شورای شهر را متقاعد کرد که برای سوپر‌مارکت‌های زنجیره‌ای انگیزه‌ای ایجاد کنند تا در محلاتی که یافتن غذای سالم دشوار است، شعبه‌ای باز کنند.

گروهی که دلا جمع‌آوری کرد، به یک تیم پژوهش مشارکتی باهمستان‌محور مبدل شده بود. آنان با همکاری دلا و سایر کارکنان بیمارستان، اول نوع داده‌های مفید را تعیین کردند و بعد نحوه‌ی جمع‌آوری آنها را آموختند. از آنجا که اینها از اهالی باهمستان بودند، طرف اعتماد سایر ساکنان بودند، چون در تجربه‌ی آنان شریک بوده و می‌دانستند چه پرسش‌هایی را باید مطرح کنند، و پاسخ‌ها را هم کاملاً درک می‌کردند؛ ضمناً وقتی چیزی را مشاهده می‌کردند، ماهیت آن را می‌شناختند.

این بخش به اقدام‌پژوهی مشارکتی، معنی آن، چرا می‌تواند مفید باشد، چه کسی می‌تواند از آن استفاده کند و نحوه‌ی آماده‌سازی و اجرای آن مربوط است.

پژوهش مشارکتی باهمستان‌محور چیست؟

پژوهش مشارکتی باهمستان‌محور (برای راحتی کار، از این پس آن را CBPR می‌نامیم)، به زبان ساده، فهرست کسانی را که بیش‌تر از همه از مسئله‌ای در باهمستان صدمه دیده‌اند، معمولاً با همکاری یا شراکت سایر کسانی که در پژوهش مهارت دارند، تهیه می‌کند تا درباره‌ی مسئله تحقیق و آن را تحلیل کنند. هدف این پژوهش تدوین راهبردهایی برای رفع آن مسئله است. به عبارت دیگر، پژوهش مشارکتی باهمستان‌محور، با انجام تحقیقات توسط اعضای باهمستان، به تحقیقات دانشگاهی و حرفه‌ای چیزی می‌افزاید یا کلاً جایگزین آنها می‌شود؛ به‌ طوری که نتایج پژوهش از افرادی می‌آید و مستقیماً به سمت خودشان بازمی‌گردد که بیش از همه نیازمند آن هستند و از آن نتایج بهترین بهره را می‌برند.

پژوهش مشارکتی دارای چند سطح است. در یک سوی طیف، تحقیقات دانشگاهی یا دولتی قرار دارد که با وجود این، اطلاعات را مستقیماً از اعضای باهمستان جمع‌آوری می‌کند. اعضای باهمستان کسانی هستند که بیش از همه از مشکل مورد نظر صدمه دیده‌اند و شاید (شاید هم خیر) از آنان بخواهند درباره‌ی نیازهای خود نظر بدهند، آنچه را که فکر می‌کنند می‌تواند در حل مسئله مفید باشد مطرح کنند، یا اطلاعات معینی را از آنان بخواهند. در این صورت، اعضای باهمستان در انتخاب اطلاعات، جمع‌آوری یا تحلیل آنها پس از جمع‌آوری نقشی ندارند. (در‌عین‌حال، این نوع از تحقیق مشارکتی هنوز فاصله‌ی زیادی دارد از تحقیقاتی که به‌ صورت دست دوم یا دست سوم انجام می‌شود؛ یعنی همه‌ی اطلاعات مربوط به گروهی از افراد از طریق آمار، سرشماری، گزارش مشاهده‌کنندگان یا خدمات انسانی یا متخصصین بهداشت جمع‌آوری می‌شود.)

در سطحی دیگر، اکیپ دانشجویان یا سایر محققان، افراد متعلق به یک گروه آسیب‌دیده را که اغلب با باهمستان آشنا هستند و اعضای باهمستان هم آنان را می‌شناسند، به کار می‌گیرند تا داده ها را جمع‌آوری کنند. در این صورت، جمع‌آوری‌کنندگان شاید در تحلیل اطلاعاتی که خود گردآوری کرده‌اند کمک بکنند یا نکنند.

در سومین سطح پژوهش مشارکتی، محققان دانشگاهی، دولتی یا سایر محققان حرفه‌ای، اعضای یک گروه آسیب‌دیده را برای اجرای پروژه‌ی تحقیقاتی به خدمت می‌گیرند. اعضای باهمستان با همکاری محققان، در تکوین و طراحی، جمع‌آوری داده‌ها و تحلیل آنها مشارکت می‌کنند. علاوه‌بر‌این، شاید آنان در گزارش نتایج پروژه یا مطالعه هم شرکت داشته باشند. در این مرحله، معمولاً (اگرچه همیشه این طور نیست) این تلقی وجود دارد که گروه تحقیق قصد دارد از پژوهش خود برای اقدام در مورد مسئله‌ای استفاده کند که باید رفع شود.

در سطح اول که قبلاً تشریح شد، سوی دیگر پیوستار پژوهش مشارکتی این است که اعضای باهمستان گروه پژوهشی خود را ایجاد کنند — هرچند، خود اغلب آن را این‌طور قلمداد نمی‌کنند — تا مشکل باهمستان را که بر آنان اثری مستقیم دارد، شناسایی کرده و برای حل آن اقدام کنند.

در این بخش، ما با دو نوع اخیر پژوهش مشارکتی سر‌و‌کار داریم: آنهایی که به طراحی و اجرای تحقیق توسط اعضای باهمستان مربوط هستند و به اقدامی منجر می‌شوند که می‌تواند بر مشکل مورد مطالعه تأثیرگذار باشد. این همان چیزی است که اغلب به پژوهش مشارکتی با محور باهمستان تعبیر می‌شود. قطعاً موقعیت‌های دیگری هم هستند که سایر انواع پژوهش مشارکتی مناسبت بیش‌تری دارد، یا در شرایط خاصی اجرای آن آسان‌تر است، اما موضوع مورد بحث ما در اینجا CBPR است.

به‌کارگیری CBPR به منظور ارزیابی یا تغییر دراز‌مدت می‌تواند ایده خوبی باشد؛ به دلایلی مانند عملی‌بودن، رشد شخصی، و سیاست‌گذاری.

از جنبه‌ی عملی، پژوهش مشارکتی باهمستان‌محور اغلب می‌تواند بهترین اطلاعات ممکن را درباره‌ی مسئله در اختیار شما قرار دهد؛ حداقل به دلایل زیر:

• کسانی که در یک جمعیت آسیب‌دیده زندگی می‌کنند بیش‌تر مشتاق صحبت‌کردن با و دادن جواب مستقیم به محققانی هستند که می‌شناسند، یا به کسانی که می‌دانند در شرایطی مشابه خودشان قرار دارند، تا اینکه با خارجیان که با آنان وجه اشتراک چندانی ندارند.
• کسانی که آثار یک مسئله یا مداخله را عملاً تجربه کرده‌اند، شاید نظرات و اطلاعاتی درباره‌ی جنبه‌هایی از آن داشته باشند که به ذهن کسی که از خارج آن را مطالعه می‌کرد خطور نمی‌کرد. بدین‌ترتیب، اقدام‌پژوهان که اهل باهمستان هستند می‌توانند بر عناصری از مسئله تمرکز کنند یا سؤالاتی را مطرح کنند یا طوری پیگیری کنند که محققان خارجی نمی‌کنند و اطلاعاتی حیاتی را به دست آورند که سایر محققان شاید صرفاً تصادفی پیدا کنند یا شاید اصلاً پیدا نکنند. 
• کسانی که در اثر مسئله‌ای عمیقاً صدمه دیده‌اند یا شرکت‌کنندگان در یک برنامه، شاید از روی غریزه یا به‌ طور عینی‌تر، با دیدن یا شنیدن چیزی بدانند که چه چیز مهم است. آنچه که شاید از نظر یک محقق خارجی اظهار نظری سردستی باشد، شاید معنی واقعی خود را به کسی نشان دهد که عضوی از همان جمعیت است و نظری مطرح می‌کند.
• اقدام‌پژوهان باهمستان در همه حال در صحنه حاضر هستند. تماس آنان با مسئله یا مداخله و نیز با جمعیت متاثر از آن دائمی است و، در نتیجه، چه بسا حتی وقتی که در حال تحقیق نیستند هم به اطلاعاتی دست یابند.
• شاید یافته‌ها از حمایت بیش‌تر باهمستان بهره‌مند شوند چرا‌که اعضای باهمستان می‌دانند تحقیق توسط کسانی انجام شده که در شرایط خود آنان قرار دارند.

وقتی که در حال ارزیابی هستید، این امتیازات می‌توانند تصویر درست‌تری از مداخله یا ابتکار و آثار آن به دست دهند. وقتی که در حال بررسی مسئله‌ای در باهمستان هستید، همه‌ی این امتیازات می‌توانند منجر شوند به درک حقیقی ماهیت و علل آن و تأثیرات آن بر باهمستان و می‌توانند برای راهبردی که آن را حل می‌کند، مبنایی محکم فراهم کنند. البته این هدف اصلی تحقیق باهمستانی است؛ شناسایی و رفع یک مسئله یا مشکل، و بهبود کیفیت زندگی برای کل باهمستان.

در حوزه‌ی رشد شخصی، CBPR می‌تواند بر بهبود زندگی محققان باهمستان تأثیر شگرفی داشته باشد؛ به‌ویژه که افراد ذی‌نفع از مداخله یا کسانی که تحت تأثیر یک مسئله هستند، دچار فقر یا نوع دیگری از کاستی یا فاقد تحصیلات یا مهارت‌های اولیه باشند یا گمان کنند که مسئله از حوزه‌ی نفوذ آنان به کلی خارج است. آنان با شرکت در تحقیقات، نه تنها مهارت‌های تازه‌ای را فرا می‌گیرند، بلکه خود را در موقعیت رقابت، کسب اطلاعات ذی‌قیمت و اطلاعات درباره‌ی موضوعی می‌بینند که برایشان مهم است و، در نتیجه، قدرت و اطمینان لازم را برای تسلط بر این جنبه از زندگی خود به‌ دست می‌آورند.

دو نتیجه‌ی سیاسی معمول فرایند CBPR:

•  به واسطه‌ی پژوهش مشارکتی بر محور باهمستان، شهروندان می‌توانند بر مسیر حرکت باهمستان خود تسلط بیش‌تری داشته باشند.
• افراد حرفه‌ای و کسانی که در موقعیت قدرت هستند، محققان باهمستان، به‌ویژه کسانی را که دچار فقر یا محرومیت دیگری هستند، به دیده‌ای متفاوت می‌نگرند. آنان اطلاعاتی حیاتی و توانایی استفاده از آن را دارند و بنابراین به جای آنکه شاهدان یا وابستگانی خاموش باشند، به‌ عنوان اعضای مؤثر باهمستان پذیرفته می‌شوند. آنان صدایی پیدا کرده‌اند چون درک می‌کنند که حرفی برای گفتن دارند. علاوه‌بر‌این، پژوهش و سایر مهارت‌ها و اعتماد‌به‌نفسی که افراد در فرایند پژوهش مشارکتی با محور باهمستان به‌ دست می‌آورند، می‌تواند به سایر جنبه‌های زندگی آنان رخنه کرده، به آنان این توانایی و اطمینان را بدهد که بتوانند نیروهای مؤثر را درک کنند و برای تسلط بر آنها تلاش کنند. مهارت‌هایی چون تحقیق، انضباط، و تفکر تحلیلی اغلب به مهارت‌های شغلی ترجمه می‌شوند که باعث می‌شود بخت استخدام محققین اقدام‌پژوهی افزایش یابد. از همه مهم‌تر، کسانی که همیشه خود را تماشاچی یا قربانی تصور کرده‌اند، ظرفیتی کسب می‌کنند تا به کنشگرانی مبدل شوند که می‌توانند زندگی خود و باهمستان را متحول کنند.

پژوهش مشارکتی با محور باهمستان، با کار سیاستمدار و نظریه‌پرداز آموزشی و کنشگر برزیلی، پائولو فریر وجه اشتراک زیادی دارد. در فرایند آموزش انتقادی فریر، مردم تحت ستم ترغیب می‌شوند تا به شرایط خود و درک ماهیت و اهداف ستمگران و ستمگری نگاهی دقیق داشته باشند. به اعتقاد فریر، با ابزار مناسب — دانش و قابلیت تفکر انتقادی، شناخت از قدرت خویش و انگیزه برای عمل — آنان می‌توانند آن ظلم را خنثی کنند. بسیاری از مردم این را علت واقعی و تنها علت حمایت از اقدام‌پژوهی می‌دانند، ولی ما برای این کار دلایلی متعدد دیگری هم می‌بینیم و بعضی از آنها را در بالا و پایین فهرست کرده‌ایم.

اقدام‌پژوهی اغلب برای ملاحظه‌ی مشکلات اجتماعی مورد استفاده قرار می‌گیرد — مثلاً اصلاح خدمات رفاهی یا بی‌خانمانی — ولی می‌توان آن را به انواع حوزه‌های دیگر با نتایج مثبت تعمیم داد. 

بعضی نمونه‌های برجسته:

• محیط زیست. یکی از اعضای باهمستان بود که برای اولین بار سؤالی را مطرح نموده و شروع به کند‌و‌کاو کرده و این حقیقت را برملا کرد که لاوکانال در نایجریا فالز نیویورک در اثر تخلیه‌ی زباله‌های سمی آلوده شده است.
• مسائل طبی و بهداشتی. اقدام‌پژوهی هم در جوامع توسعه‌نیافته و هم در جوامع توسعه‌یافته می‌تواند در جمع‌آوری اطلاعات درباره‌ی رویه‌های بهداشتی، ردیابی بیماری واگیر‌دار، یا تهیه‌ی نقشه از وقوع یک وضعیت خاص مفید باشد. اینها تنها سه نمونه از موارد محتمل هستند.
• مسائل سیاسی و اقتصادی. شهروندان کنشگر اغلب برای رسوا‌کردن سیاستمداران یا شرکت‌های فاسد یا ردیابی حمایت‌های مالی از کمپین‌ها و غیره، رأساً دست به تحقیق می‌زنند. 

درست همان‌طور که می‌توان CBPR را برای منظورهای مختلف به کار برد، می‌تواند به شیوه‌های مختلف هم ساختار‌بندی شود. قسمت اعظم این تفاوت‌ها به این بستگی دارد که این ایده برای اولین بار به ذهن چه کسی خطور کرد و چه کسی تحقیق را کنترل می‌کند یا تصمیم‌های لازم را درباره‌ی آن اتخاذ می‌کند. هرکدام از این احتمالات شاید مستلزم همکاری یا شراکت باشند و یک گروه باهمستان می‌تواند داوطلبی را به کار گیرد یا استخدام کند که صاحب مهارت‌های تحقیق باشد تا کارشان را هدایت کند. 

برخی سناریوهای معمول:

• محققان دانشگاهی یا دیگران مطالعه‌ای را طراحی و تدوین کرده و اهالی باهمستان را به عنوان جمع‌آوری‌‌کننده‌ی داده‌ها و یا تحلیلگر به کار می‌گیرند.
• یک مشکل یا مسئله توسط یک محقق یا نهاد دیگری (مثلاً یک سازمان خدمات انسانی) شناسایی می‌شود، و مردم باهمستان به کار گرفته می‌شوند تا در تحقیق درباره‌ی آن مشکل مشارکت کرده و راه حلی پیدا کنند.
• یک سازمان مستقر در باهمستان یا گروه‌های دیگر، مردم باهمستان را جمع می‌کنند تا مشکلی را که خودشان انتخاب می‌کنند، تعریف کرده و روی آن کار کنند یا یک مداخله‌ی باهمستانی را ارزیابی کنند که آنان یا افرادی مشابه آنان را هدف گرفته است.
• یک عضو باهمستان یا گروهی از ساکنان مشکلی را شناسایی می‌کنند، دیگران که آسیب‌دیده و علاقمند هستند هم جمع می‌شوند تا کمک کنند و گروه ماحصل، خود به تحقیق و حل مشکل می‌پردازد.

چرا باید از پژوهش مشارکتی با محور باهمستان استفاده کنید؟

قبلاً به برخی از دلیل اشاره کردیم که چرا CBPR می‌تواند در ارزیابی مداخله یا ابتکار باهمستانی یا پرداختن به مسئله‌ی باهمستان مفید باشد. در اینجا آنها را به‌ طور مختصر تکرار می‌کنیم و سایر دلایل را هم ذکر می‌کنیم.

اقدام‌پژوهی، اطلاعات بهتر و تقریباً کاملی از باهمستان ارائه می‌دهد.

مشارکت باهمستان در تحقیق، به احتمال زیاد، نیازهای آن را مرتفع می‌کند.

اقدام‌پژوهی با مشارکت اعضای باهمستان، موجب می‌شود تلاش در باهمستان بیش‌تر به چشم بیاید.

اعضای باهمستان اگر بدانند پژوهش توسط افرادی انجام شده که مانند خودشان هستند یا کسانی هستند که می‌شناسند، مشروعیت تحقیق را می‌پذیرند و یافته‌های آن را باور می‌کنند.

اقدام‌پژوهی شهروندان محققی را تربیت می‌کند که می‌توانند مهارت‌های خود را به مشکلات دیگر نیز تعمیم دهند.

مشارکت در CBPR، درک افراد را از خود و آنچه می‌توانند انجام دهند، تغییر می‌دهد.

مهارت‌های آموخته‌شده در جریان اقدام‌پژوهی، به سایر حوزه‌های زندگی محققان نیز تعمیم می‌یابد.

فرایند اقدام‌پژوهی مشارکتی می‌تواند به از‌بین‌بردن موانع نژادی، قومی، و طبقاتی کمک کند.

اقدام‌پژوهی به افراد کمک می‌کند تا نیروهایی را که بر زندگی آنان تأثیر می‌گذارند، بهتر درک کنند.

اقدام‌پژوهی مبتنی بر باهمستان، می‌تواند باهمستان‌ها را به سوی تغییرات مثبت اجتماعی سوق دهد.

چه کسی باید در پژوهش مشارکتی باهمستان محور شرکت کند؟

جواب کوتاه این است: مردم همه‌ی بخش‌های مختلف باهمستان. اما گروه‌های خاصی وجود دارند که در اغلب موارد دخیل‌کردن آنان اهمیت دارد. 

• افرادی که بیش‌ترین تأثیر را از موضوع یا مداخله‌ی تحت مطالعه دارند.
• سایر اعضای جمعیت آسیب‌دیده. کسانی که شاید خودشان مستقیماً از مسئله یا مداخله آسیب ندیده باشند، ولی طرف اعتماد افراد آسیب‌دیده هستند، می‌توانند اعضای مفیدی برای تیم CBPR باشند.
• تصمیم‌گیرندگان. درگیر‌کردن مقامات محلی، قانون‌گذاران، و سایر تصمیم‌گیران، از همان ابتدا می‌تواند بسیار مهم باشد؛ هم در تأمین حمایت آنها و هم در حصول اطمینان از اینکه آنچه آنها حمایت می‌کنند در واقع همان چیزی است که مورد نیاز است.
• دانشگاهیانی که در مسئله یا مداخله‌ی مورد بحث ذی‌نفع هستند.
• خدمات درمانی و انسانی، کارکنان آژانس دولتی و داوطلبان.
• اعضای باهمستان به طور کلی. 

چه وقت باید دست به تحقیق مشارکتی باهمستان‌محور بزنید؟

اوقاتی هست که شاید اقدام‌پژوهی مناسبت نداشته باشد، و اوقاتی هم هست که بهترین گزینه است. چگونه باید تشخیص داد؟

یکی از معیارها، مدت‌زمانی است که برای تحقیق در مورد موضوع یا مداخله در اختیار دارید. اقدام‌پژوهی ممکن است به دلیل نیاز به آموزش، و به دلیل زمانی که اغلب محققان باهمستان خود را با شرایط وفق دهند (یعنی درک این که حتی اگر همیشه محق نباشند، نظرات و گمان‌های آنان مهم و نتیجه‌گیری آنان مشروع است). اگر زمان شما محدود است، CBPR ممکن است گزینه‌ی مناسبی نباشد.

نکته‌ی دیگر، نوع تحقیق مورد نیاز است. اقدام‌پژوهی به‌ویژه به تحقیقات کیفی کمک می‌کند. برای نمونه، اگر موظف هستید نتایجی کمی و پیچیده را به یک تأمین‌کننده‌ی مالی گزارش دهید، شاید بد نباشد به محققان یا ارزیاب‌های حرفه‌ای رجوع کنید. اغلب پژوهش‌های مشارکتی باهمستان‌محور از رویه‌های آماری  در ارائه‌ی گزارش نتایج پیروی نمی‌کنند. (این بدان معنا نیست که تیم‌های اقدام‌پژوهی نمی‌توانند تحقیقات کمّی انجام دهند، بلکه صرفاً آموزش بیش‌تر و، در نتیجه، زمان لازم است و شاید به یک منبع خارجی یا یک عضو تیم دانشگاهی نیاز باشد تا اعداد و ارقام را تحلیل کند.) 

تحقیق کیفی

متکی بر اطلاعاتی است که نمی‌توان آنها را با عبارات ریاضی بیان کرد؛ توصیفات، نظرات، حکایات، عقاید افراد متأثر از موضوع مورد مطالعه و غیره. نتایج تحقیقات کیفی معمولاً به صورت روایت یا مجموعه‌ای از نتیجه‌گیری‌ها بیان می‌شود. تجزیه‌و‌تحلیل با نقل قول‌ها، یادداشت از مشاهدات، و سایر داده‌های غیر‌عددی پشتیبانی می‌شود.

(تقریباً هر چیزی را می‌توان به طریقی بر حسب اعداد بیان کرد. برای مثال، مصاحبه‌کنندگان می‌توانند تعداد ارجاع به یک موضوع خاص را بشمارند، یا حتی تعداد دفعاتی که مصاحبه‌شونده روی صندلی خود جابه‌جا شده را ثبت کنند. با این حال، تحقیقات کیفی، متکی به عناصری است که نمی‌توان آنها را به اندازه‌ی کافی، یا در بسیاری موارد اصلاً، به صورت عددی توصیف کرد. مصاحبه‌کننده احتمالاً می‌تواند تفاوت را تشخیص دهد، اما اعداد نمی‌توانند.)

تحقیق کمّی

 به تعداد افراد بستگی دارد؛ مثلاً تعداد افرادی که بر اثر یک مداخله‌ خدماتی دریافت می‌کنند، تعداد افرادی که دوره را تا آخر طی کردند، تعداد افرادی که به برخی از نتایج پیش‌بینی‌شده دست یافتند (پایین‌آوردن فشار خون، اشتغال برای مدتی معین، اخذ شهروندی)، نمرات تحصیلی یا تست روانی یا آزمایش‌های فیزیکی و غیره. این اعداد معمولاً از طریق یک یا چند عملیات آماری پردازش می‌شوند تا محققین دقیقاً معنی آنها را درک کنند. (برای مثال، برخی از آمارها به محقق کمک می‌کنند تا دقیقاً مشخص کند چه بخشی از یک مداخله سبب تغییر رفتار معینی بوده است.)

ممکن است به نظر برسد که تحقیقات کمّی دقیق‌تر است، اما همیشه این‌طور نیست؛ به‌ویژه زمانی که در پژوهش با انسان‌هایی سر‌و‌کار دارید که همیشه کاری را که انتظار دارید، انجام نمی‌دهند. اغلب لازم است اطلاعات دیگری به دست آورید تا بفهمید موضوع دقیقاً از چه قرار است.

احتمالاً بهترین و مؤثرترین نوع استفاده از اقدام‌پژوهی زمانی است که:

• برای آموزش صحیح و سازگاری محققان باهمستان زمان کافی وجود دارد؛
• تحقیق و تجزیه‌و‌تحلیل لازم، به مصاحبه، تجربه، دانش باهمستان و درک موضوع یا مداخله از درون متکی است، و نه بر مهارت‌های تحصیلی یا درک آمار (اگر وقت و منابع لازم برای آموزش این مهارت‌ها را نداشته باشید، یا تیم کسی را وارد گروه می‌کند که از آنها برخوردار است)؛
• ورود به باهمستان یا گروهی که اطلاعات از آنها جمع‌آوری می‌شود لازم است؛
• نگران استقبال و حمایت باهمستان هستید؛
• هدف از به‌کارگیری CBPR از جهاتی، توانمندسازی محققان باهمستان و تأثیرگذاری بر آنان است؛
• هدف از به‌کارگیری CBPR از جهاتی، زمینه‌چینی برای تغییرات اجتماعی بلند‌مدت است.

چگونه تحقیقات مشارکتی بر محور باهمستان را ایجاد کرده و اجرا می‌کنید؟

هنگامی که تصمیم گرفتید یک پروژه‌ی اقدام‌پژوهی را به اجرا درآورید، برای راه‌اندازی و اجرای آن چندین مرحله وجود دارد. باید شرکت‌کنندگان را پیدا کرده و آموزش دهید. دقیقاً مشخص کنید که به دنبال چه اطلاعاتی هستید و چگونه باید آن را پیدا کنید. برای تحقیق خود برنامه‌ریزی کرده و آن را اجرا کنید. یافته‌های خود را تجزیه‌و‌تحلیل کرده و گزارش دهید. یافته‌ها را به توصیه‌ها برگردان کنید. بر اساس آن توصیه‌ها اقدام کنید یا اسباب آن را فراهم نمایید. فرایند را ارزیابی کرده و پیگیری کنید.

آنچه در ادامه می‌آید، یک پروژه‌ی اقدام‌پژوهی مطلوب را با ساختاری فرض می‌کند که شاید توسط یک سازمان بهداشتی یا خدمات انسانی راه‌اندازی شده باشد. یک گروه باهمستانی که به دلیل منافع مشترک دور هم جمع می‌شوند، احتمالاً توسط افرادی استخدام می‌شوند که از قبل دوستان خود را دعوت کرده‌اند و احتمالاً هیچ نوع کارآموزی رسمی انجام نمی‌دهند، مگر اینکه از یک پژوهشگر دعوت کنند تا به طور اخص در این راه به آنان کمک کند. ماهیت گروه به شما کمک می‌کند تا تعیین کنید که چگونه هر یک از مراحل زیر را دنبال کنید یا نکنید.

یک تیم تحقیق باهمستانی استخدام کنید

نحوه‌ی استخدام یک تیم، به هدف پروژه و نیز این امر بستگی دارد که چه کسی در جمع‌آوری اطلاعات و تجزیه‌و‌تحلیل آن بیش‌ترین کارایی را دارد. پیروی مثال ابتدای این بخش، شاید تیمی از قبل وجود داشته باشد، یا شاید صرفاً گروهی از افراد باشند که با منافعی مشترک دور هم جمع شده‌اند. هدف بسیاری از پروژه‌های CBPR گردآوری گروهی متنوع است؛ با این نیت که مخلوطی از افراد مختلف، هم وسیع‌ترین دامنه‌ی منافع را تأمین می‌کند و هم بیش‌ترین فرصت را برای یادگیری افراد از یکدیگر فراهم می‌نماید. سایر پروژه‌ها شاید صرفاً از جمعیت خاصی نفرگیری کنند؛ مانند یک اقلیت زبانی، کسانی که از خدمات یک مداخله‌ی خاص استفاده می‌کنند یا افرادی که شرایط فیزیکی معینی دارند.

اغلب منطقی است که حداقل نیمی از تیم متشکل از افرادی باشد که مستقیماً تحت تأثیر موضوع یا مداخله‌ی مورد نظر قرار دارند. این اعداد هم ارتباط مناسب با جمعیتی را تضمین می‌کنند که قرار است تأمین‌کننده‌ی اطلاعات باشند، و هم این احتمال را کاهش می‌دهد که محققان باهمستان، مرعوب سایر افراد (حرفه‌ای) تیم یا حجم وظایف شوند.

استخدام از درون یک سازمان یا برنامه ممکن است نسبتاً ساده باشد زیرا مجموعه‌ی محققان بالقوه تا حدودی جمعیتی ناگزیر هستند؛ بدین معنی که شما می‌دانید کجا آنان را پیدا کنید و از قبل با آنان رابطه دارید. از سوی دیگر، استخدام افراد از یک جمعیت عمومی‌تر، مستلزم توجه به برخی از قواعد اساسی ارتباطات است.

•  از زبانی استفاده کنید که مخاطب شما بتواند آن را درک کند، خواه به معنای ارائه‌ی پیام به زبانی غیر از انگلیسی باشد، یا به زبان انگلیسی ساده و واضح، بدون استفاده از اصطلاحات علمی یا تخصصی.
•  از کانال‌های ارتباطی معینی استفاده کنید که مخاطب شما به احتمال زیاد به آنها توجه می‌کند. اعلامیه در کلیسایی که به بخش بزرگی از جمعیت شما خدمت می‌کند، یک خبرنامه، یا انتقال دهان‌به‌دهان همگی می‌توانند مجراهای خوبی برای دسترسی به جمعیتی خاص باشند.
•  از نظر فرهنگی محتاط و مؤدب باشید. پیام خود را به شکلی بیان کنید که نه تنها به فرهنگ مخاطبان احترام می‌گذارد، بلکه به آنچه در آن فرهنگ مهم است نیز مرتبط باشد.
• به جایی بروید که مخاطبان شما هستند. با گروه‌هایی از جمعیتی که می‌خواهید با آن کار کنید دیدار کنید، در محله یا مکان گردهم‌آیی آنان، اطلاعات خود را منتشر کنید. منتظر نباشید که آنان به سراغ شما بیایند.

با همه‌ی اینها، باز هم بهترین روش جذب افراد، تماس حضوری با فردی است که با آنان آشنا باشد. 

معارفه و آموزش تیم تحقیق

معارفه و آموزش می‌تواند در یک جلسه، یا جداگانه انجام شود. این دو هدف متفاوتی دارند. منظور از معارفه این است که افراد فرصتی برای طرح سؤالات خود داشته باشند و با تصویری کلی از آنچه از آنان انتظار می‌رود آشنا شوند.

معارفه می‌تواند شامل موارد زیر باشد:

• معرفی همه‌جانبه، و معرفی اعضای تیم به یکدیگر برای شناخت بیش‌تر؛
• تشریح پژوهش مشارکتی با محور باهمستان، و اطلاعات اولیه در مورد این پروژه یا ارزیابی؛
• تعهد زمانی شرکت‌کنندگان و در صورت موجود‌بودن، ماهیت پشتیبانی که در دسترس دارند. آیا مراقبت از کودکان، حمل‌و‌نقل یا سایر خدمات حمایتی تأمین، یا هزینه‌ی آنها پرداخت می‌شود؟
• فرصتی برای پرسیدن سؤالات، یا بحث در مورد هر بخشی از پروژه یا ارزیابی که اعضای تیم آن را نمی‌فهمند یا با آن موافق نیستند.

به‌خصوص، اگر تیم دارای تنوع باشد، و به‌ویژه اگر این تنوع به معنی پیشینه‌ی آموزشی و پژوهشی باشد، یکی از جنبه‌های مهم معارفه این است که مقدمه‌ی تشکیل تیم است و باید مراقب باشیم که همه آن را به دیده‌ی گروهی متشکل از همکاران خود می‌بینند، و نه تیمی که تیم دیگر را رهبری می‌کند یا بر آن تسلط دارد یا حتی (بدتر از همه) صرفاً یکدیگر را تحمل می‌کنند. هر فردی مهارت‌ها و تجربه‌های متفاوتی را به ارمغان می‌آورد و چیزی برای آموزش به دیگران دارد. شاید تأکید بر این از ابتدا ضروری باشد؛ نه تنها برای جلوگیری از تسلط اعضای تحصیلکرده‌تر بر سایرین، بلکه برای تشویق اعضای کم‌سوادتر به اینکه از سؤال و اظهار‌نظر‌کردن هراس نداشته باشند.

صرف نظر از شیوه‌ی آموزش، در اینجا دستورالعمل‌هایی کلی ارائه می‌شود که معمولاً ارزش رعایت را دارند:

• فضایی راحت برای برگزاری تمرین پیدا کنید؛
• غذا و نوشیدنی فراهم کنید یا مراقب باشید که مردم با خود بیاورند؛
• تنفس‌های مکرر و کوتاه داشته باشید. برای آنکه مردم تمرکز بیش‌تری داشته باشند، بهتر است که به‌ جای بیست دقیقه در سه ساعت، به ازای هر نیم ساعت، سه دقیقه استراحت کنند؛
• محیط را برای حداکثر مشارکت و تعامل آماده کنید؛ صندلی‌ها در یک دایره، فضا برای حرکت و غیره؛
• روش‌های ارائه‌ی مطالب را تغییر دهید. مردم به طرق مختلف یاد می‌گیرند؛ با شنیدن، دیدن، بحث‌کردن، الگوبرداری (نگاه‌کردن به دیگران) و با انجام‌دادن. هر قدر تعداد بیش‌تری از این روش‌ها را به خدمت بگیرید، توجه افراد بیش‌تری را به خود جلب کرده و همه‌ی اعضای تیم را به مشارکت دعوت می‌کنید.
•  از کارآموزی برای تشکیل تیم خود استفاده کنید. کارآموزی فرصتی طلایی است تا افراد یکدیگر را شناخته، به هم اعتماد نموده، و اصول راهنمای کار را درک کنند. 

البته محتویات آموزش به پروژه‌ای بستگی دارد که در پیش می‌گیرید، اما احتمالاً حوزه‌های معمول شامل اینهاست: 

• مهارت‌های پژوهشی لازم، که می‌تواند شامل تکنیک‌های مصاحبه، جستجوی اینترنتی، تدوین نظرسنجی، و سایر روش‌های اولیه در تحقیق و جمع‌آوری اطلاعات باشد؛
•  اطلاعات مهم در مورد باهمستان یا مداخله‌ی مورد نظر؛
• مهارت ملاقات و مذاکره. شاید بسیاری از افراد تیم شما تجربه‌ی شرکت در جلسات متعدد را نداشته باشند. آنان برای پرورش مهارت شرکت در جلسات، مانند دنبال‌کردن مسیر بحث، تشخیص اینکه چه وقت برای اظهار نظر مناسب است، یا برخورداری از اعتماد‌به‌نفس کافی برای اظهار نظر، و همچنین برای احساس راحتی بیش‌تر در جلسات ملاقات، به وقت و پشتیبانی نیاز دارند؛
• تهیه‌ی گزارش. این لزوماً به معنای تهیه‌ی پیش‌نویس سند رسمی نیست. بسته به اعضای تیم، یک نمودار گردشی، نمایش اسلاید، ویدئو، یا یک کلاژ، همه می‌توانند شیوه‌های آموزنده و قدرتمندی برای انتقال نتایج تحقیق باشند که از طریق شهادت شفاهی یا ضبط صدا ثبت شده‌اند؛
• معرفی پروژه. اینکه بدانیم باید چه انتظاری داشته باشیم و بیاموزیم که چگونه باید یک معرفی روشن و متقاعد‌کننده را ارائه دهیم، تعیین‌کننده‌ی پذیرش یا رد یافته‌ها و توصیه‌هایی است که عرضه می‌کنیم. 

پرسش‌هایی را که قرار است پژوهش یا ارزیابی پاسخ دهد، تعیین کنید

سؤالاتی که برای پاسخ‌گرفتن انتخاب می‌کنید، به تحقیقات شما شکل می‌دهند. در هر یک از این موارد انواع مختلفی از پاسخ‌ها وجود دارد.

ارزیابی می‌تواند بر فرایند متمرکز باشد: در عمل چه کاری انجام می‌شود، و این عمل با هدف مداخله یا ابتکار چقدر فاصله دارد؟ ضمناً فرایند می‌تواند بر نتایج تمرکز یابد: آیا نتیجه‌ی نهایی مداخله همان است که شما انتظار داشتید؟ یا می‌تواند هر دو را بررسی کرده و تعیین کند که آیا فرایند برای کسب نتیجه‌ی دلخواه کارایی دارد یا نه. ارزیابی هم می‌تواند با هدف شناسایی عناصر معینی از فرایند که نیازمند تغییر هستند، یا شناسایی فرایندی به‌‌کلی متفاوت که باید جایگزین دیگری شود که کارایی ندارد، انجام گردد. 

تحقیق خود را طراحی و پایه‌ریزی کنید

پژوهش خود را با توجه به محدودیت زمانی، ظرفیت تیم، و پرسش‌هایی که در نظر دارید طراحی کنید. 

برنامه‌ی شما باید شامل موارد زیر باشد:

• نوع و میزان جمع‌آوری اطلاعات که به بهترین وجه برای پروژه‌ی شما مناسب است (به عنوان مثال، مصاحبه، تحقیق کتابخانه‌ای، نظرسنجی)؛
• چه کسی مسئول چه چیزی خواهد بود؛
• جدول زمانی؛ یعنی ضرب‌العجل تکمیل هر مرحله از طرح؛
• اطلاعات چگونه و توسط چه کسی تجزیه‌و‌تحلیل خواهد شد؛
• گزارش تحقیق یا ارزیابی چگونه خواهد بود؛
• گزارش چه وقت، چگونه و به چه کسی ارائه خواهد شد.

برای مشکلاتی که شاید پیش بیاید، برنامه‌ی جایگزین را پیش‌بینی و آماده کنید

گروه اقدام‌پژوهی مانند هر گروه دیگری، می‌تواند درگیری‌های داخلی و نیز درگیری با نیروهای خارجی داشته باشد. شاید مردم با هم مخالفت کنند یا بدتر از آن، برخی از افراد ممکن است گروه را ترک کنند یا به وعده‌ی خود عمل نکنند؛ مردم ممکن است روندی را که بر آن توافق شده درک نکنند یا شاید تصمیم بگیرند که از آن پیروی نکنند. باید برای مقابله با هر یک از این مشکلات و سایر مشکلات بالقوه، دستورالعمل‌هایی پیش‌بینی شده باشد. 

طرح تحقیق خود را اجرا کنید

اکنون که برنامه‌ریزی خود را کامل کرده‌اید، زمان اجرای آن فرا رسیده است.

گزارش و توصیه‌های خود را آماده و عرضه کنید

همان‌طور که قبلاً توضیح داده شد، گزارش می‌تواند یک سند مکتوب یا به شکل دیگری باشد. اگر در حال ارزیابی هستید، می‌توانید آن را برای کارمندانی که مداخله را ارزیابی می‌کنند به یک شکل، و برای تأمین‌کنندگان مالی یا باهمستان به شکل دیگری ارائه دهید؛ این به هدف شما بستگی دارد. 

بعضی از قالب‌های معرفی عبارتند از:

• کنفرانس مطبوعاتی
• معرفی به باهمستان
• مقاله‌ی روزنامه یا خبرنامه
• گزارش کتبی به سرمایه‌گذاران یا سایر گروه‌های ذی‌نفع 

در مورد مسئله یا مداخله اقدام مناسبی انجام دهید یا به این منظور تلاش کنید

اقدام، می‌تواند از اصلاح یک عنصر منفرد در مداخله که حاصل ارزیابی است، تا نوشتن نامه به سردبیر، حمایت از قانون‌گذاران، اقدام بی‌واسطه (تظاهرات، دعوی قانونی)، و راه‌اندازی ابتکاری در باهمستان که به جنبشی ملی تبدیل می‌شود، متغیر باشد. در بیش‌تر موارد، فعالیت CBPR به نوعی کنش منتهی می‌شود؛ حتی اگر آن کنش چیزی جز تحقیق بیش‌تر نباشد. 

پیگیری

یک پروژه‌ی اقدام‌پژوهی، با معرفی یا حتی با اقدام به پایان نمی‌رسد. اغلب هدف از تحقیق به همان اندازه که با نتایج تحقیق مرتبط است با آموزش اعضای تیم هم ارتباط دارد. حتی در مواردی که این‌طور نیست، مهارت‌ها و روش‌هایی که محققین می‌آموزند، باید تقویت شوند تا بتوان آنها را در پروژه‌های دیگر هم مورد استفاده قرار داد. 

• فرایند تحقیق را ارزیابی کنید. این باید یک تلاش مشترک توسط همه‌ی اعضای تیم بوده و شاید شامل دیگران نیز باشد (مثلاً کسانی که در عمل یک مداخله‌ی ارزیابی‌شده را اجرا می‌کنند). آیا کارها طبق برنامه پیش رفت؟ نقاط قوت این فرایند چه بود؟ چه نقاط ضعفی داشت؟ آیا آموزش قابل درک و کافی بود؟ چه نوع دیگری از حمایت می‌توانست مفید باشد؟ چه بخش‌هایی از فرایند باید تغییر کنند؟
• منافعی که در نتیجه‌ی فرایند تحقیق، برای باهمستان یا گروه ایجاد شده (یا ممکن است حاصل شود) را شناسایی کنید. این منافع می‌توانند با اقدام، آگاهی بیش‌تر باهمستان از مسائل خاص، یا بالا‌رفتن تعداد فعالان باهمستان مرتبط باشند.
• یادگیری و تلقی افراد تیم از تغییر در خود را شناسایی کنید. برخی از حوزه‌هایی که باید در نظر گرفت عبارتند از مهارت‌های پایه و سایر مهارت‌های دانشگاهی؛ سخنرانی عمومی؛ مهارت ملاقات در جلسات؛ اعتماد‌به‌نفس و عزت نفس؛ توانایی تأثیرگذاری بر جهان و زندگی خود؛ و تجسم نفس (مثلاً به جای آن که واکنشی عمل کنند، خود را فعال می بینند).
• با مشارکت‌دادن محققان، دستاوردها را حفظ کنید. برای حفظ شتاب تیم CBPR، چندین راه وجود دارد. از جمله، اگر دلیلی وجود داشته باشد، شروع یک پروژه‌ي دیگر؛ تشویق اعضای تیم به فعالیت در رابطه با مسائل دیگری که به آن اهمیت می‌دهند (و برخی از حوزه‌های بالقوه را پیشنهاد کنید و حتی معارفه‌ای هم بگذارید تا کار را برایشان آسان‌تر کرده باشید)؛ گروه را در قالب یک کنسرسیوم تحقیقاتی (با حقوق) در کنار هم نگه دارید؛ یا مشاوره گروهی با سایر سازمان‌های علاقمند به اجرای اقدام‌پژوهی.

CBPR همواره انتخاب مناسبی برای یک ابتکار یا ارزیابی نیست، اما همیشه ارزش بررسی را دارد. اگر بتوانید در موقعیتی خاص از آن استفاده کنید، پاداش کار می‌تواند عالی باشد.

پژوهش مشارکتی با محور باهمستان می‌تواند اهداف بسیاری را دنبال کند. می‌تواند با تأمین اطلاعات صحیح و مناسب، مبنای هدایت ابتکار در باهمستان یا ارزیابی مداخله در باهمستان باشد. می‌تواند تضمین‌کننده‌ی حمایت و پشتیبانی باهمستان از آن ابتکار یا مداخله باشد. می‌تواند رشد و فرصت‌های فردی شرکت‌کنندگان را افزایش دهد. کسانی را که بیش از همه از شرایط یا مشکلی آسیب دیده‌اند، برای تحلیل و ایجاد تغییر در آنها توانمند سازد. و شاید مهم‌تر از همه، می‌تواند به تغییرات اجتماعی بلند‌مدتی منجر شود که کیفیت زندگی را برای همه افزایش می‌دهند.

خلاصه

پژوهش مشارکتی با محور باهمستان، فرایندی است که برای افراد آسیب‌دیده از یک مسئله یا مداخله‌ای در حال مطالعه یا ارزیابی، و توسط خود آنان اجرا می‌شود. این پژوهش اهداف متعددی دارد؛ از جمله، توانمندسازی شرکت‌کنندگان، جمع‌آوری بهترین و دقیق‌ترین اطلاعات ممکن، جلب حمایت باهمستان برای پروژه، و تغییر اجتماعی که منجر به بهبود باهمستان برای همه می‌شود.

CBPR  مانند هر فرایند مشارکتی دیگر، می‌تواند وقت و کوشش زیادی بطلبد. شرکت‌کنندگان اغلب دارای محرومیت اقتصادی و تحصیلی، فاقد مهارت‌های اساسی و سایر منابع هستند. بنابراین آموزش و پشتیبانی؛ خواه فنی و خواه شخصی، عناصر حیاتی هر فرایند اقدام‌پژوهی هستند. ولی با آماده‌سازی مناسب، اقدام‌پژوهی مشارکتی نه تنها می‌تواند نتایج تحقیقاتی عالی را به دنبال داشته باشد، بلکه در دراز‌مدت مزایای زیادی برای باهمستان نیز به ارمغان خواهد آورد.

 

 

Ejemplo #1 El Proyecto Cambios (Changes por su nombre en inglés): Universidad Comunitaria de Holyoke y  SABES West, Holyoke, Massachussets.

El Proyecto Changes fue un esfuerzo de investigación de acción participativa de 3 años. Patrocinado por una partida de la Oficina para la Investigación Educativa y el Desarrollo, del Departamento Americano de Educación. Su objetivo era determinar los efectos de los principales cambios en las regulaciones de asistencia social, leyes de inmigración y el lugar de trabajo que ocurrieron durante los años noventa sobre los estudiantes adultos.

El proyecto era participativo en dos sentidos:

• Los 42 investigadores (de los cuales 34 fueron capaces de participar durante los 3 años de duración del proyecto) eran estudiantes actuales o previos, o empleados de los programas de la alfabetización para adultos, GED (equivalencia de secundaria) y ESOL (Inglés como Segunda u Otra Lengua).
• Todos los datos del esfuerzo fueron obtenidos de 600 estudiantes en programas de los cuales provenían los investigadores.

Todos los investigadores eran estudiantes, graduados o empleados de uno de los cinco programas de educación para adultos en el oeste de Massachussets. El Centro para Nuevos Americanos (CNA)  en Greenfield, Amherst y Northhampton y el Instituto de Lenguaje Internacional (ILI) de Northhampton son organizaciones independientes que trabajan con estudiantes de ESOL. El Programa Mentor en la Universidad Comunitaria Holyoke provee servicios para estudiantes adultos que están haciendo la transición entre educación adulta y educación superior. El Centro para el Aprendizaje de Adultos y Familias Leer/Escribir/Ahora (RNW), patrocinado por la Biblioteca de la Ciudad de Springfield, ofrece clases para la alfabetización y GED para adultos y familias. El Programa para la Educación de la Labor y Manejo en el Lugar de Trabajo de la Universidad de Massachussets (LMWEP) sirve específicamente a empleados de la Universidad con una gama de ofertas instructivas que abarca habilidades básicas, tecnología, comunicación, solución de problemas y áreas específicas del lugar de trabajo.

Los miembros del equipo de investigación tenían edades entre los 22 y los 55 años y variaban educativamente desde estudiantes de alfabetización de adultos hasta estudiantes de carreras universitarias ya avanzadas. Entre todos hablaban seis idiomas, venían de seis países en tres continentes y tenían herencia afroamericana, asiática, caucásica e hispana. Veintiséis eran padres de familia (diez eran padres solteros)  y diez eran o habían recibido asistencia social. En general, los investigadores conformaban un grupo muy representativo de los participantes y empleados del centro de educación para adultos de la comunidad del oeste de Massachussets.

Cada una de las cinco organizaciones presentaba un grupo investigativo que trabajaba independientemente y en conjunto con los otros cuatro. Además de sus miembros, que variaban en un rango de 3 a 13 personas, cada equipo incluía un facilitador de investigación en el sitio (SRF); un miembro que era integrante y facilitador del equipo investigativo de la institución. Con frecuencia, los SRF se reunían junto con el coordinador de programa y también recibían conferencias de un grupo asesor y un metodólogo.

El problema de investigación que examinaba el proyecto fue generado por los administradores y empleados de los programas de aprendizaje para adultos del 14 Western Massachusetts, en respuesta a las preocupaciones expresadas por parte de los estudiantes y de sus propias observaciones.

Tal como se anota en el reporte del Proyecto Changes, las metas de la investigación eran “aprender más acerca de:

• Efectos de la reforma de asistencia social, de la reforma de inmigración y los cambiantes requisitos de los lugares de trabajo sobre estudiantes adultos de cinco programas de alfabetización para adultos en el oeste de  Massachusetts.
• Maneras en las que los estudiantes adultos responden y se acomodan a la reforma de inmigración, a la reforma de asistencia social y los cambiantes requisitos del lugar de trabajo mientras intentan alcanzar sus metas a través de la educación.
• En qué manera los practicantes y los programas pueden alterar los servicios educativos para hacerlos más efectivos, dada la reforma de asistencia social, la reforma de inmigración y los cambiantes requisitos del lugar de trabajo.
• Maneras en que las políticas pueden ser más receptivas a las necesidades de los estudiantes adultos mientras que ellos lidian con estos tres asuntos”

El Proyecto Changes empezó con un reto: cómo moldear un grupo grande y diverso de investigadores para formar un grupo que pudiera trabajar unido de manera creativa y efectiva. El coordinador de Changes, Alex Risley Schroeder, recuerda que este reto se hizo aún mayor por el hecho de que el proyecto no había sido 100% participativo desde el inicio.

“Tuvimos que escribir la propuesta, y debido al tiempo y otras restricciones, lo hicimos sin la participación directa de los estudiantes. Fue algo con lo que luchamos a lo largo de la vida del proyecto.Tuvimos equipos de estudiantes/investigadores, y les dijimos ‘Le prometimos a los patrocinadores ciertas cosas.  Ahora, ¿qué podemos nosotros, como grupo, hacer para que esas cosas reflejen lo que es importante para todos nosotros? ’”

Hubo solamente dos ocasiones al inicio del proyecto en las que todo el grupo, los equipos de los cinco sitios, estuvieron juntos: una orientación/entrenamiento inicial y un proyecto debut. El trabajo real de construcción de grupo verdaderamente inició cuando entró el primer conjunto de datos.

Debido a la diferente naturaleza de los cinco programas de educación para adultos y sus estudiantes, no todos los equipos investigaron las tres áreas en cuestión. La mayoría del trabajo sobre reforma de inmigración, por ejemplo, salió de la investigación de los equipos de los programas ESOL. El equipo del programa de educación en el lugar de trabajo no investigó los efectos de la reforma de la asistencia social, porque todos los estudiantes en ese programa estaban, por definición, empleados; se concentró más bien en  los cambios en el lugar de trabajo.

En todos los equipos, la información se recolectó en tres pasos a través de los estudiantes en sus propios programas:

• Entrevistas individuales. Los equipos desarrollaron preguntas de entrevista apropiadas para el área que estaban investigando, y llevaron a cabo un primer ciclo de entrevistas individuales.
• Más entrevistas, grupos de discusión y encuestas. Los equipos realizaron un segundo ciclo de entrevistas con preguntas revisadas (incluyendo algunos seguimientos; casi a todas las entrevistas se les dio seguimiento con segundas entrevistas) y también se llevaron a cabo grupos de enfoque en cada programa y se realizaron entrevistas a lo largo del proyecto.
• Más entrevistas, más grupos de discusión y tres encuestas separadas, cada una especialmente dirigida a estudiantes con conocimiento de primera mano de una de las tres áreas en cuestión.

Después de cada fase de recolección de datos, los equipos lucharon con maneras para clasificar y reportar lo que encontraron, y con cómo darse sentido a la información. Había una cantidad enorme de material, la mayoría en forma de historias de las experiencias de las personas. Cada equipo encontró su propia manera de organizar los datos.

Cada fase terminó con un Festival de Análisis, una reunión de todos los equipos para intentar integrar y analizar lo que encontraron. Las reuniones fueron llamadas Festival de Análisis, según Risley Schroeder, para capturar tanto la emoción como la verdadera alegría de ganar y encontrarle sentido al conocimiento. Fue en estos Festivales de Análisis, según ella, que los cinco equipos se convirtieron realmente en una unidad coherente.

“No todo el mundo conocía las cosas que eran obvias para algunos de los equipos. Por ejemplo, por  lo que las mujeres con asistencia social tuvieron que pasar, o lo que significa no ser capaz de hablar inglés. Fue un tiempo de aprendizaje muy poderoso para todos, y les dio a todas las personas la oportunidad de conocer a los demás como equipo y como individuos. Realmente, para hacer este trabajo, todos tuvimos que comprender quiénes éramos como grupo, como equipos y como individuos”.

El grupo luchó con la organización de la información y las historias que habían recolectado. El reto estaba compuesto del hecho de que algunos investigadores tuvieron dificultad leyendo y escribiendo o con el inglés. Se hizo aún más difícil porque los investigadores, al principio, creían que no tenían habilidad, y por tanto no tenían herramientas para la tarea.

El primer Festival de Análisis empezó con muchos documentos. Había transcripciones de todas las entrevistas, muchas laboriosamente traducidas de inglés a español u otros idiomas. Los equipos estaban limitados por lo que ellos creían que era “investigación”. En los Festivales de Análisis subsecuentes, a manera que los investigadores se relajaban y empezaban a unir el material de los diferentes equipos, se dieron cuenta que había temas comunes en muchas de las entrevistas, a pesar de las circunstancias de los estudiantes que habían sido entrevistados. Esos temas se convirtieron en el centro de los hallazgos primordiales del proyecto y en la llave para organizar los datos.

Las personas que tuvieron más dificultad con los impresos o con el lenguaje, también fueron las más creativas para superar esta dificultad. Montaron historias representativas para cada uno de los asuntos, utilizaron fotos y sonido así como (o en vez de) material impreso para mostrar lo que habían encontrado y desarrollaron sociodramas para demostrar los tipos de dificultades que los estudiantes enfrentaron con las reformas de asistencia social e inmigración y asuntos relacionados con el lugar de trabajo.

También se hizo importante el uso de metáforas. Uno de los hallazgos más importantes del proyecto fue que los estudiantes adultos frecuentemente dependían de redes frágiles de apoyo de diferentes tipos para poder estar en capacidad de asistir a clases y aprender de manera exitosa.

Hubo esencialmente cuatro tipos de apoyo necesario:

• Apoyo práctico. Incluye los tipos de apoyo que la mayoría de las personas ve como necesarios para completar exitosamente un programa de educación para adultos: alimentos, vestimenta, protección, cuidado de la salud, cuidado de los niños y transporte. Pero esta categoría también incluye información acerca de los derechos de los receptores de la asistencia social, de los inmigrantes y trabajadores, acerca de las leyes que gobiernan esas áreas, acerca de cómo encontrar y matricularse en los programas, acerca de cómo estudiar, acerca de cómo encontrar otros recursos académicos y laborales.
• Recursos internos. Aspiraciones, sueños, motivación, enfoque, determinación, habilidad natural, conocimiento previo, fe espiritual.
• Apoyo personal. Incluye apoyo emocional y práctico, y no proviene solamente de la familia y los amigos, sino también de los profesionales y la comunidad en general. Incluye apoyo para los individuos y los programas, así como respeto, estímulo y creencia en la habilidad de las personas de cambiar sus propias vidas.
• Apoyo institucional.  Incluye no solo la existencia, también la capacidad de respuesta y carácter apropiado de los programas, organizaciones e instituciones que proveen ayuda y servicios a aquellas personas que los necesitan; políticas estatales y nacionales que contemplan las necesidades reales de las personas a las que están dirigidas; y regulaciones que contienen las necesidades reales y las circunstancias de las personas a las que pretenden ayudar.

Los investigadores concibieron estos apoyos como hilos en una red, todos entrelazados e interdependientes. Cortar un solo hilo debilita toda la red, y hace menos probable el éxito de un estudiante adulto. La metáfora de la red hizo que para todos el concepto de apoyo fuera más fácil de ver y comprender, y también dejó claro lo importante que es que los políticos se den cuenta de que el éxito de un estudiante adulto depende de muchas más cosas, aparte de lo que se incluye de manera particular en un programa ABE o ESOL.

Finalmente, el Proyecto Changes alcanzó varios propósitos:

Reunió una gran cantidad de datos importantes de primera mano acerca de los efectos (intencionados o no) de las reformas de asistencia social e inmigración y los cambios en los lugares de trabajo sobre los estudiantes adultos y sobre sus oportunidades para cumplir exitosamente con sus metas educativas.

Tuvo un profundo efecto en los investigadores mismos. Tanto los estudiantes adultos como los empleados sintieron que la experiencia de participar en el proyecto les cambió la manera de verse a sí mismos y al mundo.

Más específicamente:

• Los miembros del equipo incrementaron su habilidad de comunicarse y de desarrollar habilidades relacionadas con el trabajo, y los estudiantes, específicamente, incrementaron su alfabetización y habilidades en el idioma inglés.
• Los miembros del equipo sintieron más autoconfianza y se vieron a sí mismos como más competentes y más capaces de contribuir como resultado de su trabajo en el Proyecto Changes.
• Muchos miembros del equipo sintieron que tenían voz, lo que les permite hablar y ser escuchados tanto en sus vidas privadas como públicas en maneras que antes no habían sido posibles para ellos.
• La experiencia en el Proyecto Changes llevó a muchos investigadores a involucrarse activamente en sus comunidades, y a cambiar su perspectiva sobre la acción política en general y sobre su propia habilidad para cambiar cosas en particular.
• Algunos de los profesores miembros del equipo se percataron de que la visión de sus trabajos y de los estudiantes con los que trabajaban habían cambiado.  Uno dijo: “Este proyecto me ha dado la habilidad [de ser un profesor reflexivo] pues realmente hay que escuchar cuando se hace investigación.  Aprender a hacer eso me ha cambiado, ha cambiado la manera en que creía se construye el conocimiento.  Es realmente diferente cuando se hace en un grupo.  El resultado de este tipo de trabajo es mucho más valioso.”
• La experiencia de construir y pertenecer a una comunidad que incluía personas de diferentes culturas, etnias y procedencias se destacó como enormemente positiva para todos los participantes.  Muchos hablaron acerca del entusiasmo de aprender acerca de cómo otras culturas veían el mundo, y las recompensas de aprender a relacionarse con las personas con perspectivas diferentes.
• Los miembros del equipo ganaron conocimiento técnico valioso acerca de realizar investigación, incluyendo como recolectar y analizar datos (así como a participar del análisis lógico en general), cómo ajustar la investigación para responder a la cultura de las personas en cuestión, y cómo desarrollar habilidades interpersonales necesarias para obtener información a partir de las entrevistas y los grupos de discusión.

El proyecto sirvió como modelo, no solo de investigación, sino también de educación adulta. Muchos de los investigadores, profesores y estudiantes, se dieron cuenta de que su participación había cambiado su visión del aprendizaje. Se dieron cuenta de que podía ser divertido, práctico y centrado en el grupo.  Las habilidades estaban siendo aprendidas, tal vez hasta más efectivamente que cuando la instrucción se fijaba en los instructores, en un contexto de trabajo que tenía un objetivo en el mundo real.

La investigación identificó temas periféricos que tienen grandes consecuencias para los estudiantes adultos. La red de soporte descrita arriba, es crucial para el éxito de la mayoría de los estudiantes; sin embargo, los políticos son ignorantes al respecto y frecuentemente sin darse cuenta la desintegran, haciendo por tanto más difícil que los estudiantes sean exitosos.

El Proyecto Changes hizo un borrador de recomendaciones para el área de trabajo, para los estudiantes, los lugares de trabajo y los políticos.

• Las recomendaciones en el área se centran en cómo hacer programas más efectivos al incluir las necesidades de los estudiantes, incluidas las no-académicas; mediante el fortalecimiento de la red de apoyo; incrementando la participación del estudiante en la toma de decisiones de la organización; proveyendo ayuda en la transición hacia los siguientes pasos (continuación de la educación, planificación profesional, empleo); y manteniendo una atmósfera organizacional de respeto mutuo y apoyo.
• El proyecto le recomienda a los estudiantes que tomen responsabilidad en la obtención de la información que necesitan, para obtener apoyo y para involucrarse y ser activos en sus programas.
• Las recomendaciones para los lugares de trabajo incluyen la provisión de estos para el desarrollo ocupacional y profesional de sus trabajadores (incluyendo escaleras profesionales dentro del lugar de trabajo, así como educación y entrenamiento); mantenimiento de una atmósfera de respeto mutuo e inclusión; reconocimiento y construcción de las fortalezas de los empleados, particularmente las de los inmigrantes; y sensibilización a la diversidad cultural de la fuerza de trabajo.
• Las recomendaciones del Proyecto Changes para los políticos y legisladores, aunque conciernen temas mayores, en algunos puntos son similares a las de los demás.  Sugieren el mandato para que los trabajadores inmigrantes con asistencia social desarrollen relaciones respetuosas con sus patronos; que se desarrollen políticas más efectivas solicitando la participación de aquellas personas a las que están dirigidas estas políticas; que la información y los servicios sean provistos en todos los idiomas que sean necesarios; que las políticas de asistencia social respondan a las necesidades reales de los receptores; que la educación y el entrenamiento sean planeados con miras hacia los requisitos del trabajo de asistencia social; y que las políticas motiven a los padres de familia a hacerse responsables de sus hijos.

La participación en el proyecto llevó a la acción por parte de los investigadores.  Esto fue tal vez la parte más prometedora y frustrante del esfuerzo.  Una de las grandes piezas de aprendizaje de los investigadores fue que la investigación de acción sí hace borrosa la distinción entre investigación, análisis y acción.  Cada uno de los equipos de investigación inició alguna acción, no tanto como un resultado de, sino más bien como parte integral de su investigación y hallazgos.

La investigación del Proyecto Cambio ayudó a que un grupo de escritura de padres adolescentes mejorara notoriamente, los cuales habían sido entrevistados por el equipo, y que querían escribir acerca de su situación.  Sus obras fueron incorporadas en una “Carta del Día de la Madre” grupal (con el título “¿Qué va a pasar con nosotros?”), que fue enviada a los legisladores, los medios y otros programas de educación para adultos. Como resultado, el periódico local publicó una historia sobre los efectos de la reforma en la asistencia social sobre los padres adolescentes e incluyó entrevistas con varios de los escritores.

El equipo CNA hizo presentaciones de sus recomendaciones a los empleados y administradores del programa, y también participó en concursos y apoyo directo con los legisladores para los derechos de los inmigrantes en la Casa de Gobierno.

El equipo Leer/Escribir/Ahora inició una campaña de envío de cartas a los representantes locales, estatales y nacionales detallando los efectos reales de la reforma de asistencia social acerca de los estudiantes adultos receptores.También participaron dando apoyo para la justicia económica, y finalmente publicaron un libro ampliamente distribuido (a legisladores, otros programas y el público) con las historias de muchos de esos estudiantes. Con esto esperan disipar los estereotipos de los receptores de la asistencia social y ayudar a la gente a comprender el verdadero apuro en el que se encuentran muchos estudiantes adultos.

El equipo ILI estaba centrado más cerca de casa. Golpeados por las historias de las personas a las que entrevistaron, los miembros del equipo asumieron la provisión de información y asistencia a los compañeros estudiantes del programa. Al igual que los otros, también se involucraron en el apoyo de los derechos de los inmigrantes asistiendo a concursos y otros eventos en la Casa de Gobierno y haciendo presentaciones acerca de su trabajo.

Finalmente, el equipo UMass Workplace Education (un equipo para la educación en el lugar de trabajo) respondió a lo aprendido de dos formas:

• Los miembros del equipo crearon un grupo de apoyo y solución de problemas, llamado Haciendo que el Trabajo Funcione, para poder explorar y afectar los asuntos relacionados con el lugar de trabajo.  Este grupo se ha reunido con un grupo de la Unidad Universitaria de Entrenamiento y Desarrollo para diseñar programas nuevos e involucrar a más empleados en la planificación.
• La segunda acción importante generada de la investigación del LMWEP es el desarrollo de una escalera profesional para los trabajadores universitarios, como resultado de reuniones con la unión y la administración universitaria que se iniciaron gracias al Proyecto Changes.

A pesar de que esta acción ha ayudado a los involucrados a sentir que ahora tienen más voz en sus propios destinos, también resulta frustrante.  Excepto por el progreso de LMWEP en el lugar de trabajo, la mayoría de las acciones tomadas tuvieron poco o ningún efecto en la situaciones tratadas. La reforma de asistencia social e inmigración han pasado como originalmente se planeó, con virtualmente ninguna concesión a las necesidades de las personas que están siendo privadas de la educación y el entrenamiento que podría ayudar a hacerlos financieramente exitosos y mejores ciudadanos. Los legisladores y otros han escuchado con compasión pero los resultados han mostrado poca simpatía por los pobres o los recién llegados.

Todo esto puede tomarse como excusa para dejar de intentar provocar el cambio social, pero también puede verse como el inicio de algo. Cierto número de personas que previamente se consideraban sin poder, han visto que al menos pueden luchar por lo que creen o lo que necesitan. Han aprendido, y han transmitido maneras de encontrar y examinar información que les dé más opciones. Y parece que están dispuestos a continuar practicando lo que han aprendido. Es en circunstancias como las creadas por el Proyecto Changes que las semillas del cambio empiezan a arraigarse. El nombre parece más apropiado.

Ejemplo #2

Cuando una compañía de reciclaje de desechos peligrosos procedente de otro estado hizo una propuesta a un pueblo de molinos económicamente deprimido de Nueva Inglaterra, de construir una planta en la comunidad, los líderes el pueblo se llenaron de alegría. La planta generaría un estímulo a la base impositiva y la compañía prometió que tanto los contratos de construcción como la mayoría de trabajos de la planta (descritos por ellos como bien pagados) serían para residentes locales. Sin mucha discusión, el pueblo accedió tentativamente a otorgar los permisos y a dejar de lado las regulaciones ambientales donde fuera necesario.

Sin embargo, algunos ciudadanos estaban preocupados. Se había programado que la planta fuera construida sobre tierra que drenaba al acuífero que alimentaba a uno de los dos pozos que abastecen al pueblo. A pesar de que la compañía aseguraba que el proceso era infalible y no generaba desechos (todo el desecho recolectado iba a ser reciclado en otros productos y no había posibilidades de contaminación debido a la operación) todavía parecía nada recomendable otorgar permiso para algo que sonaba tan peligroso sin conocer más al respecto.

El grupo de ciudadanos preocupados era de diversas procedencias. Uno de los líderes era maestro; otra era una madre soltera con asistencia social.  La membresía del grupo abarcaba la estructura social del pueblo. En contra de ellos, había oficiales locales preocupados por el crecimiento en un período de estancamiento económico y muchos de los ciudadanos subempleados o sin trabajo que esperaban que la planta fuera un medio de trabajo para ellos y una mejor vida para sus familias.

El pueblo se partió por la mitad, con oficiales que rehusaban ceder y con vecinos y viejos amigos que se dejaron de hablar. Los miembros del grupo preocupado comprendieron que tenían que entender todo lo que pudiera acerca de la compañía y su proceso y se dispusieron a hacer investigación sobre ambas. Aprendieron acerca del reciclaje de desechos peligrosos y acerca de los desechos que la planta aceptaría y los productos en los que pretendía transformar dichos desechos. Buscaron información sobre la compañía y descubrieron que tenía plantas operando en el oeste del país.

Los miembros del grupo llamaron a oficiales en las comunidades del oeste donde estaban localizadas las plantas, y se enteraron de que, de hecho, había habido algunos problemas ambientales. También averiguaron que los métodos propuestos por la planta en su mayoría no habían sido probados y que había muchos científicos que consideraban que tenían fallas serias. Armados con esta información, el grupo notificó a la prensa y organizó una reunión pública.

Después de una noche caótica pero productiva, el grupo convenció a suficientes personas de los problemas potenciales de manera  que los oficiales elegidos se vieron presionados a crear una comisión que estudiara el tema de la planta de reciclaje de desechos peligrosos. Varios miembros del grupo de ciudadanos preocupados fueron llamados a formar parte de esta comisión, junto con otros miembros comunitarios que estaban a favor de la planta.

Durante el transcurso de varias semanas, la comisión se reunió con los responsables de la compañía y continuó haciendo investigación sobre la ciencia del reciclaje de desechos peligrosos, recibió ayuda de químicos y físicos nucleares de la universidad estatal cercana. Muchos de los miembros de la comisión que inicialmente favorecieron a la planta empezaron a sospechar de los motivos de la compañía y cuestionaron su veracidad. Finalmente, la comisión decidió enviar dos de sus miembros a una de las plantas de la compañía.

La delegación de la comisión se encontró con una comunidad que sentía que le habían mentido. Había habido serios problemas de fugas relacionados con la planta y la compañía no había respondido bien. En vez de admitir el problema e intentar arreglarlo, los oficiales de la compañía intentaron pretender que no había nada malo y acusaron al pueblo de alarmista. Cuando finalmente fueron forzados por una agencia regulatoria para limpiar el desorden, tuvieron dificultad para hacerlo y muchos en el pueblo creían que aún no lo habían logrado.

Además, la compañía había prometido a la comunidad buenos trabajos para las personas locales, pero los trabajos no se habían materializado. Los bien pagados en la planta tenían como requisito títulos en química y otras ciencias, y los trabajos ofrecidos a los trabajadores locales con frecuencia eran de medio tiempo y los salarios no eran mejores que los que pagaba un supermercado reconocido a nivel nacional.

La comisión del pueblo de Nueva Inglaterra había escuchado suficiente. Regresaron y convencieron al pueblo a votar en contra de los permisos que la planta necesitaba. Sin embargo, antes de que esto pudiera suceder, la compañía retiró la oferta y buscó un sitio en otro lugar del país. Algunas personas del pueblo aún se sentían enojados por lo que veían como una pérdida de trabajos, pero la mayoría sentía que “habían esquivado la bala”.

Un grupo de ciudadanos se había convertido en un proyecto de investigación de acción participativa y había utilizado los resultados para tomar una acción efectiva en un asunto de importancia pública. Muchos de los involucrados en el esfuerzo aún están activos en la comunidad. Otros sintieron que su “momento de fama” se dio a un costo demasiado alto y se han retirado de la participación pública. En un pueblo pequeño, ese es uno de los riesgos de involucrarse en la investigación activa.

¿Qué es investigación participativa basada en la comunidad?

___Se define investigación participativa basada en la comunidad como investigación llevada a cabo por y para aquellos más directamente afectados por el tema, condición, situación o intervención que está siendo estudiada o evaluada. 

¿Por qué utilizar investigación participativa basada en la comunidad?

Se utiliza la investigación de acción participativa basada en la comunidad porque:

___Produce mejor información, más completa y precisa acerca de la comunidad.

___El involucrar a la comunidad en investigación genera un desenlace positivo que tiene más posibilidades de alcanzar las necesidades de la comunidad.

___La investigación participativa entrena a los ciudadanos que pueden aplicar sus habilidades a otros problemas también.

___El involucrarse en p.a.r. cambia las percepciones de las personas acerca de sí mismas y de lo que pueden hacer.

___Las habilidades aprendidas en el transcurso de la investigación participativa se transfieren a otras áreas de las vidas de los investigadores.

___Un proceso de investigación de acción participativa puede ayudar a romper las barreras raciales, étnicas y de clase.

___La investigación participativa ayuda a las personas a comprender mejor las fuerzas que influencian sus vidas.

___La investigación participativa basada en la comunidad puede llevar a las comunidades hacia el cambio social.

¿Quiénes deben involucrarse en la investigación participativa basada en la comunidad?

Se intenta involucrar:

___A las personas más afectadas por el tema o intervención en estudio.

___Otros miembros de la población afectada.

___A los individuos que toman las decisiones.

___Académicos con un interés en el tema o la intervención en estudio.

___Empleados y voluntarios de agencias de salud, humanas y públicas.

___Miembros de la comunidad en general.

¿Cuándo se debe utilizar la  investigación participativa basada en la comunidad?

Se emplea la investigación participativa basada en la comunidad cuando:

___Hay tiempo de entrenar y aclimatar apropiadamente a los investigadores comunitarios.

___La investigación y el análisis necesario se basan en entrevistas, experiencia, conocimiento de la comunidad y un entendimiento del tema o intervención desde adentro y no en habilidades académicas o interpretación de estadísticas (a menos que se tenga el tiempo y los recursos para enseñar esas habilidades o el equipo incluya a alguien que las tenga).

___Necesita una entrada a la comunidad o grupo del cual se está recolectando la información.

___Le interesa la credibilidad y el apoyo de la comunidad.

___Quiere tener un efecto en y empoderar a los investigadores de la comunidad.

___Quiere sentar las bases para el cambio social a largo plazo.

¿Cómo instituir y llevar a cabo investigación participativa basada en la comunidad?

___Al reclutar un equipo de investigación comunitario.

___Al orientar y entrenar al equipo de investigación.

___El equipo determina las preguntas que la investigación o evaluación intentarán responder.

___El equipo planifica y estructura la actividad investigativa.

___En equipo, se lleva a cabo el plan.

___El equipo prepara y presenta un reporte y recomendaciones acerca de su trabajo.

___Al tomar, o intentar generar, acciones apropiadas.

___Al evaluar el proceso.

___Al proveer una oportunidad para los miembros del equipo de reflejar y discutir su aprendizaje y los efectos de su experiencia de participación en el proceso p.a.r.

___Al mantener los logros y conservar a los miembros del equipo involucrados.

Tool: Involving Community Members in Evaluation

When community members are involved in evaluation, all aspects of the project, from identification of the question to dissemination of results, are more likely to reflect the priorities, values, and experiences of the community. In any evaluation or research project, community involvement can be considered along a continuum, where community members have increasing levels of influence and responsibility. This planning framework, which can be used by organizations responsible for conducting or funding evaluation projects, can increase transparency, establish shared expectations, serve as a starting point to further clarify roles, and increase accountability. Read more from the Amherst H Wilder Foundation website.

Download the PDF for the tool here.

 

Tool: Data Walks and Narrative Methods

A Data Walk is a participatory process that engages stakeholders, including community members, in interpreting visual data such as maps, charts, photos, and statistics. Stakeholders should be engaged in the design of Data Walks to select which data to display and identify appropriate spaces to host the walk. This collaborative approach increases ownership, strengthens interpretation, and supports sustainability by positioning community members as co-creators of insight rather than passive recipients of information. 

Evaluators can consider using the Theory, Context, Characteristics, and Methodology (TCCM) framework to organize and reflect on what emerges from the walk. Using a structured reflection process ensures that community narratives are not only heard but thoughtfully integrated into context-sensitive evaluation and decision-making. Read more from the American Evaluation Association website. 

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Cuáles son los intereses de estos grupos?

• ¿Quiénes son los líderes, evaluadores y autoridades de la comunidad?

• ¿Por qué debe usted entender los intereses de estos grupos?

• ¿Cuándo debe usted entender los intereses de estos grupos?

• ¿Cómo  determinar los intereses?

¿Cuáles son los intereses de estos grupos?

Ustedes pueden saber más sobre cómo le va a su grupo, pero otros que trabajan con usted desean saber si ustedes están produciendo una diferencia. Bienvenido al mundo de la evaluación. Si ustedes son una iniciativa de la comunidad, desearán evaluar su esfuerzo. Por lo tanto necesitarán dedicar algo de tiempo y energía para planear el proceso de la evaluación. Como muchos otros aspectos del desarrollo y salud de la comunidad, una evaluación será en última instancia más beneficiosa si usted gasta tiempo y energía buscando formas de comenzar y de terminar con éxito dicha  evaluación.

Un paso en el proceso de planificación incluye el entendimiento y reconocimiento de los intereses de los individuos involucrados en la comunidad y en la evaluación. Los individuos interesados e involucrados en la comunidad pueden ser líderes, evaluadores y financiadores de la comunidad, y usted deseará saber cómo será utilizada la evaluación por cada uno de ellos.

La evaluación debe responder a los intereses de estos tres grupos de individuos interesados e involucrados en la comunidad, y nada es más productivo que diseñarla juntos. La evaluación puede servir para los intereses de los líderes, financiadores de la comunidad y a los intereses de los evaluadores para obtener un producto útil, siempre y cuando usted conozca lo que se desea saber antes de que comience la evaluación. Es importante definir los intereses de los individuos  que están interesados e involucrados en la comunidad al usar la evaluación de modo que ésta pueda centrarse en responder óptimamente a las preguntas importantes para todos.

¿A qué nos referimos con necesidades e intereses? Las necesidades y los intereses son aquellos aspectos que los líderes, los evaluadores y los financiadores de la comunidad consideran importantes para hacer bien sus trabajos. Porque cada uno de estos individuos interesados e involucrados en la comunidad observan a la evaluación desde una perspectiva, esto ayuda a reconocer esas diferencias e incorporarlas en la evaluación.

Para los principiantes, es necesario considerar porqué desearía conducir una evaluación en  primer lugar.

Hay muchas razones básicas por las que los individuos interesados e involucrados en la comunidad desean una evaluación:

• Para ser responsables como servidores públicos
• Para ayudar a los que están recibiendo concesiones dentro de la comunidad
• Para mejorar las concesiones de un financiador
• Para planear e implementar nuevos programas
• Para difundir programas innovadores
• Para aumentar el conocimiento

Un individuo interesado e involucrado en la comunidad puede desear una evaluación para una o algunas de éstas razones. Los evaluadores  desearán aumentar el conocimiento, los promotores desearán mejorar las concesiones y los líderes de la comunidad desearán evaluar calidad. Los líderes comunitarios quizás no deseen contestar más que una entrevista telefónica de un estudiante interno, los evaluadores podrán estar interesados en preguntas sistemáticas y los financiadores pueden buscar responsabilidades.

Cuando llega el momento de evaluar, usted no necesariamente tiene que ser especialista para tomar buenas decisiones sobre lo que hará. Sin embargo, deberá estar bien informado sobre el uso y aplicaciones de las evaluaciones y cómo corresponden con los diversos intereses implicados, de modo que usted pueda hacer elecciones informadas.

¿Quiénes son los líderes, evaluadores y financiadores de la comunidad?

Líderes de la comunidad

Para seleccionar a los líderes se puede incluir al personal de trabajo, administradores, presidentes del comité, personal de la agencia, líderes cívicos y administradores de una iniciativa o de la comunidad. Estas personas pueden tener poco conocimiento sobre evaluación o bien no sentir que tienen mucho tiempo para proporcionar datos  o leer reportes de datos. Sin embargo, la evaluación debe ser responsable, útil y sensible a sus necesidades en la toma de decisiones. Ellos a menudo están interesados en cómo mejorar el funcionamiento de su programa.

Evaluadores

Los evaluadores son a menudo profesionales, aunque cualquier persona puede diseñar e implementar una evaluación. De hecho hay varias asociaciones profesionales que apoyan a evaluadores y han establecido estándares de las prácticas. Por ejemplo, la Asociación Americana de Evaluadores o su grupo de interés sobre la capacitación para la evaluación. Los evaluadores pueden ser consultores privados, personal de la universidad o de la fundación, o bien algún miembro del programa. Muchas veces los evaluadores están interesados en la producción sistemática de información útil y fiable.

Autoridades o proveedores de fondos

Las autoridades o financiadores son individuos u organizaciones que proporcionan apoyo financiero a la iniciativa. Se puede incluir a funcionarios de programa o a otros representantes de las agencias estatales, de las fundaciones, o de otras fuentes de apoyo financiero. Algunos financiadores han construido una evaluación formal dentro de sus actividades regulares, pero son minoría. Los financiadores están frecuentemente interesados en si el uso de sus fondos está teniendo un impacto en los problemas enfrentados por las comunidades.

¿Por qué debe usted entender los intereses de estos grupos?

Muy bien, entiende la idea en principio, pero ¿por qué necesita entender las necesidades de los líderes, evaluadores y autoridades? Las necesidades de información de varios grupos pueden ser muy diferentes, así que es importante considerar las clases de información que serán convincentes y útiles para las audiencias meta. Saber esto le ayudará a decidir qué información es necesaria y las herramientas que usted podría utilizar para obtenerla.

Mientras que usted sepa que su grupo hace un buen trabajo, las posibilidades de que otros miembros importantes de la comunidad no saben lo que usted hace son altas. Por lo tanto, otros que han apoyado y han animado sus esfuerzos desearán saber qué ha funcionado y qué no ha funcionado; qué deben cambiar y qué debe permanecer igual. Debido a que estos grupos o individuos pudieron ser útiles para ayudar en su trabajo, financieramente o de otra manera, tiene buen sentido el incluir sus necesidades en el proceso de la evaluación.

Aún más importante es el requisito de que la información utilizada sea útil. La pregunta es: ¿Para quién es útil? Si no hay dirección en su recolección de información, usted puede reunir información acerca de cualquier cosa que usted desea, pero ¿qué hacer con ésta? Si no le interesa a nadie, no tiene sentido. Si recaudo información sobre el número de personas a las que mi agencia atiende, puedo encontrar eso útil, especialmente si me reembolsa por ese número. Pero qué tal si alguien realmente quiso saber si los esfuerzos de las agencias en la ciudad tuvieron un impacto en los problema de salud. Quizá el número de personas que son atendidas en una agencia podrá no ser tan útil.

Los intereses, que nos ayudan a determinar la información que necesitamos, nos conducen a desarrollar las herramientas para recopilar la información. En otras palabras, es el interés de estos implicados lo que da forma a los requerimientos.

• ¿Cuáles son los intereses de los interesados e involucrados?
• ¿Qué información puede ayudarles?
• ¿Qué preguntas hará usted para conseguir esa información?
• ¿Qué herramientas le ayudarán para recopilar la información?

A largo plazo, incluir a los interesados en el proceso conducirá a una mayor colaboración y  capacidad organizacional para solucionar los problemas de la comunidad. Entendiendo los intereses de los interesados le capacitará para emplear mejor sus recursos. Saber lo que todos desean y necesitan le ayudará a planear una  óptima evaluación.

¿Cuándo debe usted entender los intereses de estos grupos?

Usted deseará identificar a los patrocinadores desde el inicio. El proceso de identificación antes de que usted comience a evaluar, le capacitará para obtener sus opiniones e incorporar sus ideas y necesidades dentro de la evaluación en sí misma.

Por supuesto, cuanto más pronto usted identifique las necesidades e intereses de esos grupos, más pronto usted será capaz de alcanzar la comprensión de las diversas cuestiones  en las que cada grupo está interesado sin perder tiempo ni dinero. Usted también tiene que estar atento por si los intereses cambian, usted pueda adaptarse a esos cambios de una manera oportuna y mantener a su evaluación válida.

¿Cuáles son los intereses de estos grupos?

¿Cómo encontramos a esta gente?

Antes que nada, usted y los otros miembros del grupo necesitarán sentarse y pensar  en los individuos y grupos que tienen necesidades que se deban tratar en la evaluación. Usted debe tratar de comprender cuáles son sus intereses.

Por supuesto, algunas personas pueden preguntar "¿Por qué ellos? Los intereses y necesidades de nuestro grupo deben ser el foco de la evaluación". En un sentido, esto es cierto. Uno de los propósitos principales del proceso de la evaluación incluye el proporcionar retroalimentación e ideas para el grupo mismo para que así, los miembros pueden mejorar y consolidar sus esfuerzos. Pero recuerde, todos están juntos en esto, los financiadores de la comunidad y aquellos que conducirán la evaluación. Usted desea la mejor información posible que le ayudará a usted a tomar las mejores decisiones.

Pero al mismo tiempo, hay que considerar otros factores.

Durante el curso de su sesión de tormenta de ideas, usted deberá identificar a tantos posibles interesados como sea posible.

Para identificarlos, hágase estas preguntas:   

• ¿Quién proporciona la financiación para nuestro programa?
• ¿Quién conducirá la evaluación?
• ¿Con quién colaboramos?

Una vez que usted sepa quiénes son estas personas, descubra qué es lo que quieren. Primero, observe a esos grupos. Luego, hablaremos de las necesidades e intereses específicos de los miembros de cada uno de estos grupos.

Liderazgo comunitario

¿Qué necesitará este grupo de su evaluación? La información debería ser:

• Clara y comprensible: Pueden tener un conocimiento limitado sobre los asuntos de su grupo o sobre evaluaciones. Inmediatamente, entonces, usted sabe que la evaluación debe ser clara y comprensible.
• Eficiente: Tienen probablemente una variedad de diversas responsabilidades que exigen su tiempo y consideración, así que no desearán perder el tiempo leyendo información irrelevante para sus necesidades.
• Adaptada: Pueden incluir personas que toman parte en la toma de decisiones que pueden afectar el futuro de su grupo. Por lo tanto, su evaluación necesita ser capaz de responder a sus requerimientos en la toma de decisiones.
• Sensible: Desearán saber lo que la iniciativa ha logrado, así que la evaluación debe ser sensible a las actividades y logros del programa.
• Útil: Incluirán toma de decisiones para el programa, así que la evaluación necesita mostrar cómo sus esfuerzos pueden ser mejorados.

Evaluadores

Este grupo de personas evaluarán la eficacia del programa para alcanzar sus metas. ¿Qué necesitan obtener de la evaluación?

• Entradas: El equipo de evaluación necesita recibir información procedente de los participantes en el programa -- incluyendo líderes comunitarios, financiadores y los miembros del programa, para saber lo que desea aprender acerca del mismo.
• Información exacta y completa: Dentro del mismo estilo, los evaluadores necesitan información exacta y completa para contestar a las preguntas planteadas por los interesados.
• Cooperación: Finalmente, los evaluadores necesitarán la cooperación de participantes y personal para obtener los datos necesarios.

Patrocinadores o financiadores

Necesitarán:

•  Informes claros y oportunos: Debido a sus responsabilidades de tomar decisiones referentes a la continuación del apoyo financiero, las autoridades necesitarán la información sobre el progreso de la iniciativa.
• Evidencia del cambio y del impacto en la comunidad: Las autoridades necesitarán ser capaces de medir el éxito de la iniciativa y reportar esto a sus propios administradores o componentes.

¿Cómo  determinar los intereses?

Ahora usted sabe qué intereses está buscando, usted tiene que determinar una manera de encontrarlos. Usted necesita asociar a la gente con sus intereses, ya sea mediante una encuesta, una entrevista o algún otro método. El fallo en determinar los intereses es a menudo la fuente de problemas y malentendidos a lo largo del camino y puede llegar a ser desastroso al final, cuando resulta que los diversos patrocinadores tenían diferentes expectativas y prioridades.

Algunas de las preguntas que usted puede hacerle a los patrocinadores para asociarlos con sus intereses en una evaluación son:

• ¿Cuáles son las fuerzas y debilidades de la evaluación?
• ¿Usted cree que la evaluación va dirigida hacia sus resultados deseados?
• ¿Qué clase de problemas de implementación surgieron y cómo están siendo tratados?
• ¿Cómo están interactuando el personal y los clientes?
• ¿Qué está sucediendo que no se esperaba?
• ¿Qué le gusta, disgusta o quisiera cambiar en el proceso de la evaluación?

¡Error! No se encuentra el origen de la referencia. Desde las respuestas que usted obtiene, usted puede determinar perfectamente lo que parte desea de la evaluación. Usted puede incluso agrupar a los que tengan intereses similares. Por ejemplo, usted puede descubrir que un líder de la comunidad y un evaluador están interesados en mejorar sus habilidades de gestión o dirección a través del proceso de la evaluación. Usted hizo una asociación, y probablemente ellos trabajarán hacia una meta común.

Aquí hay algunas maneras de determinar intereses y de asociarlos con los interesados:

• Entrevistas: Consiga un representante de cada grupo de interesados y pregúntele. Sea directo en sus preguntas de modo que usted pueda conseguir tan rápido como pueda el punto que usted está tratando de entender, es decir, qué intereses tienen estos interesados y si corresponden con los intereses de algunos otros.
• Encuestas: Usted puede enviar un cuestionario escrito para evaluar cómo los interesados ordenan sus intereses y que grupo desea qué. La encuesta debe ser breve y directa, haciendo preguntas claras acerca de la evaluación en términos de la calidad y metas. Los resultados de la encuesta son fáciles de utilizar y pueden ser útiles para la presentación de la evaluación.
• Encuestas por teléfono: Pueden ahorrarle tiempo y dinero, si las está haciendo en la región. Puede utilizar las mismas preguntas que utilizaría en una encuesta escrita, pero deje más espacio para comentarios, pues la gente tiende a hablar más cuando se dirigen a una persona en el teléfono. Asegúrese de que en sus encuestas por teléfono no se alejan del objetivo.
• Sesiones de lluvia de ideas: Acuerde una reunión con los representantes de los interesados y realice una tormenta de ideas sobre los intereses y posibilidades de los resultados de la evaluación. Plantee problemas tales como la continuidad del programa, obtención de fondos, coordinación de actividades, atracción al personal, y deje a  los interesados expresar su opinión. Gracias a la lluvia de ideas, todos saldrán con nuevas ideas y con una noción mucho mejor de las ideas de los demás.

Además de esos métodos, después de la evaluación usted debe conducir siempre una encuesta de opinión. Esto beneficiará a las audiencias y a los responsables de la toma de decisiones externos. Recuerde reportar en la evaluación, si los cambios necesitan ser realizados, no tener miedo de continuar con ellos.

Recuerde que las decisiones sobre cómo mejorar un programa tienden a ser tomadas en pasos pequeños y añadidos, basados en los resultados específicos que pretenden hacer de la evaluación un proceso mejor para todos los patrocinadores implicados.

Ahora armado con esta lista de necesidades e intereses, usted puede encontrar o desarrollar las herramientas para obtener la información útil. Las siguientes secciones explorarán las maneras de seleccionar a un equipo de evaluación y de presentar algunas preguntas clave para el proceso de la evaluación. Más adelante, ¡discutiremos sobre cómo evaluar su iniciativa de la comunidad!

En resumen

Una vez que usted tenga una idea clara de lo que realmente desea cada interesado, es muy probable que usted tenga éxito en su evaluación. Asegúrese de revisar con frecuencia los intereses de todos los interesados involucrados de modo que usted no pierda el foco de lo que está buscando con su evaluación. ¡La parte difícil de su trabajo de evaluación comienza ahora!

Ejemplo # 1: Razones para evaluar

Distintas organizaciones tendrán diversas razones para implementar una evaluación y diferentes intereses estarán en juego. Por ejemplo, cierta organización puede desear centrarse en el aumento de la calidad de sus programas de concesiones. Otra organización puede estar interesada en llegar a ser más responsable. Estando enterado de estos intereses es fundamental entender cómo los intereses deben ser equilibrados. Aquí ofrecemos una tabla con los ejemplos hipotéticos de la clase de intereses que las organizaciones pueden tener.

 

Fundación / Organización	Interés
El programa conmemorativo de confianza solicitud para oferta de Meyer	Mejorar programas de donación, mejorar las ganancias de concesiones
El programa para las organizaciones de los artes de la fundación de L. J. y Mary C. Skaggs	Ser responsable, mejorar las ganancias de concesiones
El programa de la juventud en riesgo de la fundación de Winthrop Rockfeller	Mejorar programas de donación, diseminar programas exitosos
El programa de las ciudades en escuelas	Aumentar el estado de conocimiento
El proyecto de la tecnología para la alfabetización	Ser responsable, mejorar la calidad de evaluación de las ganancias de concesiones o el impacto del programa
El programa de carrera/vocacional de la fundación de Guillermo Penn	Ser responsable, mejorar programas de donación, mejorar las ganancias de concesiones
El programa de Gautreaux	Aumentar el estado de conocimiento
Las concesiones de la fundación de W. K. Kellogg	Ser responsables, mejorar programas de donacón, mejorar las ganancias de concesiones, evaluar la calidad o el impacto de programas/concesiones, planear nuevos programas, diseminar programas exitosos

 

Ejemplo # 2: Conduciendo a una comunidad

En última instancia, la comunidad es la más afectada por los resultados de una evaluación. Es por eso que los líderes de la comunidad desempeñan un papel determinante en el juego de interés de las evaluaciones. Lisa Adkins sabe bastante sobre su comunidad. Ella es la directora ejecutiva de los Amigos de la Juventud (Youth Friends) en la ciudad de Kansas. A través de Amigos de la Juventud, enlazan a los estudiantes con voluntarios que tienen un interés compartido, ya sea música o deportes, computadoras o un pasatiempo especial para crear un ambiente en el cual cada joven que necesite un adulto que cuide de su vida, lo tenga.

Lisa habló con nosotros sobre cómo sus intereses como líder de la comunidad interfieren en el proceso de la evaluación. Sin embargo, según Lisa, el conflicto de intereses no ha sido un problema en su proceso de evaluación. Dijo que el trabajo entre los evaluadores, los financiadores y ella misma como líder de la comunidad es generalmente de una naturaleza cooperativa y todos trabajan juntos hacia una meta común. Ella considera el proceso de la evaluación como una experiencia positiva para su organización, una vez que consigan la oportunidad de repasar sus programas y de cambiar lo que se necesita cambiar. Así pues, las evaluaciones son un elemento constante en su trabajo.

Su principal interés, dijo Lisa, era recibir retroalimentación en los programas que los Amigos de la Juventud proporcionan y las evaluaciones son una excelente forma de conseguir respuesta de la comunidad. Los Amigos de la Juventud pueden ajustar sus servicios mientras que la necesidad se origine dentro de la comunidad. Lisa precisó que siempre ella era la más interesada en los resultados de la evaluación puesto que podrían cambiar su acercamiento a cierto programa y mejorarlo drásticamente.

Ejemplo # 3: Evaluando al evaluador

Cuando se pretende suponer los intereses en el juego de la evaluación, el evaluador es el personaje principal. Vince Francisco conoce bien este juego. Ha trabajado como evaluador con distintas organizaciones basadas en la comunidad, realizando evaluaciones de programas. Ha realizado evaluaciones de programas de vigilancia comunitaria, programas de prevención de enfermedades crónicas y cardiovasculares, desarrollo de la juventud, prevención de abuso de drogas, prevención del uso del alcohol, iniciativas del control del tabaco, prevencón del embarazo adolescente e iniciativas generales del desarrollo de la juventud. Aquí Vince habla de cómo los intereses del evaluador influencian el resultado del juego.

"Intento descubrir inmediatamente quiénes son los jugadores dominantes y qué quieren que sea contestado. Como evaluador, lo que presento es un conjunto crítico de preguntas que hago a la gente. A veces sentado mirando a la gente en acción y otras veces es haciendo preguntas muy acentuadas a la gente dominante acerca de lo que desea hacer, por qué lo está haciendo. Trabajo con la gente para llevarla al siguiente nivel y hacerlo un poco más formal en términos de sugerir una cierta evaluación desde diferentes puntos de vista. Si no entendemos su programa, no podemos ir a ningún lado con su evaluación. Consigo un motivo de su programa (y yo) les ayudaré a hacer sus vidas más fáciles, ayudarlos a ejecutar mejor su programa o iniciativa, ayudarlos a conseguir más dinero, influenciar a los jugadores dominantes de la comunidad para estar de su lado, los grandes beneficios".

Para encontrar los otros intereses implicados en una evaluación, Vince dijo que él habla con la gente hasta que él comprende sus roles. "Busco las voces más ruidosas y después busco las voces más silenciosas - los cuales son generalmente los jugadores dominantes. Las voces más ruidosas hablan generalmente para sí mismos y no para la comunidad. Y la gente que es la más reservada y callada, es la gente que realmente tiene una voz en la comunidad, pero están siendo ahogados por la gente ruidosa. La gente muy ruidosa consigue generalmente su camino y se convierten en jugadores dominantes, por lo que deseo saber quiénes son y cuál es su agenda. Y entonces, encuentro quienquiera que sea a la gente más reservada, y generalmente es la gente que se sienta en el fondo. Comienzo a hablar con la gente y eventualmente hay algunas personas que hablan allá atrás. Conjeturo que apenas comienzo a hablar con la gente y (trabajo con) son ellos los que terminan por hablarme directamente a mi. Y combino mucha conversación".

Por supuesto, Vince dijo que sus propios intereses también influencian el resultado de la intervención. Para balancear esta ecuación dijo que él piensa en el grupo entero o en la comunidad entera como sus clientes. Hablando con la gente, consiguiendo la información y formándolos, Vince produce algo que funciona con sus clientes. "Perfilo y defino el programa: ¿Cuál es la iniciativa?, ¿Qué impresión dá?, ¿Quiénes son los jugadores dominantes?, ¿Cuáles son los componentes y elementos del programa?, ¿Quiénes son las blancos del cambio?, ¿Quiénes son los agentes de cambio? Una vez que consiga un motivo de esto, lo conecto con algunas preguntas clave. Recolecto datos de la evaluación. En qué datos de la evaluación la gente creerá como evidencia que estas cosas están siendo implementadas realmente y cuál será la clara evidencia de que estas cosas son acertadas y exitosas? Combino eso con los componentes y elementos apropiados en un modo sistemático y muy lógico. Busco formas para los procedimientos que economicen en la recolección de datos. Voy directo al punto. No hago demasiadas encuestas que la gente tiene que estar gastanto su tiempo en llenar".

A veces, sin embargo, los intereses entran en conflicto y Vince habla de lidiar con esta clase de situación. "Generalmente, encontrará pocas personas que están realmente a bordo y muy interesados en la evaluación. Mucha gente piensa que los evaluadores no proporcionan ni recaudan información útil y necesaria y por lo tanto no participan en las encuestas. Mi meta es hacerlo tan simple como sea posible. Así que, mi truco es entrar y en cierto modo observar a la gente. Trabajar con gente que le interesa y desea participar conmigo al principio y después, convencer a todos que esto les es útil". Vince precisó que dependiendo de cuan político es el paso del programa, la evaluación puede no ser tan precisa.

Vince no tiene una receta sobre como lidiar con todos los intereses implicados en una evaluación. "Todo lo que sé es que hago juegos malabares con todas las bolas y las mantengo todas en el aire. Y miro a todos los diferentes patrocinadores. Quién es el agente de financiamiento y cuál es su interés en todo esto. Tengo que cerciorarme de que su interés está representado. Intento dar a todos la misma información exacta, así que estamos todos avanzando juntos. Esa es la manera que considero las cosas que intento cambiar. Pongo a todos a hablarse unos a otros de una manera verdadera y no participo en rumores". Vince dijo que los evaluadores tienen una posición única porque pueden mantener a la gente responsable de sus palabras. "No sé si (el evaluador) es más o menos importante que cualquier otro (interés). Pero sin eso, no te va bien. Si deseamos conseguir resultados duraderos, tenemos que centrarnos en el cambio del comportamiento. Tenemos que centrarnos en cambiar los sistemas que están controlando el comportamiento".

Ejemplo # 4: El papel del proveedor de fondos o patrocinador.

Jeff Usher representa un interés muy importante en el proceso de la evaluación: el proveedor de fondos. Él es un oficial de programa en la Fundación de la Salud de Kansas, una organización filantrópica que proporciona concesiones para mejorar la calidad de la salud en Kansas. Aquí él habla de implementar evaluaciones y de ajustar intereses.

"Deseamos (ver) cambios, deseamos realizar un cambio de comportamiento o un cambio de la comunidad. En la fundación, probablemente del 10 al 20% del presupuesto total, será para la evaluación. La evaluación, por supuesto, será tanto de naturaleza cualitativa como cuantitativa. Deseamos ver los resultados, cualquiera que estos sean; si es embarazo adolescente, quisiéramos ver reducciones de embarazos adolescentes. Así que queremos ver resultados significativos. Normalmente nos encontraremos con gente que tiene experiencia en esa área determinada para conducir la evaluación".

Una vez que los resultados están adentro, Jeff dijo que es hora de decidir qué procedimientos emplear. "Si no parece que la iniciativa esté trabajando, comenzamos claramente a perder el interés en la continuación del proyecto de esa manera. A menudo, la porción de la evaluación del proyecto está después del hecho; la iniciativa ya está encima, para la mayor parte. Si regresa y parece que la iniciativa era acertada y los resultados entraban en la dirección que anticipamos, entonces podemos hacer otro giro de esa iniciativa. Por ejemplo, el proyecto de la Escuela Comunitaria para la Reducción del Riesgo Sexual (School Community Sexual Risk Reduction Project), que ahora está en su segunda fase. Dependiendo de las iniciativas, si parece que está pasando algo más, podríamos continuar trabajando con eso, o podríamos hacer unos pequeños cambios a esta iniciativa para hacerla más eficaz".

Jeff dijo que balancear los intereses entre los financiadores, los líderes comunitarios y los evaluadores no es tanto un problema para él. "No creemos tener muchos problemas cuando trabajamos con los evaluadores y en tanto sea una fundación privada, no escuchamos muchos problemas". Jeff dijo que algunas veces él experimenta problemas con algunos evaluadores con respecto a los métodos de la evaluación. "Podemos regresar algunas evaluaciones que están midiendo más bien el proceso que los resultados, y claramente, queremos ver resultados. Hasta balancear a la donación y al evaluador, normalmente, el evaluador es un donador también, así que en un sentido existe cierta responsabilidad que deseamos ver del evaluador, y pediríamos eso. Claramente hay ciertas cosas que deseamos ver en esa evaluación. Por ejemplo, acabamos de hacer un acuerdo del memorando para una evaluación en un proyecto que empezaremos el próximo año. Deseamos ver un cambio en la cultura del campus, centrada alrededor del abuso de alcohol. Perfilamos esto en el memorándum cuando comenzamos a negociar, así que esperamos ver eso".

Uno de los intereses del proveedor de fondos es vigilar cómo el programa dirige sus negocios. Así pues, Jeff dijo que en cada acuerdo del memorando, ellos permiten a su fundación realizar visitas de sitio, hacer que entren terceras personas y revisen los libros financieros y cómo va el programa. "Raramente perseguimos eso. La única vez que miraríamos eso es cuando conseguimos un reporte de condiciones y pedimos informes de todos los donadores que deseamos ver, los cuales no conocen todavía los objetivos. Así pues, para casi todas nuestras iniciativas importantes, tendremos un componente de la evaluación y tendremos a alguien examinándolo. Deseamos ver cambios de comportamiento, cambio de sistemas, cambios en la cultura centrada alrededor de la salud y del bienestar de comunidades y a individuos en comunidades."

___Usted comprende por qué es importante conocer los intereses de los líderes, evaluadores y autoridades.

___Usted sabe quiénes son los interesados.

___Usted comprende los intereses de los líderes de la comunidad.

___Usted comprende los intereses del financiador.

___Usted comprende los intereses del evaluador.

___Usted comprende cuándo usted debería comprender los intereses de estos interesados.

___Usted sabe cómo identificar a los interesados.

___Usted conoce las necesidades de cada interesado.

___Usted sabe cómo determinar los intereses.

___Usted comprende los intereses implícitos en la evaluación.

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Por qué prestar atención a la selección de los evaluadores?

• ¿Cuándo se debe escoger a los evaluadores?

• ¿Cómo se puede decidir entre  evaluadores profesionales y comunitarios u otros evaluadores voluntarios?

• ¿Qué se debe buscar en la elección de evaluadores?

La apertura de las cuatros secciones de este capítulo ha sido en gran medida sobre la teoría: sobre qué son las evaluaciones de las iniciativas y organizaciones basadas en la comunidad, por qué son importantes, y algunas ideas esenciales sobre cómo éstas deben ser realizadas y a cuáles intereses necesitan servir. Esta sección y la próxima tratan del inicio del proceso de creación de una evaluación; por ejemplo, escoger a los evaluadores que la realizarán y planificarán cómo ésta lucirá. Las dos están bastantes relacionadas, pero probablemente tiene más sentido escoger a los evaluadores primero. Después, en consulta con la organización, la comunidad, y la población meta, ellos llegarán a un plan para ayudarle a obtener la información que se necesita para ser, o continuar siendo tan efectivo como sea posible.

¿Por qué prestar atención a la selección de los evaluadores?

Una evaluación no es simplemente una manera de mirar a tu organización o iniciativa y decir, "Lo está haciendo bien." Ésta debe examinar lo que están haciendo desde varios ángulos y perspectivas diferentes, y no solamente debe darte un sentido claro de que si estás logrando o no tus metas, pero dónde yacen tus fortalezas y debilidades, de cómo mejorar lo que haces, y de nuevas direcciones para explorar. Sin importar lo bien planificada—y debe de estar planificada—aún necesitarás evaluadores que tengan las destrezas y el conocimiento de mirar con atención tus situaciones particulares con exactitud.

La verdadera razón para una evaluación es su utilidad en mejorar la organización. Cuanto más y más precisa es la información que se obtiene, y mejor se analiza, más útil será para ayudarte a identificar y construir las fortalezas de la organización y a destacar y corregir las áreas que se necesitan trabajar. Una evaluación bien concebida puede además ayudarte a adaptarte a las necesidades cambiantes en la comunidad o en la población meta; aprender más sobre las repercusiones del problema en el cual estás trabajando provee una base para la abogacía, y ayuda con la recaudación de fondos. Como resultado, es importante que tus evaluadores hagan el mejor trabajo que ellos puedan hacer.
Es posible que puedas contratar evaluadores, o puedas escoger voluntarios del personal o de la comunidad con la cual trabajas. O simplemente puedes elegir un equipo de planificación que pueda seleccionar a los evaluadores.

En cualquiera de estos casos, los individuos concretos seleccionados podrían influenciar la forma de la evaluación que obtienes, y qué tipo de resultados logras de ésta.

Aunque esta sección trata tanto a los evaluadores profesionales como a los no profesionales, se entiende que la mayoría de las organizaciones podrían tanto realizar evaluaciones por ellos mismos (por ejemplo, usando miembros del personal participantes, y/o registros de la organización para recoger y analizar la información), use  a un individuo o a un equipo de la comunidad, o encuentre a un profesional para  ayudarle con la evaluación de forma gratuita. Nosotros hemos tratado de cubrir todas las posibilidades que podíamos, para que así la organización pueda ser capaz de considerar cuál es el mejor uso que se le puede dar a los recursos que tienen para obtener la evaluación que desean.

Lo mismo es verdad para la comunidad u otro equipo de planificación. Un equipo de planificación es una de muchas posibilidades, dependiendo otra vez en los recursos de la organización y en esos recursos se incluye el tiempo. Una evaluación que no es perfecta, pero que es útil en muchas formas es mucho mejor que ninguna evaluación. Un equipo de planificación es una gran idea, pero no lo es si la idea de unirlos y trabajar con uno evita que la organización intente una evaluación. El propósito de esta y de todas las secciones de la Caja de Herramientas  no es crear cajas para que  ajustes en ellas a tu organización, pero si para proveer tantas opciones como sean posibles.

Si contratas profesionales, por lo general tanto una firma consultora o un grupo de una universidad, ellos tendrán formas particulares de realizar una investigación, consideraciones especiales sobre qué es lo que una evaluación debe de cubrir, y sus intereses particulares, todos estos pueden o no coincidir con lo que necesitas lo que quiere la comunidad. La comunidad y los evaluadores internos también, dependiendo de los individuos involucrados y los grupos que estos representan, estos pueden tener sus propios prejuicios, intereses, y necesidades las cuales pueden influenciar dependiendo de cómo ellos pueden ver el proceso de evaluación y la evaluación en sí misma. Lo mismo aplica para los estudiantes graduados u otros quienes puedan donar de su tiempo para realizar o ayudar con una evaluación. Es extremadamente importante seleccionar personas cuya agenda combinen con la tuya o que pondrían sus propias agendas de lado y que respondan directamente a las necesidades y a los deseos de la organización o la iniciativa y la comunidad. Sólo entonces podrás terminar con una evaluación que sirva a tus mejores propósitos.

¿Cuándo escoger a los evaluadores?

La respuesta breve a esta pregunta es “tan pronto como sea posible.” Las evaluaciones no deben de empezar al final del proyecto. Ellas deben hacerse en el transcurso para que la información pueda ser usada continuamente para mejorar lo que estás haciendo. Un equipo de planificación probablemente debe ser escogido cuando la organización o la iniciativa comienzan, o aún antes, a fin de que la evaluación pueda ver no solo lo que ha hecho la organización, sino  como ha cambiado durante el periodo de evaluación.

Muchos donantes requerirán evaluaciones desde el inicio de sus subvenciones. La subvención para un programa de alfabetización, por ejemplo, estipula que el 10% del dinero sea  usado para evaluaciones en el primer año del programa. Un estudiante graduado de la Universidad de  Massachussets  fue contratado al iniciar el programa, y él realizó una evaluación la cual involucraba sus visitas al salón de clases durante el año, reuniones  regulares con el personal del programa. Al final del año,  él logró no solamente tener una completa imagen del programa, si no también el sentido de su movimiento y crecimiento en el tiempo. La evaluación fue de ayuda para la orientación del programa durante el año siguiente.

Como se aprecia a continuación y en las secciones subsecuentes, es importante conocer tu comunidad y sus necesidades, también como las necesidades de la organización o de la iniciativa, antes de proponerse a evaluar. Si tu organización o iniciativa  apenas está empezando, a veces tiene más sentido esperar un momento hasta que se tenga un claro entendimiento del contexto de la evaluación antes de empezar a escoger a los evaluadores.

Contexto de la evaluación.

Este término se relaciona a si una organización con los recursos para hacerlo puede o no decidir contratar evaluadores profesionales. El contexto se refiere a la situación singular de la organización, iniciativa o la comunidad evaluada, la combinación de factores geográficos, históricos, políticos, sociales, culturales y otros factores que puedan conformar esta situación. El entendimiento de este contexto es básico para comprender cómo abordar a esta comunidad en particular para evaluar a esta organización en especial.

Un ejemplo: La evaluación de un intento para establecer un programa de alfabetización de adultos en un área rural mostró que en el primer año, el programa falló en atraer muchos estudiantes. Esto se veía como un fallo y estaba en peligro de perder su subvención. Pero el personal del programa tenía el conocimiento sobre dos cosas que los evaluadores y los donantes al principio no conocían, los habitantes eran campesinos, y sospechaban de todo y eran lentos en aceptar “foráneos,” y segundo, que otros programas habían iniciado pero únicamente habían durado un año, porque no atrajeron a muchos estudiantes. El personal expresó su punto de vista tan convincentemente, expresando que el elemento perdido en los esfuerzos previos fue el tiempo, y que éstos por abandonar los programas anteriores confirmaron la creencia de los residentes del área de que los foráneos realmente no se preocupaban por sus problemas, y que no eran serios en el esfuerzo de ayudarlos. El programa continuó, y al final de su segundo año era próspero, porque las personas del lugar les creyeron que permanecerían. Ahora, 15 años más tarde, el programa se ha convertido en parte importante de la comunidad y siempre está lleno en su máxima capacidad.

¿Cómo se puede decidir entre  evaluadores profesionales y comunitarios u otros evaluadores voluntarios?

La evaluación es en realidad un tipo de investigación: se trata de la recopilación sistemática y después sacar conclusiones de ella. Hay personas que participan en investigaciones de varios tipos: estudiantes y académicos y muchos consultores que realizan investigaciones como su profesión. Si la evaluación es investigación, tendrá sentido contratar investigadores profesionales para realizar la evaluación, ¿verdad?
Bien, sí y no. En muchos casos, es verdad que un investigador profesional hará un mejor trabajo. Pero en otras situaciones, no será del todo verdad, por variadas razones.

Antes de decidir con quién realizar la evaluación, hay un número de cosas a considerar:

Dinero

Este puede ser muy importante, especialmente para nuevas y pequeñas organizaciones. Generalmente, mientras más local es tu base menos dinero tendrás. Si tienes un donador que requiere, o desea pagar la evaluación como parte de la subvención, entonces  contratar a un profesional es por lo menos una opción. Si no hay dinero disponible y no hay posibilidad de obtener alguno, la comunidad u otros voluntarios pueden ser la respuesta.

En una situación donde creas sea necesario tener evaluadores profesionales, o por lo menos guía profesional, puedes tratar de recaudar fondos para lo que necesitas (una alternativa difícil, a menos que tengas mucho tiempo para invertir y una gran base comunitaria), o encontrar un tutor voluntario en una escuela vocacional o en la universidad. Frecuentemente los estudiantes graduados, en particular, están dispuestos a hacer consultorías, o aún a realizar las evaluaciones, sin cobrar, ya sea por la experiencia, o porque la investigación se ajusta a su tesis o algún otro trabajo que estén haciendo. Otras posibles fuentes de varios niveles de asistencia pueden incluir otras agencias de servicios humanos y de salud o iniciativas, gobiernos locales, o una unidad de recaudación de fondos o propuesta (para una fundación local, por ejemplo) específicamente dirigida a financiar una fundación.

En un caso, el instructor de un curso de postgrado en Evaluación de Programa hizo la propuesta a las agencias comunitarias y a las organizaciones para ayudarlas a que sus programas sean evaluados. Las organizaciones con propuestas exitosas fueron cada una recompensadas con un equipo de estudiantes graduados quienes trabajaron en las evaluaciones con ellos durante el curso del semestre. Al final, hubo un evento público para el cual las agencias fueron invitadas, donde ellos expusieron los resultados globales, y recibieron copias de los “Consejos del Programa de Evaluación,” escrito por los estudiantes graduados. Este proceso produjo evaluaciones útiles para las agencias, invaluable experiencia práctica para los estudiantes graduados, y fuertes conexiones entre la universidad y la comunidad.

Dejando de lado la realidad del dinero, si tienes la opción de considerar a los profesionales, los temas siguientes entran en juego.

La complejidad de las evaluaciones.

Para algunas organizaciones o iniciativas, una evaluación puede ser relativamente sencilla. Ellos simplemente quieren medir si sus objetivos específicos se están cumpliendo. Después de una iniciativa de educación pública, ¿es significativa la cantidad de niños vacunados este año en comparación al año anterior? ¿Están los alumnos del programa de alfabetización ganando destrezas en la lectura, escritura, y matemática? ¿Cuál es el porcentaje de los participantes del programa de abuso de sustancias que están libres de sustancias en periodo determinado de tiempo? Si estas son las clases de preguntas que necesitan ser respondidas, una evaluación puede ser bastante simple. Pero y qué ¿si las preguntas a realizar son más complejas? ¿Fue la iniciativa, o algún otro factor, o una combinación de factores que produjo el incremento en las tasas de vacunación? ¿Cuáles son los factores medioambientales que influyen en el progreso de los alumnos de alfabetización? ¿Qué tienen en común los abusadores de sustancias que los hace recaer? El método para encontrar la respuesta a estas preguntas puede necesitar ser más complejo también. Este tema no es tan claro, sin embargo, por el hecho de que a veces un conocimiento más profundo de la comunidad puede hacer más para responder preguntas complejas que el conocimiento de métodos de investigación. Si tienes la opción de usar a un profesional, tendrás que decidir si es o no realmente la mejor idea aquí.

El tipo de información deseada y cómo necesita ésta ser analizada.

Si estás reuniendo datos cuantitativos (por ejemplo, números) a menudo no es posible simplemente mirarlos y llegar a conclusiones. Hay procedimientos estadísticos que pueden ser aplicados a los números para decirte cuál es su significado real, cuán importante son ellos (por ejemplo, cuáles son las posibilidades de que las diferencias o cambios fueron realmente causados por lo que estás tratando de medir), y que esto implica sobre otros modos en que puedes operar. Si necesitas esta clase de información o si los donantes u otros lo están pidiendo específicamente, podría ser probablemente de ayuda tanto la contratación  de un investigador profesional o encontrar alguna guía profesional voluntaria.

Algunas veces realizar tales procedimientos estadísticos pueden decirte cosas importantes que nunca esperabas encontrar. Un investigador tratando de determinar cuál fue la causa para que un grupo de mujeres regresara a la escuela a sus 30 o 40 años encontró que el factor principal era que tuvieron que cuidar a hermanos más jóvenes durante su etapa de adolescencia. Él apenas notó esto en las entrevistas, ya que había sido ensombrecido por factores más dramáticos tales como el divorcio, abuso de sustancias, y violencia doméstica pero el análisis computacional mostró que esto era de extrema importancia. De hecho, cuando los investigadores regresaron y hablaron con varias de las mujeres sobre esto, ellas reconocieron que este rol de cuidadoras fue una de las razones principales para ellas no continuar su educación en un primer lugar, y que aún se impone grandemente en sus vidas.

Para qué se está usando la evaluación.

¿La evaluación es solamente para ayudarte a ser lo más efectivo posible en lo que haces? ¿Es para aumentar tu credibilidad en la comunidad? ¿Depende de ella la continuación de la subvención? ¿Es la combinación de dos o todos estos factores? La respuestas a estas preguntas te ayudarán a determinar qué clase de preguntas necesitarás hacer en las evaluaciones, en qué forma deben estar las respuestas, cuán complejas se necesitará que sean las evaluaciones, y si es necesario tratar  de contratar investigadores o no. La selección de voluntarios profesionales o comunitarios aquí dependerá no solamente de los factores anteriores, pero también de tu situación en particular. Los profesionales pueden ser capaces de analizar mejor la información, pueden no tener acceso a la misma información que las personas de la comunidad podrían tener (o pueden de hecho tener mejor acceso, porque son percibidos como neutrales). Una vez más, necesitas determinar qué es lo mejor para tu situación.

Cómo quiere que la evaluación sea percibida.

Algunas organizaciones o iniciativas pueden querer demostrar la amplitud de su orientación basada en la comunidad o en lo local asegurándose que sus evaluaciones están basadas en la comunidad también. Otros querrán mostrar que su evaluación es objetiva por la contratación de evaluadores sin conexiones con la comunidad. Aún otros, por razones filosóficas o prácticas, podrán querer asegurarse de que estén involucrados aquellos a quienes ellos sirven o se benefician en el proceso de evaluación. Hay muchas variaciones y posibilidades aquí, todas legítimas, todas correctas para algunas organizaciones y equivocadas para otras. Como en cualquier cosa que haces, es importante ser consistente con tu misión y los principios cuando se considere en cómo se escogerán los evaluadores.

¿Qué se debe buscar en la elección de evaluadores?

Hay características que querrás en los profesionales, características que querrás en los planificadores comunitarios o equipo de evaluación, y alguna característica que querrás en todos ellos. Examinaremos cada una de estas posibilidades separadamente.

Una evaluación puede ser estructurada en muchas formas diferentes. La separación entre profesionales y no-profesionales puede desdibujar en muchas de estas posibilidades. Uno puede obtener gratis a un evaluador, por ejemplo, por su interés o su compromiso con el trabajo de la organización o la comunidad. Mientras una evaluación puede ser realizada exclusivamente por cualquier profesional o por un comunitario o por un grupo local, hay muchas variaciones en estos temas

Un evaluador pagado o un equipo probablemente harán el trabajo por lo menos hasta algún punto con el grupo de la organización o la comunidad u organización. Un evaluador pagado puede trabajar con la comunidad o el equipo de planificación para ayudar a planificar la evaluación, o bien realizar la evaluación en sí misma sin más aportes del equipo de planificación, o retirándose completamente para que el equipo de planificación se haga cargo de los arreglos y la realización de la evaluación. Un equipo interno de planificación puede planificar la evaluación completamente por su cuenta, después contratar a un profesional para realizarla, o sólo para analizar los datos. Los profesionales pueden trabajar con un equipo de la comunidad a través de todo el proceso. Cómo y de qué manera se elige usar evaluadores profesionales, comunitarios o a un equipo de planificación interno (de la organización), etc., depende de lo que tenga sentido para tu organización.

Un evaluador, por ejemplo, contó esta anécdota “Fui contratado para ayudar a los miembros de una comunidad a evaluar los servicios para VIH/SIDA en la comunidad. Los miembros de esta comunidad eran un grupo mixto mayormente personas de agencias, pero algunos era personas viviendo con VIH/SIDA  no pertenecientes a alguna agencia. Pedí algunos voluntarios para planificar la evaluación junto conmigo, y me sentí complacido cuando aproximadamente media docena se ofreció.

"Cuando nos conocimos, establecí la mayoría de la agenda, haciendo preguntas básicas, tales como, “¿Qué queremos evaluar?” y “¿Cómo queremos evaluarla?”  Al final, nos decidimos por una encuesta. Después la próxima pregunta que surgió fue qué clase de encuesta necesitamos, cómo debía de ser administrada, quién la administrará, y cómo deben ser recogidos los datos. Nuestro estilo de trabajo era publicar estas preguntas centrales, para discutirlas juntos, escribir ideas, para decidir la mejor opción, y proseguir. Hemos sistemáticamente y eficientemente recorrido el listado de preguntas. Cuando terminamos, después de tres reuniones de una hora, la evaluación había sido básicamente planificada.”

El evaluador después realizó la evaluación y analizó los datos antes de presentarlos a la comunidad.

Características a buscar en todos los evaluadores

Voluntad de dejar su propia agenda en la puerta.

A menudo los investigadores, especialmente aquellos dependientes de universidades, pueden tener razones propias para embarcarse en una evaluación. Puede ajustarse a una tesis de doctorado, o a un libro que el profesor esté escribiendo, o una pieza de una investigación a largo plazo que eventualmente será publicada. Ellos también pueden tener prejuicios muy fuertes sobre la clase de investigación que desean utilizar, o lo que esperan encontrar, y una necesidad de probar que sus prejuicios son correctos. Y ellos podrán tener problemas sobre el poder y sobre sus posiciones en relación a los miembros del equipo de planificación o el personal de la organización. Si las necesidades de los investigadores se ajustan perfectamente con las tuyas, entonces no hay problema. Pero si ellos no concuerdan lo suficiente, podría existir la posibilidad de que surja un problema bastante serio. Si se está pagando por el servicio, se debe obtener lo que se está pagando, y no simplemente lo que los investigadores te quieran entregar. Es importante dejar esto totalmente claro desde el principio, y asegurarse por escrito en un contrato o través de otro mecanismo formal que los profesionales están dispuestos a hacer lo que se ajuste a las necesidades de su organización.

Como  profesionales, los investigadores pueden tener prioridades que no tengan nada que ver con la evaluación, y los miembros de la comunidad pueden tener prioridades personales o políticas que también poco tienen que ver con el negocio actual, pero esto puede afectar el desempeño del equipo de evaluación. Tanto como sea posible, es importante que las personas ni estén dispuestas a poner estas prioridades de lado mientras estén involucrados en el proceso de evaluación, ni que usted elimine a aquellos que traten imponer sus formas particulares de pensar a todos, ni a aquellos que van usar el proceso seguir o conseguir sus propios fines.

Capacidad para comunicarse con una amplia variedad de personas.

Lo evaluadores deben de lidiar con personas de todas las clases sociales, de todas las tendencias políticas, religiosas,  y con personas de todas creencias filosóficas, y probablemente muchas de diferentes etnias, idioma, y grupo racial. Si ellos han de  reunir información precisa, tendrán que ser percibidos como personas confiables por todos estos grupos, y deben ser capaces de crear un cierto nivel de comodidad para todos.

¿Han trabajado con grupos que incluían un amplio espectro de los miembros de la comunidad?  ¿Tienen ellos las habilidades verbales e interpersonales para explicar sus métodos claramente a las personas que no son muy educadas y que tal vez nunca habían tenido contacto con investigadores antes (quizás especialmente si los mismos evaluadores están en esta categoría)? ¿Podrán algunos de ellos hablar por lo menos algunos de los idiomas de la comunidad?

Usted puede responder por lo menos a algunas de estas preguntas al entrevistar a los potenciales evaluadores antes de que sean contratados o escogidos. Los evaluadores necesitan ser capaces de reunir información necesaria para la evaluación y redactar los resultados de la evaluación en los términos que la comunidad pueda entender, y por lo tanto usar. El mejor plan de evaluación no tiene valor si el enfoque del evaluador significa que las personas no pueden o no van a responder a las preguntas, o pueden no usar los resultados que ellos han obtenido.

Sensibilidad Cultural.

Especialmente en una comunidad que tiene residentes de muchas culturas (dependiendo en cómo se define “cultura,” esto incluye virtualmente a toda la comunidad), respeto mutuo y alguna comprensión y aceptación de cómo otros ven el mundo es vital para el desempeño de los evaluadores. ¿Entienden ellos, o tienen la voluntad de aprender a entender la cultura de aquellos en la comunidad? Una comunidad urbana con una gran cantidad de clase trabajadora  es muy diferente de una clase media alta de los suburbios, un vecindario haitiano es diferente de uno vietnamita o puertorriqueño. Los evaluadores necesitan respetar las culturas de las comunidades con las que trabajan, y no ir en contra de ellas intencionalmente o sin intención.

Capacidad para tratar a todos con el mismo grado de respeto.

La manera que los evaluadores se acercan a las personas refleja a la organización. Si ellos no tratan a todos con respeto, no se obtendrá información precisa—o algún tipo de información —, y ellos complicarán las relaciones de la organización con el personal, la población meta (objetivo) y la comunidad.

Absoluto compromiso de mantener la información de todos los individuos confidencial.

Si los evaluadores son profesionales pagados o no, por razones éticas, prácticas, y legales, siempre es casi necesario garantizar que cualquier información reunida en el curso de la evaluación se mantendrá en la confidencialidad (Por ejemplo, usada solo con el propósito de la evaluación, y no relacionada con el individuo), y que las personas no serán identificadas ni por su nombre o por otros factores que los pueda guiar a ellos. En este caso, por ejemplo, la evaluación del programa de prevención de la violencia doméstica o refugio para mujeres, la confidencialidad puede ser un asunto de seguridad. En la mayoría de los casos, ayudará a los evaluadores a conseguir datos más precisos. Y protegerá a los evaluadores y a la organización de demandas que pueden ser ejercidas por individuos lesionados de algún modo por la información provista.

Los investigadores profesionales o universitarios a menudo les piden a sus informantes leer y firmar un formulario de  “consentimiento informado” que explica exactamente qué es lo que los investigadores están haciendo, en qué se usará cualquier información, y cómo los investigadores protegerán el anonimato. Si los investigadores violan los términos de este formulario, el informante puede tener las bases para una demanda legal, y las conclusiones del investigador podrían ser cuestionadas. Un evaluador profesional o no quien pide respuestas a los miembros de la población meta (objetivo) o la comunidad puede considerar usar un formulario semejante, tanto porque muestra el compromiso del evaluador con la confidencialidad.

Compromiso con el proceso de evaluación.

Para los planificadores y evaluadores, sean profesionales o no, esto significa tratar de hacer la mejor evaluación posible, con la vista puesta en su utilidad real para la organización. Para la organización, y otros miembros comunitarios, compromiso significa creer lo suficiente en el proceso para tomar la evaluación seriamente y usarla para realizar ajustes y mejorar el programa, servicio o actividad. Una evaluación, sin importar cuán elegante e informativa sea, no tiene valor si no es usada.

Una parte importante de una primera evaluación es un plan para la evaluación continua. Para ser verdaderamente útil, la evaluación necesita ser permanente durante toda la vida de la organización. Si los evaluadores pueden proveer una guía para establecer y realizar evaluaciones en una base regular, ellos han realizado un servicio a la organización más allá del valor de la misma evaluación.

Comunidad o planificadores internos o evaluadores

Una palabra acerca de los equipos de planificación vs equipo de evaluación: un equipo de planificación tiene por objeto planificar el proceso de evaluación. Si la organización tiene la opción  de contratar evaluadores profesionales, un equipo de planificación del personal o de la comunidad puede decidir hacer la contratación o no, y puede servir como el comité empleador de aquellos evaluadores. Su trabajo principal (el cual pueden hacerlo solos o con la ayuda de los evaluadores ya contratados) probablemente será explorar las posibilidades y llegar con un plan de evaluación real, detallando lo que necesita encontrar la organización, dónde se puede encontrar esa información, quién hará la recolección de la información y el análisis, y cómo será usada la información una vez que es recogida y analizada.

Un equipo de evaluación comunitario es un equipo voluntario establecido para realizar la evaluación real. En la práctica, este puede ser el mismo grupo del equipo de planificación, cuya función, una vez la planificación esté hecha, ha cumplido su tarea. Es de ayuda que en el equipo de evaluación se incluya a una persona con el conocimiento suficiente de la investigación que se realizará con la evaluación para que ésta  sea válida, y sus resultados puedan ser usados con alguna confianza.

Con una planificación comunitaria o un equipo de evaluación, se tiene la oportunidad de escoger a todos los miembros individualmente. Habrá algunas personas quienes, por su posición en la organización o en la comunidad, tienen que estar en el equipo. Del mismo modo, algunos otros puede que no sea posible incluirlos. En general, el equipo debe ser lo suficientemente pequeño para que no sea muy difícil para los miembros  conocerse y ponerse en contacto los unos con los otros y lo suficientemente grande para que haya suficientes personas para realizar el trabajo. En general, los miembros del equipo deben de representar las necesidades de los interesados de la organización o de la iniciativa: el personal y la Junta, la población meta (objetivo), y  miembros de la comunidad en general. Las características que se deben buscar en aquellos miembros del equipo de planificación o de evaluación incluyen:

Representación.

El equipo puede incluir una cantidad cualquiera de las siguientes posibilidades (pero, la mayoría de las organizaciones, probablemente pueden incluir solamente cuatro o cinco).

Una serie de representantes (por ejemplo, el director, uno o dos líneas de los miembros del personal [aquellos que trabajan directamente con la población meta], y un miembro de la Junta)
Miembros de la población meta (objetivo), idealmente individuos quiénes entienden y que hayan participado en la organización o la iniciativa.

• Miembros de la comunidad con interés en la organización o iniciativa (personas de negocios, salud y representantes de agencias de servicios humanos, escuelas y funcionarios del gobierno local, otros ciudadanos con interés en el tema)
• Jóvenes, si es apropiado
• Grupos minoritarios  y de otros idiomas pertinentes
• Alguien con habilidades de investigación y experiencia, quizás de alguna escuela vocacional o universidad.

Capacidad para entender el propósito de la evaluación, y cómo su forma y propósitos están relacionados.

Si la población meta (objetivo) incluye adultos mentalmente retardados, por ejemplo, puede ser difícil integrarlos dentro del equipo.

Voluntad de escuchar y aprender.

Esto cubre un amplio espectro de personas y conductas. Esto incluye tanto que el director de la escuela superior local sea capaz de escuchar y de tomar seriamente la opinión de un desertor de la escuela superior, y la creencia de ese desertor es que él es capaz de aprender lo que el necesita saber para funcionar como un miembro del equipo. Esto también incluye que todos están conscientes de que tienen cosas que aprender entre sí del proceso y la evaluación en general, y, del mismo modo, que ellos tienen conocimientos valiosos, habilidades, e información para contribuir.

Capacidad para trabajar en equipo.

Este puede ser un tema difícil en un grupo que abarca varias culturas y clases sociales. La “habilidades de reunión” de la clase media, que la mayoría de las personas educadas han sido aprendidas y practicadas de forma inconsciente desde la escuela intermedia o antes, a menudo son desconocidas por los que son asistidos por la beneficencia o son trabajadores emigrantes, simplemente porque ellos nunca estuvieron expuestos a ellos. De este modo, ellos podrían sentarse en silencio, confundidos por el curso de la reunión, incapaces de contribuir, y sentirse estúpidos; o podrían hablar o actuar de forma que otros consideren inapropiada. Las personas sin habilidades para reunirse necesitan apoyo y aliento en lo que es a menudo para ellos una situación intimidante. Una respuesta puede ser emparejar a todos los miembros de equipo, por lo tanto aquellos que necesitan apoyo tengan un tutor. Otra posibilidad es empezar el proceso con un entrenamiento para todos en  las dinámicas de grupo y habilidades para reunirse, para que nadie este solo o aislado y para que así las reglas aplicadas sean claras para todos.

Profesionales

A menos que se esté trabajando con un consultor, cuando se trabaja con profesionales, es como si el equipo viniese ya ensamblado. Por lo tanto, se está buscando el paquete completo: quiénes son los miembros del equipo, qué saben hacer, y cómo ellos parecen interactuar con el equipo de planificación, si se tiene uno, y con la organización y la comunidad. La mayoría de los equipos profesionales, como se ha mencionado anteriormente, podrán ser consultores privados o investigadores universitarios. Probablemente la característica más importante a buscar son su experiencia profesional y las habilidades, y su pericia y estilo en el trabajo con grupos comunitarios:

Conocimiento de las diferentes técnicas de evaluación.

¿Pueden ellos usar tanto la investigación cuantitativa (números y estadísticas) y cualitativa (hechos, historias, anécdotas, análisis de la situación y eventos, etc.)? y ¿saben cuándo cada una de ellas es apropiada?¿Las han usado en situaciones semejantes a la tuya, o ellos han tenido buenas ideas sobre cómo hacerlo?

Si tu equipo es de educación superior, se debe considerar cuidadosamente a cuál departamento(s) de la universidad contactar para encontrar los evaluadores cuya especialidad académica y profesional se ajustan bien con el trabajo que haces. Dependiendo de lo que tu iniciativa u organización hace, y de qué información se está buscando, algunas posibilidades son:

• Salud Pública
• Medicina
• Educación
• Sociología
• Psicología
• Ciencias Medioambientales
• Estudios Urbanos

Desempeño anterior.

¿Han realizado evaluaciones anteriormente? ¿Qué clase de técnicas han usado? ¿Tienen ellos buenas referencias? ¿Puedes consultar evaluaciones pasadas que ellos hayan hecho?

Así como probablemente no querrás contratar a alguien para una posición sin evaluar sus referencias, no debes de contratar a un evaluador o equipo sin consultar con aquellos que lo han empleado antes. Cuán bien los profesionales actúen en una entrevista y en documentos es generalmente suficiente para mostrarte lo que necesitas saber de ellos, pero cuando no, puede ser desastroso, costando no solo dinero, sino también tiempo, resultados, y las relaciones con la comunidad.

Debes pedirle a alguien algunos de los resultados de previas evaluaciones. ¿Es legible y comprensible? ¿Cómo el candidato explicó esos resultados a la organización y a la comunidad? El saber qué es lo que se está obteniendo puede ayudar inmensurablemente a escoger a los evaluadores correctos.

Experiencia trabajando con grupos comunitarios.

¿Han trabajado ellos en sociedad con grupos comunitarios antes? ¿Entienden ellos los roles en esta situación, y pueden manejarlo bien? ¿Han sido ellos capaces de trabajar con la comunidad para escoger las metas apropiadas? ¿Son receptivos a las sugerencias, a las necesidades de la comunidad, y al contexto de la evaluación? ¿Ellos colaboran,  o en otras palabras,  en vez de simplemente decirle al grupo comunitario qué es lo que necesitan?

Capacidad real de escuchar,

Y no asumir el rol de “experto” excepto cuándo sea apropiado (se está, después de todo, contratándolos por su pericia). Si la evaluación es basada en la comunidad, los evaluadores tendrán que escuchar primero al grupo de planificación sobre lo que  la organización y la iniciativa  necesitan más saber, y después a la comunidad con el fin de recopilar esta información. El escuchar realmente (escuchar no solo por el significado de lo que ha dicho, pero por el sentido detrás del  significado) es una habilidad indispensable de todo buen evaluador.

Para resumir

El individuo o el equipo que se seleccione para planificar y/o realizar la evaluación de tu organización o iniciativa determinará en gran medida el carácter y utilidad de la misma evaluación. Si se trabaja con profesionales, se necesitará examinar sus credenciales, experiencias pasadas, y el nivel de pericia. Si se escogen evaluadores profesionales, voluntarios comunitarios, o alguna combinación de las dos, se necesita pensar cuidadosamente sobre cómo sus necesidades e intereses se ajustan con aquellos de la organización y la comunidad, y sobre cómo encajan uno con el otro. Una vez que se haya reunido un buen equipo, se está en el buen camino de lograr una evaluación valiosa y confiable.

Herramienta #1: Preguntas para la Entrevista de Selección de los Consultores de Evaluación

Tomado de  EvalTalk, el grupo de discusión de la Asociación Americana de Evaluación (AEA).

Aquí está una lista de preguntas para la selección del consultor de evaluación adaptadas del enlistando en EvalTalk:

• ¿Cuáles son las principales razones por las que usted piensa que un programa debe realizar una evaluación?
• ¿Cuáles son los principales estándares y principios guías para realizar una evaluación?
• ¿Cómo podría usted determinar si un programa está listo para ser sometido a una evaluación?
• ¿Cómo calcula usted los recursos necesarios para realizar una evaluación? Esto es, ¿cómo se calculan los costos de una evaluación, tanto en dinero y tiempo (el tuyo y el de los demás)?
• Si usted tuviera resultados de una evaluación que fueron basados en información cuantitativa pero que están en conflicto con los resultados de una información cualitativa, ¿cómo se podría resolver este conflicto?
• Si tuviera que realizar una encuesta por medio del correo para los participantes del programa, ¿cómo obtener una muestra representativa y asegurar que los resultados son aplicables a todos los participantes?
• Frecuentemente las evaluaciones involucran diversas e independientes ramas y agencias que tienen todas expectativas diferentes de la evaluación. Si se tiene un conflicto entre los participantes en una evaluación del programa que podría poner en peligro la evaluación, ¿cómo se podría resolver el conflicto?¿Cuáles medidas se podrían adoptar para proactivamente evitar los conflictos?
• ¿Ha usted leído cualquier artículo interesante sobre evaluación últimamente?¿En qué revista? ¿Qué fue lo interesante de este artículo? ¿Cuáles otras revistas lee usted  regularmente?
• ¿Bajo cuáles circunstancia, si alguna, llamaría la atención a un cliente?
• ¿Qué haría para asegurar que una evaluación es útil –y útil en qué manera?

Por qué Evaluar?

___Para ver los resultados de tu trabajo

___Para ganar opinión pública

___Para hacer los ajustes apropiados si es necesario

Seleccione a los Evaluadores Cuidadosamente

___Para fiabilidad      

Posibles Evaluadores

___voluntarios

___comunidad a la que se sirve

___evaluadores escogidos por un equipo

Una presentación en PowerPoint que resume los puntos principales de la sección.

چرا باید برنامه‌ ارزیابی داشته باشید؟

پس از روزها کار و تلاش فراوان و برگزاری جلسات متعدد که شمار آن حتی به یادتان هم نمانده، پروژه‌ شما سرانجام به راه افتاده است. اما نمی‌شود برای مدت زیادی به خود استراحت دهید. چرا که گام بعدی نظارت بر پیشرفت پروژه است.

منابع و اطلاعات درباره‌ روش‌های ارزیابی آنقدر زیاد است که شاید فعالان این حوزه به سادگی گمان کنند می‌شود کتابی آموزشی در این زمینه بخرند و دستورات آن را مو به مو به کار بندند.

اما سیستم و روش ارزیابی شما باید پاسخگوی پرسش‌های ساده‌­ای باشد که برای باهمستان، کارکنان و حامیان مالی شما اهمیت دارد. از این‌ رو، کار درست برای کسب اطمینان از این که ارزیابی شما بهترین بازدهی ممکن را خواهد داشت، این است که خود یک برنامه ارزیابی طراحی کنید.

چند دلیل برای این‌که باید برنامه ارزیابی مخصوص خودتان را طراحی کنید:

• چنین برنامه‌ای شما را در هر مرحله از فرآیند ارزیابی راهنمایی می‌­کند
• کمک می‌کند که تعیین کنید شما و ذی‌نفعان پروژه‌ شما واقعا به چه نوع اطلاعاتی نیاز دارید.
• از اتلاف وقت برای جمع­‌آ‌وری اطلاعات غیرضروری جلوگیری می‌­کند
• به شما در شناسایی بهترین روش­‌ها و راهبردها برای گردآوری اطلاعات ضروری کمک می‌­کند
• کمک می‌کند که یک جدول زمانی واقع‌بینانه و کارآمد تهیه کنید
• و از همه مهم­‌تر، به بهبود پروژه‌ی شما کمک می‌­کند.

ذی‌نفعان چه کسانی هستند و چرا به ارزیابی شما از پروژه‌تان علاقه‌مندند؟

هر یک یا هر گروه از آن‌هایی که در پروژه شما ذی‌نفع حساب می‌شوند، دیدگاه متفاوتی نسبت به سازمان شما دارند و نیز اطلاعاتی که می‌خواهند از ارزیابی شما به دست آورند، متفاوت است. هر گروه منحصر به‌ ­فرد است و شاید دریابید که ذ‌ی‌نفعان دیگری نیز وجود دارند که سازمان شما باید آن‌ها را مدنظر قرار دهد. قبل از آنکه برای ارزیابی خود برنامه‌ریزی کنید، برای بحث و تبادل نظر در این مورد با همکاران خود وقت بگذارید و افراد و گروه‌هایی را که در پروژه شما ذی‌نفع حساب می‌شوند،‌ شناسایی کنید.   

ذی‌نفعان درباره‌ ارزیابی چه می­‌خواهند بدانند؟

هرچند برخی از اطلاعات به دست آمده از ارزیابی شما برای همه ذی‌نفعان مفید است، اما بخشی از این اطلاعات مورد نیاز یک یا دو گروه خواهد بود. مثلا، کسانی که از پروژه شما حمایت مالی می‌کنند، معمولا می‌خواهند بدانند که این پروژه چه تعداد از مردم را تحت پوشش قرار داده و برای آن‌ها کاری انجام داده، و نیز این‌که آیا پروژه تاثیری را که قرار بود در سطح باهمستان بگذارد، بر جای گذاشته یا نه. گروه‌های باهمستانی ممکن است بخواهند نتایج ارزیابی شما را به عنوان راهنمایی در تصمیم‌گیری در برنامه‌ها یا تلاش‌های خود به کار ببرند. از سوی دیگر، ممکن است این‌ گروه‌ها از نتایج به دست آمده برای تصمیم‌گیری درباره برنامه‌­های خود و تعیین عرصه­‌هایی که در آن به تلاش بیش‌تر نیاز دارند، استفاده کنند.

ذی‌نفعان چه تصمیم‌هایی باید بگیرند و اطلاعات به دست آمده از ارزیابی چگونه به تصمیم‌گیری آگاهانه‌ آن‌ها کمک می‌کند؟

احتمالا شما و ذی‌نفعان شما بر اساس نتایج ارزیابی، تصمیم‌هایی خواهید گرفت که بر برنامه یا پروژه شما تاثیر می‌گذارد، بنابراین، لازم است در نظر داشته باشید که آن‌ تصمیمات چه خواهد بود. ارزیابی شما باید منجر به کسب اطلاعات صادقانه و دقیق شود؛ بنابراین، باید محتاط باشید که ارزیابی به شکلی تدوین نشود که موفقیت پروژه‌ شما را به شکلی اغراق‌آمیز جلوه دهد، و همزمان واقعا احتیاط کنید که ارزیابی طوری طراحی نشود که موفقیت شما را کم‌تر از آنچه هست، نشان دهد!

تصمیم‌هایی که شما و ذی‌نفعان پروژه خواهید گرفت را مدنظر داشته باشید. گروه‌­های باهمستانی که قصد اجرای پروژه یا برنامه‌های مشابه دارند، شاید بخواهند از نتایج ارزیابی شما راه‌هایی برای اصلاح یا بهتر ساختن پروژه پیدا کنند. تصمیمات حامیان مالی پروژه شما به احتمال زیاد حول این محور خواهد بود که در آینده چه مقدار کمک مالی در اختیار شما قرار دهند، یا اینکه اصلا به حمایت مالی از برنامه شما (یا هر برنامه مرتبط با آن) ادامه دهند یا خیر. حتی ممکن است به این فکر کنند که شرایطی برای حمایت مالی خود از پروژه شما تعیین کنند. مثلا یکی از حامیان مالی به شما بگوید از کمک مالی خود خواهد کاست، مگر آنکه نشان دهید در عرصه به‌­خصوصی خدمات را افزایش داده­‌اید. پژوهشگران دانشگاهی هم نیاز خواهند داشت بسنجند که چگونه می‌­توانند به بهترین نحو به توسعه برنامه ارزیابی و گزارش‌دهی داده‌­ها کمک کنند.

این را نیز باید در نظر داشته باشید که شما و ذی‌نفعان پروژه نیاز خواهید داشت که برای توازن هزینه‌­-فایده پروژه برنامه‌­ریزی نمایید. ارزیابی احتمالا حدود ده تا پانزده درصد کل بودجه خود را به خود اختصاص خواهد داد. شاید این رقم زیاد به نظر بیاید، اما فراموش نکنید که ارزیابی برای بهبود پروژه ابزاری ضروری است. وقتی می‌خواهید برای توازن هزینه‌-فایده پروژه برنامه‌ریزی کنید، این سوالات را از خود بپرسید:

• چه چیزی را نیاز دارید که بدانید؟
• باهمستان چه خواسته‌ای دارد؟
• حمایت مالی چه شرایطی دارد؟

چگونه برنامه ارزیابی را تدوین ­‌کنیم؟

تدوین برنامه ارزیابی چهار مرحله اصلی دارد:

روشن کردن اهداف و مقاصد​

اولین مرحله تشریح اهداف و مقاصد پروژه است. دستاور‌دهای اصلی که می‌خواهید کسب کنید، کدامند و برای به دست آوردن آن‌ها چه ترتیباتی اتخاذ کرده‌­اید؟ تعیین این موارد به شما کمک می‌کند که اجزای اصلی برنامه را که باید ارزیابی شوند، شناسایی کنید. یکی از شیوه‌­های انجام این کار، تهیه جدولی از اجزا و عناصر برنامه است.

طرح پرسش‌­های ارزیابی​

برای هدف مورد نظر ما،  پرسش‌های ارزیابی به چهار دسته تقسیم می‌شوند.

• مسائل مربوط به برنامه­‌ریزی و اجرا: کیفیت برنامه‌ریزی پروژه در چه سطحی بوده و تا چه حد این برنامه‌ریزی اجرا شد.
  •  پرسش‌­های احتمالی: چه کسانی مشارکت می‌کنند؟ آیا مشارکت‌کنندگان متنوع هستند؟ چرا آنان به برنامه می‌­پیوندند یا آن را ترک می­‌کنند؟ آیا خدمات متنوع و فعالیت‌­های گوناگون ایجاد شد‌ه­؟ آیا کسانی که بیش‌ترین نیاز به کمک را دارند، از خدمات پروژه برخوردار شد‌‌ه‌­اند؟ آیا اعضای باهمستان موافقند که برنامه نیازهای محلی را برآورده می‌کند؟
  • راه‌­های ممکن برای پاسخگویی به این پرسش‌­ها: سیستمی برای نظارت و پیگیری اقدامات و دستاوردهایی که به کسب هدف اصلی پروژه کمک می‌کنند، نظرسنجی از اعضای باهمستان برای سنجش میزان رضایت آنان از اهداف تعیین شده، نظر سنجی از اعضا در مورد رضایت از نتایج.
• بررسی دستیابی به اهداف: برنامه یا پروژه تا چه حد در کسب اهداف اعلام شده موفق بوده است؟
  •  پرسش‌­های احتمالی: چند نفر مشارکت می­‌کنند؟ مشارکت‌کنندگان چند ساعت در برنامه دخیل بوده‌اند؟
  • راه‌­های ممکن برای پاسخ دادن به این پرسش‌­ها: سیستم نظارت، نظرسنجی اعضا در مورد رضایت از نتایج، درجه‌بندی میزان اهداف به‌‌­دست آمده.
• تاثیر بر مشارکت‌کنندگان: برنامه یا پروژه در مورد تغییراتی که در نظر داشته، چه مقدار و چه نوع تفاوت‌هایی ایجاد کرده است؟
  • پرسش‌­های احتمالی: رفتار مشارکت‌کنندگان در نتیجه مشارکت در برنامه چه تغییراتی کرده است؟ آیا مشارکت‌کنندگان از تجربه خود راضی هستند؟ آیا مشارکت نتیجه‌­ای منفی نیز داشته است؟
  •  راه‌­های ممکن برای پاسخگویی به این پرسش‌­ها: نظرسنجی از اعضا در مورد رضایت از اهداف، نظرسنجی درباره رضایت از نتایج، نظرسنجی در زمینه رفتارها، مصاحبه با مشارکت‌کنندگان کلیدی.
• تاثیر بر باهمستان: برنامه یا پروژه چه نوع تفاوت‌هایی در باهمستان ایجاد کرده و به چه مقدار؟
  • پرسش­‌های احتمالی: نتیجه‌ برنامه چه بوده؟ آیا نتیجه منفی هم داشته است؟ آیا منافع حاصل از برنامه بیش‌تر از هزینه‌­ها بوده است؟
  • راه‌­های ممکن برای پاسخگویی به پرسش‌­ها: نظرسنجی درباره رفتارها، مصاحبه با افراد مطلع و سرشناس، شاخص‌­های سطح باهمستان.

تدوین روش‌­های ارزیابی​

پس از تعیین پرسش‌هایی که قرار است با ارزیابی خود به آن‌ها پاسخ دهید، گام بعدی تصمیم‌گیری درباره روش‌­هایی است که به بهترین نحو پاسخ این پرسش‌ها را به دست خواهد داد. در اینجا برخی از روش‌­های رایج در ارزیابی و کارکرد هر یک را به طور مختصر مرور می‌­کنیم.

سیستم نظارت و بازخورد​

این روش ارزیابی دارای سه عنصر اصلی است:

• سنجش فرآیند: به شما می‌گوید که برای اجرای پروژه چه اقداماتی انجام دادید؛
• سنجش خروجی: به شما می‌گوید که چه نتایجی به دست آوردید؛ و
• سیستم نظارتی: این سیستم متشکل از هر کاری است که برای ردگیری و نظارت بر پروژه در حال اجرا انجام می‌دهید.

نظرسنجی از اعضا درباره پروژه​

هنگامی که اد کاچ (Ed Koch) شهردار نیویورک بود، فراخوان معروف او با عنوان «کارم چطور است؟» در سرتاسر کشور شهرت یافت. شاید این ظاهرا راهکار بیش‌ از‌ حد ساد‌ه‌­ای به چشم آید، ولی گاهی برای دانستن اینکه آیا کارتان را به خوبی انجام می‌دهید یا نه، بهترین کاری که می‌توانید انجام دهید این است که از اعضای باهمستان بپرسید. و بهترین راه برای طرح این پرسش، نظرسنجی از اعضا است. سه نوع نظرسنجی از اعضا وجود دارد که به احتمال زیاد یکی از آن‌ها را در مقطعی به کار خواهید برد:

• نظرسنجی از اعضا درباره اهداف: این نظرسنجی پیش از آغاز پروژه انجام می‌­شود؛ اعضا درباره عملکرد شما از پیش چه تصوری دارند؟
• نظرسنجی از اعضا درباره فرآیند: این نظرسنجی در جریان پروژه انجام می‌­شود؛ تا به‌ ­حال عملکرد شما چگونه است؟
• نظرسنجی از اعضا درباره نتایج: پس از پایان پروژه انجام می‌­شود؛ عملکرد شما چگونه بوده است؟

گزارش دستیابی به اهداف​

اگر می­‌خواهید بدانید که آیا تغییرات پیشنهادی پروژه شما در باهمستان به راستی تحقق یافته یا خیر (که فرض می­‌کنیم می‌­خواهید)، تهیه گزارش دستیابی به اهداف بهترین شیوه است. از کارکنان خود بخواهید که هر بار که یکی از اهداف قید شده در طرح اولیه عملی شد، تاریخ آن را ثبت کنند.

مصاحبه با مشارکت کنندگان کلیدی​

مشارکت‌کنندگان کلیدی - یعنی رهبران باهمستان، کارمندان شما و امثال آن‌ها - نظرهایی دارند که به­ ‌خوبی می‌­توانید از آن‌ها استفاده کنید. مصاحبه با آن‌ها درباره نظر‌اتشان در مورد مقاطع مهم در فرآیند پروژه، می‌­تواند به سنجش شما از کیفیت پروژه‌تان، شناسایی عواملی که موجب موفقیت یا شکست در مقاطعی از پروژه شد‌ه‌­اند، و دستیابی به تاریخچه‌ای از روند پروژه‌ کمک کند و افزون بر این، اطلاعاتی به دست خواهید آورد که می‌توانید از آن در برنامه‌ریزی و تجدید تلاش‌هایتان استفاده کنید.

شاخص‌های تاثیرات در سطح باهمستان​

این‌ها شاخص‌­های آزموده شده و دقیقی هستند که شما را در ارزیابی نتایج نهایی پروژه یاری می­‌کنند. بررسی شاخص‌­های تعیین شده در سطح باهمستان، شواهد محکمی از تاثیر پروژه شما ارائه داده و میزان موفقیت اجزا‌ی اصلی برنامه را روشن می‌سازد.

 

تعیین جدول زمانی برای فعالیت‌­های مربوط به ارزیابی​

ارزیابی چه زمانی باید آغاز شود؟

ارزیابی چیزی نیست که برای اندیشیدن به آن باید تا پایان یافتن دیگر فعالیت‌ها صبر کنید. برای به­‌ د‌ست آوردن تصویری درست و روشن از فعالیت‌­های گروه و کیفیت این فعالیت‌­ها، باید از ابتدای کار به ارزیابی توجه کنید. با این حال، اگر در میانه پروژه هستید، نباید ایده‌ ارزیابی را کنار بگذارید؛ حتی اگر در این کار تاخیر داشته باشید، هنوز می‌­توانید اطلاعاتی را جمع‌­آوری کنید که فواید آن‌ها را در بهبود پروژه خواهید دید.

پرسش‌­های مربوط به هر یک از مراحل پروژه را فهرست کنید

• توصیه می‌­کنیم برای موارد زیر جدولی تهیه کنید:
• سوالات کلیدی ارزیابی (دسته­‌بند‌ی بالا همراه با پرسش­‌های دقیق‌­تر در هر دسته)
• نوع معیارهای ارزیابی که برای پاسخ به پرسش­‌ها استفاده می‌­کنید (یعنی برای یافتن پاسخ به چه داده‌­هایی نیاز دارید؟)
• نوع جمع‌­آوری داده‌­ها (یعنی برای جمع­‌آ‌و‌ری این داده­‌ها‌ از چه روش­‌هایی استفاده می‌­کنید؟)
• طرح تجربی (راهی برای رفع خطر از میزان مقبولیت داده‌ها - یا باورپذیری- است. این کار شامل مقایسه اطلاعاتی است که خود جمع‌­آوری کرده­‌اید، با اطلاعات گروه مشابهی‌ که روش کار آن دقیقا مشابه با روش کار شما نیست.)

به کمک آنچه بیان شد، می‌توانید به دید کلی خوبی درباره‌ کارهایی برسید که برای کسب اطلاعات مورد نیاز لازم است انجام دهید.

ارزیابی چه زمانی باید پایان یابد؟

زمان ارزیابی مدت کوتاهی پس از پایان پروژه است یعنی معمولا زمانی که نوبت گزارش نهایی است. بعد از تکمیل پروژه، خیلی برای انجام ارزیابی‌تان منتظر نمانید. بهترین زمان برای انجام ارزیابی وقت است که همه چیز هنوز در ذهنتان تازه است و هنوز می‌توانید به تمام اطلاعات مورد نیازتان دسترسی داشته باشید.

از ارزیابی چه حاصلی می‌توان به دست آورد؟

حاصل اصلی که باید از ارزیابی به دست آورید،‌ گزارشی است که بتوان آن را در اختیار همه کسانی گذاشت که در پروژه دخیل بوده‌اند. این گزارش باید شامل چه نکاتی باشد؟

• تاثیراتی که ذ‌‌‌ی‌نفعان انتظار داشته‌اند: ببینید مشارکت‌کنندگان کلیدی خواهان چه اطلاعاتی هستند. تلاش کنید حتما اطلاعاتی را که می‌­دانید انتظار دارند، در گزارش خود پوشش دهید.
• تغییرات رفتاری افراد کلیدی: ببینید تلاش‌­های گروه شما بر رفتار گروه مخاطب پروژه و عاملان تغییر چه تاثیری داشته است. آیا هیچ یک از راهبردهای شما باعث شد‌ه‌­ تا افراد کلیدی باهمستان با شما همکاری کنند؟
• تفاوت شرایط در باهمستان: ببینید چه چیز تغییر کرده است. آیا باهمستان از تلاش‌­های جمعی گروه شما آگاه است؟ آیا از شما حمایت می­‌کند؟ برای یاری شما در دستیابی به اهدافتان چه گام‌هایی بر می­‌دارند؟ آیا تلاش‌­های شما تغییری در قوانین یا عرف باهمستان ایجاد کرده است؟

ممکن است بخواهید ابزارهای مشخصی را هم وارد کنید (یعنی گزارش­‌های کوتاهی که داده­‌ها‌ را خلاصه می­‌کنند)، گزارش‌­های سالانه، گزارش­‌های فصلی یا ماهانه برگرفته از سیستم نظارت و نیز هر آنچه که مورد توافق سازمان و تیم ارزیابی قرار گرفته است.

از چه استانداردهایی باید پیروی کنید؟

اکنون که تصمیم گرفته ­اید ارزیابی را انجام دهید و کار بر روی برنامه خود را آغاز کر‌د‌ه‌اید، احتمالا پرسش‌هایی هم دارید در این مورد که چگونه می‌­شود اطمینان یافت که ارزیابی تا حد ممکن منصفانه،‌ صحیح و موثر است. ارزیابی کاری بزرگ است و طبیعی است که بخواهید به شکل درستی انجام شود. از کدام استانداردها باید استفاده کنید تا ارزیابی به بهترین نحو ممکن انجام شود؟ در سال ۱۹۴۴ کمیته مشترک استانداردهای ارزیابی آموزش و پرورش فهرستی از معیارهای ارزیابی را منتشر کرد که به طور گسترده‌ای برای تدوین ارزیابی‌های مرتبط با برنامه‌­های تحصیلی و بهداشت عمومی استفاده می‌شود. استاندارد‌هایی که این کمیته مشخص کرده (و مرتبا به روزرسانی می‌شود) برای سنجش قابلیت کاربرد، عملی بودن، تناسب و درستی به کار می‌رود. برای حصول اطمینان از اینکه بهترین ارزیابی ممکن از پروژه‌تان را اجرا خواهید کرد،‌ کاربرد این معیارها را مدنظر داشته باشید.

Ejemplo 1: Tabla de Componentes y Elementos del Programa   

He aquí algunos de los ítemes de la tabla de componentes y elementos de un programa ficticio para la prevención del embarazo en adolescentes:

Factores De riesgo/Protección	Componentes del Programa (estrategias)	Elementos del programa (tácticas)	Público objetivo y agentes de cambio	Forma/contexto de Entrega
Factor de riesgo: Actividad de adolescentes sin supervisión	Proveer actividades alternativas.	Actividades para después de la escuela (programas deportivos, pasatiempos, manualidades, películas, etc.) “Retiros” de fin de semana, club de baile “sin alcohol” Actividades diurnas durante las vacaciones	Público-objetivo jóvenes Agentes: Jóvenes Maestros Padres	Sesiones de grupo Talleres Reuniones
Factor de riesgo: Falta de acceso a los anticonceptivos	Incremento del acceso a mejores servicios de salud	Extender los horarios en las clínicas de salud escolares Incrementar la distribución de condones por el departamento de salud del condado Programas “bolsa de papel” en las farmacias del área (los adolescentes que desean comprar anticonceptivos pueden llamar antes y recogerlos en una bolsa marrón de papel)	Público-objetivo Jóvenes Agentes: Proveedores     sanitarios	Clínicas Departamento de salud Comerciantes
Factor de protección:  involucramiento en una comunidad de fe	Alentar la participación de jóvenes en comunidades de fe	Incrementar actividades juveniles patrocinadas por la iglesia Establecer educación sexual con base en la iglesia Sesiones de comunicación padre-hijo patrocinadas por la iglesia	Público-objetivo Jóvenes Padres Agentes: Jóvenes Padres Líderes Religiosos	Discusiones Reuniones Sesiones educacionales Talleres

(Gracias a Adrienne Paine-Andrews del Work Group on Health Promotion and Community Development por su ayuda con la tabla precedente

Ejemplo 2. Preguntas y métodos de evaluación

Tabla de ejemplo de algunas de las preguntas del plan de evaluación del Youth Enrichment Services (Y. E. S. por sus siglas en inglés), una organización que suministra a jóvenes urbanos servicios que los alientan a explorar, desafiarse física y mentalmente, e interactuar con modelos de roles positivos:

		Forma de recolección de datos*					Diseño Experimental**
Pregunta (s)  de evaluación claves	Tipo de información gerencial y Medida(s) de evaluación	Encuesta/ Escala	Entrevista estructurada	Informe del equipo Bitácora	Observación directa  Directa	Registros de Archivo	Estudio de Caso	Grupo de Control Pre-Post examen	Series Periódicas
A.  Temas de Planeación/ Implementación	A.  Medidas Descriptivas y de Proceso
1. ¿Quién participa? ¿Existe diversidad en los participantes?	1. Datos demográficos básicos (p.  ej.   edad, género, discapacidad, raza, nivel económico, etc.) de los participantes.	X	X				X
2. ¿Por qué los participantes entran y salen del programa?	los participantes entran y salen del programa? 2. ¿Informa-ción sobre los participantes? Razones para entrar y salir del programa.	X	X				X
3. ¿Se genera una variedad de servicios y actividades alternativas?	3. Frecuencia de los diversos tipos de servicios suministrados y actividades alternativas generadas.			X	X	X	X
B. Evaluando la Obtención de Objetivos	B.  Medidas de Resultados
1. ¿Cuánta gente participa?	1. Número de personas participando.			X	X	X	X		X
2. ¿Cuántas horas están los participantes involucrados en actividades de servicio y alternativas	2. Horas de participación por tipo  de actividad			X	X	X	X		X
3. ¿Cuántas personas están entrenadas en  fomento y sensibilidad  cultural?	3. Número de personas entrenadas en fomento y sensibilidad cultural.			X	X	X	X		X
C. Impacto en los Participantes
1. ¿Cómo han cambiado el comporta-miento y las actitudes como resultado de participar en el programa?	1. Cambios en los programas, políticas y prácticas de las organizaciones afiliadas y otros resultados.	X	X	X	X	X		X	X
2. ¿Afecta la participación la incidencia de problemas en la vida?	2. Incidencia de los problemas en la vida (p.  ej.   uso de drogas, involucra-miento con pandillas)	X	X			X		X
3. ¿Están los participantes satisfechos con la experiencia?	3. Índice de satisfacción de los participantes	X					X
D. Impacto en la comunidad
1. ¿Cuáles fueron los resultados del programa?	1.Cambios en programas, políticas y prácticas de las organizaciones afiliadas y otros resultados	X	X	X	X	X			X
2. ¿Exceden los beneficios a los costos del programa?	2. Datos de costo/beneficio		X	X		X	X
3.¿Están los miembros de la comunidad satisfechos con los participantes y los servicios que prestan?	3. Índices de satisfacción de los beneficiarios  y miembros de la comunidad	X					X

*Por favor tome nota de que las categorías y la forma de recolección de datos utilizan términos más amplios de los que hemos usado para describir los métodos de evaluación; He aquí algunos ejemplos de métodos que entran en estas categorías:

• Encuesta/Escala: encuesta de satisfacción de miembros con las metas, encuesta de satisfacción de miembros con el proceso, encuesta de satisfacción de miembros con los resultados, y encuestas de comportamiento
• Entrevista estructurada: i.  e.  , entrevista con participantes clave
• Informe del equipo/Bitácora: es decir, sistema de monitoreo, informe de obtención de metas
• Observación Directa: Esto se refiere a la observación directa de comportamiento por parte de los investigadores
• Registros de Archivo: i.  e.  , indicadores de impacto a nivel de la comunidad

**Explicaciones de estos términos:  

• Estudio de caso: un análisis en profundidad y total de una persona, grupo o comunidad  que se enfoca en los factores de desarrollo en relación con el entorno –bueno para contestar preguntas tipo “cómo” o “por qué”
• Grupo de control pre-post examen: monitoreo de un grupo de personas que encajan en la población objetivo de su grupo a quienes usted no expone su iniciativa, para que pueda compararlos con personas que formaron parte de la iniciativa;  le ayudará a tener una idea mejor acerca de cuán grande ha sido el impacto real logrado.   
• Series periódicas: los efectos son medidos de una larga serie de medidas repetidas tomadas antes y después de una iniciativa

Ejemplo 3: Cronograma para las actividades de evaluación

Este es el cronograma para una evaluación que está haciendo Kansas City's Promise de su iniciativa para promover cuidado personal y comunitario para  la juventud:

	2010	2011	2012	2013
Sistema de Monitoreo	M A M J J A S O N D J F	M A M J J A S O N D J F	M A M J J A S O N D J F	M A M J J A S O N D J F
Establezca el sistema	[ - - - ]
Entrene a los participantes y el equipo en entrada de datos	[ - - - ]
Mantenga el sistema (recolección de datos e informes)	[- - - - - - - - - - - - - - -	- - - - - - - - - - - - - - -	- - - - - - - - - - - - - - - -	- - - - - - - - - - - - - ]
Eventos críticos
Identifique personas clave	[ - - - ]	[ - - - ]	[ - - - ]	[ - - - ]
Lleve a cabo entrevistas	[ - - ]	[ - - ]	[ - - ]	[ - - ]
Informe resultados	[ - - - ]	[ - - - ]	[ - - - ]	[ - - - ]
Indicadores de nivel comunitarios
Identifique indicadores locales	[ - - - - ]
Identifique la localización	[ - - - - ]
Obtenga los datos	[ - - -	- - - - - - - - - - - - - - - -	- - - - - - - - - - - - - - - -	- - - - - - - - - ]
Informe los resultados	[ - - - ]	[ - - - ]	[ - - - ]	[ - - - ]
Otros Indicadores (encuestas de comportamiento, estudio de los datos)
Identifique	[ - - - - - -	- - - - - - ]
Obtenga los datos	[ - - -	- - - - - - - - - - - - - - -	- - - - - - - - - - -  - - - - -	- - - - - - - - - -]
Informe los resultados	[ - - - ]	[ - - - ]	[ - - - ]	[ - - - ]

 

Herramienta 1: Tabla de componentes y elementos del programa

Factores de riesgo/protección	Componentes del programa (estrategias)	Elementos del programa (tácticas)	Población objetivo y agentes de cambio	Forma/contexto de entrega

Herramienta 2 Preguntas y métodos de evaluación

Impacto en la comunidad

		Tipo de recolección de datos*					Diseño experimental**
Preguntas clave de evaluación	Tipo de información gerencial y medida(s)de evaluación	Encuesta escala	Entrevista estructurada	Informe del equipo bitácora	Observación directa	Registros de archivo	Pre-post examen	Series periódicas
Temas de planificación e implementación	Medidas descriptivas y de proceso
1.	1.
2.	2.
3.	3.
4.	4.
5.	5.
Evaluación de la Obtención de Objetivos	Medida de resultados
1.	1.
2.	2.
3.	3.
4.	4.
5.	5.
Impacto en los participantes
1.	1.
2.	2.
3.	3.
4.	4.
5.	5.
1.	1.
2.	2.
3.	3.
4.	4.
5.	5.

Herramienta 3: Cronograma de la evaluación

	2010	2011	2012	2013
Sistema de monitoreo	J F M A M J J A S O N D	J F M A M J J A S O N D	J F M A M J J A S O N D	J F M A M J J A S O N D
Establezca el sistema
Entrene a los participantes y al equipo en entrada de
Mantenga el sistema (recolección de datos & informes)
Eventos críticos
Identifique personas clave
Lleve a cabo entrevistas
Reporte resultados
Indicadores de nivel comunitarios
Identifique indicadores locales
Identifique localización
Obtenga los datos
Informe resultados
Otros indicadores (encuestas de comportamiento, estudio de los datos
Identifique
Obtenga los datos
Informe resultados

 

Usted entiende que debería tener una evaluación  porque.  .  . 

___Le guía a través de cada paso del proceso de evaluación  

___Le ayuda a decidir qué clase de información realmente necesitan usted y los otros interesados 

___Le evita perder tiempo recogiendo información que no es necesaria

___Le ayuda a identificar los mejores métodos y estrategias posibles para obtener la información necesaria

___Le ayuda a establecer un cronograma realista y razonable para la evaluación

___Y lo más importante ¡Le ayuda a mejorar su iniciativa!

Usted comprende quienes son  los interesados en su proyecto o iniciativa:

___Grupos comunitarios

___Donantes y patrocinadores

___Investigadores universitarios

Usted ha tomado en consideración:    

___Qué desean saber los interesados acerca de la evaluación

___Qué decisiones necesitan hacer los interesados

___Cómo usarán los interesados los datos  para tomar informar decisiones

Al consideran como equilibrar los costos y los beneficios usted se ha hecho las siguientes preguntas: 

___¿Qué necesita saber usted?

___¿Qué es lo requerido por la comunidad?

___¿Qué es lo requerido por los patrocinadores?

Usted reconoce estos cuatro pasos principales para desarrollar un plan de evaluación:

___Dejar en claro  los objetivos y metas del programa

___Desarrollar preguntas de evaluación

___Desarrollar métodos de evaluación

___Establecer un cronograma para las actividades de evaluación

Dejar en claro los objetivos y metas de su iniciativa:

___Haga una tabla de componentes y elementos del programa

Desarrollo de preguntas de evaluación

___Usted conoce las cuatro categorías principales de preguntas de evaluación:

___Temas de planificación e implementación

___Evaluación de la obtención de objetivos 

___Impacto en los participantes

___Impacto en la comunidad

___Usted ha tomado en cuenta los mejores métodos posibles de contestar esas preguntas

Desarrolle métodos de evaluación para  atender esas preguntas lo mejor posible:

___Usted entiende cómo usar los tres elementos principales de los sistemas de monitoreo y retroalimentación (medidas del proceso, medidas de resultados, y sistema de observación)

___Usted entiende cómo usar encuestas de miembros acerca de la iniciativa (encuesta de miembros sobre metas, encuesta de miembros sobre el proceso y encuesta de miembros sobre resultados)

___Usted entiende cómo usar el informe de obtención de metas

___Usted entiende cómo usar las encuestas de comportamiento

___Usted entiende cómo usar las entrevistas con participantes clave

___Usted entiende cómo usar los indicadores de impacto a nivel de la comunidad

Estableciendo un cronograma para actividades de evaluación

___Usted entiende que debería comenzar ya, o por lo menos al inicio de la iniciativa

___Usted ha diseñado preguntas para cada etapa de desarrollo de la iniciativa

___Usted ha hecho una tabla enumerando: preguntas clave, tipo de medidas de evaluación a ser utilizadas          para responderlas, el tipo de recolección de datos y el diseño experimental. 

___Usted ha determinado cuándo le parece apropiado suministrar retroalimentación e informes

___Usted suministrará retroalimentación e informes al final de la evaluación

___Usted también suministrará retroalimentación e informes periódicos durante el transcurso del proyecto o la iniciativa

___Usted ha decidido cuándo finalizará la evaluación

___Usted definió un cronograma de evaluación a proponer  

Productos esperados de la evaluación:

___Usted hará un informé que podrá compartir con todos los involucrados que incluye los efectos esperados por los interesados, las diferencias en comportamiento de los individuos clave, y diferencias en las condiciones de la comunidad.    

___Usted ha decidido incluir o no, herramientas específicas (por ejemplo: Informes breves resumiendo información), informes anuales, cuatrimestrales o mensuales del sistema de monitoreo y cualquier otra cosa acordada entre la organización y el equipo evaluados.   

Normas de evaluación

___Usted ha decidido qué normas utilizar para estar seguro  de obtener una evaluación útil y exacta.

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ما هو التقييم التشاركي؟
• ما الذي يدعونا (وما الذي لا يدعونا) إلى استخدام التقييم التشاركي؟
• متى يمكن أن نستخدم التقييم التشاركي؟
• مَن يجب أن يشارك في التقييم التشاركي؟
• كيف نجري تقييماً تشاركياً؟

يَعلم بُناة المجتمعات المحلّية ذوو الخبرة أنّ إشراك أصحاب المصلحة – أي الأشخاص المرتبطين مباشرةً بمشاريعهم والمتأثّرين بها – في عملهم يشكّل أمراً في غاية الأهمية. فهذا يعطيهم المعلومات التي يحتاجون إليها لتصميم ما يقومون به وتعديله أو تغييره، وذلك بغية تلبية احتياجات المجتمع المحلّي والفئات المُحدَّدة التي تستفيد من التدخّل أو المبادرة على أفضل وجه. وهذا يصحّ بشكلٍ خاص على التقييم.

يتناول الفصل 36، القسم 2: البحث التشاركي المرتكز إلى المجتمع المحلّي موضوع البحث التشاركي المرتكز إلى المجتمع المحلّي الذي، كما نشرح، يمكن توظيفه لوصف المجتمع المحلّي، و/أو تقدير المسائل والاحتياجات المجتمعية، و/أو إيجاد أفضل الممارسات واختيارها، و/أو التقييم. ونحن نعتبر أنّ موضوع التقييم التشاركي مهمٌّ بحيث يجب تخصيص قسمٍ له، وإظهار موقعه ضمن نطاق البحث التشاركي بشكلٍ عام.

والواقع أنّ بناء مشاركة أصحاب المصلحة في المشروع منذ البداية يشكّل فكرةً جيّدة. فإحدى أفضل الطرق التي تخوّلنا اختيار التوجّه المناسب لعملنا تتمثّل في إشراك أصحاب المصلحة في تحديد الاحتياجات المجتمعية الفعلية، وكيفية توصّل المشروع إلى تحقيق أفضل أثرٍ ممكن. وإحدى أفضل الطرق لاكتشاف آثار عملنا على الأشخاص الذين يستهدفهم تتمثّل في إشراك المستفيدين من المعلومات أو الخدمات أو المناداة في فريق التقييم الخاص بنا.

غالباً ما نحصل على الصورة الأكثر وضوحاً لما يجري بالفعل من خلال الأشخاص المعنيين مباشرةً – المشاركين، والموظّفين، وغيرهم من الذين يشاركون وينفّذون البرنامج، أو المبادرة، أو أيّ مشروعٍ آخر. في الفصل 36، القسم 2: البحث التشاركي المرتكز إلى المجتمع المحلّي، ناقشنا كيف يمكننا إشراك هؤلاء الأشخاص في إجراء البحث حول المجتمع المحلّي واختيار المسائل التي يجب مخاطبتها والتوجّهات التي يجب اتّباعها. أمّا هذا القسم فيتطرّق إلى كيفية إشراكهم في النطاق الكامل للمشروع، بما في ذلك تقييمه، والفوائد المُحتمَلة على المُخرَجات النهائية للمشروع.

ما هو التقييم التشاركي؟

عندما يفكّر معظم الناس في التقييم، يعتقدون أنّه يحدث في نهاية المشروع – أي أنّه ينظر إلى المشروع بعد انتهائه ويقرّر ما إذا كان جيّداً أم لا. في حين أنه ينبغي أن يشكّل التقييم جزءاً لا يتجزّأ من أيّ مشروعٍ منذ بدايته. والتقييم التشاركي يضمّ جميع أصحاب المصلحة في المشروع – أي الأشخاص المتأثّرين مباشرةً به أو بتنفيذه – من حيث المساهمة في فهمه، وتطبيق هذا الفهم بغية تحسين العمل.

وكما سوف نرى، لا يقتصر التقييم التشاركي على طلب مشاركة أصحاب المصلحة. فإشراك جميع المتأثّرين يغيّر طبيعة المشروع الإجمالية، إذ يتحوّل من أمرٍ يجري من أجل مجموعةٍ مُعيَّنة من الناس أو مجتمعٍ محلّي مُعيَّن، إلى شراكةٍ بين المستفيدين والجهات التي تطبّق المشروع. فبدلاً من أن يكون المستفيدون أشخاصاً خاضعين مجرّدين من أيّ سلطة، يصبحون مشاركين في قيادة المشروع، فيحرصون على إدراك احتياجاتهم واحتياجات المجتمع المحلّي الفعلية ومخاطبتها. هكذا، يكون المُقيِّمون المحترفون، وموظّفو المشروع، والمستفيدون منه أو المشاركون فيه، وغيرهم من أعضاء المجتمع المحلّي، زملاء في جهدٍ يرمي إلى تحسين نوعية الحياة في المجتمع المحلّي.

ولا تكون هذه المقاربة في التخطيط والتقييم ممكنة من دون وجود الثقة والاحترام المتبادلَين. وهذان العاملان يتطوّران مع الوقت، ولكنّ ما يعزّزهما هو البدء بفهمٍ الثقافة والعادات المحلّية – سواء كنّا نعمل في بلدٍ نامٍ أو في حيّ مديني أميركي. في الواقع، فإنّ احترام الأفراد والمعارف والمهارات التي يمتلكونها يلعب دوراً كبيراً في تعزيز الثقة والانخراط على المدى البعيد.

وهناك جانب ضروري آخر في أيّ عملية تشاركية، وهو التدريب الملائم لجميع المعنيين. فالبعض من أصحاب المصلحة قد لا يعلمون حتّى أنّه يتمّ إجراء الأبحاث، وقد لا يكون لدى البعض الآخر أيّ فكرةٍ عن كيفية العمل مع أفرادٍ من خلفيات مختلفة، وهناك أشخاص لا يعلمون ما الذي عليهم القيام به بعد الحصول على نتائج التقييم. سوف نناقش جميع هذه المسائل، أي إشراك أصحاب المصلحة، وبناء الثقة، والتدريب، تدريجيً في هذا القسم.

وتجدر الإشارة إلى أنّ الغرض الحقيقي من التقييم لا يقوم على اكتشاف ما حدث فحسب، بل على استخدام المعلومات لتحسين المشروع. ومن أجل القيام بذلك، ينبغي أن يشتمل التقييم على دراسةٍ لناحيتَين على الأقلّ:

• العملية: إنّ العملية الخاصة بمشروعٍ ما تشمل التخطيط والأنشطة اللوجستية المطلوبة لإطلاقه وإجرائه. هل قمنا بتقديرٍ مناسب مسبق لنتعرّف على الاحتياجات الفعلية؟ هل استخدمنا نتائج التقدير لتحديد هذه الاحتياجات وتلبيتها في تصميمنا للمشروع؟ هل أطلقنا المشروع وأجريناه ضمن المهل الزمنية وغيرها من الأُطر التي خطّطنا لها؟ هل قمنا بإشراك الأشخاص المعنيين كما خطّطنا؟ هل كان لدينا - أو حصلنا - على الموارد التي توقّعناها؟ هل تدرّب العاملون وسواهم وأُعِدُّوا للقيام بالعمل؟ هل حصلنا على الدعم المجتمعي الذي توقّعناه؟ هل سجّلنا ما قمنا به بشكلٍ دقيق وفي الأوقات المناسبة؟ هل قمنا بالرصد والتقييم كما خطّطنا؟
• التطبيق: تطبيق المشروع هو العمل الفعلي الذي نقوم على إجرائه. هل قمنا بما خطّطنا له؟ هل خدمنا أو أثّرنا على العدد الذي اقترحناه من الأشخاص؟ هل استخدمنا الطرق التي خطّطنا لاستخدامها؟ هل كان مستوى نشاطنا كما خطّطنا له (مثلاً: هل قمنا بتوفير عدد ساعات الخدمة كما خطّطنا)؟ هل بلغنا الفئة (أو الفئات) التي استهدفناها؟ ما الذي وفّرناه أو قمنا به بالتحديد؟ هل أحدثنا تغييراتٍ مقصودة أو غير مقصودة، ولماذا؟
• المُخرَجات: مُخرَجات المشروع هي نتائجه – ما الذي حصل بالفعل بنتيجة وجود المشروع. هل أحدث عملنا الآثار التي سعينا إليها؟ هل أحدث آثاراً أخرى غير مُتوقَّعة؟ هل كانت هذه الآثار إيجابية أو سلبية (أو غير إيجابية وغير سلبية)؟ هل نعلم لماذا حصدنا النتائج التي حصدناها؟ ما الذي نستطيع تغييره حتى نجعل عملنا أكثر فعاليةً، وكيف نفعل ذلك؟

إنّ الكثيرين ممّن يكتبون عن التقييم التشاركي يجمعون الناحيتَين الأوليين ضمن تقييم العملية، ويضيفون ناحيةً ثالثة – وهي تقييم الأثر – إلى جانب تقييم المُخرَجات. وتقييم الأثر هو التقييم الذي يدرس نتائج المشروع على المدى البعيد، سواء استمرّ هذا الأخير، أو قام بعمله وتوقّف.

على سبيل المثال، غالباً ما تقوم مشاريع التنمية الريفية في العالم النامي على نقل مهاراتٍ مُعيَّنة إلى السكّان المحلّيين ليس إلّا، حتّى يقوم هؤلاء بدورهم بممارسة هذه المهارات وتعليمها للآخرين. وبعد أن يتعلّم الناس المهارات – ربّما تكون تقنيات مُعيَّنة للزراعة، أو تنقية المياه – يتوقّف المشروع. وإذا أظهر تقييم الأثر بعد خمس أو عشر سنوات أنّ المهارات التي علّمها المشروع ما زالت تُمارَس، لا بل انتشرت أكثر فأكثر، عندئذٍ يكون أثر المشروع طويل الأمد وإيجابياً.

ولتغطية هذه النواحي بشكلٍ مناسب، يجب أن يبدأ التقييم منذ بداية المشروع، مع التقدير والتخطيط. وفي التقييم التشاركي، يجب أن يشترك أصحاب المصلحة في:

• تحديد وتأطير المشكلة أو الغاية الواجب مخاطبتها.
• تطوير نظريةٍ للممارسة (عملية، نموذج منطقي) لكيفية تحقيق النجاح.
• تحديد الأسئلة الواجب طرحها حول المشروع وأفضل الطرق لطرحها. سوف تحدّد هذه الأسئلة ما الذي ينوي المشروع القيام به، وبالتالي ما الذي يجب تقييمه.

ما هي الغاية الفعلية مثلاً لمشروعٍ يقضي بإدخال أطعمة مُغذِّية أكثر إلى وجبات الغداء في المدارس؟

قد تتمثّل الغاية بكلّ بساطة في إقناع الأطفال بتناول المزيد من الفواكه، والخضر، والحبوب الكاملة. وقد تقوم على جعلهم يقلّلون من تناول الوجبات السريعة. وقد تقوم على تشجيع المراهقين الذين يعانون الوزن الزائد أو السمنة على خسارة الوزن. وقد تتمثّل الغاية بكلّ بساطة في توعيتهم بشأن الغذاء الصحّي، وإقناعهم بأن يكونوا أكثر مغامرةً في تناول الطعام.

أسئلة التقييم التي نطرحها تعكس غاياتنا من البرنامج وتحدّدها. فإذا لم نقم بقياس خسارة الوزن مثلاً، فهذا ليس حتماً ما نصبو إليه. وإذا لم نهتمّ سوى بزيادة تناول الأطفال الأطعمة الصحّية، فقد نكون قد أهملنا عاملاً آخر، وهو أنّ وزنهم سوف يزداد بكلّ بساطة إذا لم يحدّوا من تناولهم أطعمةٍ أخرى (كالوجبات السريعة مثلاً).

هل هذا أفضل من عدم تناول الأطعمة الصحّية؟ علينا الإجابة عن هذا السؤال وفقاً لما نريد مراقبته – إذا كان أفضل، فقد لا نهتمّ بالأطعمة الأخرى التي يتناولها الأطفال، وإلا، فسوف نهتمّ بذلك.

• جمع المعلومات عن المشروع
• فهم هذه المعلومات
• تحديد ما الذي يجب الاحتفال به، وما الذي يجب تعديله أو تغييره، استناداً إلى المعلومات التي قدّمها التقييم.

ما الذي يدعونا (وما الذي لا يدعونا) إلى استخدام التقييم التشاركي؟

لماذا قد نستخدم التقييم التشاركي؟ الإجابة السريعة هي أنّه غالباً الطريقة الأكثر فعالية لاكتشاف ما يجب معرفته، في بداية المشروع وفي أثنائه. إضافةً إلى ذلك، فإنّه يقدّم فوائد بالنسبة إلى المشاركين الأفراد والمجتمع المحلّي، وهي فوائد لا تقدّمها الطرق الأخرى. في ما يلي أبرز حسنات التقييم التشاركي. فهو:

1. يعطينا منظوراً أفضل عن الاحتياجات الأوّلية للمستفيدين من المشروع، وعن آثاره النهائية: إذا اشترك أصحاب المصلحة، ومن بينهم المستفيدون من المشروع، منذ البداية في تحديد ما يجب تقييمه وأسباب التقييم – فضلاً عن تحديد محور اهتمام المشروع – نكون قد سيّرنا عملنا في التوجّه الصحيح أكثر فأكثر، وحدّدنا بشكلٍ دقيق ما إذا كان مشروعنا فعّالاً أم لا، وفهمنا كيف يجب أن نغيّره لنجعله أكثر فعاليةً.
2. يعطينا معلوماتٍ لا يمكننا الحصول عليها بطريقةٍ أخرى: عندما يعتمد توجّه المشروع وتقييمه، ولو بجزءٍ منه، على معلوماتٍ من أعضاء المجتمع المحلّي، فغالباً ما تكون هذه المعلومات أكثر صراحةً إذا كان السائل شخصاً مألوفاً. بإمكان أعضاء المجتمع المحلّي الذين يستجوبون أصدقاءهم وجيرانهم أن يحصلوا على معلوماتٍ لا يحصل عليها شخصٌ من "الخارج".
3. يحدّد ما الذي نجح وما الذي لم ينجح وذلك من منظور المعنيين مباشرةً – كالمستفيدين والعاملين. فالأشخاص الذي يطبّقون المشروع والمتأثّرون مباشرةً به هم الأكثر قدرةً على تحديد ما كان فعّالاً وما لم يكن كذلك.
4. يشرح لنا سبب نجاح أو فشل أمرٍ ما: غالباً ما يكون المستفيدون قادرين على شرح السبب المُحدَّد لعدم تجاوبهم مع تقنيةٍ أو مقاربةٍ مُعيَّنة، وهذا يعطينا بالتالي فرصةً أفضل لتعديلها كما يجب.
5. يؤدّي إلى مشروعٍ أكثر فعاليةً: بفضل الأسباب التي وصفناها للتو، نكون أكثر قابليةً للبدء بالتوجّه الصحيح، ومعرفة متى ينبغي أن نغيّر التوجّه في حال لم يكن صحيحاً. والنتيجة هي مشروعٌ يخاطب المسائل الملائمة بالطريقة الملائمة، وينجز ما خطّط له.
6. يمكّن أصحاب المصلحة: فالتقييم التشاركي يعطي الأشخاص الذين غالباً ما لا يُستشارون – أي الموظّفين والمستفيدين بشكل خاص – الفرصةَ ليكونوا شركاء كاملين في تحديد توجّه المشروع وفعاليته.
7. يعطي صوتاً للأشخاص الذين غالباً ما لا يتمّ الإصغاء إليهم: في الواقع، غالباً ما يكون المستفيدون من المشروع من ذوي الدخل المنخفض والمستويات العلمية المتدنّية نسبياً، ونادراً ما يتمكّنون من التعبير عن أنفسهم – وهم غالباً يعتقدون أنّ هذا لا يحقّ لهم. فمن خلال إشراكهم منذ البداية في تقييم المشروع نكون قد أوصلنا أصواتهم، ويكونون قد تعلّموا أنّه بمقدورهم ومن حقّهم أن يعبّروا عن أنفسهم.
8. يعلّم بعض المهارات التي يمكن استخدامها في الوظيفة وفي نواحٍ أخرى من الحياة: بالإضافة إلى تطوير المهارات الأساسية وبعض القدرات البحثية المُحدَّدة، يشجّع التقييم التشاركي على التفكير النقدي، والتعاون، وحلّ المشكلات، والعمل المستقلّ، واحترام الوقت...وجميع هذه المهارات تهمّ أصحاب العمل، كما أنّها مفيدة في الحياة العائلية، والتعليم، والمشاركة المدنية، ونواحٍ أخرى.
9. يعزّز الثقة بالنفس وتقدير الذات لدى الذين يفتقرون إليهما: لا تشمل هذه الفئة المستفيدين من المشروع فحسب، بل تشمل أيضاً الأشخاص الآخرين الذين لم تسمح لهم ظروفهم بأن يثقوا بكفاءتهم أو قيمتهم في المجتمع. لذلك، فإنّ فرصة الاشتراك في نشاطٍ مُجدٍ ومليء بالتحدّي، والتعامل مع المحترفين بصفة الزمالة، قد تُحدث فرقاً كبيراً بالنسبة إلى الأشخاص الذين نادراً ما يُعامَلون باحترام أو يُعطَون فرصةً لإثبات أنفسهم.
10. يبرهن للناس طرقاً للتحكّم أكثر بحياتهم: في الواقع، إنّ العمل مع المحترفين وسواهم لإنجاز مهمّة مُعقَّدة بتبعاتٍ واقعية، من شأنه أن يُظهر للناس كيف يستطيعون التصرُّف للتأثير على الناس والأحداث.
11. يشجّع انتماء أصحاب المصلحة إلى المشروع: إذا شعر المعنيون أنّ المشروع هو مشروعهم، وليس أمراً مفروضاً عليهم من قبل الآخرين، فسوف يعملون بجهد لتطبيقه، ولإجراء تقييم مُعمَّق وغنيّ بالمعلومات لتحسينه.
12. يستطيع تحفيز روح الإبداع لدى جميع المعنيين: بالنسبة إلى الأشخاص الذين لم يسبق لهم أن اشتركوا في أمرٍ مشابه، قد يشكّل التقييم مصدر إلهام، فيفتح أبواباً على طرق جديدة في التفكير والنظر إلى العالم. أمّا بالنسبة إلى الذين سبق لهم أن اشتركوا في التقييم من قبل، فإنّ فرصة تبادل الأفكار مع أشخاصٍ قد تكون لديهم طرق جديدة للنظر إلى الأمور المألوفة، قد تخلق منظوراً جديداً لمسألةٍ كانت تبدو ثابتة.
13. يشجّع العمل التعاوني: لكي ينجح التقييم التشاركي، يجب أن يعتبره جميع المعنيين نوعاً من التعاون، حيث يجلب كلّ مشاركٍ أدواتٍ ومهاراتٍ مُحدَّدة للجهد، وحيث يُعتبَر كلّ فردٍ عضواً قيّماً نظراً لما يستطيع أن يساهم به. وهذا النوع من التعاون لا يؤدّي إلى الكثير من الميزات الموصوفة أعلاه فحسب، بل يعزّز أيضاً روح التعاون أكثر فأكثر للمستقبل، وهذا يولّد المزيد من المشاريع المجتمعية الناجحة.
14. يشكّل جزءاً من جهدٍ تشاركي أوسع: عندما يكون التقدير المجتمعي والتخطيط لمشروعٍ ما عملاً تعاونياً بين المستفيدين من المشروع، والموظّفين، وأعضاء المجتمع المحلّي، فمن المنطقي إدراج التقييم ضمن الخطّة العامة، ومقاربته بالطريقة نفسها التي قاربنا بها الأجزاء الباقية من المشروع. ولإجراء تقييمٍ جيّد، ينبغي أن يكون التخطيط له جزءاً من التخطيط الإجمالي للمشروع. علاوةً على ذلك، فإنّ العملية التشاركية تتناسب جيّداً، بشكلٍ عام، مع فلسفة المجموعات أو المنظّمات المجتمعية أو الشعبية.

رغم جميع هذه الجوانب الإيجابية، ينطوي التقييم التشاركي على بعض الجوانب السلبية أيضاً. قد تكون السيئات أكثر من الحسنات، أو العكس بالعكس وiبحسب ظروفنا. ولكن، من المهمّ أن نفهم أنواع السلبيات التي قد ينطوي عليها، بغضّ النظر عمّا إذا كنّا قد قرّرنا الانخراط فيه أم لا. وتشمل أبرز سيئات التقييم التشاركي:

1. إنّه يستغرق وقتاً أطول من الوقت الذي تستغرقه العملية التقليدية: بما أنّنا نشرك الكثير من الناس من ذوي وجهات النظر المختلفة – حتّى أنّ البعض منهم لم يسبق لهم أن اشتركوا في التخطيط أو التقييم، فسوف يستغرق كلّ شيء وقتاً أطول من الوقت الذي يستغرقه المُقيِّم المحترف أو الفريق المعتاد على التقييم للتخطيط وإجراء كلّ شيء. فعملية اتّخاذ القرارات تنطوي على الكثير من النقاشات، وجمع الناس معاً قد يكون صعباً، والمُقيِّمون يحتاجون إلى التدريب، إلخ.
2. إنّه يتطلّب بناء الثقة بين جميع المشاركين في العملية: إذا كنّا نُطلِق شيئاً جديداً (أو حتّى لو كان المشروع قائماً كما في كثيرٍ من الأحيان)، فالأرجح أن تطرأ على مسائل تتعلّق بالتمييز الطبقي، والفروقات الثقافية وغيرها مما تقسّم مجموعات أصحاب المصلحة. وقد تؤدّي هذه المسائل إلى عقباتٍ وإبطاءٍ في العملية إلى أن يتمّ حلّها، وهذا لن يحصل بين ليلةٍ وضحاها. في الواقع، إنّ هذا الأمر يتطلّب وقتاً طويلاً والكثير من الجهود الواعية حتّى يشعر جميع أصحاب المصلحة بالراحة والثقة بأنّ احتياجاتهم وثقافتهم تُؤخذ بعين الاعتبار.
3. يجب أن نتأكّد من أنّ الجميع منخرطون، وليس "قادة" المجموعات المختلفة فحسب: في كثيرٍ من الأحيان يعني مصطلح "التشاركي" مشاركة بنى قوى قائمة مسبقاً. فغالبية القادة هم فعلياً الأشخاص الأكثر اهتماماً بالمصالح القصوى للمجموعة، والذين يحظون بثقة الآخرين لتمثيلهم وتوجيههم في الاتّجاه الذي يعكس هذه المصالح على أفضل نحو. ولكن يمكن أن يكون القادة أحياناً أشخاصاً يشقّون طريقهم إلى الصفوف الأمامية، ويحاولون تأكيد أهميتهم الذاتية من خلال إعطاء الأوامر للآخرين.

في حال لم يتمّ إشراك سوى قادة فئةٍ مُعيَّنة أو مجتمعٍ محلّي مُعيَّن، فسوف نعرّض أنفسنا لخطر فقدان – أو عدم كسب – ثقة ومنظور باقي الفئات التي ربّما لا تحبّذ القائد الآخر أو لا تثق به، أو التي، بكلّ بساطة، قد ترى نفسها معزولةً عن العملية. فقد يرون في التقييم التشاركي نوعاً من السلطة، وقد لا يهتمّون بالمشاركة فيه. لذلك، إنّ العمل من أجل تجنيد أشخاص "عاديين" إضافةً إلى القادة، أو بدلاً منهم، قد يشكّل خطوةً مهمّة بالنسبة إلى موثوقية العملية. ولكنّ ذلك يتطلّب الكثير من العمل، وقد يكون من الصعب الترويج له.

1. يجب أن ندرّب الناس لكي يفهموا التقييم وكيف تسير العملية التشاركية، فضلاً عن تعليمهم مهارات البحث الأساسية: هناك فعلاً عدد من السيئات المُحتمَلة هنا. والسيّئة الأكثر وضوحاً هي التي تتعلّق بعامل الوقت الذي تناولناه سابقاً: التدريب يتطلّب وقتاً للتحضير، ووقتاً للتطبيق، ووقتاً للغوص فيه. وهناك سيّئة أخرى وهي اختيار نوع التدريب الذي يستجيب له المشاركون. وهناك أيضاً سيّئة أخرى تتعلّق بالتجنيد: هل سيكون الناس مستعدّين لتكريس الوقت اللازم للتحضير للعملية، فضلاً عن الوقت الذي تستغرقه العملية بحدّ ذاتها؟
2. علينا الحصول على التأييد والالتزام من قبل المشاركين نظراً إلى ما سوف يكون على المُقيِّمين القيام به، يجب أن يكونوا ملتزمين بالعملية، وأن يشعروا بأنّهم معنيون بها. إذاً، ينبغي أن نصوغ التدريب والعملية بحدّ ذاتها بحيث نؤمّن هذا الالتزام.
3. إنّ حياة الناس – المرض، ومشكلات ورعاية الأطفال والعلاقات، وجني المحاصيل..إلخ – قد تسبّب تأخيراً أو قد تعيق مسار التقييم: في الواقع، فإنّ الفقراء في كلّ مكان يواجهون صعوباتٍ معيشية، أي أنّ وضعهم دقيق. وبمجرّد حصول أيّ أمرٍ طارئ (طفل مريض، الكثير من الأيام الممطرة المتواصلة أو الحارة للغاية) قد يَحدث خللٌ مُعيَّن يؤدّي إلى عدم قدرتهم على المشاركة في يوم ما، أو عدم المشاركة بتاتاً. إذا كنّا نتعامل مع قريةٍ ريفية تعتمد على الزراعة مثلاً، فقد تؤدّي الظروف المناخية الطارئة إلى إعاقة العملية بأكملها، إمّا بشكلٍ مؤقّت وإمّا بشكلٍ دائم.
4. قد نحتاج إلى أن نكون مُبدِعين بشأن طريقة الحصول على المعلومات، وتسجيلها، والإبلاغ عنها: في حال كان بعض المشاركين في التقييم غير متعلّمين، أو شبه متعلّمين، أو إذا كان المشاركون يتكلّمون عدداً من اللغات المختلفة (الانكليزية أو الكردية أو لهجة محلية صعبة جداً، مثلاً)، فسوف يتوجّب علينا إيجاد طريقةٍ لتسجيل المعلومات يفهمها الجميع، ويمكن أن تكون مفهومة بدورها من قبل الآخرين من خارج المجموعة.
5. قد لا يفهم المُموِّلون وصانعو السياسات التقييمَ التشاركي أو قد لا يؤمنون به: في أسوأ الحالات، قد يجعلنا ذلك نخسر تمويلنا أو نفوّت فرصة التقدّم بطلبٍ للتمويل. وفي أفضل الحالات، سوف يكون علينا أن نكرّس الكثير من الوقت والجهد لإقناع المُموِّلين وصانعي السياسات بأنّ التقييم التشاركي هو فكرةٌ جيّدة، وللحصول على دعمهم لجهدنا.

إنّ بعض هذه السيّئات قد تُعتبَر أيضاً بمثابة حسنات: فالتدريب الذي يحصل عليه الناس يختلط مع تطويرهم الذاتي للمهارات الجديدة التي يمكن نقلها إلى نواحٍ أخرى من الحياة. مثلاً، إنّ استحداث طرقٍ مُبتكَرة للتعبير عن الأفكار يفيد الجميع، وبعد إقناع المُموِّلين وصانعي السياسات بمنافع العملية التشاركية والتقييم التشاركي، فيشجّعون الآخرين على استخدامهما أيضاً. غير أنّ جميع هذه السيّئات المُحتمَلة تكلّف الكثير من الوقت الذي قد يكون ثميناً. إذا كان من الضروري للغاية أن تحدث الأمور بسرعة (وهذا صحيح، ليس بمقدار ما يعتقده معظمنا)، فقد لا يكون التقييم التشاركي هو الخيار الأنسب.

متى قد نستخدم التقييم التشاركي؟

إذاً، متى نستخدم التقييم التشاركي؟ في ما يلي بعض الأسباب التي تدعونا إلى اعتباره بمثابة الخيار الأفضل لأغراضنا:

1. عندما نكون ملتزمين بالعملية التشاركية في مشروعنا: قد يُدرَج التخطيط للتقييم وقد يُصمَّم بطريقة جماعية كجزءٍ من خطّة المشروع العامة.
2. عندما يتوافر لدينا الوقت الكافي، أو عندما تكون النتائج أهمّ من الوقت: كما أوضحنا في الجزء الأخير من هذا القسم، إنّ إحدى أبرز السيئات التي ينطوي عليها التقييم التشاركي تكمن في الوقت الذي يستغرقه. ففي حال لم يكن الوقت هو العامل الأهمّ يمكننا الاستفادة من حسنات التقييم التشاركي من دون أن يكون علينا التعويض عن الكثير من سيئاته.
3. عندما نتمكّن من إقناع المُموِّلين بأنّه فكرة جيّدة: قد يطلب المُموِّلون بالتحديد إجراء تقييمٍ خارجي، أو قد يشكّون بكلّ بساطة في قيمة التقييم التشاركي. في الحالتَين، قد يكون علينا إقناعهم لكي نتمكّن من استخدام العملية التشاركية. ولكن، إذا استطعنا الحصول على دعمهم فقد يحبّذ المُموِّلون التقييمَ التشاركي لأنّه غالباً ما يكون أقلّ كلفةً، ولأنّه يقدّم قيمةً مضافة من حيث التمكين والمهارات التي يمكن تناقلها.
4. في حال وجود بعض المسائل في المجتمع المحلّي أو في الفئة المعنية يجهلها على الأرجح المُقيِّمون الخارجيون (أو مزوّدو البرنامج): في الواقع، فإنّ العوامل السياسية، والاجتماعية، والعلائقية في المجتمع المحلّي قد تشوّه نتائج التقييم. وفي حال لا يدرك المُقيِّمون هذا العوامل وتاريخها، فقد لا يتنبّهون إلى أنّ ما يجدونه مطبوعٌ بطابعٍ مُعيَّن. أمّا المُقيِّمون المنتمون إلى المجتمع المحلّي فقد يساعدون على استيعاب تأثير هذه العوامل، وقد يقدّمون في نهاية المطاف تقييماً أكثر دقّة.
5. عندما نحتاج إلى معلوماتٍ يصعب على أيّ شخصٍ خارج المجتمع المحلّي أو الفئة المعنية أن يحصل عليها: إذا علمنا أنّ أعضاء المجتمع المحلّي أو الفئة المعنية غير مستعدّين للتكلّم بحرية مع أيّ شخصٍ خارجي، عندئذٍ يكون التقييم التشاركي طريقة لزيادة فرص حصولنا على المعلومات التي نحتاج إليها.
6. عندما تكمن إحدى غايات المشروع في تمكين المشاركين ومساعدتهم على تنمية المهارات التي يمكن تناقلها: هنا، يصبح التقييم التشاركي جزءاً من المشروع بحدّ ذاته ومن غاياته، كما يجدر به أن يكون في جميع الحالات.
7. عندما نريد لمّ شمل المجتمع المحلّي أو الفئة المعنية: إضافةً إلى تعزيز روح التعاون كما ذكرنا، فإن التقييم التشاركي يمكنه أن يخلق فرصاً للعمل المشترك والتعارف بين أشخاصٍ لا يتواصلون مع بعضهم البعض عادةً. وهذه الألفة قد تنتقل بعد ذلك إلى جوانب أخرى من حياة المجتمع المحلّي، وقد تغيّر الطابع الاجتماعي للمجتمع المحلّي على المدى البعيد.

مَن يجب أن يشارك في التقييم التشاركي؟

أشرنا مراراً إلى أصحاب المصلحة – أي الأشخاص المتأثّرين مباشرةً بالمشروع الذي يتمّ تقييمه. فمَن هم أصحاب المصلحة؟ في الواقع، يختلف أصحاب المصلحة باختلاف المشروع، وتبعاً لمحور الاهتمام، والتمويل، والمُخرَجات المنشودة، إلخ. ولكن، هناك عدد من المجموعات التي تكون معنية عادةً:

1. المشاركون أو المستفيدون: أي الأشخاص الذين يتوجّه إليهم المشروع. هؤلاء قد يؤلّفون مجموعةً مُحدَّدة (مثلاً: أشخاصٌ يعانون حالةً مرضية مُعيَّنة)، أو فئة مُعيَّنة (كالنازحين الجدد من بلاد النزاعات والحروب أو الوافدين للعمل)، أو مجتمعاً محلّياً برمّته. وقد يكونون حاصلين على خدمةٍ ما (مثلاً: التدريب الوظيفي)، أو قد يكونون بكلّ بساطة مستفيدين ممّا يقوم به المشروع (الوقاية من العنف في حيّ سكني مُعيَّن). غالباً ما يكون هؤلاء الأشخاص هم الأكثر استفادةً من نجاح المشروع، والأقلّ خبرةً في التقييم.
2. طاقم المشروع و/أو المتطوّعون فيه: أي الأشخاص الذين يقومون فعلياً بتنفيذ المشروع. قد يكونون محترفين، أو أشخاصاً يتمتّعون بمهاراتٍ مُحدَّدة، أو متطوّعين من المجتمع المحلّي. وهم قد يعملون مباشرةً مع المستفيدين من المشروع كمرشدين، أو معلّمين، أو مزوّدين للرعاية الصحّية، أو قد ينادون بحقوق المهاجرينأو العمال الوافدين، أو يحدّدون مكاناً مفتوحاً للحفاظ عليه، أو يجيبون على الهاتف والرسائل. أياً كانوا، غالباً ما يعرفون عملهم أكثر من أيّ شخصٍ آخر، وقد تكون حياتهم متأثّرة بالمشروع، تماماً كتأثر المشاركين أو المستفيدين.
3. الإداريون: أي الأشخاص الذين ينسّقون المشروع أو الجوانب المُحدَّدة فيه. تماماً كالموظّفين والمتطوّعين، الذين يعلمون الكثير عمّا يجري، كما أنّهم معنيون مباشرةً بالمشروع على الصعيد اليومي.
4. المُقيِّمون الخارجيون، إذا كانوا مشاركين: في حالاتٍ كثيرة، يجري توظيف المُقيِّمين الخارجيين ليقوموا بإدارة التقييمات التشاركية. وما من شكّ في ضرورة إشراكهم.
5. المسؤولون في المجتمع المحلّي: قد نحتاج إلى دعم قادة المجتمع المحلّي، أو قد نرغب بكلّ بساطة في إعطائهم وإعطاء المشاركين الآخرين فرصةَ التعرّف إلى بعضهم البعض ضمن سياقٍ قد يؤدّي إلى فهمٍ أفضل لاحتياجات المجتمع المحلّي.
6. الأشخاص الآخرون الذي تتأثّر حياتهم بالمشروع: يختلف تعريف هذه المجموعة إلى حدٍّ كبير بين مشروعٍ وآخر. بشكلٍ عام، تتألّف هذه المجموعة من الأشخاص الذين سوف تتغيّر وظائفهم أو نواحٍ أخرى من حياتهم إمّا من خلال سير المشروع بحدّ ذاته، وإمّا من خلال مُخرَجاته

نذكر كمثالٍ على ذلك مالكي الأراضي الذين قد يتأثّر استخدامهم المُحتمَل لهذه الأراضي بمبادرةٍ بيئية مُعيَّنة، أو بخطّةٍ في حيّ سكني مجاور.

كيف نُجري تقييماً تشاركياً؟

يشمل التقييم التشاركي عناصر تتعلّق بتصميم المشروع، بالإضافة إلى تقييمه. فما نقيّمه يعتمد على ما نريد معرفته وما نحاول القيام به. وتحديد أسئلة التقييم الفعلية يؤدّي إلى انطلاق المشروع تماماً كما يفعل البرنامج الاختباري المعياري الذي يوجّه التعليم. فعندما تنبع هذه الأسئلة من تقديرٍ يشترك فيه أصحاب المصلحة، يكون التقييم مرحلةً من مراحل عملية البحث التشاركي المرتكز إلى المجتمع المحلّي (راجعوا الفصل 36، القسم 2: البحث التشاركي المرتكز إلى المجتمع المحلّي).

والواقع أنّ التقييم التشاركي يقوم على مرحلتَين: الأولى تشمل إيجاد أصحاب المصلحة وتدريبهم ليشاركوا في التقييم. والثانية – التي قد تحدث بجزءٍ منها قبل المرحلة الأولى أو في خلالها – تتضمّن التخطيط والتطبيق للمشروع وتقييمه، وتتألّف من ستّ خطوات:

• تسمية المسألة وتأطيرها
• تطوير نظرية ممارسة للتعامل معها
• تحديد الأسئلة الواجب طرحها، وكيفية الإجابة عنها للحصول على المعلومات التي نحتاج إليها
• جمع المعلومات
• تحليل المعلومات التي جمعنا
• استخدام المعلومات للاحتفال بما نجح، ولتعديل المشروع وتحسينه.

سوف نتناول هاتين المرحلتَين بالتفصيل.

إيجاد أصحاب المصلحة وتدريبهم ليشاركوا في التقييم

للأسف، لا تقوم هذه المرحلة على الإعلان عن التقييم التشاركي فحسب، ثمّ انتظار الناس وهم يتهافتون للمشاركة فيه. في الواقع، قد تكون هذه المرحلة من أصعب الجوانب التي ينطوي عليها إجراء التقييم التشاركي.

هنا تُبنى الثقة التي ناقشناها سابقاً. فالفئة التي نعمل معها قد لا تثق بالأشخاص الخارجيين، أو قد تكون معتادة على وعود المشاركة التي يتبيّن أنّها وعود فارغة أو التي يتمّ تجاهلها بكلّ بساطة. وقد تكون معتادة على أن يتمّ تجاهلها بشكلٍ عام، و/أو أن تحصل على خدماتٍ وبرامج لا تلبّي احتياجاتها الفعلية. ففي حال لم نكن قد بنينا علاقةً تقوم على ثقة الناس بوعودنا، فقد حان الوقت للقيام بذلك الآن. قد يتطلّب هذا الأمر بعض الوقت والجهد (فقد يكون علينا أن نُثبِت أنّنا سوف نظلّ هنا بعد ستّة أشهر) ولكنّ الأمر يستحقّ العناء. فإذا حظينا بعلاقةٍ قوامها الثقة والاحترام المتبادلَين، فسوف نزيد حظوظ نجاح المشروع، ناهيك عن التقييم. (راجعوا الفصل 14، القسم 5: بناء الالتزام وإدامته، و7: بناء العلاقات وإدامتها.)

ولكن، لنفترض أنّ هذه الخطوة أُنجزت، وأنّنا بنينا علاقاتٍ جيّدة في المجتمع المحلّي وضمن الفئة التي نعمل معها، ومع موظّفي المشروع. ولنفترض أيضاً أنّ هؤلاء الأشخاص يعلمون القليل عن التقييم التشاركي إنْ هم علموا شيئاً. هذا يعني أنّهم يحتاجون إلى التدريب ليكونوا فعّالين.

إذا كان تقييمنا يشكّل بالفعل جزءاً من جهدٍ تشاركي أوسع، يُطرَح سؤال حول ما إذا كان يجب توظيف الفريق نفسه الذي قام بالتقديرات و/أو الذي خطّط للمشروع، ربّما مع بعض الإضافات، كالمُقيِّمين. طبعاً، ينطوي هذا الخيار على نواحٍ إيجابية وأخرى سلبية. فالفريق مُشكَّل مسبقاً، ولديه طريقة للعمل الجماعي، وقد حصل على بعض التدريبات في طرق البحث، إلخ. إذاً، إنّه يستطيع الانطلاق فوراً – وهذا بالتأكيد أمر إيجابي.

وبما أنّ لهم مصلحة كبيرة في رؤية البرنامج ناجحاً، قد يكون هذا الأمر إيجابياً أو سلبياً في الوقت نفسه: فقد يفسّرون نتائجهم في الضوء الأنسب، أو قد يهملون حتّى المعلومات السلبية، أو قد يكونون حريصين على رؤية المواضع التي ينبغي تحسين العمل فيها، وكيفة تحسينه، ليكون أفضل.

وهناك مسألة أخرى وهي الإرهاق. فالتقييم يتطلّب المزيد من الوقت، بالإضافة إلى ما قد قدّمه فريق التقدير والتخطيط. وصحيحٌ أنّ البعض قد يكونون مستعدّين للمتابعة، غير أنّ الكثيرين قد يكونون جاهزين لأخذ استراحةٍ (أو الانتقال إلى مرحلةٍ جديدة من حياتهم). فإذا كان احتمال تشكيل فريق جديد وارداً، فسوف يعطي ذلك الفرصة للذين أُرهِقوا لكي ينسحبوا بأمان.

ولا بدّ من الإشارة إلى أنّ كيفية معالجة هذه المسألة سوف تعتمد على مواقف المشاركين، وعلى عدد الأشخاص الذين نستطيع فعلياً الاتّكال عليهم (إذا كان تجنيد الفريق الأساسي صعباً فعلاً، فقد لا يكون لدينا الكثير من الخيارات)، وما التزم الناس به.

تجنيد المُقيِّمين: هناك طرق عدّة للقيام بذلك. في بعض الحالات، من المنطقي دعوة المتطوّعين، وفي حالاتٍ أخرى، من المنطقي مقاربة بعض الأفراد المُحدَّدين الذين سوف يكونون مستعدّين على الأرجح – بسبب التزامهم بالمشروع أو بالفئة المعنية. وكحلٍّ بديل، يمكن أن نقارب قادة المجتمع المحلّي أو أصحاب المصلحة لاقتراح المُقيِّمين المُحتمَلين.

لقد جرى تناول موضوع التجنيد في عددٍ من الأقسام الأخرى من "عدّة العمل المجتمعي"، لا سيّما الفصل 7: التشجيع على الانخراط في العمل المجتمعي، والفصل 11، القسم 1: تطوير خطّة لإشراك متطوّعين، والفصل 11، القسم 2: استقطاب متطوّعين، والفصل 36، القسم 2: البحث التشاركي المرتكز إلى المجتمع المحلّي.

تشمل بعض المبادئ التوجيهية الأساسية:

• استخدام قنوات وأساليب التواصل التي تصل إلى الأشخاص الذي نستهدفهم.
• توضيح رسالتنا قدر الإمكان.
• استخدام اللغة المشتركة (و/أو أيّ لغة أخرى تستخدمها الفئة المعنية) البسيطة.
• وضع رسالتنا حيث يكون الجمهور المُستهدَف.
• مقاربة المشاركين المُحتمَلين فردياً حيث يمكن ذلك. وإذا استطعنا إيجاد أشخاصٍ يعرفونهم ليجنّدوهم، يكون ذلك أفضل.
• تفسير ما يمكن أن يكسبه الناس من المشاركة.
• توضيح أنّهم يُسأَلون لأنّهم يتمتّعون بالميزات الضرورية للمشاركة.
• تشجيع الناس، ولكن أيضاً اعتماد الصراحة بشأن مقدار ومدى ما يجب القيام به.
• المناقشة مع المشاركين بشأن ما هم مستعدّون للقيام به وما يستطيعون إنجازه.
•  محاولة تقديم الدعم – كرعاية الأطفال أثناء مشاركة أهلهم مثلاً – لجعل المشاركة أسهل.

الطلب من الأشخاص الذين جنّدناهم أن يوصوا بالآخرين – أو أن يجنّدوهم.

بشكلٍ عام، من المهمّ بالنسبة إلى المُقيِّمين المشاركين المُحتمَلين – لا سيّما الذين لا تقوم صلتهم بالمشروع على وظيفتهم – أن يفهموا الالتزام الذي تنطوي عليه المسألة. فالتقييم يدوم سنةً على الأرجح، إلا إذا كانت مدّة المشروع أقلّ من ذلك بكثير. وصحيحٌ أنّه لا بدّ من توقّع بعض الانسحابات والتخطيط لها، غير أنّه ينبغي على معظم الفريق أن يكون متوافراً طوال هذه الفترة.

ومن أجل تسهيل هذا الالتزام، يجب أن نناقش مع المشاركين أنواع الدعم الذي سوف يحتاجون إليها للإيفاء بالتزامهم – كرعاية الأطفال والنقليات مثلاً – ومحاولة إيجاد طرقٍ لتوفيرها. كذلك، ينبغي تنظيم اللقاءات في الفترات وفي الأماكن الأسهل بالنسبة إليهم (مع الحرص على التقليل قدر الإمكان من عدد الاجتماعات). أمّا بالنسبة إلى المشاركين من بين موظّفي المشروع الذين يتقاضون أجوراً، فينبغي أن يُعتبَر التقييم جزءاً من عملهم الاعتيادي، لكي لا يكون عبئاً إضافيا غير مدفوع يشعرون أنّهم لا يستطيعون رفضه.

إلى ذلك، يجب أن نحرص على تشكيل فريقٍ يضمّ مجمل فئات أصحاب المصلحة. فكما ناقشنا سابقاً، إذا قمنا بتجنيد "القادة" حصراً من بين فئة المستفيدين مثلاً، قد يشعر الجزء الباقي من المجموعة بالاستياء، وقد لا نحصل على منظورٍ حقيقي عن تفكير هذه المجموعة أو انطباعاتها، وقد نُخِلُّ أيضاً بالطبيعة التشاركية التي ننشدها من التقييم. وحتّى لو أحسن القادة تمثيل المجموعة فقد نرغب في توسيع دائرة تجنيد المشاركين، آملين أن نبني المزيد من القيادة المجتمعية المحلية، وتمكين الأشخاص الذين قد لا يكونون مستعدّين دائماً للتعبير.

تدريب المُقيِّمين: قد يحتاج المشاركون، تبعاً لخلفياتهم، إلى التدريب في عددٍ من النواحي. فقد لا يمتلكون سوى خبرة ضئيلة في مجال حضور الاجتماعات والمشاركة فيها، مثلاً، وقد يحتاجون إلى البدء من هنا. لذلك، من الممكن أن يستفيدوا من مقدّمةٍ عن فكرة التقييم التشاركي، وكيف يجري. ومن المؤكّد أنّهم سوف يحتاجون إلى بعض التدريب في موضوع جمع البيانات وتحليلها.

يُذكَر أنّ كيفية تنفيذ التدريب سوف تختلف باختلاف احتياجات وبرامج عمل المشاركين والمشروع. فقد يتمّ التنفيذ على مراحل قصيرة تمتدّ لفترةٍ طويلة من الزمن – أسابيع أو أشهر – أو قد يحصل دفعةً واحدة في خلوةٍ تُعقَد في إحدى عطل نهاية الأسبوع، أو بالمزج بين هذين الاحتمالَين. فما من طريقةٍ صحيحة أو خاطئة هنا. في الخيار الأوّل، قد يُفسَح المجال أمام المزيد من الناس ليشاركوا، في حين أنّ الخيار الثاني يسمح للناس بأن يتعرّفوا على بعضهم البعض وأن يتّحدوا كفريقٍ. في حال استخدمنا  الطريقتين، فهذا يسمح بتحقيق الفائدتَين معاً.

وعلى المنوال نفسه، يوجد عدد كبير من طرق التدريب التي يمكن لمجموعةٍ  مُعيَّنة أن تستفيد من أيٍّ منها أو من جميعها. فأفضل طريقةٍ للتدريب على مهارات الاجتماع – كمعرفة متى يجب المساهمة والاستجابة وكيف، ومتابعة النقاش، إلخ – تكون عبر الإرشاد بدلاً من التعليم. وأفضل طريقةٍ لتعلّم مهارات إجراء المقابلات تكون عبر لعب الأدوار وغير ذلك من التقنيات الاختبارية. وهناك بعض التدريبات – كيفية مقاربة السكّان المحلّيين مثلاً – التي يُفضَّل أن تُعطى من قبل المشاركين أنفسهم.

في ما يلي بعض النواحي التي قد يكون التدريب عليها ضرورياً:

• عملية التقييم التشاركي: كيف يجري التقييم التشاركي، وغاياته، والأدوار التي قد يلعبها الناس في العملية، وما الذي يجب توقّعه.
• مهارات الاجتماع: متابعة النقاشات، ومهارات الإصغاء، وحلّ الخلافات أو النزاعات، والمساهمة والاستجابة بطريقة ملائمة، والقواعد والآداب العامة الرئيسية، إلخ.
• إجراء المقابلات: توفير جوّ مريح للناس، ولغة الجسد ونبرة الصوت، وطرح الأسئلة المفتوحة وأسئلة المتابعة، وتسجيل ما يقوله الناس والمعلومات المهمّة الأخرى، ومعالجة المقاطعات والإلهاءات، والمقابلات الجماعية. (يُرجى مراجعة الفصل 3، القسم 12: إجراء المقابلات، و15: الطرق النوعية في تقدير المسائل المجتمعية، فضلاً عن الفصل 40، القسم 3: الحصول على المردود من المشاركين واستخدامه، لمزيدٍ من التفاصيل حول مهارات إجراء المقابلات.)
• المراقبة: المراقبة المباشرة والمراقبة من قبل المشاركين، واختيار الأوقات والأماكن الملائمة للمراقبة، والمعلومات ذات الصلة التي يجب إدراجها، وتسجيل حصيلة المراقبات. (للمزيد عن تقنيات المراقبة راجعوا أيضاً الفصل 3، القسم 15: الطرق النوعية في تقدير المسائل المجتمعية).
• تسجيل المعلومات وإبلاغ المجموعة بها: ما يقوله ويفعله الأشخاص الذين تتمّ مقابلتهم ومراقبتهم، والرسائل غير الكلامية التي يرسلونها، وهويتهم (العمر، والوضع، إلخ)، والظروف، والتاريخ والتوقيت، والعوامل الأخرى التي أثّرت على المقابلة أو المراقبة.

بالنسبة إلى الأشخاص الذين لا يحبّذون الكتابة، أو الذين لا يجيدونها، أو الذين يعتبرون اللغة حاجزاً، يجب أن تتوافر لديهم طرق بديلة للتسجيل والإبلاغ. فالرسوم والصور، أو الخرائط، أو الرسوم البيانية، أو التسجيلات الصوتية، أو الفيديو، أو غيرها من الطرق المُبتكَرة لتذكُّر ما قيل وما روقب بالضبط.. جميعها يمكن أن تُستخدَم كبدائل بما يتناسب والوضع. وفي المقابلات، من المهمّ طلب إذن الشخص الذي سوف تُجرى معه المقابلة أوّلاً إذا كنّا ننوي استخدام التسجيلات الصوتية أو الفيديو وذلك قبل أن يأتي الشخص الذي سوف يُجري المقابلة، ومعه المعدّات، تجنّباً لأيّ سوء تفاهم.

• تحليل المعلومات: التفكير النقدي، وأنواع الأمور التي توضحها لنا الإحصائيات، وغيرها من الأمور التي ينبغي التفكير فيها. (راجعوا الفصل 17: تحليل مشكلات وحلول المجتمع المحلّي، لا سيّما الأقسام 2: التفكير النقدي، و3: تحديد المشكلة وتحليلها، و4: تحليل الأسباب الجذرية للمشكلات: تقنية "ولكن لماذا؟".)

راجعوا الفصل 12، القسمَين 2: تصميم جلسة تدريب، و3: إجراء جلسة تدريب، للمزيد عن التدريب بشكلٍ عام.

التخطيط للمشروع وتقييمه وتطبيقهما

هناك افتراضٌ هنا بأنّ جميع مراحل المشروع تتّخذ الطابع التشاركي، بحيث أنّ تقييمه والتخطيط له والتقدير الذي يقود إليه، جميعها تنطوي على مشاركة أصحاب المصلحة (ليس بالضرورة أن يكونوا الأشخاص أنفسهم الذين يلعبون دور المُقيِّمين). وفي حال لم يشارك أصحاب المصلحة منذ البداية فلن يكون لديهم الفهم العميق لأهداف المشروع وبنيته كما لو كانوا قد ساعدوا فيه. وبالتالي، سوف يكون التقييم أقلّ دقّةً – أي أقلّ قيمةً – من المشروع الذي يكونون مشاركين فيه منذ البداية.

تحديد وتأطير المشكلة أو الغاية الواجب مخاطبتها: إنّ تحديد ما نقيّمه يلقي الضوء على ما يخاطبه المشروع وينوي إنجازه. وممثّلو المجتمع المحلّي وأصحاب المصلحة، أي جميع الذين قد يربحون أو يخسرون شيئاً ما، يعملون معاً على تطوير رؤيةٍ ورسالةٍ مشتركتَين. ومن خلال جمع المعلومات حول الهموم المجتمعية وتحديد المقدّرات المتوافرة، يمكن المجتمعات المحلّية أن تفهم المسائل التي يجب أن يركّز عليها المشروع.

تحديد المشكلة أو الغاية يعني إلقاء الضوء على المسألة التي يجب مخاطبتها. أمّا تأطيرها فيتعلّق بطريقة نظرنا إليها. فإذا اعتبرنا أنّ عنف الشباب هو مشكلة مرتبطة بتنفيذ القانون، مثلاً، عندئذٍ ينطوي التأطير على طرقٍ مُحدَّدة لحلّها: قوانين أكثر صرامةً، تنفيذ أكثر صرامةً للقوانين، عدم التساهل بتاتاً مع العنف، إلخ. وإذا اعتبرناه مزيجاً بين عددٍ من المسائل – كتوافر الأسلحة اليدوية والبطالة واستخدام المخدّرات بين الشباب، والمسائل الاجتماعية التي تؤدّي إلى تشكُّل العصابات، والانعزال، واليأس في بعض الفئات المُحدَّدة، والفقر، إلخ – عندئذٍ قد تشمل الحلول برامجَ التوظيف والترفيه، والإرشاد، ومعالجة إساءة استخدام مواد الإدمان، إلخ، بالإضافة إلى تنفيذ القوانين.

فكلّما عرفنا المزيد عن مشكلةٍ ما، وكلّما أدرجنا وجهات نظر مختلفة في تفكيرنا حول المشكلة، نستطيع تأطيرها بدقّةٍ أكبر، وتزداد حظوظ إيجاد حلٍّ فعّال.

تطوير نظريةٍ للممارسة من أجل التعامل مع المشكلة:  كيف ننفذ جهداً مجتمعياً لكي نضمن حلّ المشكلة المطروحة؟ يجيب الكثير من المجتمعات المحلّية والمنظّمات عن هذا السؤال من خلال إطلاق برامج غير مُنسَّقة لعلاج المشكلة، أو من خلال اعتماد مقاربةٍ مُعيَّنة (كتنفيذ القوانين مثلاً) يُفترَض أنّها سوف تحلّ المشكلة. إذا ما أردنا أن ينجح في الواقع، فعلينا أن نضع خطّة لإيجاد حلٍّ، وتطبيقه، وتقييمه، وتعديله، والحفاظ عليه.

وبغضّ النظر عن التسمية التي نختارها لهذه الخطّة – نظرية في الممارسة، أو نماذج منطقية، أو مقاربة أو عملية – فينبغي أن تكون منطقية ومتّسقة، وأن تأخذ بعين الاعتبار جميع النواحي التي يجب تنسيقها حتّى تنجح، وأن تعطينا توجيهاً عامًا وقائمةً بالخطوت لاتّباعها وتنفيذها.

وبعد أن نكون قد حدّدنا المسألة مثلاً، فقد تنصّ إحدى نظريات الممارسة المُحتمَلة على ما يلي:

• تشكيل ائتلاف من المنظّمات، والوكالات، وأعضاء المجتمع المحلّي المعنيين بالمشكلة.
• تجنيد فريقٍ مختصّ بالبحث التشاركي وتدريبه، على أن يضمّ ممثّلين عن جميع مجموعات أصحاب المصلحة.
• قيام الفريق بجمع المعلومات المباشرة الإحصائية والنوعية عن المشكلة، وتحديد المقدّرات أو الموارد المجتمعية التي قد تساعد على التعامل معها.
• استخدام المعلومات التي لدينا لتصميم حلٍّ يأخذ في الحسبان درجة تعقيد المشكلة وسياقها.

قد يتعلق الأمر ببرنامج واحد أو مبادرة واحدة، أو قد يكون جهداً مُنسَّقاً على نطاق المجتمع المحلّي يضمّ العديد من المنظّمات، ووسائل الإعلام، والأفراد. إذا كان الأمر أقرب إلى الاحتمال الثاني، فهذا جزءٌ من التعقيد الذي علينا أخذه في الحسبان، إذ يجب أن يكون التنسيق جزءاً من الحل، كمثل طرق تخطّي العوائق البيروقراطية التي قد تحدث، وطرق إيجاد الموارد المالية والشخصية التي نحتاج إليها.

• تطبيق الحلّ.
• تنفيذ الرصد والتقييم الذي سوف يعطينا مردوداً مستمراً من الناس عن مدى نجاحنا في تحقيق الأهداف، وما الذي يجب تغييره لتحسين حلّنا.
• استخدام المعلومات التي حصلنا عليها من خلال التقييم لتعديل الحلّ وتحسينه.
• العودة إلى النقطة "ب" ومعاودة هذه الخطوة وفقاً للحاجة إلى أن تُحَلّ المشكلة، أو – لأن الأرجح أن الكثير من المشكلات المجتمعية لا تختفي أبداً فعلياً – أو معاودتها بشكلٍ متواصل لصيانة على مكاسبنا وزيادتها.

 

تحديد أسئلة التقييم الواجب طرحها، وكيفية طرحها، وذلك للحصول على المعلومات التي نحتاج إليها: كما ناقشنا من قبل، إنّ اختيار أسئلة التقييم يوجّه العمل في الأساس. فما نختاره فعلياً هنا هو ما سوف ننتبه إليه. قد يعطي البرنامج نتائج بارزة لم ندركها قط، لأنّنا لم نبحث عنها – أي أنّنا لم نطرح الأسئلة التي تشكّل هذه النتائج إجابات عنها. لذلك، من المهمّ للغاية اختيار الأسئلة بدقّة: فهي التي سوف تحدّد ما نجده.

تأطير المشكلة هو أحد العناصر هنا – أي وضعها في سياقها، والنظر إليها من جميع الجوانب، وتخطّي افتراضاتنا وتحيُّزاتنا من أجل الحصول على نظرةٍ أوضح وأشمل. وهناك عنصر آخر هو تصوُّر المُخرَجات والنتائج التي نريدها، والتفكير في ما يجب تغييره، وكيف نغيّره، من أجل بلوغها.

التأطير مهمٌّ في هذا النشاط أيضاً: إذا أردنا خفض عنف الشباب بكلّ بساطة، فقد يبدو تعزيز صرامة القوانين والتنفيذ حلاً معقولا، وذلك في حال افترضنا أنّنا مستعدّون للالتزام بذلك على الدوام، وفي حال كنّا لا نريد خفض عنف الشباب أو إلغاءه فحسب بل تغيير المناخ الذي يعزّزه (أي إحداث التغيير الاجتماعي الطويل الأمد)، يصبح الحلّ أكثر شموليةً ويتطلّب، كما أشرنا سابقاً، أكثر من مجرّد تنفيذ القوانين. والحلّ الأشمل يعني المزيد من أسئلة التقييم، والمزيد من التعقيد فيها.

في الحالة الأولى، قد تنحصر أسئلة التقييم في ما يلي (مع بعض التعديلات). مثال: "هل ازداد عدد الاعتقالات والاتّهامات بحقّ المعتدين الشباب بسبب قيامهم بجرائم عنيفة في الفترة الزمنية المدروسة، مقارنةً مع الفترة الأخيرة التي توافرت فيها سجلات قبل تنفيذ الحلّ الجديد؟"، "هل خضع المعتدون الشباب لعقوباتٍ أقسى من ذي قبل؟"، "هل انخفض عدد الحوادث العنيفة التي يتورّط فيها الشباب؟"

وإذا نظرنا إلى الصورة الأشمل، إلى جانب البعض من هذه الأسئلة، فقد نضيف أسئلةً عن البرامج الاستشارية للمعتدين الشباب بهدف تغيير مواقفهم والمساعدة على تسهيل إعادة دمجهم في المجتمع المدني، وعلاج الإدمان على المخدّرات والكحول، وضبط مبيعات الأسلحة اليدوية، وتغيير مواقف المجتمع المحلّي، إلخ.

جمع المعلومات: هذا هو الجزء الأكبر في تطبيق التقييم، على الأقلّ من حيث الوقت والمجهود. فقد يُجري الكثير من المُقيِّمين أيًّا من الخطوات التالية أو جميعها - وذلك تبعاً للمعلومات المطلوبة:

• البحث في سجلات المسح أو غيرها من السجلات العامة، بالإضافة إلى أرشيف الأخبار، ومجموعات المكتبات، والانترنت..إلخ.
• المقابلات الفردية و/أو الجماعية.
• المجموعات المُركَّزة.
• جلسات تشارك المعلومات المجتمعية.
• المسوح.
• المراقبة المباشرة أو المراقبة من قبل المشاركين.

في بعض الحالات – لا سيّما بين الفئات غير المتعلّمة في البلدان النامية – قد يتوجّب على المُقيِّمين أن يجدوا طرقاً مبتكَرة لاستخلاص المعلومات. في بعض الثقافات، قد تكشف الخرائط، أو الرسوم، أو التمثيلات ("انفترض أن هذه الصخرة تمثّل بيت الزعيم...")، أو حتّى إخبار القصص، أكثر ممّا تكشفه الإجابات عن الأسئلة المباشرة.

(لمزيدٍ من المعلومات عن التقنيات المعيارية، راجعوا الفصل 3، القسم 3: إقامة منتديات عامة وجلسات استماع، و6: تنظيم مجموعات مركّزة، و12: إجراء المقابلات، و13: إجراء المسوح، و15: الطرق النوعية في تقدير المسائل المجتمعية. وراجعوا أيضاً الفصل 31، القسم 1: كيف نُجري بحثاً: نظرة عامة.)

تحليل المعلومات التي جمعنا: بعد أن نكون قد جمعنا جميع المعلومات التي نحتاج إليها، تقوم الخطوة التالية على فهمها. ما الذي تعنيه الأرقام؟ وما الذي تشير إليه قصص الناس وآراؤهم بشأن المشروع؟ هل نفّذنا العملية التي كنّا قد خطّطنا لها؟ في حال لم ننفذها، هل أحدث ذلك فرقاً، إيجابياً أم سلبياً؟

في بعض الحالات، تسهل نسبياً الإجابة عن هذه الأسئلة. فإذا كانت لدينا أهداف مُحدَّدة لخدمة الناس، أو لإنجازات المستفيدين، بإمكاننا أن نكتشف بسرعةٍ ما إذا كنا حقّقناها أم لا. (لقد خطّطنا لخدمة 75 شخصاً، وقمنا فعلياً بخدمة 82 شخصاً. توقّعنا أنّ 50 شخصاً سوف يكملون البرنامج فيما61 أكملوه فعلياً.)

في حالات أخرى، يصعب أكثر تفسير معنى المعلومات. فماذا لو قال حوالى نصف الأشخاص الذين أُجريَت المقابلات معهم إنّ المشروع كان مفيداً بالنسبة إليهم، فيما قال النصف الآخر عكس ذلك؟ مثل هذه النتيجة قد تدفعنا إلى القيام ببعض الأعمال الاستكشافية (هل يوجد أيّ خصائص إثنية، أو عرقية، أو جغرافية، أو ثقافية مرتبطة بكلٍّ من الفئتَين؟ ومع مَن عملت كلّ مجموعة؟ وأين اختبروا المشروع، وكيف؟ وهل لدى أعضاء كلّ مجموعة أيّ قواسم مشتركة؟)

صحيحٌ أنّ جمع المعلومات يتطلّب أكبر مقدارٍ من العمل والوقت، إلا أنّ تحليلها يشكّل ربّما الخطوة الأهمّ في عملية إجراء التقييم. فتحليلنا يدلّنا على ما يجب معرفته من أجل تحسين مشروعنا، ويعطينا أيضاً الأدلّة التي نحتاج إليها للحصول على التمويل المستمرّ وعلى تأييد المجتمع المحلّي. ومن المهمّ أن تتمّ هذه الخطوة بشكلٍ جيّد، وأن تُفسَّر النتائج المبهمة كما في المثال الذي أوردناه أعلاه. وهنا تبرز أهمية التدريب الجيّد والإرشاد الجيّد لاستخدام التفكير النقدي وغيره من التقنيات. (يُرجى مراجعة الفصل 17: تحليل مشكلات وحلول المجتمع المحلّي، للمزيد عن التفكير النقدي وحلّ المشكلات.)

بشكلٍ عام، يجب أن تشمل عملية جمع المعلومات وتحليلها النواحي الثلاث التي ناقشناها سابقاً في هذا القسم: العملية، والتطبيق، والمُخرَجات. الغرض هنا يكمن في توفير المعلومات لتحسين المشروع وتوفير المساءلة  للمُموِّلين والمجتمع المحلّي.

• العملية: هذه الناحية تتعلّق بالجزء اللوجستي من المشروع. هل تمّ التنسيق والتواصل بشكلٍ جيّد؟ هل كانت عملية التخطيط تشاركية؟ هل كان الجدول الزمني الأوّلي واقعياً لكلّ مرحلةٍ من المشروع – كالتوسع في الوصول إلى المنتفعين، والتقدير أو القياس، والتخطيط، والتطبيق، والتقييم؟ هل تمكّنا من إيجاد أو توظيف الأشخاص المناسبين؟ هل وجدنا التمويل الملائم والموارد الأخرى؟ هل كان المكان ملائماً؟ هل عمل أعضاء فرق التخطيط والتقييم بشكلٍ جيّد معاً؟ هل قام الأشخاص بالمهام المنوطة بهم؟ هل برز أيّ قادة غير مُتوقَّعين (في مجموعة التخطيط مثلاً)؟
• التطبيق: هل قمنا بما خطّطنا للقيام به – كالوصول إلى العدد الذي خطّطنا له من الأشخاص، واستخدام الطرق التي اعتمدنا، وتوفير الخدمات أو الأنشطة بالمقدار والنوع اللذين خطّطنا لهما؟ في الواقع، إنّ هذا الجزء من التقييم لا يهدف إلى تقدير الفعالية، بل إلى تحديد ما إذا كان المشروع قد نُفِّذ وفقاً للمُخطَّط – أي ما قمنا به فعلياً، وليس ما أنجزنا كنتيجةٍ، فذاك الجزء يأتي تالياً.
• المُخرَجات: ما كانت نتائج ما قمنا به؟ هل حصل ما أملناه؟ إنْ كان قد حصل، فكيف نعلم ما إذا كان نتيجةً لما قمنا به، وليس نتيجة لعاملٍ آخر أو أكثر؟ هل ظهرت أيّ نتائج غير مُتوقَّعة؟ هل كانت إيجابية أم سلبية؟ لماذا حصل ذلك كلّه؟

استخدام المعلومات للاحتفاء بما نجح، ولتعديل المشروع وتحسينه: صحيحٌ أنّ المصداقية مهمّة – فإذا لم يُحدث المشروع أيّ أثرٍ، مثلاً، يكون بكلّ بساطة مجهوداً ضائعاً – فالتوجّه الحقيقي للتقييم الجيّد هو توجّه تكويني. وهذا يعني أنّه يرمي إلى توفير المعلومات التي من شأنها أن تساعد على الاستمرار في تكوين المشروع، وإعادة تشكيله ليكون أفضل. وبنتيجة ذلك، تكون الأسئلة العامة لدى النظر إلى العملية، والتطبيق، والمُخرَجات هي التالية: ما الذي نجح؟ وما الذي لم ينجح؟ وما هي التغييرات التي قد تحسّن المشروع؟

تتطلّب الإجابة عن هذه الأسئلة المزيد من التحليل، ولكنّها تسمح لنا بتحسين المشروع إلى حدٍّ كبير. وبالإضافة إلى التخلّي عن عناصر المشروع التي لا تنجح، أو تغييرها وتعديلها، يجب ألا نهمل تلك العناصر التي كانت ناجحة. فما من شيءٍ كامل، وحتّى المقاربات والطرق الفعّالة يمكن تحسينها.

إلى ذلك، يجب ألا ننسى الاحتفاء بنجاحاتنا. فالاحتفال يعترف بالعمل الجاد الذي قام به جميع المشاركين، وبقيمة ما نبذله من جهد. إنّه يولّد الدعم المجتمعي ويقوّي التزام المشاركين. وربّما كان الأهمّ من ذلك كلّه أنّه يوضح أنّ عمل الناس مع بعضهم البعض قد يحسّن نوعية الحياة في المجتمع المحلّي.

وهناك عنصر أخير لا يمكن تجاهله في البحث والتقييم التشاركي: فعندما نبدأ مشروعاً ما ونجعله ناجحاً فإنه يتعيّن علينا المحافظة عليه. إذاً، يجب أن يستمرّ البحث والتقييم التشاركي – ربّما ليس مع الفريق عينه، بل مع فرقٍ تمثّل جميع أصحاب المصلحة. فالظروف تتغيّر، وعلى المشاريع أن تتكيّف معها. والبحث في هذه الظروف والتقييم المتواصل لعملنا من شأنهما أن يضْمَنا تجدّد هذا العمل وفعاليته.

وقد نظن أنّنا انتهينا من عملنا في حال كان مشروعنا ناجحاً. ولكن، فلنفكّر أكثر: فالمشكلات المجتمعية لا تُحَلّ إلا إذا تمّت ممارسة الحلول بشكلٍ ناشط. ففي اللحظة التي نهمل العمل فيها يمكن أن تبدأ الظروف التي جاهدنا كثيراً في سبيل تغييرها بالعودة إلى حالتها الأساسية. لذلك، ينبغي أن يتواصل العمل – المدعوم بالبحث والتقييم التشاركي – على الدوام للحفاظ على المكاسب التي ربحناها وزيادتها.

الخلاصة

يشكّل التقييم التشاركي جزءاً من البحث التشاركي. فهو ينطوي على مشاركة أصحاب المصلحة في مشروعٍ مجتمعي معيّن في وضع معايير التقييم لهذا المشروع، وجمع البيانات وتحليلها، واستخدام المعلومات المُكتسَبة لتعديل المشروع وتحسينه.

وتسهم العملية التشاركية في جمع مختلف وجهات نظر الأشخاص المتأثّرين مباشرةً بالمشروع – وجميعها مهمّة –  وهم على الأرجح مرتبطون أيضاً بتاريخ المجتمع المحلّي وثقافته. فقد تكون المعلومات والآراء المستنيرة التي يساهمون بها أساسيةً لفعالية المشروع. علاوةً على ذلك، فإنّ انخراطهم يشجّع على التأييد المجتمعي، وقد يؤدّي إلى مكاسب مهمّة من حيث المهارات، والمعارف، وثقة الباحثين بأنفسهم وتقديرهم لذواتهم. إذاً، بشكلٍ عام، يُعَدُّ التقييم التشاركي مكسباً للكلّ في جميع الأحوال.

ويُذكَر أنّ إجراء التقييم التشاركي ينطوي على عدّة خطوات:

• تجنيد فريق للتقييم يتألّف من أصحاب المصلحة، وتدريبه.
• تحديد المشكلة وتأطيرها.
• تطوير نظريةٍ للممارسة لتوجيه مسار العمل.
• طرح أسئلة التقييم المناسبة.
• جمع المعلومات.
• تحليل المعلومات.
• استخدام المعلومات للاحتفال وتعديل عملنا.

ولا بدّ من الإشارة إلى أنّ الخطوة الأخيرة، كما في الكثير من استراتيجيات وأعمال بناء المجتمع المحلّي الموصوفة في عدّة العمل المجتمعي، تقوم على مواصلة العمل. فيجب أن يستمرّ البحث التشاركي بشكلٍ عام، والتقييم التشاركي بشكلٍ خاص، طوال فترة استمرار العمل، من أجل تتبّع احتياجات المجتمع المحلّي وظروفه، والاستمرار في تعديل المشروع ليكون أكثر استجابةً وفعالية. وغالباً ما يتوجّب مواصلة العمل على الدوام للحفاظ على التقدّم، وتجنّب العودة إلى الظروف أو المواقف التي جعلت المشروع ضرورياً في الأساس.

الأداة: جمع البيانات ضمن فريق: كيف نقوم به جيّداً؟

هذه قائمةٌ بالإجابات من لائحتَي البريد الالكتروني ARLIST-L (البحث) و CBPR(البحث التشاركي االمرتكز إلى المجتمع المحلّي) عن مجموعةٍ من الأسئلة أرسلتها ميشيل غاريد في تشرين الثاني/نوفمبر 2007. االنصوص المكتوبة بالحرف الأسود تمثّل الأسئلة الأوّلية. وجميع النصوص الأخرى تمثّل الإجابات المُلخَّصة.

من: ميشيل غاريد mgarred5@hotmail.com

الموضوع: جمع البيانات ضمن فريق: كيف نقوم به جيّداً؟

زملائي الأعزّاء،

إنّني أعمل ضمن إطار مشروعٍ بحث تدخّلي يرمي إلى إجراء اختبارٍ ميداني لطريقةٍ جديدة في بناء السلام المرتكز إلى المجتمع المحلّي، بالتعاون مع وكالةٍ شريكة في الفيليبين. في الوكالة، يوجد فريق أساسي تشكّل خصيصاً لهذا المشروع، ونحن نتعاون في تصميم البحث، وجمع البيانات، وتحليلها، وتوزيع النتائج. ويهدف المشروع إلى بلوغ مُخرَجين:

•  إيجاد مرجعٌ يتضمّن الدروس المستفادة يركز على الممارِسين تتولّى نشره الوكالة الشريكة،
•  أطروحة الدكتوراه الخاصة بي.

 سوف يتمّ إجراء الجزء الأكبر من عملية جمع البيانات كفريق، بدلاً من المقاربة التقليدية لجمع البيانات من قبل باحثٍ واحد. وتساورني بعض الأسئلة حول كيفية القيام بذلك بشكلٍ جيّد. ومن بين الأسئلة الكثيرة...

1. ما هي الحسنات المنهجية لجمع البينات ضمن فريق؟ وما هي السيئات التي يجب أن نتفاداها؟

الحسنات:

• جمع البيانات – مقابلة المزيد من المشاركين/زيادة حجم العيّنة، وبالتالي زيادة الموثوقية وصحّة البيانات بالمبدأ، مع تقليل الوقت وتخفيض تكاليف القيام بالدراسة.
• تحليل البيانات – التنوّع ضمن فريق البحث قد يُغني التحليل ويعطي وجهات نظر جديدة. 

السيئات:

• المزيد من الشخصيات والأنشطة التي يجب تنسيقها، أي المزيد من احتمالات عدم سير الأمور على ما يُرام.
• ضمان النوعية: احتمال عدم الاتّساق في تحليل الأسئلة، واحتمال ورود بيانات غير ملائمة، أو خاطئة، أو غير ضرورية.
• قد يقتضي تحفيز الفريق تسديد البدلات و/أو المحفّزات، والدعم الكامل من المشرف على الفريق.

يمكن مخاطبة السيئات من خلال التدريب...

• الحاجة إلى تدريبٍ متّسق ومنهجي لجامعي البيانات.
• يُجري قائد البحث مقابلاتٍ تجريبية أوّلاً، لمعرفة أفضل طريقة لتدريب الفريق.
• إجراء جلسات تدريب على المقابلات قبل البدء بالمقابلات الفعلية.
• في أثناء التدريب، استجواب بعض الأشخاص المجرَّبين سابقاً لأغراض التدريب، وتحديد درجةٍ عالية من التوافق بين المقيّمين حرصاً على أن يبرهن الأشخاص الذي يجرون المقابلات عن أنّهم يعتمدون تقنيةً ملائمة، قبل أن "نفلتهم" على فئتنا المُستهدَفة.
• التأكّد من أنّ جميع الأشخاص الذين سوف يجرون المقابلات يعرفون كيف يطرحون أسئلة المتابعة المُعمَّقة، لاستنباط وضوح المعنى، والعمق، والأمثلة، إلخ.
• الحرص على وضوح القواعد الأساسية لإجراء المقابلات. على سبيل المثال، ما هي تعليقات المتابعة التي قد يضيفها الشخص الذي يجري المقابلة لمساعدة الشخص الآخر على فهم السؤال؟ وما هي الكلمات التي يمكن و/أو لا يمكن استخدامها؟
• إثبات المهارات قبل انتهاء مرحلة التدريب.

...ومن خلال الاجتماعات المنتظمة للفريق:

• الاجتماع بشكلٍ دوري طوال فترة جمع البيانات. فمن شأن ذلك أن يساعد على تحديد أيّ صعوبات، وتنقيح عمليتنا في أثناء سيرها.
• عقد اجتماعات منتظمة – يومية في البداية إذا لزم الأمر – لاستخلاص المعلومات، وتحديد مواطن الخلل، وذلك مع جامعي البيانات كافةً، لكي يستفيد الجميع من مشكلات الآخرين وحلولهم.
• اجتماعات منتظمة لضمان النوعية: بما أنّ جامعي البيانات هم شركاء وليسوا موظّفين، فسوف يتعيّن علينا تدريبهم بطريقةٍ تعاونية ودبلوماسية. وقد يكون من المفيد إجراء مراجعة جماعية للبيانات التي تمّ جمعها، كلّ يومٍ أو كلّ أسبوع، وذلك من أجل ضمان النوعية وتشكيل مجموعة دعم.
• إذا كان الأشخاص غير متواجدين ضمن الموقع نفسه، ينبغي التفكير في عقد الاجتماعات عبر الهاتف أو الانترنت حيث أمكن.

1. سوف يكون لدينا فريق مؤلّف من 5 أشخاص، ليتولّى إجراء المقابلات شبه المُنظَّمة. على الأرجح لن نستخدم التسجيلات الصوتية. بالتالي، كيف يمكننا تصميم بروتوكولات الأسئلة المكتوبة، ونماذج تدوين الملاحظات، وعمليات تدوين الملاحظات، بحيث نزيد قدر الإمكان من عمق البيانات واتّساقها

• إجراء بعض المجموعات المُركَّزة الأوّلية لتوضيح الأسئلة والمشكلات. يجب أن نطلب من الأشخاص الذين سوف يجرون المقابلات أن يشاركوا في المجموعات المُركَّزة و/أو أن يساعدوا فيها، كجزءٍ من تدريبهم، على أن نتناقش معهم لاستخلاص المعلومات في ما بعد.
• استخدام بيانات المجموعة المُركَّزة لتطوير بعض قوائم المراجعة/خانات المراجعة للاستجابات المُتوقَّعة، حتّى نحصل على الأقلّ على البيانات الكمية.
• تطوير دليل المقابلات مع الفريق المختصّ بها. من الممكن استخدام عملية تشاركية، مثل طريقة "التفاكر بواسطة البطاقات"، لبناء توافق الفريق بشأن الأسئلة التي سوف تُطرَح. في ما يلي مثالٌ عن طريقة التفاكر بواسطة البطاقات.
• استخدام فرقٍ لجمع البيانات مؤلّفة من شخصَين في الفريق، على أن يقوم الشخص الثاني بتدوين الملاحظات والإصغاء/الانتباه إلى أيّ مشاكل قد تطرأ، إذا أمكن ذلك.

1. كيف يمكنني أن أشجّع شركائي وأساعدهم على تدوين الملاحظات، عندما لا يكون التوثيق الكتابي مهارتَهم المُفضَّلة أو الأقوى؟

 هنا أيضاً، يمكن مخاطبة هذه المسألة من خلال تدريب الفريق والاجتماعات المنتظمة...

• للمتدرّبين على إجراء المقابلات: إظهار الطريقة المناسبة وكذلك الطريقة غير المناسبة للقيام بذلك، فهم يحتاجون إلى رؤية السلوك النموذجي والأخطاء التي يجب تجنّبها.
• إيجاد طريقةٍ لكي نصوّر لهم كيف يمكن أن تكون المذكّرات أو التقارير الخاطئة عن المقابلة، ومدى صعوبة تحليل بيانات المقابلة إذا كان محتواها يفتقر إلى العمق.
• التطرّق من جديد إلى هذه المسألة في اجتماعاتٍ منتظمة للفريق، وذلك في خلال مرحلة جمع البيانات.

... ومن خلال التصميم الحكيم لبروتوكولات تدوين الملاحظات:

• الحرص على وجود مكانٍ لتدوين الملاحظات كإجابةٍ عن كلّ سؤال في بروتوكول المقابلة المكتوب، وأيضاً لتدوين التعليقات الجانبية التي يدلي بها الشخص الذي نجري المقابلة معه.
• بالإضافة إلى ذلك، قد نطلب من أعضاء الفريق كتابة مُلخَّصٍ موجز ضمن مهلة 24 ساعة بعد إتمام المقابلة.
• تركيز عملية تدوين الملاحظات على التذكُّر المباشر للكلمات التي تفوّه بها الشخص الذي نجري المقابلة معه. فعلى مَن يُجري المقابلة أن يسعى جاهداً إلى عدم قيامه بالتحليل الضمني في هذه المرحلة. فينبغي أن نُؤجِّل التحليل إلى خطوةٍ لاحقة منفصلة للمتابعة.

1. إنّني أفهم أنّ عملية جمع البيانات كفريق هي عملية شائعة في مجال البحث، ولكنّها أقلّ شيوعاً في مجال أطروحات الدكتوراه. لذلك، أتساءل ما هو المقدار المقبول، في أطروحة الدكتوراه الخاصة بي، من البيانات المجموعة من قبل فريقٍ مقابل تلك المجموعة مباشرةً من قبلي؟ سوف يفيدني سماع الآراء المختلفة حول هذه المسألة.

• البيانات الكمية: قد تُحدَّد نسبةٌ عشوائية مقدارها 10% من البيانات، على أن تُراجَع للحرص على ضمان النوعية.
• أقترح جمع البيانات قدر المستطاع، وصولاً إلى متوسّط ما أجراه الفريق، لمعرفة ماهية تجربتهم بالفعل.
• طالما أنّنا نوجّه الدراسة، لا مانع من التشارك في عملية جمع البيانات، ولكن، سوف يكون علينا الانخراط بالكامل في جميع جوانب الدراسة، لا سيّما الترميز والتحليل.
• يقترح كلٌّ من أُورتْرون زوبر- سْكيريْت وتْشاد بِيري التمييز بين البحث الميداني (الذي يشترك فيه الآخرون)، والأطروحة البحثية التي هي بمثابة تفكيركم الخاص حول البحث الميداني.

Zuber-Skerritt, Ortrun, and Perry, Chad (2002)  Action research within organisations and university thesis writing.  The Learning Organization, 9(4), 171-179.

1. كيف نذكر مقابلات الفريق في أطروحة الدكتوراه؟

• في جدولٍ ضمن المستند.
• أفترض أنّه لن يتمّ ذكر معلومات عن المقابلات والأفراد الذين أجروها في الأطروحة نفسها، حتّى لو كنّا نعرف مَن قال ماذا في ملاحظاتنا الميدانية وأنشطة ضمان النوعية.
• أعتقد أنّه يجب شرح كيفية تنفيذ الدراسة في متن النصّ، بما في ذلك مؤهّلات أعضاء الفريق. فحيث أنّهم جزء من قسم "الإنسان كأداة"، يجب أن نتشارُك خلفياتهم وخبرتهم كباحثين  وذلك لتنمية حسٍّ من الثقة لدى القارئ بمؤهّلات جامعي البيانات.
• عند ذكر المراجع، يمكن اختيار نمط "APA". ولكن أعتقد أنّ ذلك يقتضي ذكر المقابلات في النصّ من خلال الإشارة إلى تاريخ المقابلة، ثمّ ذكر نمط "APA" في قائمة المراجع.
• التفكير مسبقاً في ما إذا كنّا سوف نستخدم الأسماء الحقيقية للمشاركين أم الأسماء المُستعارة.

ما هو التقييم التشاركي؟

__ التقييم التشاركي هو تقييم يضمّ جميع أصحاب المصلحة في المشروع – الأشخاص المتأثّرين مباشرةً به أو بتنفيذه – في كلّ مرحلةٍ من تقييمه، وفي تطبيق نتائج هذا التقييم بغية تحسين العمل.

ما الذي يدعونا (وما الذي لا يدعونا) إلى استخدام التقييم التشاركي؟

الحسنات:

__ إنّه يعطينا منظوراً أفضل عن الاحتياجات الأوّلية للمستفيدين من المشروع، وعن آثاره النهائية.

__ إنّه يعطينا معلوماتٍ لا يمكننا الحصول عليها بطريقةٍ أخرى.

__ إنّه يحدّد ما الذي نجح وما الذي لم ينجح من منظور المعنيين مباشرةً – المستفيدين والموظّفين.

__ إنّه يشرح لنا سبب نجاح أو فشل أمرٍ ما.

__ إنّه يؤدّي إلى مشروعٍ أكثر فعاليةً.

__ إنّه يمكّن أصحاب المصلحة.

__ إنّه يعطي صوتاً للأشخاص الذين غالباً ما لا يتمّ الإصغاء إليهم.

__ إنّه يعلّم بعض المهارات التي يمكن استخدامها في الوظيفة وفي نواحٍ أخرى من الحياة.

__ إنّه يعزّز الثقة بالنفس وتقدير الذات لدى الذين يفتقرون إليهما.

__ إنّه يبرهن للناس أن هناك طرقاً للتحكّم أكثر بحياتهم.

__ إنّه يشجّع انتماء أصحاب المصلحة إلى المشروع.

__ إنّه يستطيع تحفيز روح الابتكار لدى جميع المعنيين.

__ إنّه يشجّع العمل التعاوني.

__ إنّه يشكّل جزءاً من جهدٍ تشاركي أوسع.

السيئات:

__ إنّه يستغرق وقتاً أطول من الوقت الذي تستغرقه العملية التقليدية.

__ إنّه يتطلّب بناء الثقة بين جميع المشاركين في العملية.

__ يجب أن نتأكّد من أنّ الجميع منخرطون في التقييم، وليس "قادة" المجموعات المختلفة فقط.

__ يجب أن نساعد الناس على أن يفهموا التقييم وكيف تعمل العملية التشاركية، فضلاً عن تعليمهم مهارات البحث الأساسية.

__ علينا الحصول على التأييد والالتزام من قبل المشاركين.

__ إنّ حياة الناس – كالمرض، ومشكلات رعاية الأطفال والعلاقات، وجني المحاصيل، إلخ – قد تسبّب تأخيراً أو قد تعيق مسار التقييم.

__ قد نحتاج إلى أن نكون مُبدِعين بشأن طريقة الحصول على المعلومات، وتسجيلها، والإبلاغ عنها.

__ قد لا يفهم المُموِّلون وصانعو السياسات التقييمَ التشاركي أو قد لا يؤمنون به.

متى يمكن أن نستخدم التقييم التشاركي؟

__ عندما نكون ملتزمين بالعملية التشاركية في مشروعنا.

__ عندما يتوافر لدينا الوقت الكافي، أو عندما تكون النتائج أهمّ من الوقت.

__ عندما نتمكّن من إقناع المموِّلين بأنّه فكرة جيّدة.

__ في حال وجود بعض المسائل في المجتمع المحلّي أو في الفئة المعنية يجهلها على الأرجح المُقيِّمون الخارجيون (أو مزوّدو البرنامج).

__ عندما نحتاج إلى معلوماتٍ يصعب على أيّ شخصٍ خارج المجتمع المحلّي أو الفئة المعنية أن يحصل عليها.

__ عندما تكمن إحدى غايات المشروع في تمكين المشاركين ومساعدتهم على تنمية المهارات التي يمكن تناقلها.

__ عندما نريد لمّ شمل المجتمع المحلّي أو الفئة المعنية.

مَن يجب أن يشارك في التقييم التشاركي؟

جميع أصحاب المصلحة، بمن في ذلك:

__ المشاركون أو المستفيدون.

__ طاقم المشروع و/أو المتطوّعون فيه.

__ الإداريون.

__ المُقيِّمون الخارجيون، إذا كانوا مشاركين.

__ المسؤولون في المجتمع المحلّي.

__ الأشخاص الآخرون الذين تتأثّر حياتهم بالمشروع.

كيف نُجري تقييماً تشاركياً؟

__ تجنيد أصحاب المصلحة كمُقيِّمين مشاركين.

__ تدريب المُقيِّمين.

__ تحديد المسألة وتأطيرها.

__ تطوير نظريةٍ للممارسة من أجل مخاطبتها.

__   تحديد أسئلة التقييم.

__ جمع المعلومات.

__ تحليل المعلومات.

__ استخدام تحليلنا للاحتفال بما نجح، ولتعديل الباقي من أجل تحسين المشروع.

__ المحافظة عليه على الدوام.

Example 1: True Collaboration for a Win-win in Community-engaged Research

Dr. Marvia Jones, Director of the Kansas City Health Department, spoke on partnerships in community-engaged research at the Life Span Institute's 2024 Collaboratory on January 11th, 2024: 

When we think about the word "partner," we can think about a significant other. If I were to say, "What do you want out of your partnership with your significant other?", you may say things like, "you're with me from beginning to the end, you learn about what motivates me, you learn about what excites me, what I need in order to get through the day or the month or the year." Right? And so, I would say, from the community side, regarding partnership and community-engaged research, we want similar things.

We want someone who is with us, who engages us from the very beginning of a process, so we actually feel like a partner. In that process, do we look at the problem together? How do we discuss what both of us need to get out of this?

I've heard this idea of researchers walking alongside community partners. What that also means is if I, as a practitioner, as a partner, need to take survey data to my governing board, or my officials, and it needs to be presented in a certain way - maybe that is not necessarily how the research originally planned to share the information. Well, now we have a dilemma. But as a partnership, through our partnership, we have to work through those solutions.

Those are some of the things that I think we look for in a community-based research partnership, having that flexibility and understanding. One of the things that I noticed, as I went from being a researcher to being in practice, is you lose some of the hours that you used to have to sit and wonder, to brainstorm together in team meetings and research lab meetings, and conferences, where you can consider, “you know what would be cool to think about?”

What I've realized is that once you're in the job of reporting to a board and reporting to a council, you've got to have results. You've got to deliver. We are on a timeframe. And so, we do need a partner who is doing that thinking for us, and with us, making the space and providing information in bites that are accessible and digestible for us. And understanding we don't have a lot of time to pore over data and records. But we do want useful, timely information.

So, when it comes to partnerships, I like to think of it in terms of a marriage where you're trying to really meet each other's needs, mutually.

عرض تقديمي ل PowerPoint تلخيص النقاط الرئيسية في هذا الباب.

• ¿Qué queremos decir con “seleccionar las preguntas”?

• ¿Por qué es necesario seleccionar cuidadosamente las preguntas de la evaluación?

• ¿Cuándo se deben  seleccionar las preguntas y planear la evaluación?

• ¿Quién deberá estar involucrado en el proceso?

• ¿Cómo se seleccionan las preguntas y se planea la evaluación?

Los Capítulos 36-39 de la Caja de Herramientas Comunitarias se refieren a la evaluación de los programas comunitarios. Hemos elegido dedicar tanto espacio a la evaluación porque es una de las partes más importantes de cualquier esfuerzo para mejorar  la vida comunitaria y realizar un cambio social duradero. Ella puede ayudarlos a comprender mejor qué tan bien anduvieron el planeamiento y los preparativos para su programa, si ustedes lo llevaron a cabo como pretendían,  y cuáles fueron las consecuencias.Ella puede decirles si cumplieron sus metas y objetivos originales o no, y darles información sobre lo que necesitan cambiar para ser más efectivos.

El Capítulo 36 explica cómo funciona una evaluación, y da alguna guía sobre cómo desarrollarla. El Capítulo 38 los ayudará a reunir y analizar la información que desean, y el Capítulo 39 trata sobre cómo usar esa información para mejorar su programa y acumular apoyo comunitario y financiero. Aquí, en el  Capítulo 37, observamos a la evaluación desde un punto de vista investigativo - cómo planear y estructurar una evaluación que pueda ayudarlos a comprender mejor y a mejorar lo que hacen.

En esta sección, discutiremos el primer, y tal vez más importante paso, en la investigación de la evaluación: decidir exactamente qué evaluar. Cada parte del resto de las secciones en el capítulo tratará en detalle cada paso que se tendrá que dar para diseñar, implementar, y usar la evaluación. El objetivo del capítulo es proporcionar lineamientos que sean útiles para las organizaciones de base local o comunitaria así como para estudiantes o investigadores académicos.

¿Qué queremos decir con “seleccionar las preguntas”, y por qué ello es necesario?

Cada evaluación, como cualquier otra investigación, comienza con una o más preguntas. Algunas veces, las preguntas son simples y fáciles de responder. (¿Estaremos más o menos cerca de las 50 personas que esperamos ayudar?) A menudo, sin embargo, las preguntas pueden ser complejas, y las respuestas menos fáciles de obtener. (¿Cuál, o qué combinación, de las tres partes de nuestra intervención afectarán a cuál de los dos cambios de comportamiento que buscamos en nuestros participantes?) Las preguntas que se haga su organización guiarán no sólo su evaluación, sino su programa también. Mediante su selección de preguntas, también se está definiendo qué es lo que se está tratando de cambiar.

Ustedes eligen las preguntas de su evaluación mediante el análisis del problema o tema comunitario al que están apuntando,  y al decidir cómo quieren afectarlo. ¿Por qué quieren hacer esta particular pregunta en relación con su  evaluación? ¿Cuál es la parte del asunto que es más urgente o vital cambiar? ¿Qué indicadores les dirán si ese cambio está teniendo lugar? ¿Es eso todo lo que les preocupa? Las respuestas a cada una de estas y otras preguntas ayudan a definir qué es lo que se está tratando de hacer, y, por extensión, cómo van a tratar de hacerlo.

¿Cuál es el verdadero objetivo de un programa para introducir comidas más saludables en los almuerzos escolares? Podría ser simplemente convencer a los niños de que coman más frutas, vegetales y granos enteros. Podría ser conseguir que ellos coman menos comida chatarra. Podría ser alentar la pérdida de peso en niños que tienen sobrepeso o que están obesos. Podría ser educarlos sobre la alimentación saludable,  y persuadirlos de ser más aventurados en la elección de sus comidas.

Las preguntas de evaluación que se hagan tanto reflejarán cómo determinarán las metas para el programa. Si no se mide la pérdida de peso, por ejemplo, entonces claramente eso no es a lo que están apuntando. Si solamente se toma en cuenta el aumento de alimentos saludables que consumen los niños,  se ignorará el hecho de que si ellos no dejan de comer otras cosas (comida chatarra, por ejemplo), simplemente aumentarán de peso. ¿Es eso de todos modos mejor que el que no coman alimentos saludables? Ustedes contestarán esa pregunta por lo que elijan examinar – si es mejor, les podrá no preocupar qué más están comiendo los niños; y si no, entonces sí les preocupará.

Algunas de las preguntas básicas a hacerse al seleccionar las preguntas evaluativas son:

¿Qué es lo que quieren saber?

Los académicos y otros investigadores pueden enfocar la elección de las preguntas de la investigación de manera diferente a aquéllos involucrados en los programas comunitarios. Además de sus aplicaciones prácticas y sociales, ellos pueden seleccionar problemas para investigar simplemente por qué son interesantes, o por qué se relacionan con otro trabajo que ellos o sus colegas están haciendo. Los trabajadores de servicios comunitarios y otros directamente involucrados en los programas, por el otro lado, están específicamente interesados en mejorar lo que están haciendo para poder ayudar a  elevar la calidad de vida de los participantes de sus programas, y a menudo, de la comunidad como un todo. Puesto que asumimos que la mayoría de los que usen este capítulo de la Caja de Herramientas es probable que sean trabajadores de la comunidad, veamos algunas de las razones por las que ellos podrían seleccionar un área en particular para evaluar.

Si se está aplicando o por aplicar, un programa para afectar un tema o problema comunitario,  se querrá contestar una o más de las siguientes preguntas:

¿Existe una relación causa-efecto (es decir, una acción o condición que directamente cause otra) entre una acción determinada y un cambio determinado? Generalmente, a su organización le preocupará esto en relación con su programa. (Nuestro grupo de apoyo para dejar de fumar ¿ayuda a los miembros a abandonar el cigarrillo?) Algunas veces, sin embargo, puede ser importante mirarlo en relación con la comunidad. (La prohibición de fumar en edificios públicos, bares y restaurantes, ¿lleva a una disminución en el número de residentes de la comunidad que fuman?)

Si nosotros probamos este nuevo método, ¿qué sucederá?

El programa que funcionó en el pueblo vecino, o sobre el que leímos en un periódico profesional, ¿funcionará con nuestra población, o con nuestro problema?

¿Por qué están interesados?

Algunas de las mismas diferencias entre las preocupaciones de los investigadores y las preocupaciones de los trabajadores pueden persistir aquí. Aquéllos interesados sobre todo en investigar podrán simplemente ser movidos por la curiosidad o por la urgencia de solucionar un problema difícil.  Como trabajador comunitario, por otra parte, se querrá saber los efectos de lo que está haciendo sobre las vidas de los participantes o de la comunidad.

Su interés, por lo tanto, podrá crecer por:

• Su experiencia con un problema y sus consecuencias en una determinada población o comunidad.
• Su conocimiento de prometedoras intervenciones y sus efectos sobre temas similares.
• La singularidad del tema para su particular comunidad o población.
• La similitud del tema con otros temas en su comunidad, o la interacción del tema con otros temas.

Su interés como trabajador comunitario tiene que ser considerado en relación con su evaluación y el propósito de su programa. Su intención básica es probablemente mejorar las cosas para la población o para la comunidad, pero ¿de qué modos y mediante qué medios? ¿Probarán ustedes algunas cosas nuevas con la esperanza de hacer aún más exitoso a un programa ya exitoso? ¿Se está importando una práctica promisoria para ver si funciona con su población? ¿Se está tratando de solucionar un problema profesional particularmente difícil?

Un programa de mediación comunitaria encontró que estaba teniendo poco éxito en casos que involucraban a adolescentes. Después de conversarlo con otros programas similares –todos los cuales estaban luchando con el mismo problema – los mediadores del programa idearon una serie de estrategias para tratar de llegar a los jóvenes. La pregunta general que les preocupaba - "¿Estas estrategias harán posible que mediemos exitosamente en lo que los adolescentes estén involucrados?" – era una con consecuencias reales.

¿El problema que se está enfocando es importante para la comunidad o para la sociedad?

Los informes en los medios o los intentos de la comunidad de tratar el problema son claros indicadores de que es socialmente importante. Si afecta a un grupo en particular - violencia en determinado vecindario, un alto porcentaje de enfermedades del corazón entre hombres negros de mediana edad – tiene un impacto obvio en la comunidad y en la sociedad. Si su programa o intervención tiene el potencial de ayudar a resolver el asunto en otros lugares, de ser usado por trabajadores comunitarios en otros campos, o de ser aplicado de otras maneras, la importancia de su análisis aumenta todavía más. Si el tratamiento del asunto puede llevar a un cambio social positivo y duradero, entonces el análisis es vitalmente importante.

Todo esto afecta su evaluación y las preguntas que formulen. Si el asunto es uno de importancia social, entonces la evaluación de su propio trabajo es socialmente importante también. ¿Está ejecutando los elementos de su programa o intervención que son de mayor valor para los participantes, la comunidad, y la sociedad? Si no es así, ¿cómo puede empezar a hacerlo?

¿Cómo se relaciona el asunto con el campo?

La pregunta real aquí no es si el asunto es importante en su campo de acción– lo que interesa  es si el mismo es importante para la comunidad. Sin embargo, se debe explorar si hay evidencia de campo aplicable al asunto en consideración. ¿Lo que usted está haciendo tiene más probabilidades de ser efectivo que otros enfoques que se han intentado? Si su enfoque no es efectivo, ¿hay otros enfoques que parezcan más promisorios? ¿Puede el material publicado acerca del tema ayudar a comprenderlo mejor, y a darle mejores ideas acerca de cómo encararlo?

¿Es el asunto general, en vez de específico, con respecto a su población o comunidad?

Considere si hay evidencia de que el asunto se da en distintas poblaciones y bajo una variedad de condiciones. También considere si las observaciones o métodos usados para determinar la existencia del problema son precisos y si pueden ser usados en diferentes situaciones y con diferentes grupos.Su evaluación podrá darles valiosa información para compartir con otros profesionales en diferentes campos o diferentes circunstancias.

¿Quiénes podrían usar los resultados de la evaluación?

Si su evaluación muestra que su programa o intervención tuvo éxito, esa es obviamente información valiosa, especialmente si lo que están evaluando es novedoso y no ha sido probado antes. Aún si en la evaluación aparecen problemas importantes con la intervención, esa es incluso información importante para otros  - les dice qué no funcionará, o qué barreras deben ser vencidas con el objeto de hacerlo funcionar.

Algunos de los que podrían usar sus resultados son individuos y grupos afectados por el tema; proveedores de servicios y otros que tienen que lidiar con el problema (en el caso de la violencia juvenil, por ejemplo, este último grupo podría incluir a la policía, a funcionarios escolares, a propietarios de pequeños comercios, a los padres, y a personal médico, entre otros); a defensores y activistas comunitarios y a dirigentes públicos y otros políticos. El valor de la información lleva a la pregunta de cómo pasarla, la que examinaremos en la Sección 10 de este capítulo, Preparar la intervención para su divulgación.

¿A quién concierne el asunto?

¿Quién tiene que cambiar para tratar el problema? El foco de la intervención les dirá en quiénes deberán centrarse la evaluación.

Algunas posibilidades son:

• Aquellos directamente afectados por el problema.
• Aquellos en contacto personal directo con los directamente afectados: padres, cónyuges e hijos, otros familiares, amigos, vecinos, compañeros de trabajo.
• Aquellos que trabajan o tratan de otros modos con los directamente afectados: personal médico, policías, docentes, trabajadores sociales, terapeutas, etc.
• Administradores y otros que trabajan o tratan con aquellos que son afectados indirectamente: directores de clínicas u hospitales, jefes de policía, directores escolares, directores de agencias, etc.
• Funcionarios designados o electos y otros políticos.

¿Por qué es necesario seleccionar cuidadosamente las preguntas de la evaluación?

Usted bien sabe por qué están aplicando su programa. Evaluarlo sería simplemente un tema de decidir si las cosas están mejor cuando usted las evalúa con respecto a como estaban antes de que la intervención empezara, ¿No es así? Bueno, en realidad no es así. No es tan simple. Primero, se necesita determinar qué "cosas" se están realmente analizando (¿recuerdan el ejemplo del almuerzo escolar?) Segundo, es necesario considerar la manera en que se determinará que la intervención se está haciendo bien, y qué se necesita cambiar. Aquí hay una lista parcial de razones por las que es importante la elección de las preguntas de antemano.

• Ayuda a comprender los diferentes efectos de la intervención. Al enmarcar las preguntas cuidadosamente, se puede evaluar los diferentes componentes de su esfuerzo. Si se añade un elemento después del inicio del programa, por ejemplo, podrá tal vez ver su efecto separado del resto del programa...si se propone examinarlo. De la misma manera, se puede mirar diferentes posibles efectos del programa como un todo. (Los adultos que estudian educación básica ¿leen más como resultado de estar en el programa? ¿Es más probable que ellos se registren para votar? ¿Sus niños mejoran su desempeño escolar?)
• Hace que se defina con claridad qué es lo que se está tratando de hacer. Lo que usted decide evaluar define lo que se espera conseguir. Seleccionar las preguntas de evaluación al inicio de un programa o esfuerzo deja en claro qué es lo que se está tratando de cambiar, y cuáles quiere que sean sus resultados.
• Les muestra dónde necesitan hacer cambios. El seleccionar cuidadosamente las preguntas y hacerlas específicas para sus objetivos reales debería mostrarles exactamente dónde el programa está funcionando bien y dónde no está teniendo el efecto deseado.
• Destaca consecuencias inesperadas. Cuando se reciben respuestas inusuales a las preguntas que eligen, a menudo significa que su programa ha tenido algunos efectos que no se esperaban. Algunas veces estos efectos son positivos –la gente del programa de ejercicios cardiovasculares no sólo mejoraron su estado físico, sino que la mayoría informa haber mejorado su dieta y haber perdido peso también – y algunas veces los efectos son negativos – los niños obesos de un programa para comer saludablemente realmente ganaron peso, aún cuando estuvieron comiendo una dieta más sana - y algunas veces ninguna de las dos cosas. Como los efectos secundarios de los medicamentos, las consecuencias no premeditadas de un programa pueden ser tan importantes como el programa mismo. (En el caso del programa de ejercicios, los cambios en la dieta pueden hacer tanto o más que el ejercicio para mantener la salud del corazón, por ejemplo, y pueden señalar de algún modo hacia un cambio en el enfoque del programa.)
• Guía sus elecciones futuras. Si encuentra que su programa es particularmente exitoso en ciertas partes y no en otras, por ejemplo, usted podrá decidir enfatizar más las áreas exitosas, o cambiar completamente su enfoque en las áreas no exitosas. Esto, a su vez, cambiará el énfasis también en la futura evaluación.
• En  las evaluaciones participativas, la evaluación involucra a los interesados en el establecimiento del curso del programa, haciendo de ese modo más probable que cumpla con las necesidades de la comunidad.
• Proporciona enfoque en la evaluación y en el programa. El seleccionar cuidadosamente las preguntas evaluativas evitará que usted se disperse y trate de hacer demasiadas cosas a la vez, diluyendo por lo tanto su efectividad en todas.
• Determina qué registros anotar con el objeto de reunir datos para la evaluación. Una clara elección de las preguntas evaluativas hace la recolección de datos mucho más fácil, puesto que generalmente vuelve obvio qué clase de registros deben ser llevados y qué áreas necesitan ser examinadas.

¿Cuándo debería usted seleccionar las preguntas y planear la evaluación?

Ya que las preguntas de evaluación ayudan a dar forma al trabajo, deberían seleccionarse junto a la evaluación al planear el programa completo. Eso le dará tiempo y espacio para conseguir un proceso participativo, y le dará la oportunidad de usar la evaluación como parte integral del programa. A medida que el programa se desarrolla, se encontrará agregando o ajustando preguntas para reflejar la realidad de lo que está sucediendo, pero a no ser que sus preguntas originales estuvieran  mal encaminadas (estaba equivocado acerca de qué comportamiento debía cambiar con el objeto de producir determinados resultados, por ejemplo), ellas les serán de utilidad.

Ahora discutamos la realidad de muchos programas comunitarios y  programas de base local. A menudo tienen poco personal y fondos.  Los empleados reciben pagos bajos y a menudo trabajan muchas más horas a la semana de las que les pagan debido a su dedicación a la justicia y al cambio social. La mayoría o todos los funcionarios del programa pueden incluso ser voluntarios, con trabajos de tiempo completo y  responsabilidades familiares además de su trabajo en el programa. La evaluación inicial en estas circunstancias es a menudo anecdótica – o sea, basada en comentarios e historias de los participantes sobre su progreso y observaciones personales, informales de los funcionarios. Una evaluación formal probablemente esperará hasta que haya fondos para hacerla, o hasta que alguien tenga el tiempo de coordinarla o de encargarse de ella.

En ese caso, el "cuando" se convierte en "tan pronto como se pueda". Usted puede estar trabajando con un programa que acaba de empezar, o con uno que ha estado operando por un largo tiempo. Puede saber que se necesita hacer cambios, o puede parecer que el programa está realmente logrando sus metas. Cualquiera sea la situación, se deben seleccionar las preguntas evaluativas y planear una evaluación que le dé la información que necesita para mejorar su trabajo. Aún con un programa que ha estado funcionando por un tiempo, las preguntas pueden igual ayudarle a definir o redefinir su trabajo, y ciertamente le ayudará a mejorarlo en el largo plazo.

¿Quiénes deben estar involucrados en la elección de las preguntas y el planeamiento de la evaluación?

Si ha consultado otras secciones de la Caja de Herramientas relacionadas con evaluación, se habrá dado cuenta que estamos a favor de que todos los interesados se involucren en la planeación de la evaluación. Creemos que la mejor evaluación es la participativa. Eso significa que hay representación de las opiniones y los conocimientos de la gente afectada sobre el asunto a encararse. La lista de potenciales participantes es esencialmente la misma que vimos en "¿A quién concierne el asunto?" en la primera parte de esta sección: aquéllos directamente afectados y sus contactos cercanos; aquéllos que trabajan con los directamente afectados, o que tratan directa o indirectamente con ellos y el problema; y funcionarios públicos. A estos grupos debemos agregar otros ciudadanos preocupados, y aquéllos indirectamente afectados por el tema. (Un comerciante puede no ser víctima de la violencia del vecindario, pero el temor a esa violencia puede no obstante mantener a los clientes alejados de su negocio, por ejemplo.)

Las evaluaciones que involucran a todos los interesados tienen una serie de ventajas sobre aquéllas conducidas en vacío por evaluadores externos o personal de la agencia o del programa. Es más probable que ellos reflejen las verdaderas necesidades de la comunidad, y que ejerzan presión sobre el conocimiento de la comunidad acerca de su propio contexto - historia, relaciones, cultura, etc. – sin los cuales un programa y su evaluación pueden desviarse.

La participación puede ir desde una simple consulta hasta una completa participación en todos los aspectos de una evaluación – valoración, planeamiento, recolección de datos, análisis, y trasmisión de la  información. En general, cuanto mayor sea el involucramiento de los interesados mucho mejor, pero una profunda implicación de los interesados no siempre es posible. Como el Capítulo 36, Sección 6 lo explica, hay desventajas temporales en la evaluación participativa – lleva más tiempo – e inquietudes logísticas también. Los participantes pueden no tener nada en su formación que los haya preparado para la investigación, de modo que sería necesario entrenarlos en una cantidad de áreas que requieran aptitudes, cuidadoso planeamiento, y todavía más tiempo. El nivel de participación que su evaluación puede sustentar, por lo tanto, depende en alguna medida de sus límites de tiempo y su capacidad para capacitar y apoyar a los participantes.

¿Cómo seleccionar las preguntas y planear la evaluación?

Elección de preguntas:

Al elegir preguntas evaluativas, se está realmente eligiendo un tema de investigación  - qué quiere examinar con su investigación. (La evaluación, tanto formal como informal, es en realidad investigación.). Usted debe analizar el asunto y su programa, considerar varias maneras de enfocarlos, y seleccionar la(s) que más cercanamente le digan lo que quiere saber sobre lo que está haciendo. ¿Está sólo tratando de determinar si están dando suficiente cobertura a la gente apropiada con su programa? ¿Quiere saber cómo está funcionando una intervención en poblaciones específicas? ¿Qué clases de cambios conductuales, si los hay, están teniendo lugar como resultado? ¿Cuáles son los verdaderos resultados para la comunidad? Cada una de estas – así como cualquiera de las muchas otras cosas que usted puede desear saber, implica un conjunto diferente de preguntas evaluativas. Para encontrar las preguntas que mejor se adaptan a su evaluación, hay una serie de pasos que se pueden seguir.

Describa el asunto o problema que va a tratar.

Un problema es una diferencia entre una condición ideal  (todas las personas de 10 años o más deben poder leer;  todo el mundo tiene que poder encontrar un empleo decente) y una condición real en la comunidad o sociedad  (hay un 25% de analfabetos entre quienes asisten a determinada secundaria; 50%  de los jóvenes de minorías en cierta ciudad están desempleados). Esto puede indicar la ausencia de algún factor positivo (maestros calificados y adecuadas instalaciones educacionales; empleos que no requieren experiencia y que se encuentran cercanos a vecindarios de minorías) o la presencia de algún factor negativo (dificultad de los estudiantes con el inglés; discriminación contra los solicitantes de trabajo provenientes de minorías), o alguna combinación de ellos.

Para describir el asunto o problema:

• Describa la condición ideal, incluyendo los factores positivos presentes y los factores negativos ausentes. ¿Cómo se vería todo si fuera como usted quisiera que fuera?
• Describa las condiciones reales que constituyen el problema de interés, incluyendo las condiciones negativas presentes y las condiciones positivas ausentes. ¿Cómo son realmente las condiciones?
• Describa el problema real en términos de lo que usted espera cambiar. ¿Qué factores positivos quiere crear y/o qué factores negativos quiere eliminar?

Describa la importancia del problema.

Para estar seguros de que este es un problema que se debería tratar de solucionar,  considere su importancia para los afectados y para la comunidad.

• ¿Es la discrepancia entre las condiciones ideales y las reales del tipo y tamaño como para ser consideradas importantes?
• ¿Cuáles son las consecuencias (positivas y negativas) del problema?
• ¿Quién experimenta estas consecuencias (o sea, participantes del programa, sus familias, amigos, y pares; proveedores de servicios, políticos, y otros)? ¿Cuántas personas son afectadas?
• ¿Cuán a menudo o por cuánto tiempo son afectados? ¿Cuál es la intensidad del efecto?
• ¿Cuánto importa a estas personas el hecho de que el problema es experimentado hasta este grado?
• Ustedes también podrían preguntar si los efectos del problema le importan a la sociedad  pero en realidad, eso no haría diferencia. Si le importan a la gente que los experimenta, son importantes. La sociedad no siempre considera importante un problema si es sólo un problema para una minoría, o para un grupo que es generalmente ignorado (los pobres, los sin hogar).

A la luz de estos factores, decida si el problema es importante para la evaluación.

Describa a los que contribuyen con el problema.

¿El comportamiento de quién, por su  presencia o ausencia, contribuye al problema? ¿Están ellos en el entorno personal de los participantes del programa (los participantes mismos, familiares, amigos), en el entorno de servicio (maestros, policía), o en un entorno más amplio (políticos, medios, público en general)? Para cada uno de ellos, considere los tipos de conducta que,  por su presencia o ausencia, contribuyen a la  discrepancia que constituye el problema.

Calcule la importancia y factibilidad de cambiar esos comportamientos.

¿Cuán importante es cada uno de estos comportamientos para la solución del problema? ¿Cuáles son las posibilidades de que su esfuerzo pueda tener algún efecto en cada uno de ellos?

Describa el objetivo de cambio.

 Basados en el análisis arriba mencionado, elija cambios de comportamiento para tratar en personas específicas. Donde se pueda, especifique los niveles de cambio deseados en los comportamientos y resultados seleccionados (aquellos cambios en las condiciones que deberían ocurrir para que el problema pueda solucionarse).

Por ejemplo, una meta de cambio de comportamiento podría ser un aumento en la capacitación previa al empleo – presentación personal, búsqueda de trabajo, técnicas para la entrevista, competencia interpersonal, elaboración del currículum, conocimientos básicos, etc. – para los buscadores de trabajo de entre 18 y 24 años, de las minorías. O por otro lado se podría en cambio o además enfocarse en los políticos, con el objetivo de hacer que ellos ofrezcan incentivos fiscales a los negocios que se instalen en o cerca de las comunidades de minorías.

Esta es una manera de definir su trabajo. Si se planea la evaluación mientras se planea el programa – como se debería hacer idealmente – entonces las preguntas que están pidiendo que evaluación examine reflejan los problemas que se están tratando de resolver, y este tipo de análisis es importante. Si se está comenzando la evaluación de un programa que ha estado funcionando por algún tiempo, entonces se tiene que analizar qué tipo de consecuencias se creen (esperan) que el programa está teniendo, y adónde ellas conducen. Se podría estar hablando de cambios en conductas específicas de participantes, conductas que actúan como indicadores de otros cambios, o de resultados de otros tipos  (participantes que obtengan empleo, por ejemplo, lo que puede tener una relación directa con la conducta del participante o puede tener más que ver con condiciones económicas locales.)

Asegúrese de que los cambios esperados constituyan una solución o una contribución sustancial al problema.

Si se concluye que los cambios no resultarían en una contribución sustancial, revise la escogencia del problema y/o su selección de la población meta y las acciones como sea necesario. Si se piensa que lo que se está mirando en una evaluación no se enfoca en el problema, entonces se debería estar observando otra cosa. Si los objetivos que se han elegido sí constituyen toda o una parte sustancial de la solución, entonces ya se han encontrado sus preguntas.

Una vez llegados a este punto, usted ha elegido sus preguntas evaluativas y -si se está en el comienzo del proceso de planificar su programa y su evaluación – el enfoque de su programa también. Cómo planear la implementación del programa es el tema de varios otros capítulos de la Caja de Herramientas Comunitarias, particularmente, en el resto de esta sección, nos ocuparemos de los otros factores que se necesitan considerar para armar su evaluación. Entonces, en el resto de este capítulo, discutiremos en detalle cómo encontrar las respuestas a las preguntas evaluativas que se han escogido, y qué hacer entonces con esa información.

Ahora que se han elegido sus preguntas, habrían dos factores más a considerar: los lugares en los que la evaluación se realizará, y los participantes cuyos comportamientos, actividades, o circunstancias serán evaluados. Si su programa es relativamente pequeño y/o tiene sólo un entorno o lugar, nada de esto será un problema – tanto los lugares como los participantes serán simplemente los del  programa. Sin embargo, si no se tienen los recursos – tanto financieros, como de tiempo o de personal - para evaluar al programa completo.

 Hay algunas situaciones en las que la elección del lugar y/o de los participantes puede ser importante:

• Si su programa es muy grande y/o tiene múltiples locaciones.
• Si los diferentes lugares conllevan diferentes servicios, actividades, o condiciones, o usan diferentes métodos.
• Si su programa incluye diferentes grupos de participantes (grupos que están en diferentes etapas del programa, o que están expuestos a diferentes métodos o servicios).
• Si los grupos de participantes pertenecen a poblaciones con culturas claramente diferentes, provenientes de raza, etnia, clase, religión, u otros factores.
• Si usted es un evaluador externo (alguien no conectado a un programa que es traído para evaluarlo) o un académico u otro investigador independiente.

Lugar

Múltiples locaciones.

Las locaciones múltiples pueden presentar un desafío para una evaluación, porque, aunque se hicieran todos los esfuerzos posibles para hacer el programa exactamente igual en todos los lugares, raramente será así. Si el programa depende de la interacción humana - maestro/alumno, consultor/consultado, entrenador/entrenado, doctor/paciente, etc. – habrá diferencias de lugar en lugar dependiendo del personal en cada uno. (La excepción es cuando las mismas personas trabajan en todos los lugares, proporcionando los mismos servicios en cada lugar a diferentes horas o en diferentes días.) Aún cuando todos sean igualmente competentes,  no hay dos miembros del personal o equipos que hagan las cosas exactamente de la misma manera o se relacionen con los participantes exactamente del mismo modo, y las diferencias pueden verse reflejadas en diferencias en los resultados. Si los métodos u otros factores varían de lugar en lugar, ello complicará todavía más la situación.

Además, el carácter físico de un lugar puede influenciar no sólo la efectividad del  programa, sino también el reclutamiento de participantes y si ellos permanecerán o no al programa el tiempo suficiente para que tenga algún efecto (a menudo llamado "retención.") La disposición del lugar, comodidad, aparente protección y seguridad, y – a menudo lo más importante – la facilidad para llegar a él, todo afecta a que los participantes se inscriban y permanezcan en el programa.

Donde se tenga la posibilidad de evaluar a todos los lugares, será útil incorporar a la evaluación un método para compararlos. Esto  permitirá identificar y adoptar en todos los lugares métodos, condiciones, o actividades que parecen hacer particularmente exitoso un lugar, e identificar y cambiar en todos los lugares los métodos, condiciones, o actividades que parecen crear barreras contra el éxito.

Si no se puede evaluar cada lugar por separado, se tendrá que decidir cuál o cuáles darán la información que ayudará más a ajustar y mejorar su  programa. Si se está especialmente preocupado por evaluar su efectividad total, esto significará evaluar el o los sitios más apegados a la normativa del programa, en cuanto a métodos, condiciones, actividades, metas, interacción participante/personal, etc. Si, por otro lado, su consideración principal es saber si un método o una situación especial o inusual está funcionando, se podría evaluar el lugar (o los lugares) menos parecido(s) a los otros.

Si los lugares parecen sólo mínimamente diferentes, algunas otras consideraciones que pueden entrar en el juego son:

• El número y la característica  de los participantes en el lugar. Los participantes en un determinado lugar pueden estar experimentando los efectos del problema más severamente, o pueden tener una característica particular importante, tal como una barrera de lenguaje.
• La capacidad y disposición de participantes y personal para apoyar la investigación evaluativa. Si el personal en un determinado lugar no puede o no quiere registrar observaciones, asistencia, y otros datos clave, o si los participantes no pueden o no quieren ser entrevistados o monitoreados, la evaluación en ese lugar puede ser dificultosa.
• La estabilidad de la población en la localidad. Si los participantes en un lugar van y vienen continuamente – a menos que esa sea la intención del programa – puede ser difícil obtener información que contribuya a una evaluación precisa.
• La excepción, por supuesto, ocurre aquí si uno de los puntos de la evaluación es averiguar por qué los participantes permanecen por tan corto tiempo, y tratar de desarrollar métodos o crear condiciones para ayudarlos a quedarse en el programa el tiempo suficiente para alcanzar sus objetivos.

Lugares con diferentes métodos, condiciones, actividades, o servicios.

Los programas son a veces organizados de modo que diferentes métodos sean usados o diferentes servicios sean provistos en diferentes lugares. En otros casos, las condiciones pueden variar de lugar en lugar a causa de las ubicaciones geográficas de los lugares  o el espacio disponible. La situación ideal es evaluar todos los lugares y comparar los efectos de los diferentes métodos, condiciones, o servicios. Cuando esto no es posible, se tendrá que decidir qué es lo más importante de averiguar.

Si los métodos, servicios, o condiciones en un lugar determinado son nuevos o innovadores, usted podrá querer evaluarlos, en vez de aquellos que ya son conocidos y han sido evaluados. Puede haber un método o servicio en particular que se quiera evaluar, en cuyo caso la decisión acerca de qué lugar seleccionar es obvia. La decisión debe estar basada en lo que tenga más sentido para su programa, y en lo que les dé la mejor información para mejorar su efectividad.

Cuando se tenga la posibilidad de seleccionar más de un lugar para evaluar, generalmente tiene más sentido seleccionar dos o tres lugares que sean diferentes – especialmente si cada uno es representativo de otros lugares del programa o de iniciativas del programa – de modo que se pueda comparar su efectividad. Aún donde los lugares parecieran esencialmente similares, se obtendrá más información evaluando a todos lugares que se puedan.

Participantes

Grupos Múltiples.

Hay una cantidad de razones por las cuales pueden existir grupos múltiples de participantes en un programa. Usted podría iniciar grupos diferentes en momentos diferentes, ya sea debido a que el programa tiene un esquema de inicio progresivo (se inicia cuando hay suficiente gente para una clase o grupo de capacitación), o porque el programa está dirigido a diferentes grupos  (por ejemplo, de 5 años de edad, de 8 años, y de 14 años). También se podría probar diferentes estrategias con diferentes grupos. El Proyecto Brookline de Educación Temprana (BEEP), un programa que apunta a disponer escuelas para niños desde antes de nacer y hasta los 5 años, inscribió familias las cuales esperaban un bebé en tres estudios de seguimiento en el curso de tres años. Además, a las familias de cada estudio se les asignó a uno de tres niveles de servicio. De este modo, había realmente nueve grupos diferentes entre los participantes del BEEP, aún cuando en el tercer año, todos estaban recibiendo servicios al mismo tiempo.

Una vez más, si no hay problema para evaluar el programa completo, los participantes simplemente serán todos. Si ello no es posible, hay una cantidad de elecciones potenciales:

• Evaluar su trabajo con sólo un grupo, con la esperanza de que el trabajo con los otros será evaluado en el futuro. En este caso, probablemente se querrá seleccionar el grupo que parece necesitar más el programa (o sea es más crucial). Ellos podrían tener un mayor riesgo  (de ataque al corazón, de fracaso escolar, de quedarse sin casa, etc.) o podrían estar experimentando el asunto o problema en un mayor nivel de intensidad (incidentes diarios de disparos en el vecindario, altas tasas de embarazo juvenil, desempleo masivo).
• Incluya un número pequeño (2-4) de grupos en su evaluación. Tal vez se quieran seleccionar grupos con características contrastantes (diferentes edades, por ejemplo, o encarados con diferentes estrategias). Por otro lado, dependiendo del enfoque de su evaluación, se podría querer grupos que son esencialmente similares, para ver si su trabajo es consistente en sus efectos.
• Elija a unos pocos participantes de cada grupo para enfocar su evaluación en ellos. Aunque esto no les dará un panorama completo, debería darles información suficiente para saber dónde su programa está cumpliendo con sus objetivos y dónde necesita mejorarse. Las diferencias en los modos en que los participantes en los diferentes grupos responden a su programa (asumiendo que haya diferencias) pueden también darles ideas para maneras de cambiar lo que se está haciendo.

Participantes de diferentes poblaciones y culturas.

Los factores culturales pueden tener un enorme efecto en las respuestas de los participantes a un programa. Ellos pueden influenciar las concepciones de los roles sociales, las responsabilidades familiares, los comportamientos aceptables y no aceptables, las actitudes hacia la autoridad (y sobre quien constituye la autoridad), los temas permitidos de conversación, la moralidad, el rol de la religión – y la lista sigue y sigue. Al planear un programa que involucra a miembros de diferentes poblaciones y culturas, se tienen esencialmente tres opciones:

• Planear su programa e implementarlo de la misma manera para todos los involucrados. Si el programa involucra grupos  - clases, grupos de apoyo, etc. – la afiliación de los participantes está determinada no por el grupo poblacional sino por el momento en que ellos se inscriben, a qué hora del día  pueden asistir, para qué se inscriben, o cualesquiera que sean los otros criterios que tengan sentido lógico.
• Planear su programa para que sea tan culturalmente sensible como sea posible, y tratar de dejar afuera cualquier cosa que pudiera ser ofensiva o difícil para cualquier grupo. En esta instancia, se debe estar preparado para responder si los participantes de una población determinada pidieran a un grupo de los suyos (o sea de personas de su mismo grupo cultural).
• Dividir a los participantes por grupo cultural y planear diferentes propuestas culturalmente sensibles para cada uno. Su propuesta general puede ser la misma para todos, pero la manera en que se aplica puede diferir según la cultura.

En cualquiera de estas instancias, probablemente sería importante comprender qué tan bien está funcionando su enfoque con los miembros de las distintas poblaciones. Si se puede evaluar el programa completo, asegúrese de incluir suficientes miembros de cada grupo con el fin de poder comparar resultados (y sus opiniones del programa) entre ellos. Si sus posibilidades de evaluación son limitadas, entonces sus opciones son similares a aquéllas para grupos múltiples de otras clases, y dependerán de qué exactamente es lo más útil para su organización o iniciativa.

Aquí hay interacciones entre la elección de lugares y la elección de participantes. Se puede estar preocupado de los efectos de su  programa sobre una determinada población, la que puede estar en gran parte concentrada en un lugar. En ese caso, si se dispone de recursos limitados,  se podría evaluar sólo ese lugar, o ese lugar y otro más.

Sin tomar en cuenta otras consideraciones, se puede querer fijar algunos lineamientos acerca de quiénes incluir en la evaluación.¿Cuánto tiempo tiene que estar la gente en el  programa, por ejemplo, antes de ser incluida? En otras palabras, ¿qué se considera como participación? (Esto también fija un criterio sobre quién deberá ser considerado como desertor: cualquiera que empieza, pero deja el programa antes de cumplir con el estándar de participación.) ¿Qué sucede con aquéllos cuya asistencia es errática – unos días aquí, unos días allá, algunas veces con semanas  de ausencia? ¿Tendrán que haber asistido un cierto número de horas para ser considerados participantes?

Estos asuntos pueden ser más complejos de lo que parecen. La gente puede comenzar y abandonar un programa numerosas veces, y luego finalmente volver y completarlo. Muchos otros comienzan los programas numerosas veces, y nunca llegan a completarlos. Es generalmente imposible adivinar la diferencia hasta que algunos realmente llegan al punto de finalización, lo que sea que ello signifique para el programa en cuestión.

En sentido inverso al escenario de los que comienzan-muchas-veces-antes-de-completarlo, puede haber unas pocas personas que permanecen en un programa justo hasta llegar al final, y allí abandonan.  Esto puede tener que ver con el miedo de tener que sobrellevar el éxito y un cambio en la imagen propia, o puede simplemente ser un patrón que la persona ha aprendido, y que tendría que “des-aprender” antes de poder completar el programa.

¿Deberían alguna o todas estas personas ser incluidas en o excluidas de una evaluación, tanto antes (a causa de su historia en el programa) como después del hecho? Esa es una decisión que se tendrá que tomar, basados en lo que su inclusión o exclusión les diga. Sólo asegúrese de que su evaluación claramente describa los criterios que se decidieron usar para sus participantes.

Si usted es un evaluador externo o un académico u otro investigador independiente

Hasta este momento, hemos ignorado grandemente las dificultades de evaluación que enfrentan los evaluadores que no están directamente conectados con la organización o institución que lleva a cabo el programa que ellos están evaluando. Si usted ha sido contratado o designado por la organización o por uno de los patrocinadores para evaluar el programa, usted debe establecer un vínculo de confianza, tanto con la organización y su personal como con los participantes, si se espera obtener buena información con la cual trabajar. También se debe aprender bastante en poco tiempo acerca de la comunidad, la organización, el  programa, y los participantes, para idear un buen plan de evaluación,  y para analizar los datos que usted y otros reúnan.

Si se es un investigador independiente – un estudiante graduado, un académico, un periodista – Usted encontrará obstáculos aún mayores. Primero, tiene que encontrar un lugar donde desarrollar su investigación - un programa a evaluar – que calce con sus intereses de investigación. Entonces, usted tiene que convencer a la organización que está llevando a cabo ese programa de que le permita hacer la investigación. Una vez que haya logrado esto, todavía se enfrentará con todas las mismas tareas que un evaluador externo: establecer confianza,  entender el contexto, etc.

Veamos primero el proceso que como investigador independiente deberá seguir para seleccionar y ganar acceso a un lugar apropiado para sus intereses. Una vez que haya logrado ese acceso, se habrá convertido en un evaluador externo, por lo tanto desde ese punto en adelante,  el proceso de preparación para la evaluación será igual para ambos.

Elija un lugar/localidad.

Si usted es un académico o un estudiante, probablemente podrá encontrar un programa apropiado preguntando a colegas, profesores, y otros investigadores de su institución. Si ninguno de ellos sabe de alguno en ese momento, alguien casi seguramente podrá ponerlo en contacto con agencias de servicios humanos y otras que lo harán. Otras posibles fuentes de información incluyen el Internet, patrocinadores, asociaciones profesionales, coaliciones de servicios humanos y de salud, y organizaciones comunitarias. La información sobre fondos públicos está a menudo disponible en la web, en las bibliotecas, o en los archivos de los diarios. Cuanto más ampliamente usted extienda su red, más probabilidades tendrá de encontrar el programa que está buscando.

El programa adecuado obviamente dependerá de sus intereses de investigación, pero algunas preguntas que  serán parte de su elección incluyen:

• ¿El escenario incluye personas que están realmente experimentando el problema que es de interés para usted?
• ¿Es el escenario similar a otros de este tipo? (Si no lo es, su programa puede no ser útil a otros que estén trabajando con el problema, aún cuando funcione bien en su propio contexto.)
• ¿Proporciona el escenario de trabajo apoyo para la investigación? ¿Ayudarán los empleados, los participantes, y otros con la recolección de datos,  serán serviciales acerca de las preguntas de contexto, cooperarán con usted?
• ¿El lugar cuenta con los recursos para mantener el programa después de que su evaluación esté hecha?
• ¿El lugar de trabajo permite los cambios en la operación requeridos por la investigación? Si el planeamiento de la evaluación y la elección de las preguntas apuntan a hacer las cosas de manera diferente, el programa ¿podrá hacer y hará los cambios necesarios?
• ¿Es el la propuesta de evaluación y el lugar de trabajo accesible?

La accesibilidad incluye no solamente la de los discapacitados, sino también si un lugar está en un vecindario  que hace sentir bienvenidos o seguros a los participantes, si es fácilmente accesible por el transporte público o se puede llegar a pie desde las áreas de las cuales se extraen los participantes, y si está ubicado en un edificio o institución que no se sienta intimidante o extraño (un campus o un edificio universitario pueden parecer tan amenazantes como una fortaleza para alguien que se sienta inseguro acerca de sus antecedentes educativos, por ejemplo.) La accesibilidad puede ser el factor determinante para que los participantes consideren ser parte de un programa, o para que permanezcan en él.

¿Es estable la iniciativa? El programa y la organización, ¿son lo suficientemente estables como para saber que se podrá mantener el trabajo en el nivel necesario, al menos hasta que se complete la evaluación?

Una vez que se haya encontrado un escenario de trabajo apropiado, tendrá que convencer a la organización de colaborar con usted en una evaluación. Los tres pasos siguientes están dirigidos hacia ese objetivo.

Aprenda lo más que pueda sobre la organización que ha elegido.

Así como usted no iría a una entrevista de trabajo sin hacer algunas averiguaciones acerca del empleador, tampoco debería tratar de ganar la cooperación de una organización sin saber algo acerca de ella - su misión, sus metas, a quién responde, quiénes son el director y los miembros directivos, etc. Si alguien le habló de la organización, esa persona puede tener, o conocer a alguien que tenga, mucha de la información que usted necesita. Si la organización mantiene un sitio Web, mucha de esa información estará disponible allí. Si está registrada, la oficina de la Secretaría de registro del estado y/u otras oficinas estatales tendrán información acerca  de los miembros oficiales (o sea,  el Consejo Directivo) y otros aspectos de la organización. Las agencias de financiamiento pueden también tener la información que sea motivo de registro público, incluyendo las propuestas. (Ver "Averigüe todo lo que se pueda sobre el contexto" más abajo.)

Contacte a la(s) persona(s) apropiada(s) y solicite una entrevista.

Averigüe a quién (nombre, así como posición) debe dirigirse para hablar sobre la realización de un proyecto de investigación en la organización que usted ha elegido.

Dependiendo de la organización, éste podría ser el presidente del consejo directivo, el director ejecutivo, o el director del programa (si el programa que a usted le interesa es sólo una parte de una organización más grande). En cualquier caso, sería inteligente involucrar al director del programa aún cuando él no sea el que tome la decisión final, puesto que su cooperación será crucial para completar su investigación.

• Si puede, consiga una presentación personal. Siempre es mejor si usted llega recomendado por alguien conocido por la persona con la cual usted necesita hablar.
• Si no puede conseguir una presentación personal, lo mejor es enviar una carta solicitando una reunión y explicando la razón de dicha reunión, y seguidamente hacer una llamada telefónica.
• Antes de la reunión, envíe una propuesta delineando lo que pretende hacer.Esta debería tener la suficiente sustancia como para ayudar a la organización a decidir si quiere trabajar con usted,  pero no ser tan específica como para no permitir un planeamiento colaborativo de la evaluación.

Planee y prepárese para la reunión inicial. Hay varios propósitos para esta reunión, además del primordial de obtener el permiso y el apoyo para su proyecto (o al menos un acuerdo para seguir discutiendo la posibilidad). Ellos incluyen:

• Establecer sus credenciales - la experiencia, la formación educativa, y cualquier otro factor que lo habilite a conducir esta  evaluación. Esto puede incluir referencias de colegas, profesores, u otras organizaciones con las que haya trabajado.
• Aprender más acerca del programa y la organización.
• Explicar qué quiere hacer y por qué, cómo se presentarán probablemente los resultados de la evaluación, qué se hará con ellos, quién tendrá acceso, etc. Esta explicación también deberá cubrir los temas de confidencialidad y autorización de los participantes.
• Explicar lo que se necesita de la organización y/o del programa - participación de los  participantes y el personal, por ejemplo, cualquier apoyo logístico, acceso a registros, o acceso a actividades del programa.
• Explicar lo que usted está ofreciendo a cambio – sus servicios para una evaluación formal y extensa, todos los gastos, equipos y materiales, otros servicios de apoyo, o cualquier otra cosa más que se tenga para ofrecer.
• Aclarar las necesidades de la organización, y discutir cómo encajan con las suyas – y cómo ambas pueden satisfacerse.

Asumiendo que su presentación ha sido convincente, y usted es ahora el  evaluador del programa, el resto de los pasos que siguen se aplican tanto a los investigadores independientes como a  los evaluadores externos.

Averigüe todo lo que se pueda sobre el contexto.

Esto puede resultar diferente para los evaluadores externos que para los investigadores independientes, pero es igualmente importante para ambos.Significa averiguar de antemano todo lo que se pueda sobre la comunidad, la organización, el programa, y los participantes  – la estructura social de la comunidad y dónde encajan los participantes dentro de ella, la historia del problema en cuestión, cómo es vista la organización, las relaciones entre grupos e individuos,  la política comunitaria etc.

Si usted es un evaluador externo, puede tomar ideas de los administradores del  programa, del personal, y de los participantes acerca de la comunidad, la organización, y el asunto en cuestión. Pídales que lo dirijan a otros  - líderes comunitarios, funcionarios, residentes de mucho tiempo, clérigos, miembros confiables de determinados grupos – que puedan también darle sus perspectivas. Si es posible, conozca la comunidad físicamente: camine y/o conduzca por ella, visite comercios, parques, restaurantes, la biblioteca. El comprender cómo el problema incide en la comunidad, la naturaleza de las relaciones entre grupos e individuos, y cómo es la vida en los vecindarios donde viven los participantes, le ayudará mucho al analizar la evaluación del programa.

Si usted es un investigador independiente, aprenda lo más que pueda sobre el contexto antes de contactar al programa. Los sitios web  (de la organización y/o la comunidad) y las bibliotecas son dos posibles fuentes de información, como también lo son la literatura sobre la comunidad y la organización. y la gente que conoce la comunidad. Aprender de antemano sobre la comunidad, la organización, y los participantes, le ayudará a determinar si este programa encaja con su investigación  y a abogar por su cooperación con su proyecto. Una vez que usted cuente con esa cooperación, puede seguir el mismo sendero que un evaluador externo (puesto que eso es lo que usted es) para aprender lo más que pueda sobre el contexto del programa.

Establezca confianza con los administradores del programa, el personal, y los participantes.

Esta puede ser la parte más difícil de una evaluación para alguien de afuera de la organización. No hay ningún acto de magia o línea de tiempo predecible, pero hay varias cosas que se pueden hacer:

• Sea usted mismo. No sienta que debe actuar de cierta manera: trate con la gente del programa como lo hace con amigos y conocidos en otras circunstancias.La gente se da cuenta cuando alguien está siendo falso, y es  poco probable que confíen en usted si ese es el caso.
• Trate a todo el mundo con el mismo respeto, como colegas en un proyecto de investigación.
• No asuma que sabe más que nadie por ser el profesional.
• Comparta libremente lo que sabe, pero no se ate a ningún proceso o método determinado, especialmente en respuesta a una posición opuesta de un individuo importante.
• Pregunte a los administradores, personal, y participantes lo que ellos quieren de la evaluación, y discuta cómo la evaluación podría proporcionárselo.
• No tenga miedo de decir "No lo sé, pero lo voy a averiguar," y hágalo.
• Ejecute fielmente cualquier cosa que diga que va a hacer. No prometa nada que no podrá cumplir, y fije plazos de entrega razonables, con el fin de poder cumplirlos.

Los últimos dos pasos se aplican a todos, evaluadores internos y externos.

Apunten a una evaluación participativa.

Hemos discutido más arriba el involucramiento de todos los interesados al máximo posible. El involucrar a los participantes, personal del programa, y otros interesados en un planeamiento y una investigación participativa puede a menudo otorgarles los datos más precisos, y darles acceso a personas y lugares que normalmente no tendrían. Por otro lado, el planeamiento y la investigación participativa,  como hemos explicado, llevan tiempo y energía. Si se tiene un tiempo limitado, tal vez no se pueda armar un proyecto totalmente participativo.  Se puede, sin embargo, todavía consultar a los interesados, e involucrarlos en maneras que no requieran necesariamente capacitación o grandes cantidades de su tiempo.Ellos pueden ayudarlos a programar las entrevistas con los participantes u otros informantes importantes, por ejemplo, y/o actuar como informantes ellos mismos en lo relativo a condiciones y relaciones comunitarias.

Por lo menos la gente a cargo del programa, y probablemente aquéllos que lo implementan también, esperarán tomar parte en el planeamiento de la evaluación. Ellos son, después de todo, los que necesitan saber si su trabajo es efectivo, y cómo mejorarlo. El involucrar a los participantes también, en roles que van de informantes acerca del contexto a verdaderos investigadores, probablemente enriquezca la cantidad y calidad de la información que ustedes obtengan.

Planeen la evaluación, en colaboración con los interesados.

Esa colaboración deberá darse en el más alto nivel de participación posible, dada la naturaleza del programa, el tiempo disponible, y la capacidad de los involucrados (si los participantes del programa son niños de cinco años, ellos probablemente tendrán relativamente poco que contribuir al planeamiento de la evaluación... pero sus padres podrían querer involucrarse.)

El planeamiento mismo comprende diez  áreas diferentes, cada una de las cuales será tema de una de las restantes secciones en este capítulo:

• Recolección y síntesis de la información.
• Diseño de un sistema de observación.
• Desarrollo y prueba de una intervención prototipo.
• Selección de un diseño experimental apropiado.
• Recolección y análisis de los datos.
• Recolección e interpretación de la información etnográfica.
• Recolección y uso de los datos de archivo.
• Alentar la participación a través de la investigación.
• Refinar la intervención basándose en la evaluación.
• Preparación de los resultados de la evaluación para su divulgación.

Una vez que el planeamiento está hecho, es tiempo de empezar a llevar a cabo la evaluación.Y cuando se haya terminado – después de haber analizado la información y planeado y realizado los cambios que se necesitarán – es tiempo de comenzar el proceso otra vez, con el fin de poder determinar si esos cambios tuvieron los efectos que se pretendían. La evaluación, como gran parte del trabajo comunitario, es un proceso que sigue así por la misma cantidad de tiempo que el trabajo mismo. Ella es absolutamente esencial para la mejora continua de su programa.

En resumen

La selección de las preguntas evaluativas - las áreas de su trabajo que se examinarán como parte de la evaluación de su programa - es clave para definir exactamente qué es lo que se está tratando de lograr. Por esa razón, esas preguntas deben ser elegidas cuidadosamente como parte del proceso de planeamiento para el programa mismo, de modo que las preguntas puedan guiar su trabajo así como la evaluación de él. Cuanto más se pueda involucrar a los interesados en esa selección y ese planeamiento, más probable será que se cree un programa que logre exitosamente sus metas de servicio para la comunidad.

La buena selección de esas preguntas supone comprender el contexto del programa - la comunidad, los participantes, la cultura de todo grupo que esté involucrado, la historia del problema y de la estructura social de la comunidad y de la organización - y (si usted es un evaluador externo sin ataduras con el programa) el establecimiento de una confianza con administradores, miembros del personal, y participantes. Esa confianza le permitirá realizar una evaluación participativa que extraiga el conocimiento y los talentos de todos los interesados, y planear una evaluación que se ajuste a las metas de su programa y que analice con precisión  sus fortalezas y sus debilidades. Con ese análisis en la mano,  se podrán hacer cambios para mejorar el programa. Entonces se estará cercano a comenzar todo el proceso otra vez, con el fin de poder evaluar los efectos de los cambios que se han realizado.

¿Qué queremos decir con seleccionar las preguntas?

___Las preguntas evaluativas son aquellas que su evaluación debe responder acerca de su trabajo.

___Las preguntas evaluativas ayudan a fijar la dirección del trabajo, así como a evaluar su efectividad.

___Idealmente, la selección de las preguntas evaluativas es parte del planeamiento del programa total.

Preguntas a hacerse al seleccionar las preguntas evaluativas:

___¿Qué es lo que quieren saber?

___¿Por qué les interesa?

___¿Es el asunto el cual se está tratando importante para la comunidad o para la sociedad?

___¿Cómo se relaciona el asunto con el campo de trabajo?

___¿Es un asunto general, en vez de específico a su población o comunidad?

___¿Quién podría usar los resultados de su evaluación?

___¿A quién concierne el  problema?

¿Por qué es  necesario seleccionar cuidadosamente las preguntas evaluativas?

___Les ayuda a comprender qué efectos están teniendo diferentes partes de su esfuerzo.

___Les hace definir claramente qué es lo que se está tratando de hacer.

___Les muestra dónde se necesitan hacer cambios.

___Resalta las consecuencias inesperadas.

___Guía sus elecciones futuras.

___En las evaluaciones participativas, involucra a los interesados en la fijación del curso del programa, haciendo de esta manera más probable que se cumplan con las necesidades de la comunidad.

___Proporciona el enfoque para la evaluación y para el programa.

___Determina qué se necesita registrar con el objetivo de recolectar datos para la evaluación.

¿Cuándo se debe seleccionar las preguntas y planear la evaluación?

___Si es posible, la selección de las preguntas y el planeamiento de la evaluación deberían ser una parte integral del planeamiento de su programa.

___Si su realidad lo hace imposible, seleccionar las preguntas y planear la evaluación debería hacerse tan pronto como sea posible después de que el programa empieza.

¿Quiénes deben estar involucrados en el proceso?

___Hasta donde sea posible, el proceso debe involucrar a todos los interesados,  incluyendo a los  participantes y a los beneficiarios del programa.

¿Cómo seleccionar las preguntas y planear la evaluación?

Al seleccionar las preguntas:

___Describa el asunto o problema que se está tratando.

___Describa la importancia del problema.

___Describa a los que contribuyen al problema.

___Evalúe la importancia y la factibilidad de cambiar esos comportamientos.

___Describa  el objetivo de cambio.

___Asegúrese de que los cambios esperados constituyan una solución o una contribución sustancial a la solución del  problema.

Al hacer el planeamiento:

___Tome en cuenta los problemas que surjan debido a lugares múltiples o muy diferentes.

___Tome en cuenta los problemas que surjan por grupos participantes con diferentes culturas, posibilidad de completar el programa, localización geográfica, y otros factores.

Para los evaluadores externos, específicamente:

___Elijan un escenario de trabajo.

___Aprendan lo más que se pueda sobre la organización que han elegido.

___Contacten a la(s) persona(s) apropiada(s)  y soliciten una entrevista.

___Planeen y prepárense para la reunión inicial.

Para todos los evaluadores:

___Averigüen todo lo que puedan sobre el contexto.

___Establezcan confianza con los administradores del programa, el personal y los participantes.

___Apunten a una evaluación participativa.

___Planeen la evaluación en colaboración con los interesados.

___Consideren todos los elementos de una evaluación en su planeamiento:

___Recolección y síntesis de la información.

___Diseño de un sistema de observación.

___Desarrollar y probar un  prototipo de intervención.

___Seleccionar un diseño experimental apropiado.

___Recolectar y analizar los datos.

___Reunir e interpretar la información etnográfica.

___Recolectar y usar los datos de archivos.

___Alentar la participación a través de la investigación.

___Afinar la intervención basados en la evaluación.

___Preparar los resultados de la evaluación para su divulgación.

Example 1: Using Miro Board for Collaborative Development of Evaluation Goals and Questions

 

Noah Goodman shares the process he used to prepare for and conduct a kick-off meeting to develop evaluation goals and questions for the Right Question Institute.

Integrating Technology in Evaluation TIG Week: Using Miro Boards to Engage Clients in Collaborative Development of Evaluation Goals and Questions by Noah Goodman

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué se entiende por recolección y síntesis de información?

• ¿Por qué llevar a cabo la recolección y síntesis de información?

• ¿Cuándo conviene realizar la recolección y síntesis de información?

• ¿Quién debe llevar a cabo la recolección y síntesis de información?

• ¿Cómo se lleva a cabo la recolección y síntesis de información?

Supongamos que quisiera diseñar una casa que utilizara muy poca energía, requiriera pocos recursos para construirse y mantenerse, y fuera asequible para la mayoría de las familias. Podría tener algunas ideas originales sobre cómo lograrlo, pero también querría conocer las ideas que han tenido otras personas. Probablemente leería acerca de las casas semienterradas (construidas en una ladera o montículo de tierra), los paneles solares o los molinos de viento para producir electricidad, las ventanas aislantes eficientes, el reciclaje de aguas residuales y los materiales de construcción no tóxicos que reutilizan madera y metal de desecho. Hablaría con personas que han construido o vivido en casas eficientes en energía, para conocer la realidad de vivir de manera sostenible. También aprendería sobre las barreras de algunas estrategias ecológicas, así como las formas de superarlas. Hay una enorme cantidad de información disponible, y tendría sentido recopilar la mayor cantidad posible, para poder integrarla, incorporar los elementos adecuados en tu diseño y obtener nuevas ideas a partir de lo que ya se ha hecho.

Lo mismo ocurre si está diseñando una intervención o un programa para abordar un problema de salud comunitaria u otro tipo de cuestión, o bien una evaluación de ese programa. Sin duda, otras personas también han intentado enfrentar ese problema, algunas con éxito y otras sin él. Conocer qué hicieron, cómo lo hicieron y cuáles fueron los resultados puede ayudarte a decidir cómo diseñar tu propio esfuerzo. Quizá logre encontrar un método aquí y una técnica allá que, al combinarse, se adapten exactamente al programa que mejor responda a las necesidades y condiciones de su comunidad. O bien podría darse cuenta de que algo que pensaba implementar simplemente no ha funcionado en numerosos casos anteriores, y por lo tanto, tampoco tendría muchas probabilidades de funcionar en su situación.

Recopilar y utilizar las ideas de otros no significa que no pueda usar las suyas o crear algo nuevo. De hecho, las ideas nuevas suelen surgir a partir de lo que otros han intentado. La mayoría de los artistas comienzan imitando a otros antes de desarrollar sus propios estilos. Einstein no llegó a la teoría de la relatividad por casualidad; estaba familiarizado con ella porque otros ya habían trabajado en el tema. Por lo general, se puede innovar de manera más efectiva cuando se sabe qué se ha probado previamente.

Esta sección se centra en recopilar toda la información posible sobre el problema de su comunidad y sobre los intentos de abordarlo, y en integrar esa información para diseñar una evaluación que responda a sus preguntas. Aunque este capítulo trata sobre la evaluación, gran parte del contenido de estas secciones también se aplica a la planificación de la intervención (o programa) y a la evaluación: en realidad, ambos aspectos no pueden separarse.

Una evaluación es un proyecto de investigación: lo que buscamos es descubrir qué funciona y bajo qué condiciones. Los pasos para diseñar y utilizar una evaluación, el tema de este capítulo, son, en esencia, los mismos que los de diseñar el programa que se está evaluando. Los elementos que tomé de los esfuerzos exitosos de otros, junto con los que cree por su cuenta, darán lugar a una intervención y a las preguntas de evaluación correspondientes. Aunque en esta sección se hable del diseño del programa, lo expuesto también se aplica al diseño de la evaluación. 

¿Qué se entiende por recolección y síntesis de información?

La recopilación de información se refiere a obtener datos sobre el problema que enfrenta y sobre las formas en que otras organizaciones y comunidades lo han abordado. Cuanta más información tenga acerca del problema en sí y de las maneras en que se ha intentado resolver, más probabilidades tendrá de poder diseñar un programa o una intervención eficaz propia.

Existen, por supuesto, muchas fuentes de información, que varían según lo que esté buscando. En general, puede consultar fuentes existentes o examinar “ejemplos naturales”, es decir, ejemplos de programas e intervenciones reales que han abordado el problema. Aquí mencionaremos dónde encontrar ambos tipos de fuentes y más adelante en la sección entraremos en mayor detalle sobre ellas.

• Fuentes existentes. Este término se refiere a material publicado de diversos tipos que puede dar luz sobre el problema o alternativas de cómo enfrentarlo. Estas fuentes pueden dividirse, de manera práctica, en: publicaciones académicas, dirigidas principalmente a investigadores y a la comunidad universitaria; fuentes de divulgación, escritas en un estilo accesible y dirigidas al público en general; e información estadística y demográfica publicada por diversas organizaciones de investigación y organismos gubernamentales.
• Ejemplos naturales. Se trata de programas o intervenciones desarrollados y probados en comunidades que han abordado su problema. Estudiarlos puede mostrarle qué les funcionó y qué no, y por qué. Al ofrecerle una visión de cómo se manifiestan los problemas en su comunidad u otras, pueden proporcionarle ideas prácticas sobre cómo (o cómo no) llevar a cabo un programa o intervención exitosa. En la mayoría de los casos, las fuentes de información aquí son las personas involucradas en esfuerzos para abordar problemas similares al suyo, o aquellas que pueden orientarlo hacia ellas. Además, existen varios ejemplos naturales (como estudios de caso individuales) que han sido descritos en la literatura de la psicología comunitaria o de la salud pública y que pueden ser relevantes para su trabajo.

Síntesis proviene del griego; significa “juntar” o “reunir”. En inglés su significado es el mismo: la acción de juntar algo a partir de dos o más fuentes distintas. Por ejemplo, las telas sintéticas tienen ese nombre porque están construidas de varios componentes químicos.

En esta sección hablamos de ideas. La síntesis, en este contexto, se refiere a analizar lo que ha aprendido durante la recopilación de información y a construir un programa o enfoque coherente tomando ideas de diversas fuentes y uniéndolas para crear algo nuevo que responda a las necesidades de la comunidad y la población con las que trabaja. 

Sintetizar de esta manera requiere identificar los elementos funcionales de cada idea o programa que haya revisado y que parezcan aportar enseñanzas útiles para su trabajo. Los elementos funcionales son los componentes centrales de cada programa, los métodos, el marco, las actividades, las técnicas y otros aspectos que conforman el programa específico que está analizando. Una vez que haya separado estas partes, puede combinar aquellas que respondan a sus necesidades con lo que ha aprendido sobre el problema y con sus propias ideas, para construir un programa que se ajuste específicamente a su situación.

Como ya hemos mencionado, las actividades de recopilación y síntesis de información son necesarias tanto para crear el programa original como para desarrollar una evaluación que le ayude a mantenerlo y mejorarlo. Ambos procesos parten, en realidad, del mismo lugar: de lo que piensa que permitirá abordar el problema, la forma que debería adoptar el programa o intervención, con quién debería aplicarse y qué conductas o condiciones busca cambiar. Esto también orienta cuáles deben ser sus metas a corto y largo plazo, y por qué medios intentará alcanzarlas. Una vez que estas metas se han definido, a su vez determinan sus preguntas de evaluación. No se puede construir una evaluación sin saber exactamente qué es lo que se intenta evaluar.

¿Por qué llevar a cabo la recolección y síntesis de información?

Si está en proceso de iniciar un programa para abordar un problema comunitario, como la violencia o la educación en la primera infancia, probablemente ya sepa bastante sobre ese tema. Tal vez lo haya enfrentado de diferentes maneras y tenga ideas bastante claras acerca de qué tipo de programa podría funcionar. Entonces, ¿por qué dedicar tiempo y esfuerzo, suyo y de otras personas involucradas en una planificación participativa, a leer mucho material escrito por otros y a contactar a quienes ya han dirigido programas? Si piensa de esa manera, hay muchas buenas razones para considerarlo. Recopilar información de antemano y organizar lo que ha aprendido podría ser lo más importante que haga para que su programa sea efectivo. Aquí le explicamos por qué:

• Le ayudará a evitar descubrir el hilo negro. Es muy probable que muchas organizaciones hayan abordado este problema antes que usted. Algunas quizá hayan tenido éxito y otras no, pero todas seguramente aprendieron algo en el proceso que podría serle útil. No tiene por qué cometer los mismos errores que alguien más ya cometió si conoces su experiencia, ni tiene que crear algo desde cero, que puede o no funcionar, cuando ya existe un modelo que sí ha funcionado.

Le permitirá distinguir entre buenas y malas ideas. No está nada mal que tenga algunas de las mismas buenas ideas que otros ya han tenido, pero es útil saber que realmente son buenas. También existe la posibilidad de que tenga algunas de las mismas malas ideas que otros han tenido, y en ese caso resulta aún más valioso reconocer que son malas. Esto puede ahorrarle muchos problemas y, quizás, marcar la diferencia entre crear un programa que cumpla bien su función y uno que fracase estrepitosamente y desaparezca. Eso es como querer descubrir el hilo negro; alguien ya lo sabía.

• Le ayudará a comprender profundamente el problema para poder abordarlo adecuadamente. El primer paso para resolver un problema es saber exactamente con qué está tratando. Cuanto mejor lo entienda, sus causas, cómo ocurre, cómo reaccionan las personas cuando se ven afectadas, cuáles son sus consecuencias para los individuos y la comunidad, y quién puede influir en él, mayores serán las probabilidades de que pueda determinar cómo enfrentarlo.​​
• Necesita todas las herramientas posibles para crear el mejor programa que pueda. Y, ante todo, las herramientas más importantes para planificar e implementar un programa o intervención son: información, información y más información. Al igual que con el problema en sí, cuanto más sepa sobre qué funciona y para quién, cómo lograr que las cosas sucedan, y cómo establecer o eliminar ciertas condiciones, más probabilidades tendrá de diseñar un programa exitoso que aborde todos los aspectos del problema y no deje nada al azar. Diversos tipos de habilidades profesionales e interpersonales pueden ayudarle a implementar un programa, pero si lo que implementa no es efectivo, da igual cuán hábilmente lo lleve a cabo.
• Es probable que la mayoría de las soluciones no sean de talla única. Cuanta más información recopile, mayor será la variedad de enfoques, métodos y marcos de referencia entre los que podrá elegir. Armar la combinación adecuada le ayudará a responder con éxito a las necesidades particulares de su comunidad y de la población con la que trabaja.
• Puede ayudarle a ser culturalmente sensible. No solo podrá aprender más sobre la(s) cultura(s) de las personas con las que trabaja, sino que también es probable que encuentre una serie de enfoques que hayan funcionado con el grupo cultural al que espera beneficiar. Y quizá lo más importante: podrá aprender a evitar errores costosos que podrían requerir mucho tiempo y esfuerzo, o incluso ser imposibles de reparar.
• Conocer lo que se ha hecho en una variedad de circunstancias y comprender el problema desde diferentes puntos de vista puede darle nuevas perspectivas e ideas para su programa. Como mencionamos al inicio de esta sección, las ideas nuevas rara vez surgen de la nada. Se estimulan a partir de su propia experiencia y de las ideas y experiencias —buenas y malas, positivas y negativas— de otras personas. Vea la experiencia de otros campos, comunidades y países. Cuantas más ideas distintas conozca, y más formas encuentre de combinarlas, mayores serán las posibilidades de que genere algo nuevo que sea más efectivo que lo que se ha hecho antes.

¿Cuándo conviene realizar la recolección y síntesis de información?

La recopilación y síntesis de información es crucial para el éxito del programa y para la pertinencia y efectividad de la evaluación. Debe comenzar desde el inicio de cualquier esfuerzo y contribuir a la planificación inicial. También debe continuar a lo largo de toda la vida del programa, de manera que pueda seguir ajustándolo mediante la incorporación o modificación de elementos que mejoren los resultados y generen nuevas ideas.

Los ajustes principales, en general, deberían realizarse al final de un ciclo de evaluación, cuando ya se cuenta con información sólida sobre lo que funcionó y lo que no. Sin embargo, esto no significa que no se puedan hacer ajustes menores durante la implementación del programa para mejorar los resultados en el camino.

Existe aquí una tensión entre cambiar continuamente un programa para mejorarlo y obtener resultados de evaluación precisos. Si modifica un método o una actividad a mitad del proceso, su evaluación no podrá darle una valoración clara de su efectividad.

La cantidad de cambios que haga durante el desarrollo de un programa depende de su intención. Si su primera responsabilidad es averiguar qué funciona mejor, para luego transmitirlo, entonces es importante no hacer cambios hasta que se complete la evaluación. En cambio, si su responsabilidad principal es con los participantes actuales del programa, debería hacer los cambios necesarios en el momento en que sean necesarios para asegurar los mejores resultados para ellos.

Aquí también pueden surgir cuestiones éticas. En los experimentos médicos con nuevas terapias o fármacos, por ejemplo, algunos participantes reciben el nuevo tratamiento y otros no (todos aceptan voluntariamente esta condición y el hecho de no saber a qué grupo serán asignados). Si el nuevo tratamiento demuestra ser dañino, existe la obligación ética de suspender su aplicación. Por otro lado, si resulta ser notablemente eficaz, los investigadores suelen sentirse éticamente obligados a extenderlo a los demás participantes en cuanto pueden demostrar sus efectos positivos. No todos los programas plantean necesariamente dilemas éticos tan claros como los que surgen en los estudios médicos, pero siempre se deben tener en cuenta las consideraciones éticas.

¿Quién debe llevar a cabo la recolección y síntesis de información?

La premisa a lo largo de este capítulo es que todo el proceso —planificación, diseño, implementación y evaluación— involucra a múltiples actores interesados.

Los actores típicos en un programa o intervención comunitaria pueden incluir:

• Participantes o beneficiarios del programa
• Personal y administradores del programa
• Otras personas afectadas por el programa —policía, personal médico, docentes, etc.
• Académicos u otros investigadores
• Funcionarios locales
• Activistas comunitarios

Recopilación de información

En un proceso participativo, la recopilación de información puede potenciarse mediante una división del trabajo determinada por las habilidades y la experiencia de los participantes. Si hay académicos u otros investigadores profesionales involucrados, probablemente tenga más sentido que ellos —u otras personas con experiencia en investigación— revisen la literatura de evaluación. Los miembros de la población afectada podrían ser los más indicados para recopilar información sobre la historia del problema en la comunidad y sobre cómo afecta actualmente a las personas. Los directores y el personal del programa probablemente tengan los mejores contactos en el campo, y por lo tanto, mayores posibilidades de encontrar información sobre otros programas similares. Quienes tengan acceso a Internet y experiencia con computadoras podrían ser los buscadores en línea más lógicos, o bien actuar como apoyo técnico para ayudar a otros a encontrar lo que necesitan. Aquellos con conocimientos en derecho y legislación podrían ser los responsables de examinar políticas.

También existe la posibilidad de que se brinde capacitación a todo el grupo, o a distintas personas, para permitirles desarrollar diversas líneas de investigación. No hay razón, por ejemplo, para que personas sin experiencia en investigación no puedan aprender a comprender e interpretar información demográfica o a ponerse en contacto con programas en otros lugares. (Existen algunas limitaciones aquí: los niveles de educación relacionada, la disponibilidad de materiales o computadoras y/o la imposibilidad de conectarse con otras personas pueden influir en el tipo de investigación que tiene sentido pedir a otros que realicen).

Síntesis

Es especialmente importante que todos los participantes en el proceso estén involucrados en la integración de la información. Capacitar a nuevos participantes para sintetizar información dará frutos al final, porque ellos pueden ser capaces de ver cosas en la información que no son evidentes para los investigadores experimentados. Pueden saber cosas sobre la comunidad que arrojen luz sobre qué elementos de otros programas podrían ser apropiados y cuáles no.

En cualquier caso, la recopilación y la síntesis de información, al igual que cualquier otra parte del proceso, deben reflejar las necesidades, intereses y capacidades de todos los actores involucrados.

¿Cómo se lleva a cabo la recolección y síntesis de información?

Existen varios pasos para recopilar e integrar la información que necesita. La mayoría de estos pueden realizarse como actividades grupales, formando parte del proceso participativo. La recopilación de información en sí misma puede asignarse a personas o subgrupos específicos.

Decidir qué necesitas saber

No es sorprendente que el primer paso en la recopilación de información sea determinar qué información se debe obtener. Existen varias áreas que se pueden explorar:

• Detalles sobre el problema. Estos pueden incluir sus causas inmediatas y de raíz; sus efectos generales en las personas y en las comunidades; sus consecuencias; su desarrollo a través de diferentes etapas; su historia; y la historia de los intentos de abordarlo.
• Cómo se ha abordado el problema en otros lugares. Prácticas recomendadas o enfoques que cuentan con una base de evidencia; otros enfoques que han sido al menos parcialmente efectivos; y lo que no ha funcionado, lo cual puede brindarle información tan importante como lo que sí ha funcionado.
• Personas que pueden ayudar. Esta categoría abarca a expertos en el tema y a personas u organizaciones que han llevado a cabo o participado en intentos exitosos de abordar el problema.
• Quiénes se ven afectados localmente, y de qué manera. En realidad, esto comprende dos preguntas:
  a) ¿Qué grupos poblacionales – geográficos, étnicos, culturales, raciales, de clase, etc. – se ven particularmente afectados por este problema?
  b) ¿Qué otros grupos se ven afectados, aunque de manera menos visible? Estos podrían incluir a quienes trabajan con el(los) primer(os) grupo(s) en la comunidad (por ejemplo, maestros o trabajadores sociales), quienes dependen de ellos, y aquellos de quienes ellos dependen.
• La importancia del problema para la comunidad. Nuevamente, esto implica dos preguntas:
  • ¿Qué tan importante percibe la comunidad que es el problema? y
  • ¿Cuánto y de qué maneras afecta realmente el problema a la comunidad en su conjunto?
• Necesidades de la comunidad relacionadas con el problema. ¿Qué debe añadirse o eliminarse de la comunidad para mejorar la situación? ¿A qué tipos de enfoques responderá la comunidad o rechazará?
• Otra información contextual. Historia de la comunidad, relaciones entre grupos e individuos que puedan ser relevantes para su trabajo, cultura comunitaria, etc.
• Quién, si alguien, tiene cierta influencia o control para cambiar la situación. Los funcionarios públicos y otros responsables de formular políticas suelen estar en esta posición. Los líderes empresariales, los propietarios, las agencias gubernamentales de control, las escuelas, los empleadores, los hospitales y el personal de salud, así como los propios miembros del grupo afectado, también podrían estar en condiciones de cambiar la situación (aprendiendo nuevas habilidades o modificando prácticas).

Determine sus fuentes probables de información

Como se mencionó anteriormente, estas abarcan fuentes existentes (es decir, publicadas) y ejemplos naturales (es decir, experienciales). Las fuentes publicadas pueden dividirse en académicas, de consumo masivo y estadísticas, cada una de las cuales puede aportar información y una perspectiva diferente sobre el tema y los intentos de abordarlo. Dependiendo de lo que decida que está buscando, podría utilizar todas, o cualquier combinación, de estas fuentes.

El depósito de información más grande disponible es Internet. Muchos artículos académicos se publican en línea y son accesibles – a menudo de forma gratuita, a veces con costo – para cualquier persona interesada. Prácticamente todas las leyes y regulaciones de EE. UU., en todos los niveles de gobierno, se encuentran fácilmente, la mayoría en varios sitios web. El conocimiento general sobre casi cualquier tema está ampliamente disponible, al igual que las listas de prácticas recomendadas, organizaciones exitosas y los sitios web de esas organizaciones. Los datos del censo y otra información estadística similar también están disponibles. A esto se suma la información proporcionada por fuentes tan completas como Wikipedia (que recientemente, a pesar de sus peculiaridades, se ha comprobado que es casi tan precisa en sus más de un millón de entradas como la Enciclopedia Británica), lo que constituye un pozo casi inagotable de hechos y opiniones de donde extraer.

Como siempre, hay que ser cautelosos: la mayor parte del ciberespacio no está editado, y la calidad de la información varía. Si se ciñe a sitios razonablemente confiables, es probable que encuentre casi todo lo que necesite, o al menos una guía hacia ello.

Fuentes existentes

Las fuentes académicas pueden incluir:

• Revistas académicas y algunas revistas profesionales.
• Libros escritos para el mercado académico.
• Tesis doctorales – estas son accesibles para investigadores a través de bibliotecas universitarias y algunas fuentes en Internet.
• Ponencias e informes presentados en conferencias académicas y profesionales – a menudo disponibles en línea, ya sea en los sitios web de los autores o en las actas electrónicas de los congresos.
• Artículos ocasionales en revistas científicas de divulgación respetadas, como Nature o Scientific American.
• Archivos de periódicos.
• Contacto directo con académicos y otros investigadores que hayan trabajado en el tema de su interés, o que hayan realizado estudios sobre intentos de abordarlo.
• Listas de distribución (listservs) y grupos de noticias en Internet relacionados con el tema o el campo en cuestión.

Fuentes de información de consumo masivo:

• Libros de amplia distribución, a menudo comercializados como de “autoayuda” o “transformadores de vida”, dirigidos al público en general.
• Artículos en revistas populares, tanto las dedicadas a la ciencia o al comportamiento como las de interés general.
• Noticias en periódicos, a menudo en las secciones de revistas de los domingos.

Dónde encontrar información estadística y demográfica:

• Datos censales – disponibles en la web y en muchas bibliotecas.
• Informes comunitarios, como boletines de calificaciones de la comunidad, autoestudios y evaluaciones de necesidades, todos los cuales deberían poder obtenerse a través de las oficinas municipales correspondientes, y a veces también en la web.
• Datos de organizaciones y agencias, que por lo general son de dominio público si la agencia es pública o recibe fondos públicos.

Además de estas fuentes, los medios de difusión suelen presentar historias sobre temas críticos o sobre esfuerzos exitosos para abordarlos. En la mayoría de los casos, dichas historias solo rozan la superficie, ya que deben ajustarse a espacios de tiempo reducidos (la radiodifusión pública, tanto en radio como en televisión, rompe este molde más que otros medios). Sin embargo, pueden servir como introducción para investigaciones posteriores, resaltando la importancia de uno o más aspectos de un tema, o brindando información sobre programas efectivos con los que luego puedes ponerte en contacto.

Ejemplos naturales

Algunas de las fuentes más probables de ejemplos naturales incluyen:

• Directores de programas.
• Amigos o colegas en el campo.
• Financiadores (en particular las agencias públicas, porque sus transacciones –incluido a quién financian y por qué– son de dominio público).
• Líderes y miembros de coaliciones o asociaciones comunitarias.
• Funcionarios que coordinan esfuerzos comunitarios a gran escala.
• Miembros de la población más directamente afectada por el problema en cuestión.
• Participantes actuales o anteriores, o beneficiarios de programas efectivos.
• Personas que colaboran con los programas – policía, personal médico, docentes, etc.
• Informantes clave de la comunidad.
• Expertos – algunos de ellos los mismos académicos y otros investigadores mencionados en las fuentes académicas – que tengan experiencia con tu problema y con los intentos de abordarlo.
• Su propia experiencia en la comunidad.

No tema ampliar su búsqueda de modelos exitosos o de nuevas ideas. Sal de su propio campo y de su propia región, y observe lo que se ha hecho en otros lugares. Un modelo de trabajo social o de diseño urbano podría funcionar en salud pública, o viceversa. Hay suficiente solapamiento entre los campos que se ocupan de la salud y el desarrollo humanos como para que, a menudo, pueda encontrar exactamente lo que necesita en lugares que, a primera vista, parecen poco probables.

Diseñar un plan para recopilar información

Hay varias consideraciones aquí:

• ¿Quién recopilará qué información? Como hemos comentado, el grupo ideal es multisectorial y diverso en trayectorias y habilidades. La recopilación de información debe asignarse de acuerdo con las destrezas, intereses y contactos en la comunidad de los participantes. Hemos sugerido, por ejemplo, que las fuentes académicas podrían ser exploradas por académicos u otros investigadores con experiencia, mientras que los miembros de la población afectada podrían tener más éxito al acercarse a informantes clave de la comunidad. Sin embargo, esto no significa que, en un grupo determinado, estos y otros roles aparentemente lógicos no puedan o no deban variar, dependiendo de las personas involucradas.
• ¿Cómo se recopilará la información? Otra cuestión es cómo se obtendrá la información. Encontrar y leer material escrito es relativamente sencillo: está en la biblioteca o en la web, y puede leerlo y tomar notas sobre las partes relevantes. Obtener información directamente de otras personas, sin embargo, puede ser más complicado. ¿Realizará entrevistas formales o informales? ¿Observación? ¿Llevará a cabo encuestas o reuniones públicas? ¿Cómo contactará a personas que no conoce: por carta, por teléfono, a través de conocidos en común? Sus métodos de recopilación de información estarán determinados por el tiempo disponible, la información específica que necesite, la profundidad de la información requerida y las habilidades de los participantes.
• ¿Qué ajustes se harán para cubrir vacíos específicos de experiencia o habilidades? Las personas que no leen, escriben y/o hablan el idioma con fluidez quizá tengan que idear formas creativas de registrar la información. Los investigadores con experiencia pueden tener que traducir la escritura académica para casi todos los miembros del grupo que no sean académicos. En muchos casos, la mayoría o todos los integrantes del grupo pueden necesitar una orientación o capacitación antes de que pueda comenzar la recopilación de información. Será necesario identificar, como grupo, cuáles son las necesidades y diseñar maneras de satisfacerlas.
• ¿Cuál es el cronograma para la recopilación de información? Si bien la recopilación de información debería continuar a lo largo de toda la vida de un proyecto, la fase inicial debe tener un límite de tiempo, de modo que la acción no se retrase demasiado. El plazo depende de sus propias limitaciones de tiempo, de la gravedad e intensidad del problema, de la percepción de urgencia en la comunidad y de si existen restricciones externas de tiempo (por ejemplo, pasantes estudiantiles que solo estarán disponibles hasta el final del verano). Tener una fecha límite clara ayudará a enfocar las actividades del grupo y aumentará su eficiencia.

Recopilar información

Cuando su plan esté completo, es momento de ponerlo en práctica. Tendrá que llevar a cabo las capacitaciones necesarias y asegurarse de que todas las tareas relevantes estén asignadas de manera adecuada. También puede ser útil programar reuniones periódicas a lo largo del proceso de recopilación de información, con el fin de dar al grupo la oportunidad de revisar los avances, hacer sugerencias y compartir lo que han ido encontrando. Además de brindar apoyo a quienes son nuevos en la investigación, estas reuniones, al ofrecer un adelanto de los resultados del proceso, evitarán que todos tengan que digerir una cantidad abrumadora de información de una sola vez.

Sintetizar: Analizarlo en partes 

El proceso de síntesis implica dividir la información en sus componentes, analizar cuáles se ajustan mejor a su contexto y luego integrarlos en un enfoque que tenga probabilidades de funcionar en su comunidad.

Por lo general, hay tres áreas principales que deben considerarse:

• Lo que se sabe sobre el problema en sí. ¿Qué factores personales y ambientales contribuyen al problema? ¿Cuáles son sus causas fundamentales? ¿Tiene los recursos para abordarlas, o están más allá de su alcance (por ejemplo, las fuerzas económicas globales o el cambio climático)? ¿El problema tiene diversos efectos y, de ser así, cuáles son? ¿Cuáles son las consecuencias probables para la comunidad en su conjunto si el problema no se resuelve? (Un riesgo ambiental para la salud no solo puede causar la muerte o enfermedad de individuos, sino que también podría afectar la productividad empresarial, la disponibilidad y las tarifas de los seguros, los costos hospitalarios, el mercado de la vivienda o incluso –como en el caso del vecindario Love Canal en Niagara Falls, NY– la existencia misma de un vecindario o comunidad).
• El contexto comunitario del problema. ¿Cuáles son los efectos locales específicos del problema? ¿Quiénes son exactamente los afectados? ¿De qué manera exacta se ven afectados? ¿Cuáles son las consecuencias para esos individuos? ¿Para sus familias, amigos, vecinos y otras personas con quienes se relacionan? ¿Para la comunidad en su conjunto? ¿Cuál ha sido la experiencia de la comunidad con este problema en el pasado? ¿Cómo se ha abordado, si es que se ha hecho? ¿Qué condiciones locales cambiarían si el problema se resolviera y de qué manera cambiarían? ¿Existen condiciones subyacentes que deban cambiar antes de que el problema pueda abordarse? ¿Qué actitudes y/o comportamientos necesitan cambiar para tener un efecto sobre el problema (por ejemplo, entre los responsables de formular políticas, los afectados o ciertos funcionarios específicos)?
• Intentos exitosos y no exitosos de abordar el problema. Estos pueden haberse obtenido tanto de la literatura sobre prácticas recomendadas como directamente o de manera indirecta de quienes participaron en ellos. Aquí es importante desglosar los elementos de los distintos enfoques. ¿Qué procedimientos específicos – métodos y componentes de intervención – se utilizaron? ¿Qué tipos de capacitación – retroalimentación, juegos de roles, modelado, etc. – se proporcionaron a los participantes? ¿Se ofreció información a los participantes sobre cuándo, por qué y cómo actuar? ¿Hubo consecuencias positivas o negativas que ayudaron a establecer o mantener el cambio (o su contrario)? ¿Se implementaron o eliminaron barreras ambientales, políticas o regulaciones? ¿Cuál era la filosofía general detrás del enfoque? ¿Qué aspectos del problema abordaba? ¿En qué tipo(s) de comunidad se probó? ¿Qué grupos poblacionales (en términos de cultura, edad, clase social, etc.) participaron? ¿A quién debía beneficiar el enfoque? ¿Cuáles fueron los resultados específicos a corto plazo? ¿Y a largo plazo? ¿Qué hace que un programa, política o práctica en particular sea exitoso o no exitoso? ¿Qué eventos, si los hubo, fueron críticos para el éxito (o el fracaso)? ¿Qué condiciones – características organizacionales, de los participantes o factores ambientales más amplios – fueron determinantes? ¿Existe un modelo de programa exitoso? ¿Existe un modelo de programa no exitoso?

La existencia de un programa modelo no exitoso no significa que, si hace lo opuesto a todo lo que ese programa hizo, tendrá éxito. Incluso si fracasó estrepitosamente, gran parte del programa pudo haber sido potencialmente eficaz, pero uno o dos elementos – la manera en que se abordó, reclutó o trató a los participantes, o un método en particular – anularon lo que podría haber funcionado. De la misma manera, es posible que la mayoría de los elementos del programa hayan estado bien, pero que su premisa básica haya sido equivocada o ineficaz – por ejemplo, “Solo diga no” como estrategia para prevenir el SIDA entre adolescentes. Lo importante es tratar de averiguar por qué el programa no tuvo éxito. Un verdadero programa modelo no exitoso es aquel que hizo todo mal, pero esos casos son muy poco frecuentes.

Lisbeth Schorr (Common Purpose) hace una distinción útil entre “lo que funciona” y las condiciones bajo las cuales lo que funciona realmente funciona. A veces, la presencia de un líder o campeón carismático motiva al personal y/o a los participantes a lograr el éxito. Cuando ese líder o los miembros originales del personal se marchan, algunos programas colapsan, mientras que otros logran renovarse mediante contrataciones cuidadosas y una implementación fiel de los elementos que los hicieron funcionar.

Al buscar programas de los cuales inspirarse, es necesario comprender los componentes y elementos de intervención que hacen que dichos programas funcionen. Asimismo, conviene entender las condiciones que permiten que una intervención sea exitosa.

Sintetizar: Volver a armarlo

Analice los elementos que ha encontrado para determinar cuáles de ellos serían apropiados para la situación y el grupo con el que está trabajando.

• ¿Qué se ha utilizado específicamente con su población en sus circunstancias?
  ¿Los programas exitosos que ha revisado han sido específicos de su contexto (es decir, diseñados para sus comunidades y poblaciones particulares)?
  ¿Pueden adaptarse a su propio contexto si no fueron diseñados para él?
• ¿Qué puede adaptarse, si no estaba dirigido originalmente a su población?
  (Por ejemplo, técnicas utilizadas con niños o adolescentes que podrían modificarse para aplicarse con adultos, o viceversa).
• ¿Qué falta? ¿Qué aspectos del problema en su comunidad no están siendo abordados por lo que ha encontrado? ¿Son lo suficientemente importantes como para que deban ser atendidos?
• ¿Lo que ha encontrado confirma o contradice lo que pensaba que ya sabía?
• ¿Existen factores en su situación particular que hagan que el problema sea sustancialmente diferente para usted y sus participantes en comparación con otros programas o enfoques sobre los que ha obtenido información? ¿Cómo lo enfrentará?
• ¿Qué le dice la información que ha recopilado acerca de la posibilidad de abordar con éxito las causas fundamentales del problema (por ejemplo, la desigualdad de ingresos, la exclusión social, la falta de poder)?
• En general, ¿la mayoría o todos los programas exitosos dirigieron sus esfuerzos de cambio al mismo grupo de personas (por ejemplo, los responsables de formular políticas), o hubo variedad? Si fue lo segundo, ¿qué cree que es más probable que funcione en su comunidad?
• Quizá lo más importante, ¿cuál es su definición de éxito y qué programas de los que conoció se acercaron más a lograrlo? ¿Qué componentes y elementos de esos programas abordaron lo que se necesita en su comunidad?

Responder a estas preguntas le dará una buena idea de cuáles componentes de otros programas podrían funcionar para usted, y también deberían coincidir con lo que ya sabe, para proporcionarle ideas sobre nuevos elementos que pueda agregar o para confirmar (o advertirle en contra de) ideas para nuevos elementos que ya había considerado.

No queremos dar a entender que simplemente tomar muchos componentes diferentes de programas y mezclarlos proporcionará una forma eficaz de abordar un problema comunitario. Usted debe comenzar con un marco claro, basado en su visión y misión, y construir un programa que sea coherente y tenga sentido. Todos los elementos deben encajar; si encajan lo suficiente, el resultado será algo más grande que la simple suma de sus partes. Si los elementos no encajan entre sí o no forman parte de un programa con un marco bien definido, lo más probable es que termine con un resultado desordenado.

Siga adelante

La recopilación de información y la síntesis de conocimientos deben continuar a lo largo de todo el programa. Aunque pueda esperar a los resultados de una evaluación inicial para realizar algún cambio, siempre debe estar buscando mejoras y enfoques más efectivos. Ningún programa o esfuerzo es perfecto: todo puede mejorarse. Mientras usted siga intentando aprender más y profundizar en su comprensión de su trabajo, este continuará mejorando. Si se vuelve complaciente (es decir, si siente que ya sabe lo que está haciendo y puede relajarse), su programa podría empezar a perder efectividad.

En resumen

Recopilar la información que ya existe sobre su problema y sobre los intentos de abordarlo es uno de los aspectos más importantes al planificar un programa o una evaluación. Al reunir lo que se sabe sobre el problema y la historia de los éxitos y fracasos de distintos enfoques, usted puede construir una estructura de programa que incluya sus propias innovaciones y elementos que han funcionado para otros en situaciones similares. Esta síntesis también le permite evitar enfoques ineficaces e incorporar ideas y métodos que han sido particularmente apropiados, culturalmente o de otra manera, para la población y la comunidad con la que trabaja.

La recopilación de información y la síntesis deben continuar durante toda la vida del programa. Cuanta más información tenga y más cuidadosamente la organice, mayores serán sus probabilidades de implementar un programa exitoso.

What do we mean by information gathering and synthesis?

___Information gathering refers to gathering information about the issue you’re facing and the ways other organizations and communities have addressed it

___You can gather information using both existing sources and natural examples

­­___Synthesis here refers to analyzing what you’ve learned from your information gathering, and constructing a coherent program or approach by taking ideas from a number of sources and putting them together to create something that meets the needs of the community and population you’re working with

___Synthesis involves extracting the functional elements of both the analysis of the issue and approaches to it

___Functional elements are those that are indispensable either to understanding the issue, or to implementing a particular program

Why gather and synthesize information?

___It will help you avoid reinventing the wheel

___It will help you to gain a deep understanding of the issue so that you can address it properly

___You need all the tools possible to create the best program you can

___It’s likely that most solutions aren’t one size fits all

___It can help ensure your program is culturally sensitive

___Knowing what’s been done in a variety of other circumstances and understanding the issue from a number of different viewpoints may give you new insights and new ideas for your program

When should you gather and synthesize information?

___Information gathering and synthesis should continue throughout the life of the program

Who should gather and synthesize information?

___Information gathering and synthesis is often most effectively conducted by a multi-sectoral participatory group including all stakeholders in the issue

How do you gather and synthesize information?

___Decide what you need to know about the issue itself, successful and unsuccessful attempts to address it in various circumstances, and the local context

___Determine your likely sources for the various types of information you’re seeking

• Existing sources include scholarly, mass-market, and statistical/demographic published information
• Natural sources include some published information about programs, but can best be obtained by direct contact with those involved in planning, implementing, or participating in programs relevant to your issue
• It’s important to pay attention to both successful and unsuccessful attempts to address the issue, and to step outside your own field in search of solutions that work

___Devise a plan for gathering information

• Decide who will gather what information
• Decide how information will be gathered
• Decide what adjustments will be made for gaps in experience or skills
• Set a timeline for the initial information gathering

___Collect information

___Begin synthesis by taking it all apart – extract the functional elements of what you’ve learned

___Complete synthesis by putting the relevant pieces back together as a coherent program that speaks to your community’s needs

___Keep at it by continuing to gather and synthesize information throughout the life of the program

El centro comunitario de salud local estaba iniciando un programa para fomentar la actividad física regular entre las personas con presión arterial alta. El programa tenía un objetivo sencillo: lograr que los participantes realizaran 45 minutos de ejercicio aeróbico moderado al menos cuatro veces por semana durante seis meses. La esperanza era que este régimen ayudara a reducir la presión arterial, favoreciera la pérdida de peso y generara una sensación general de bienestar. Un objetivo relacionado era que los participantes continuaran ejercitándose por su cuenta después de que el programa terminara.

El Centro reunió a un grupo de 50 personas dispuestas a participar. Después de realizarles chequeos médicos, todos asistieron a talleres sobre alimentación, el funcionamiento y los riesgos de la hipertensión, y sobre cómo iniciar y mantener una rutina de ejercicio regular sin lesiones. También recibieron asesoramiento sobre los tipos de ejercicios que podían realizar -caminar, andar en bicicleta, nadar, etc. -- y sobre cómo hacer que el ejercicio resultara agradable. Para ayudar a los participantes a integrar el ejercicio en su vida diaria, el centro decidió permitirles hacerlo a su conveniencia, utilizando las actividades que eligieran, siempre que mantuvieran el patrón de 45 minutos, cuatro veces por semana. Además, se les pidió que llevaran un registro de la frecuencia y tipo de ejercicio realizado, y que se reunieran, en grupos de cinco, con los consejeros del Centro de Salud una vez al mes para revisar la presión arterial, el peso y los progresos, así como para recibir apoyo, motivación y orientación.

El centro debía entonces decidir cómo evaluar el programa. La meta de desempeño del programa -lo que los participantes debían hacer realmente- era mantener el programa de ejercicio durante el período de seis meses. Dado que cada participante lo hacía por su cuenta, sería difícil observarlos a todos cada vez que se ejercitaban. Sin embargo, el centro necesitaba saber si realmente lo estaban haciendo. Los otros objetivos del programa -reducir la presión arterial y bajar de peso- también debían observarse de alguna manera. ¿Cómo podría el centro diseñar un sistema para averiguar si el comportamiento de actividad física realmente estaba ocurriendo y si esto resultaba en una disminución de la presión arterial y del peso corporal?

Una vez que haya determinado sus preguntas de evaluación y reunido información sobre qué debe observar, debe encontrar una forma de hacerlo. De eso se tratan los sistemas de observación. Al igual que el centro en el ejemplo, usted deberá encontrar maneras de observar el comportamiento, las condiciones y los cambios -o la falta de ellos- que le permitan responder a sus preguntas de evaluación. Esta sección trata sobre cómo establecer sistemas de observación para lograr justamente eso.

¿Qué entendemos por diseñar un sistema de observación?

Un sistema de observación es la forma en que se obtiene información sobre su programa: lo que el programa, sus participantes y sus implementadores están haciendo realmente, y lo que parece estar ocurriendo como resultado. El término “observación” aquí puede referirse a la observación directa -es decir, observar a las personas, las condiciones, las actividades o los resultados para ver qué sucede-, pero también puede abarcar formas menos directas de monitorear el funcionamiento y los resultados de un programa. Sus modalidades incluyen el seguimiento del comportamiento de individuos y grupos para analizar los resultados en diferentes niveles. Algunos métodos de observación que pueden resultar útiles en distintas situaciones de evaluación son los siguientes:

• Observación directa. Esta es la forma más pura y verificable de observación: consiste en mirar directamente a las personas o en observar condiciones o situaciones de primera mano. Por ejemplo, si usted participa en un esfuerzo para aumentar el uso y el sentido de pertenencia vecinal hacia un parque público, podría observar directamente cuánto y cómo las personas utilizan el parque visitándolo en diferentes días, con distintos tipos de clima y bajo diversas circunstancias durante un período prolongado de tiempo.
  Los observadores directos pueden ser “invisibles”, como lo sería un observador de la actividad del parque, o pueden ser miembros del personal que trabajan con los participantes y registran lo que sucede. En cualquier caso, están tomando mediciones como observadores externos, no como participantes.
• Observación participante. Un observador participante forma parte de la acción y observa desde adentro. En el caso del parque, un observador participante podría ser un residente del vecindario directamente involucrado en el esfuerzo o alguien que se integre a la vida del parque con fines de observación. Podría trotar allí todos los días o unirse a un juego semanal de voleibol para conocer a otras personas que usan el parque con regularidad. Sus propias notas sobre lo que observa en el parque formarían parte de su registro.
• Autoinformes. Algunos de los resultados que se buscan tal vez no sean visibles en absoluto, al menos no para usted. Los cambios en lo que las personas hacen en privado -como el uso de anticonceptivos- no pueden (ni deben) ser observados directamente por un externo. De manera similar, cuando el objetivo es influir en el comportamiento de un gran número de personas, como promover una alimentación saludable en la comunidad, no será factible observar directamente a todos. En tales casos, se pide a las personas que informen sobre su propio comportamiento. Así, un sistema de observación puede incluir entrevistas, diarios, encuestas u otros medios de reporte en primera persona. Dado que este tipo de informe puede estar sujeto a sesgos, normalmente se complementa con otras formas de evidencia (por ejemplo, observar la pérdida de peso como resultado de conductas relacionadas con la alimentación saludable y la actividad física).
• Informes de terceros. Un sistema de observación puede incluir o depender de los informes de otras personas que tienen experiencia directa con las personas o las condiciones que son objeto de estudio. Maestros, oficiales de libertad condicional, guardaparques, enfermeras de salud pública, trabajadores sociales -incluso bartenders o peluqueros- pueden ser valiosas fuentes de información de segunda mano. Estos informes, al igual que los autoinformes, pueden recopilarse mediante entrevistas, diarios, encuestas, listas de verificación y otros medios similares.
• Observación electrónica o mecánica. En este caso, el observador no es una persona (aunque al final alguien revisará la información), sino un dispositivo operado automáticamente o en funcionamiento continuo: una cámara, una grabadora de audio, un monitor cardíaco, un podómetro, un rastreador GPS (sistema de posicionamiento global) u otro tipo de equipo. Por ejemplo, una cámara activada por un sensor de movimiento se utiliza con frecuencia para estudiar la densidad de una población animal en un área o en un trayecto determinado.
• Pruebas de diversos tipos. Dependiendo de lo que se desee medir, esta categoría puede abarcar desde pruebas escritas de aprendizaje académico hasta evaluaciones prácticas de habilidades o análisis de sangre. También puede incluir pruebas de nuevos métodos y procedimientos de programas, con el fin de verificar su eficacia antes de aplicarlos.
• Registros públicos y otros documentos. Informes policiales, datos censales, estadísticas de empleo, información de salud pública- todos estos y otros registros pueden proporcionar información sobre indicadores a nivel comunitario que ayuden a determinar los resultados de su trabajo.
• Productos o resultados del comportamiento. A veces es más práctico observar el producto o resultado de un comportamiento, en lugar del comportamiento en sí. Por ejemplo, si se está investigando la contaminación ambiental, podríamos observar la cantidad de desechos o toxinas en el suelo o en el agua, en lugar de observar directamente el vertido ilegal de esos materiales. De manera similar, una iniciativa orientada a prevenir la obesidad infantil podría utilizar los registros escolares de altura y peso para medir la obesidad, además de observaciones directas de los almuerzos escolares y los informes de los jóvenes en encuestas sobre alimentación.

Además de especificar qué tipos de observación va a utilizar, el diseño de un sistema de observación debe cubrir también cuándo, dónde, con qué frecuencia, por quién y bajo qué circunstancias se realizarán las observaciones, así como exactamente qué se va a observar. Todo esto depende de lo que esté observando y de la información que espere obtener de su evaluación (otra vez, vuelva a sus preguntas de evaluación).

Entre otras consideraciones: ¿analizará el proceso de su iniciativa o programa -los pasos que siguió para ponerlo en marcha y si se ajustaron fielmente a lo que pretendía-? ¿Examinará lo que realmente hizo -el número de participantes, los métodos utilizados, el tiempo que tomó todo, cuánto tiempo permanecieron los participantes, etc.? ¿Le interesa saber qué partes de lo que hizo fueron exitosas y cuáles no? ¿Y qué desea conocer acerca de los resultados -los efectos de su programa?

Diseñar un sistema de observación implica pensar con cuidado en lo que necesita saber y crear un sistema que sea lo más probable posible para proporcionarle esa información de forma precisa y sencilla. En la parte “cómo hacerlo” de esta sección analizaremos el proceso de diseño con más detalle, incluyendo los asuntos mencionados en los dos párrafos anteriores.

¿Por qué diseñar un sistema de observación?

Si se toma en serio la evaluación, existen varias razones para diseñar un buen sistema de observación:

• Ayuda a obtener información confiable. Diseñar un sistema que estandarice los métodos, los momentos y otros aspectos de la observación permitirá que la información obtenida de diferentes observadores y lugares sea más precisa y coherente, y por lo tanto, más útil para la evaluación general.
• Permite conocer exactamente lo que necesita saber, sin esfuerzos innecesarios. Puede diseñar un sistema que se enfoque en lo que realmente le interesa e ignore lo que no. Esto significa que no tendrá que clasificar datos innecesarios y que dispondrá de los medios adecuados para recopilar la información que necesita para responder sus preguntas de evaluación.
• Garantiza que las observaciones se realicen. Un sistema coherente, diseñado y aceptado por quienes realizarán las observaciones -cualquiera sea su forma- aumenta significativamente la probabilidad de que las observaciones se realicen en el momento, lugar y forma adecuados.
• Facilita el análisis de los datos. Un sistema de observación coherente y bien estructurado le proporciona información útil para el análisis científico, ya sea cuantitativo (basado en números y estadísticas) o cualitativo (basado en narraciones e interpretación del significado de los comportamientos y los eventos).
• Ayuda a evitar evaluaciones improvisadas. Un sistema de observación bien diseñado permite recopilar información de manera sistemática y evita terminar con una masa de datos desconectados que no necesariamente se relacionan con lo que se desea conocer.
• Facilita justificar sus hallazgos. Cuanto más precisa sea su información, más confiables serán las conclusiones que se deriven de ella. Si su sistema de observación está bien diseñado e implementado, será mucho más fácil argumentar que sus datos son fiables, exactos y una base sólida para las conclusiones alcanzadas.
• Aumenta la credibilidad ante financiadores y responsables de políticas. Las personas que controlan los fondos y las políticas se preocupan especialmente por la rendición de cuentas. Si usted puede presentarles una evaluación útil basada en datos recopilados mediante un sistema de observación bien diseñado y confiable, estarán más inclinados a considerarlo una voz experta y confiable en el campo.
• Permite compartir sus prácticas con confianza. Un sistema de observación bien diseñado hace posible confiar en que los resultados de su evaluación reflejan la realidad. Si esos resultados demuestran que su programa es altamente efectivo, puede transmitir sus métodos como una buena práctica a colegas y otros profesionales, sin preocuparse de estar recomendando enfoques que quizá no funcionen adecuadamente.
• Proporciona la mejor información posible sobre lo que funciona en su programa y lo que necesita ajustarse.

¿Cuándo se debe diseñar un sistema de observación?

Como hemos comentado, un sistema de observación no se refiere únicamente a la observación directa, sino a cualquier método para examinar y registrar el proceso, las actividades y los resultados de su programa. Un sistema de observación es parte fundamental de la evaluación, ya que es lo que le dirá qué ocurrió realmente. Por lo tanto, lo ideal es diseñar ese sistema antes de comenzar a implementar el programa, de modo que pueda monitorearlo a lo largo de toda su existencia.

Ese es el ideal. La realidad para muchos trabajadores comunitarios -especialmente quienes laboran en organizaciones comunitarias pequeñas- es que la evaluación comienza cuando hay tiempo, energía y recursos disponibles, lo que suele ocurrir meses o incluso años después de iniciado el programa. Sea cual sea el momento en que comience, el sistema de observación debe diseñarse para responder a las preguntas de evaluación que se plantee. Dado que las observaciones deben ser consistentes y confiables, vale la pena tomarse el tiempo necesario para asegurarse de diseñar un sistema de evaluación eficaz.

Es preferible poder observar todo el ciclo del programa, de principio a fin. Algunos programas no tienen un ciclo definido, y la observación puede centrarse en el comportamiento o los resultados de los participantes individuales más que en el programa en su totalidad. En estas situaciones, la evaluación puede comenzar cuando nuevos participantes inician el programa y se les observa desde el comienzo.

Si ha estado registrando eventos, llevando diarios, etc., antes de comenzar la evaluación, es posible que ya disponga de información que pueda incorporarse a los resultados de su observación. Sin embargo, si su diseño requiere observaciones directas específicas, la definición de estas puede ser tan precisa que observaciones similares registradas en los diarios del personal quizás no cumplan los criterios para ser incluidas. Por otro lado, si los diarios o registros del personal forman parte del sistema que está implementando, es posible que pueda utilizar toda o la mayor parte de la información que ya tiene (y, de hecho, podría diseñar el sistema de observación para que así sea).

El verdadero riesgo aquí es que, para cuando su sistema de observación esté operativo, ya podría haber pasado por alto algo importante. Puede ocurrir que la primera parte del programa sea crucial, al menos para algunos participantes o ciertos cambios, y usted empezará a observar después de que esos cambios ya se hayan producido. Por eso, es importante iniciar las observaciones desde el principio, de modo que su sistema pueda captarlos.

¿Quién debe diseñar un sistema de observación?

Como hemos mencionado varias veces, la Community Tool Box tiene un sesgo a favor de los procesos participativos, y en particular de la investigación y evaluación participativa. En el caso de un sistema de observación, éste funcionará mejor si lo diseña un grupo que incluya a quienes serán los observadores reales. Si ellos participan en la planificación, estarán familiarizados con el sistema, sabrán exactamente qué información se espera que observen y comprenderán sus roles dentro del sistema de observación.

En una organización comunitaria o pequeña, es probable que el tiempo sea un factor limitante, ya que probablemente haya pocas personas haciendo demasiadas tareas. En ese caso, el nivel y la naturaleza del sistema de observación deben ser manejables por el personal, ya sea que ellos mismos sean los observadores o que faciliten la observación para evaluadores externos o voluntarios. Si ayudan a planificar y establecer el sistema, tendrán mucho más incentivo para asegurarse de que funcione que si se les impone.

El diseño del sistema de observación debe incluir específicamente a las personas que realizarán la observación, quienes a menudo son miembros del personal o miembros del grupo que se beneficiará del programa. Además, es útil incluir a investigadores u otras personas que comprendan los sistemas de observación y puedan ayudar a diseñar un sistema que satisfaga las necesidades específicas del proyecto de evaluación o investigación. También puede ser beneficioso incluir a individuos de los grupos que serán observados, para abordar cuestiones culturales y proporcionar retroalimentación sobre su respuesta al diseño. Por lo tanto, el equipo de diseño del sistema de observación podría estar formado tanto por miembros del grupo general de planificación de la evaluación como por otros reclutados específicamente para trabajar en el sistema de observación.

La lista de quienes podrían participar incluye:

• Personal y administradores del programa
• Personal de apoyo (quien a menudo realiza registros o ingreso de datos)
• Evaluadores externos o consultores de investigación
• Participantes o beneficiarios
• Observadores voluntarios

Si, por alguna razón, el grupo de diseño no incluye a nadie con experiencia en investigación, una capacitación que incluya información sobre los diferentes métodos de observación y sobre qué métodos son más propensos a producir ciertos tipos de información podría ser de gran ayuda para orientar el proceso de diseño. Si el grupo sí incluye investigadores, esa información podría presentarse como parte de la discusión sobre el diseño y las distintas posibilidades, en lugar de en formato de capacitación o taller.

¿Cómo se diseña un sistema de observación?

Entonces, ya ha definido las preguntas de evaluación y planificado la evaluación. Ahora es momento de determinar cómo obtendrá los datos necesarios para responder a esas preguntas.

Revise sus preguntas de evaluación

¿Recuerda estas preguntas? Usted decidió qué quería saber para determinar si su programa era efectivo. Volvamos al ejemplo del inicio de esta sección: el programa del centro comunitario de salud local. El centro estaba iniciando un programa de actividad física para personas con hipertensión. Su objetivo era que los participantes realizaran 45 minutos de ejercicio moderado al menos cuatro veces por semana durante seis meses.

Se esperaban varios resultados de esta actividad:

• Que la presión arterial de los participantes disminuyera
• Que los participantes que necesitaban perder peso lo hicieran
• Que los participantes experimentaran una sensación de mayor bienestar
• Que los participantes continuaran con la rutina de ejercicio después de que finalizara el programa de seis meses

Algunas preguntas de evaluación, por lo tanto, podrían ser:

• ¿Cumplieron los participantes con la rutina de ejercicio recomendada durante el período del programa?
• ¿Disminuyó la presión arterial de los participantes al final de los seis meses?
• ¿Perdieron peso, al final de los seis meses, aquellos participantes que necesitaban hacerlo?

Podrían surgir muchas otras preguntas, algunos ejemplos son:

• ¿Cuál fue la asistencia a los talleres? ¿Los participantes los encontraron útiles? ¿Los participantes que asistieron a todos o la mayoría de los talleres lograron mejores resultados que quienes no asistieron?
• ¿Experimentaron los participantes una mayor sensación de bienestar al final de los seis meses?
• ¿Continuaron los participantes con la rutina de ejercicio (y mantuvieron su presión arterial baja) después de que terminó el programa?

Las respuestas a estas preguntas son solo algunas de las que el centro deseaba obtener, pero nos sirven como ejemplos para esta parte de la sección.
También puede estar interesado en su propio proceso: qué tan bien planifica e implementa su programa. Además, puede tener un marco temporal específico en el que espera obtener resultados. También podría contar con hitos o logros intermedios -pequeños avances hacia un objetivo mayor- que desee registrar. Todo esto debe considerarse al diseñar su sistema de observación.

Decida qué necesita observar para responder sus preguntas

Dependiendo del tipo de programa o iniciativa en la que participe y de la naturaleza de sus preguntas de evaluación, hay un amplio rango de opciones para elegir.

Algunos de los más comunes:

• Comportamiento de los participantes. Esto puede incluir cualquier cosa, desde los comportamientos agresivos de los niños en el patio de la escuela o en un espacio de juego, hasta el nivel de habilidad en soldadura de los participantes de un programa de capacitación laboral, o las interacciones sociales de los usuarios del parque vecinal que mencionamos antes. Las posibilidades son casi infinitas.
• Comportamiento de otras personas. La prueba definitiva de si un programa de capacitación en mediación entre pares en la escuela secundaria funciona, por ejemplo, puede no ser el comportamiento de los mediadores que reciben la capacitación, sino el comportamiento de los estudiantes con quienes trabajan. También es posible observar cómo los participantes son tratados por el personal del programa y viceversa.
• Condiciones. Una iniciativa puede tener como objetivo cambiar directamente las condiciones -eliminar una casa ocupada por drogas, construir viviendas asequibles, limpiar un río contaminado- o puede buscar influir en esos cambios mediante programas, cambios ambientales o políticas.
• Observaciones de productos o resultados del comportamiento. Cuando el comportamiento, evento o condición en sí no es visible u observable, ya sea porque es privado o porque ocurre a un nivel que no puede observarse directamente, puede ser necesario medir sus productos o resultados. Por ejemplo, sería prácticamente imposible observar directamente la frecuencia con la que los adolescentes practican sexo seguro, pero sí sería posible conocer la tasa de infecciones de ETS entre ellos y el número de embarazos adolescentes antes, durante y después de un programa de educación sobre sexo seguro dirigido por pares.

Cuando los productos o efectos son todo lo que puede observar, debe asegurarse de haber elegido los adecuados para analizar. Estos deberían ser, en la medida de lo posible, resultados claros del comportamiento o la condición que le interesa estudiar, y debe tener en cuenta -y tratar de corregir- cualquier otro factor que pudiera haberlos causado.

• Conocimientos o actitudes de los participantes. Al igual que con el comportamiento de los participantes, el rango de posibilidades aquí es enorme, desde los puntajes en una prueba de conocimientos hasta casi cualquier otro aspecto que se pueda imaginar.
• Conocimientos o actitudes de otras personas. Por ejemplo, un programa de incidencia política podría estar interesado en cambiar las actitudes de legisladores o del público, pero podría no tener contacto directo con quienes espera influir. En este caso, podrían utilizarse encuestas de opinión pública repetidas para evaluar la disposición a apoyar un cambio de política específico.
• Cumplimiento de metas. Algunos programas tienen un objetivo particular que constituye su única razón de existir. Esto podría ser la aprobación o derogación de una ley, la construcción de una escuela, la liberación de uno o más presos políticos, etc. En este caso, la única pregunta de evaluación podría ser si se alcanzó la meta (o en qué medida). Para estas situaciones, puede utilizarse una escala de cumplimiento de metas para medir el grado de logro (por ejemplo, de 5 = resultado más favorable, a 1 = resultado menos favorable).
• Interacciones. El enfoque de una evaluación podría centrarse en la naturaleza de las interacciones, o en si ciertos individuos o grupos interactúan o se involucran entre sí. Por ejemplo, si el objetivo es aumentar la interacción entre padres e hijos, se podrían medir los intercambios y las respuestas entre ambas partes. Asimismo, las interacciones entre participantes del programa, el personal, o entre participantes y personal, podrían ser el foco de las observaciones.

Todas las posibilidades mencionadas anteriormente pueden estar relacionadas tanto con los objetivos del programa -es decir, lo que el programa quiere lograr- como con el proceso e implementación -cómo el programa organiza y lleva a cabo su trabajo.

También existen algunas áreas de observación que se relacionan específicamente con el proceso e implementación del programa:

• Planificación. La medición aquí puede centrarse en quién participó en la planificación de cada parte del programa, cómo se elaboró el plan, cuál fue su contenido, nivel de satisfacción, etc.
• Cronograma. ¿Cuándo comenzó la planificación, la implementación y la evaluación del programa? ¿Cuánto tiempo duró cada etapa? ¿Se cumplieron los plazos y, si no, por qué no?
• Número de participantes. ¿Cuántos participantes tuvo? ¿Cuál fue el tiempo promedio que pasaron en el programa? ¿Cuántos abandonaron antes de finalizarlo? ¿Cómo se compararon esos números con lo esperado?
• Métodos. ¿Qué métodos utilizó en el programa o intervención? ¿Cómo se aplicaron?
• Implementación del programa. ¿Qué hizo realmente? Esto incluiría la actividad del programa, su frecuencia y duración, el número de participantes atendidos, dónde se llevó a cabo (si es relevante) y cómo se desarrolló.

Además de identificar qué desea observar, debe definirlo con precisión, para que los observadores sepan exactamente qué buscar. Debe asegurarse de que todas las observaciones de un comportamiento particular, por ejemplo, se refieran al mismo fenómeno (por ejemplo, características específicas que determinen si el comportamiento ocurrió), incluso si las observaciones las realizan diferentes personas. Si no utilizan la misma medida, no podrá confiar plenamente en la información obtenida. Establecer los límites de observación en cada categoría -lo que se incluye, lo que se excluye y dónde están los límites- ayudará a eliminar desacuerdos y hará que la observación sea más confiable.

Para continuar con el ejemplo del centro de salud, veamos qué necesita observar el Centro. Para determinar si los participantes realmente están haciendo ejercicio de manera regular, el centro debe encontrar una forma de observar el comportamiento de las personas (por ejemplo, mediante registros de actividad o autoinformes sobre la frecuencia con la que realizaron actividad física). Para saber si han perdido peso, el centro debe observar un resultado del comportamiento, como el peso corporal o el índice de masa corporal (IMC). Para conocer si están experimentando una mayor sensación de bienestar, el centro debe recopilar autoinformes de los participantes. Y para saber si continúan con el ejercicio después de que el programa haya terminado, debe encontrar una forma de observar el comportamiento una vez concluido el programa.

Decidir cómo se llevarán a cabo las observaciones

Anteriormente, hablamos sobre algunos métodos de observación. Ahora volveremos a ellos y los examinaremos con mayor detalle.

• Observación directa. La observación directa implica ya sea el enfoque de “mosca en la pared”, en el cual el observador es anónimo y generalmente pasa desapercibido, o - más comúnmente en organizaciones de servicios de diversos tipos - consiste en un evaluador externo identificado o un miembro del personal que trabaja con los participantes y registra, a veces con su ayuda, sus comportamientos y ciertos aspectos de la situación. Los observadores anónimos son particularmente útiles en situaciones donde las personas que están siendo observadas también son anónimas —por ejemplo, al observar condiciones, eventos grandes o actividades como el uso del parque vecinal mencionado anteriormente, donde las personas involucradas pueden ser cualquiera.

Un método común de observación directa -ya sea que el observador sea un miembro del personal del programa o un participante- es el uso de un diario o registro de actividades.
El observador anota o registra de alguna otra manera, poco después del suceso, un relato de lo que ocurrió y de los eventos relacionados, incluyendo con frecuencia sus reacciones o reflexiones sobre esas experiencias. El diario o registro de actividades se convierte así en una representación del desarrollo del programa, detallando el progreso de participantes específicos, los ajustes realizados y el nivel de satisfacción.

La naturaleza de los diarios o registros obviamente variará según el tipo de programa, y no todos los programas o iniciativas se prestan a este tipo de observación. Sin embargo, especialmente en situaciones donde varias personas escriben diarios o registros que cubren el mismo período y los mismos eventos, estos pueden ser una herramienta de observación muy poderosa y reveladora.

• Observación participante. Como ya hemos explicado, los observadores participantes se convierten en parte del evento, la actividad, la cultura, etc. que se está observando, y la experimentan de primera mano. Así, en un programa de salud o de servicios humanos, el observador podría ser un participante real (es decir, un miembro del grupo al que está dirigido el programa) o un evaluador que se une a los participantes en sus actividades. En el caso del parque, por ejemplo, un residente del vecindario que ya lo visita regularmente podría ofrecerse como voluntario para registrar cómo él y otras personas lo utilizan realmente: cuándo acuden diferentes personas o grupos, qué hacen una vez allí, qué zonas del parque frecuentan y quién interactúa con quién, entre otros aspectos.

Un programa de micro-subvenciones fue diseñado por una organización no gubernamental en una aldea rural con el fin de aumentar los ingresos mediante la creación de pequeños negocios por parte de los participantes. Los miembros del personal participaron en cada taller y tomaron parte en actividades como la capacitación en préstamos y financiamiento, mientras observaban simultáneamente las actividades y a los demás participantes. Al final de cada jornada, el personal realizaba discusiones grupales, en las que compartían lo que habían observado y pedían a los participantes que analizaran lo que habían hecho. En este caso, el personal actuó como observadores participantes, y su participación aumentó significativamente su capacidad para ayudar a sus clientas -mujeres de bajos ingresos de pequeñas aldeas- a comprender y aprovechar sus propias experiencias.

• Autoevaluaciones o autoinformes. Cuando el objeto de su observación es el comportamiento de los participantes que ocurre fuera del programa (por ejemplo, la cantidad de tiempo que los participantes dedican a leer con sus hijos), a menudo es necesario confiar en las propias observaciones de los participantes. Esta dependencia tiene, como es de esperar, tanto ventajas como desventajas. Por un lado, los participantes conocen bien sus propias acciones. Por otro, pueden omitir aspectos que les resulten embarazosos o informar de manera que crean que otros quieren ver. Además, dado que no tienen experiencia previa ni capacitación como observadores, pueden pasar por alto -o considerar sin importancia- comportamientos o condiciones que serían valiosos para fines de evaluación.

Una solución obvia sería capacitar a los autoinformantes como observadores, y en algunos casos -ensayos médicos, por ejemplo- eso es tanto razonable como común. En otras situaciones, sin embargo, eso iría demasiado lejos hacia decirles a los participantes “las respuestas correctas”, y por lo tanto posiblemente cambiar lo que informan hacia lo que creen que uno quiere escuchar. También existe una gran ventaja en los autoinformes: cuando son honestos y representan un cambio real en el comportamiento o la experiencia de quienes los realizan, son mucho más poderosos que cualquier cosa que otra persona pudiera decir sobre su experiencia.

Los autoinformes, al menos tal como se definen aquí, implican una variedad de posibles técnicas para la recolección de datos. Entrevistas individuales y grupales, grupos de enfoque, reuniones públicas, encuestas y cuestionarios, diarios, listas de verificación e incluso conversaciones informales podrían ser maneras para que los participantes transmitan información para una evaluación.

• Informes de segunda mano. Estos son informes sobre el comportamiento de los participantes o sobre las condiciones que provienen de personas asociadas con esos participantes o condiciones, pero que no están directamente vinculadas a su programa o esfuerzo. Podrían ser trabajadores de servicios, maestros, profesionales de la salud, trabajadores juveniles, familiares (particularmente padres de niños pequeños), empleadores, casi cualquier persona. Las observaciones de segunda mano deben considerarse con las mismas precauciones que las de las personas que trabajan estrechamente con los participantes. Las relaciones entre observador y participante, la simpatía o empatía hacia los participantes, o los prejuicios personales de los observadores pueden impedir que los informes sean objetivos. Estos observadores también pueden necesitar capacitación.
• Observación electrónica o mecánica. Existen algunas circunstancias en las que la observación humana es imposible o poco práctica. Las observaciones del exceso de velocidad a menudo se realizan electrónicamente, al igual que las observaciones de condiciones de salud dentro del cuerpo humano (usando radiografías, tomografías computarizadas o de resonancia magnética, electrocardiogramas, etc.). En estas situaciones, la objetividad no representa un problema, pero es necesario asegurarse de que el equipo utilizado funcione correctamente, esté bien configurado, mantenido y protegido contra posibles daños. También es importante que quien interprete la información que proporciona el equipo esté capacitado para hacerlo y comprenda los límites y usos apropiados de esa información.
• Pruebas u otras herramientas de observación similares. Las organizaciones educativas y de salud a menudo utilizan diversos tipos de pruebas como herramientas de observación. En un contexto de servicios humanos, generalmente se utilizan para observar el progreso en habilidades, niveles de competencia o desarrollo. En salud pública o medicina, las pruebas pueden emplearse para observar el estado de salud (por ejemplo, exámenes de detección de colesterol elevado) y los efectos del tratamiento. Pueden ser muy útiles en todas estas circunstancias, pero también son muy específicas y dejan poco espacio para la intuición. Además, los resultados de las pruebas de habilidades, conocimiento o capacidad intelectual pueden verse influenciados por nerviosismo, falta de sueño, problemas personales u otros factores que tienen poco que ver con la competencia real.
• Registros públicos y similares. Si se están utilizando indicadores a nivel comunitario, como las tasas de mortalidad infantil o de lesiones por accidentes de tránsito, como una forma de analizar los resultados, será necesario usar registros, datos censales y otros materiales similares para obtener la información necesaria.

Para continuar con nuestro ejemplo anterior, el centro de salud local tendría que utilizar una variedad de estos métodos de observación. Las observaciones iniciales y continuas de la presión arterial y el peso en las sesiones mensuales de asesoramiento se realizarían mediante el uso de instrumentos —un manguito de presión arterial y una báscula—, así como mediante observación visual directa. (Aunque una reducción evidente de grasa puede no indicar pérdida de peso si la grasa ha sido reemplazada por músculo, sí indica un aumento en la condición física, lo cual puede ser igualmente beneficioso. Los niveles de condición física también podrían medirse mecánica y electrónicamente, si el programa así lo decidiera.)

La cantidad y el tipo de ejercicio que realizara cada participante serían autoobservados y autoinformados a través de diarios y entrevistas. Las sensaciones de bienestar serían autoinformadas, pero también podrían ser observadas por consejeros capacitados para identificar cambios a lo largo del tiempo en la postura, la presentación personal y otros indicadores observables. Finalmente, las observaciones del ejercicio continuo se obtendrían mediante una o más visitas de seguimiento algún tiempo después de que el programa terminara, con entrevistas, mediciones de presión arterial y peso, y una observación visual más directa de los niveles de condición física. (Los participantes también podrían aceptar continuar llevando diarios durante un período determinado después de que el programa finalice, proporcionando así un auto-reporte de sus niveles continuos de actividad física.)

Decida cuándo necesita observar

La pregunta aquí es si necesita comenzar las observaciones desde el inicio del programa (casi siempre es así) y con qué frecuencia debería observar a lo largo del proceso de evaluación.

Algunas de las posibilidades:

• Observación previa y posterior. Esto implica realizar observaciones al inicio y al final del período de evaluación o del programa. Es el equivalente a lo que muchas escuelas hacen con las pruebas estandarizadas: evalúan los puntajes de lectura al principio y al final de cada año, y luego comparan ambos para determinar cuánto han avanzado los estudiantes. Aunque este tipo de observación puede indicar si hubo cambios durante el programa, no ofrece evidencia sólida sobre cómo ocurrió el cambio, qué lo causó o qué tan efectivas fueron las estrategias utilizadas.

Esta explicación asume únicamente la observación antes y después. La mayoría de las posibilidades aquí incluyen la observación previa y posterior, pero añaden otras observaciones adicionales. Para la mayoría de los tipos de evaluación, debería comenzar a observar desde el principio, o incluso antes del inicio (para comprender si los posibles cambios forman parte de una tendencia ya existente). Si realiza su primera observación a mitad del proceso, no sabrá si los cambios ocurrieron antes de ese punto. Un cambio importante puede suceder al inicio en algunas intervenciones, al final en otras, de manera constante a lo largo del proceso en otras más, o incluso solo después de que la intervención haya concluido. Es importante saber exactamente desde dónde comenzó para comprender por completo lo que está observando. Puede ser que una intervención larga no sea más efectiva que una corta, o que una breve no tenga ningún efecto. Solo puede determinarlo conociendo el punto de partida y mediante mediciones repetidas o continuas.

Si su programa o esfuerzo tiene un objetivo específico y puntual -por ejemplo, la aprobación de una ley o la limpieza de un espacio determinado-, puede ser tentador evaluarlo únicamente según si alcanzó la meta o no (es decir, una sola observación al final del esfuerzo). Esto sería un error, porque no tomaría en cuenta qué partes del esfuerzo fueron exitosas y por qué, independientemente de si logró la meta. Esa es una información esencial que necesitará la próxima vez -y habrá una próxima vez- que usted u otras personas en la comunidad emprendan un esfuerzo similar.

• A intervalos regulares durante el período de evaluación. Usted podría elegir cualquier intervalo, desde una vez por hora hasta una vez al mes o más, dependiendo de lo que esté observando. La regularidad facilita la programación de las observaciones y ofrece una visión continua, intervalo por intervalo, de lo que está ocurriendo.
• A intervalos irregulares durante el período de evaluación. La razón de este tipo de programación puede ser logística (usted observa cuando puede); puede tener que ver con asegurar que las observaciones no sean esperadas, de modo que se obtenga una imagen más auténtica de lo que se está evaluando; o puede ser un intento de observar el programa o esfuerzo de manera aleatoria, nuevamente con el fin de obtener una representación precisa.
• En momentos específicos durante el período de evaluación. En este caso, usted podría querer observar lo que sucede o lo que los participantes están haciendo en distintos momentos identificables que implican diferentes condiciones. Por ejemplo, al observar el uso del parque comunitario mencionado anteriormente, usted podría asegurarse de visitarlo entre semana, los fines de semana, por la mañana, por la tarde y por la noche, en cada una de las cuatro estaciones, con lluvia, nubes, sol y nieve, así como en los días en que se realicen eventos especiales, para ver quiénes usan el parque y cómo lo hacen bajo diversas condiciones y en distintos momentos. Si está monitoreando el proceso y el progreso del programa, es importante asegurarse de observar cada una de sus etapas -la planificación, la preparación, la implementación, la evaluación y cualquier seguimiento- para obtener una visión completa de lo que se hizo y cómo se hizo. Esto le proporcionará la información necesaria para analizar y realizar los ajustes pertinentes en la manera en que lleva a cabo su labor.
• De forma continua. Cuando el observador es un miembro del personal que trabaja con los participantes del programa (o uno o más de los propios participantes), puede ser posible realizar observaciones de manera continua. En este caso, el observador podría observar directamente utilizando listas de verificación, mantener un diario, pedir a los participantes que registren información, grabar las sesiones en video o audio, o registrar lo que ocurre de alguna otra manera, de modo que exista un registro continuo y diario del comportamiento y de lo que sucede en el entorno del programa.

En el centro de salud local, parte de la observación -particularmente el monitoreo de la presión arterial y el peso de los participantes- se realizaría a intervalos regulares, durante las reuniones mensuales. También habría cierta observación continua, consistente en que los participantes llevarían un registro de sus programas de ejercicio en diarios personales. Finalmente, averiguar si los participantes continuaron con sus rutinas implicaría una o dos observaciones de seguimiento, posiblemente seis meses y un año después de que el programa haya concluido.

Defina y describa los comportamientos, productos, condiciones y/o eventos que deben ser observados

Si desea asegurarse de que los observadores comprendan a qué se refieren en sus informes, debe ser específico sobre lo que desea que observen. El grupo de planificación, o un subgrupo del mismo -lo ideal sería un grupo que incluya una alta proporción de personas que serán realmente los investigadores y observadores-, debe establecer estándares de identificación para cada elemento a observar. Estos estándares deberían explicar cómo se manifiesta, cuándo es probable que ocurra, quiénes probablemente estén involucrados, etc.
Por ejemplo, para observar el acoso escolar o la violencia interpersonal en un patio de recreo, sería necesario contar con definiciones claras de dicho comportamiento, ejemplos y contraejemplos, e instrucciones para la puntuación. De esta manera, todos los observadores podrían comenzar con la misma guía sobre lo que deben buscar.

Diseñe la capacitación para los observadores

A menos que toda la observación vaya a ser realizada por quienes participan directamente en la planificación (lo cual no es imposible en una organización pequeña), y dependiendo de su experiencia previa, los observadores podrían necesitar capacitación en una o más áreas:

• Qué es importante registrar y por qué. Las personas sin experiencia en investigación podrían no darse cuenta de la importancia de registrar detalles como la fecha, la hora, la duración de la evaluación, el lugar y las circunstancias de cualquier observación, una descripción de quiénes estuvieron involucrados y por cuánto tiempo, si hubo personas o condiciones inesperadas presentes, etc. Por ejemplo, una observación realizada temprano en la mañana podría proporcionar un conjunto diferente de observaciones que una realizada a última hora de la tarde o noche. La presencia de otras personas en una situación o entrevista -parientes, amigos, personal del programa- puede cambiar el carácter de los comportamientos observados o de la información ofrecida. Por lo tanto, es crucial que los observadores comprendan que el contexto de la observación puede ser tan importante como su contenido.
• Las definiciones y descripciones de los comportamientos, condiciones, eventos o situaciones a observar. Definiciones y descripciones cuidadosas de lo que se debe observar no serán de mucha utilidad si quienes realizarán las observaciones no están familiarizados con ellas.
• Efectos de la observación. En algunos casos, el comportamiento de los participantes podría cambiar como resultado de sus reacciones al ser observados. Los observadores deben ser conscientes de esa posibilidad y procurar que su propia conducta sea lo más discreta posible, para no influir en los comportamientos de los participantes.

Además de los observadores humanos, la presencia de equipos de audio o video también puede tener un efecto. Una manera de contrarrestarlo es esperar para comenzar a recopilar datos hasta que los participantes se hayan acostumbrado a la presencia del equipo. También es importante obtener el permiso de los participantes con anticipación para utilizar equipos de grabación.

• Sesgo del observador. Especialmente en situaciones donde los observadores también son parte del personal del programa, sus relaciones con los participantes o simplemente su vínculo con el esfuerzo en general pueden afectar sus informes u observaciones. Si sienten simpatía o antipatía por un participante en particular, eso podría influir en cómo interpretan o describen el comportamiento de esa persona. Si están muy comprometidos con el éxito del programa que se evalúa, pueden -de manera intencional o no- presentar los resultados de la forma más favorable posible. Además, tanto si forman parte del personal como si no, los observadores pueden verse influidos por sus suposiciones personales, su contexto cultural, religioso o educativo, o por sus circunstancias psicológicas o de vida actuales. Si se les ayuda a reconocer estos sesgos y a comprender por qué y cómo deben ser reconocidos o eliminados, habrá una mayor probabilidad de que realicen observaciones más confiables.
• Desviación del observador. En ocasiones, después de un tiempo de estar observando, las observaciones de las personas tienden a adquirir cierta regularidad basada en reglas personales en lugar de definiciones compartidas y estandarizadas. Por ejemplo, podrían tender a evaluar el comportamiento de ciertos participantes basándose más en experiencias pasadas que en lo que realmente observan en el momento.

También puede ser necesario corregir los efectos, sesgos o desviaciones del observador a lo largo del proceso de evaluación. Esto forma parte de diseñar mecanismos de verificación de la precisión y la fiabilidad basados en un estándar establecido.

Diseñar mecanismos de verificación de la fiabilidad y la precisión

Si la información ha de ser confiable, es importante que cuando dos observadores registren un comportamiento determinado, ambos signifiquen exactamente lo mismo. Esto depende tanto de la capacitación (como se mencionó anteriormente) como de la verificación, ya sea al inicio o periódicamente, para asegurarse de que todos los observadores estén interpretando las situaciones de la misma manera. Un diseño participativo del sistema puede ser útil en este aspecto. Si los observadores participan en la definición de lo que van a observar, hay muchas más probabilidades de que lo perciban de forma similar.

Algunas maneras de asegurar el acuerdo entre los observadores:

• Utilizar un estándar externo. Una forma de definir lo que se está buscando es emplear un estándar que todos los observadores usen y acepten. “El comportamiento X se presenta de esta manera, ocurre en estas circunstancias, dura este periodo de tiempo y tiene estos efectos o resultados posteriores.” El uso de estándares externos suele implicar una lista de verificación o un instrumento similar. El observador marca los componentes de un comportamiento o condición, documentando así lo que observa de un modo que permitiría a otro observador calificar el mismo evento de manera equivalente. Dichos estándares ayudan a garantizar la precisión continua del sistema de observación.

Los equipos de investigación y los laboratorios suelen utilizar estándares para garantizar la coherencia en la identificación de diversas condiciones. Cada condición se describe con detalle e incluye distintos indicadores posibles, como las mediciones de la presión arterial o la presencia de toxinas ambientales.

• Verifique la fiabilidad entre evaluadores. La fiabilidad entre evaluadores es el término utilizado en la investigación para evaluar si todos los observadores interpretan de la misma manera los mismos elementos, ya sean comportamientos, condiciones o eventos. Una forma de abordarla consiste en comparar a los observadores entre sí. Dos o más observadores son expuestos a las mismas situaciones o a la misma información y luego se comparan sus registros, por ejemplo, de casos de acoso. Si todos coinciden esencialmente en sus observaciones, la fiabilidad entre evaluadores es alta, y todo está en orden. Por lo general, en investigación, si los observadores concuerdan en un 80 % o más de las veces, las observaciones se consideran confiables. Si no coinciden en lo que observaron, se debe identificar la fuente del desacuerdo. Puede que definan los términos de manera diferente o que sus antecedentes influyan en cómo interpretan una misma situación. Sea cual sea la causa, es necesario descubrir esas diferencias y encontrar una manera de lograr que todos los observadores perciban las situaciones de manera similar y precisa.
• Utilice verificaciones aleatorias de terceros. Un investigador, director del programa u otra persona que tenga claro qué información es importante y cómo se presentan las distintas condiciones o comportamientos puede realizar observaciones en situaciones elegidas al azar junto con un observador habitual, para verificar si sus registros coinciden razonablemente. Si discrepan una vez, puede no tener importancia; pero si las discrepancias son constantes, entonces hay un problema que debe abordarse.

Determine cómo revisar y ajustar su sistema de observación para la próxima evaluación

Esta sección es la versión de “manténgase en ello”. Al igual que su programa, su evaluación -incluido su sistema de observación- debe ser evaluada y ajustada para que sea lo más eficaz posible.

Ahora usted está listo para comenzar a recopilar y analizar los datos. Con una planificación cuidadosa y una buena capacitación, debería poder obtener la información que necesita para su evaluación.

En resumen

Para llevar a cabo una evaluación que le permita ver su programa o esfuerzo con claridad y ajustarlo o mejorarlo, usted debe contar con una manera de recopilar información precisa y útil sobre él. El sistema de observación que utilice es la forma en que usted observa lo que está haciendo: su propio proceso, el comportamiento de los participantes, su progreso y resultados, así como las condiciones que afectan su esfuerzo o que su esfuerzo busca cambiar. Todo esto con el fin de obtener la información que analizará para evaluar su trabajo. Ese sistema debe ser viable dentro de sus recursos y debe ajustarse a la naturaleza de su programa; por lo tanto, diseñarlo es una parte esencial de su evaluación.

El diseño de sistemas de observación se lleva a cabo mejor mediante un proceso participativo, especialmente uno que involucre tanto a investigadores o evaluadores como a quienes realizarán la recolección de datos. Esa participación les permitirá comprender claramente el sistema, la información necesaria y los posibles obstáculos que podrían encontrar durante la recolección de datos. El resultado debería ser un sistema más confiable y, en última instancia, datos más precisos para su evaluación.

What do we mean by an observational system?

___An observational system is the system you use to collect the data that you need to analyze in order to evaluate your program

___It details the way you’ll look at the process, progress, and outcomes of your work, and how you’ll examine the behavior, conditions, or events that you’re concerned with

Why design an observational system?

___It can help you get reliable information

___It can help you find out exactly what you need to know, eliminating or reducing wasted effort

___It can ensure that observations are made

___It can make it easier to analyze your data

___It can help you avoid haphazard evaluation

___It will make it easier to justify your findings

___It can help you gain credibility with funders and policy makers

___It can let you pass on your practices with confidence

___Most important, it can give you the best information possible about what’s working in your program, and what you need to adjust

When should you design an observational system?

___If you can, you should design the system before your program begins, so that you can watch it and its effects from the very beginning

___If that’s not possible, you should design your system before you start your evaluation, ideally at the start of a program cycle

Who should design an observational system?

___Observational systems are usually best designed by a participatory group that includes both researchers or evaluators and people who will do the actual observation

How do you design an observational system?

___Review your evaluation questions

___Decide what you need to observe to answer your questions:

• Participants’ behavior
• Someone else’s behavior
• Conditions
• Observations of results of behavior
• Participants’ knowledge or attitudes
• Someone else’s knowledge or attitudes
• Goal attainment
• Interactions
• Program process or implementation (e.g., number of participants)

___Decide how the observations will be conducted:

• Direct observation
• Participant observation
• Self-reports, including individual and group interviews, focus groups, journals, surveys, etc.
• Second-hand reports, including interviews, journals, surveys, etc.
• Electronic or mechanical observation
• Tests or other similar observation tools
• Public records and the like for community-level indicators

___Decide when you need to observe:

• Pre- and post- observation
• At regular intervals during the evaluation period
• At irregular intervals during the evaluation period
• At specific times during the evaluation period
• Continuously

___Define and describe the behaviors, conditions, and/or events that observers should be concerned with

___Train observers in:

• What it’s important to record, and why
• The definitions and descriptions of the behaviors, conditions, events, or situations to be observed
• Effects of observation
• Observer bias
• Observer drift

___Devise checks for reliability and accuracy:

• Use an external standard
• Check for inter-rater reliability
• Use random third-party checks

___Adjust the system for the next evaluation

• ¿Qué queremos decir  por un diseño para la evaluación?

• ¿Por qué se debería escoger un diseño para su evaluación?

• ¿Cuándo debería hacerse?

• ¿Quién debería estar involucrado en la selección de un diseño?

• ¿Cómo seleccionar un diseño apropiado para su evaluación?

Cuando usted escucha la palabra “experimento,” pueden venir a su mente imágenes de personas en largas gabachas blancas mirando detenidamente a través de microscopios. En realidad, un experimento es solo tratar algo para ver cómo o por qué o si en realidad funciona. Esto puede ser tan simple como poner una especia en su platillo favorito, o tan complejo para desarrollar y evaluar un esfuerzo comprensivo para mejorar los resultados de la salud infantil en una ciudad o estado.

Los académicos y otros investigadores en la salud pública y las ciencias sociales llevan a cabo experimentos para entender cómo los ambientes afectan el comportamiento y los resultados, así sus experimentos usualmente involucra personas y aspectos del ambiente. Un nuevo programa comunitario o intervención es un experimento, también, uno que involucra a una organización gubernamental o comunitaria para encontrar una mejor manera de tratar un asunto comunitario.Esto usualmente comienza con la suposición acerca de qué funcionará – algunas veces llamado la teoría del cambio – la suposición no es una garantía. Como cualquier experimento, un programa o intervención tiene que ser evaluado para ver si realmente funciona y en qué condiciones.

En esta sección, nosotros veremos algunas de las mejores maneras que usted podría estructurar una evaluación para examinar si su programa está trabajando, y explorar cómo escoger la que mejor satisface sus necesidades. Estas disposiciones para el descubrimiento son conocidos como diseños experimentales (o evaluativos).

¿Qué queremos decir por un diseño para la evaluación?

Cada evaluación es esencialmente un proyecto de investigación o de pruebas documentales. Su investigación podría tratar de determinar cuán efectivo su programa o esfuerzo es en general, cuales partes del todo están funcionando bien y cuáles necesitan ajustarse, o si algunos participantes responden a ciertos métodos o condiciones de manera diferente de los otros. Para que sus resultados sean confiables, usted tiene que darle a la evaluación una estructura que le dirá qué es lo que usted quiere saber. Esa estructura – la disposición de pruebas documentales- es el diseño de la evaluación.

El diseño depende de qué tipos de preguntas su evaluación intenta responder.

Algunos de las preguntas (investigativas) de evaluación más comunes son:

• ¿Causa un programa o intervención particular – ya sea un programa instructivo o motivacional, que mejora el acceso y las oportunidades, o un cambio de política – un cambio particular en el comportamiento de los participantes o de otros, en condiciones sociales o físicas, en resultados de desarrollo o de salud, u otros indicadores de éxito?
• ¿Qué componente(s) y elemento(s) del programa o intervención fueron responsables del cambio?
• ¿Cuáles son los efectos no previstos de una intervención, y cómo ellos influenciaron los resultados?
• Si usted trata un método o actividad nuevo, ¿qué pasa?
• ¿El programa que funcionó en otro contexto, o el que usted leyó en una revista profesional, funcionará en su comunidad, o con su población, o con su asunto?

Si usted quiere respuestas confiables a preguntas de evaluación como éstas, usted tiene que preguntarles de manera que refleje si usted en realidad obtuvo resultados, y si esos resultados se dieron debido a sus acciones o las circunstancias que usted creó, o a otros factores. En otras palabras, usted tiene que crear un diseño para su investigación – o evaluación -  que le dé respuestas claras a sus preguntas. Nosotros discutimos cómo hacer esto más adelante en esta sección.

¿Por qué debería escoger un diseño para su evaluación?

Una evaluación puede parecer simple: si usted ve progreso hacia su meta al final del periodo de evaluación, usted está muy bien; si usted no lo ve, usted necesita cambiar. Desafortunadamente, esto no es tan simple. Primero, ¿cómo medirá su progreso? Segundo, si parece no haber ninguno, ¿cómo sabe usted lo que debe cambiar para aumentar su efectividad? Tercero, si hay progreso, ¿cómo sabe qué fue causado por (o contribuido por) su programa, y no por algo más? Y finalmente, aún si le está yendo bien, ¿cómo decidirá qué puede hacer mejor, y que elementos de su programa pueden ser cambiados o eliminados sin afectar su éxito? Un buen diseño para su evaluación le ayudará a responder preguntas importantes como éstas.

Algunas razones específicas para invertir tiempo para diseñar su evaluación cuidadosamente incluye:

• Para que su evaluación sea confiable. Un buen diseño le dará resultados precisos. Si diseña su evaluación bien, usted puede confiar en ella para que le diga si usted realmente está teniendo un efecto, y el por qué. Entender su programa hasta este punto hace que sea más fácil obtener y mantener el éxito.
• Para que se puedan ubicar con exactitud áreas a mejorar, así como en aquellas que son exitosas. Un buen diseño puede ayudarlo a entender exactamente donde están los puntos fuertes y los débiles de su programa o intervención, y darle pistas de cómo ellos pueden más aún fortalecer o cambiar para tener un mayor impacto.
• Para que sus resultados sean creíbles. Si su evaluación está diseñada apropiadamente, otros tomarán sus resultados seriamente. Si su bien diseñada evaluación muestra que su programa es efectivo, usted tiene más posibilidad de convencer a otros de usar métodos similares, y de convencer a financiadores que su organización es una buena inversión.
• Para que usted pueda identificar factores no relacionados con lo que usted está haciendo que tengan un efecto –positivo o negativo – en sus resultados y en las vidas de los participantes. Los antecedentes de los participantes, eventos nacionales o locales cruciales, el paso del tiempo, las crisis personales, y muchos otros factores pueden influenciar los resultados de un programa o intervención para bien o para mal. Un buen diseño evaluativo puede ayudarle a identificar estos, y puede o corregirlos si usted puede, o crear métodos para tratarlos o incorporarlos.
• Para que usted pueda identificar consecuencias no intencionadas (ambas positivas o negativas) y corregirlas. Un buen diseño puede mostrarle todo lo que resultó de su programa o intervención, no solo lo que usted esperaba. Si usted entiende que su trabajo tiene consecuencias que son negativas así como positivas, o que tiene más y/o diferentes consecuencias positivas de las que usted anticipó, usted puede ajustarlo como corresponde.
• Para que usted tenga un plan coherente y una estructura organizada para su evaluación. Será mucho más fácil llevar a cabo su evaluación si ésta tiene un diseño apropiado. Usted sabrá mejor qué es lo que usted necesita para así obtener la información que usted necesita. Invertir tiempo para escoger y organizar un diseño evaluativo le dará muy buenos resultados de vuelta con respecto al tiempo que se ahorra después y a la calidad de la información que usted obtiene.

¿Cuándo debería escoger un diseño para su evaluación?

Una vez que usted haya determinado sus preguntas de evaluación y haya reunido y organizado toda la información que usted pueda acerca del asunto y las maneras de tratarlo, lo siguiente es escoger un diseño para la evaluación.  Idealmente, esto todo se lleva a cabo al comienzo del proceso al juntarlo todo en un programa o intervención. Como hemos discutido un número de veces, su evaluación debería ser una parte integral de su programa, y su planeamiento debería por lo tanto ser una parte integral de la planeación de su programa.

Este es el ideal; ahora hablemos acerca de la realidad. Si usted está leyendo esto, las posibilidades son probablemente por lo menos 50-50 que usted está conectado a alguna agencia gubernamental poco financiada o a una organización no gubernamental o basada en la comunidad, y que usted está planeando una evaluación de un programa o intervención que ha estado en funcionamiento por algún tiempo – meses o años.

Aún si esto fuera cierto, los mismos lineamientos aplican. Escoja sus preguntas, reúna información, escoja un diseño, y luego siga a través de los pasos presentados en  la evaluación es lo suficientemente importante que usted no logrará realmente nada si toma atajos en el planeamiento. Si su programa tiene un ciclo, entonces probablemente tenga sentido comenzar su evaluación al comienzo de éste – al inicio de un año o en una fase del programa, donde todos los participantes estén comenzando desde el mismo lugar, o desde el comienzo de su participación.

Si esto no es posible – si su programa tiene una política de admisión continua, o brinda un servicio en el momento que la gente lo necesita – y los participantes están en diferentes puntos, eso puede algunas veces presentar problemas de investigación. Usted puede querer evaluar los efectos del programa solo con los nuevos participantes, o con algún otro grupo específico. Por otro lado, si su  programa funciona sin un comienzo y final particular, usted puede obtener la mejor imagen de su efectividad al evaluarlo como tal, al comenzar cuánto usted está listo. Cualquiera que sea el caso, su diseño debería seguir conforme a su obtención de información y su síntesis

¿Quién debería estar involucrado en la selección de un diseño?

Si usted es un usuario regular de la Caja de Herramientas, y particularmente usted ha estado leyendo este capítulo, usted sabe que el equipo de la Caja de Herramientas generalmente recomienda un proceso participativo – que involucre tanto a compañeros de trabajo de la comunidad así como de investigación, incluyendo a todos aquellos interesados en o los cuales son afectos por el programa en planeación o implementación.  Seleccionar un diseño para la evaluación presenta una política que de alguna manera hace una excepción a esta regla, debido a que los compañeros de la parte de evaluación y científica podrían tener un mejor entendimiento de lo que se requiere para llevar a cabo la investigación y los factores que pueden intervenir en él.

Como veremos en la parte “Cómo hacerlo” de esta sección, existen un número de consideraciones que tienen que ser tomados para obtener información precisa que realmente le diga lo que usted quiere saber. Los estudiantes en posgrado generalmente toman cursos para obtener el conocimiento que ellos necesitan para llevar a cabo investigación de la mejor manera, aún más algunos investigadores veteranos tienen dificultad en elaborar un diseño de investigación apropiado. Eso no significa que un grupo comunitario no pueda aprender a hacer todo esto, pero del tiempo que ellos tendrían que gastar en la adquisición del conocimiento necesario podría ser demasiado. Por lo tanto, lo que parece ser más lógico es asignarle esta tarea (o por lo menos su coordinación) a una persona o grupo pequeño con experiencia en investigación y diseño evaluativo. Tal persona no tiene solamente que ayudarle a escoger entre los diseños posibles, sino explicarle qué conlleva cada diseño, en tiempo, recursos, y habilidades/destrezas necesarias, para que así usted pueda juzgar su conveniencia y factibilidad con respecto a su  contexto

¿Cómo seleccionar un diseño para su evaluación?

¿Cómo hace para decidir qué tipo de diseño investigativo será el mejor para los propósito de su evaluación?

La respuesta a esta pregunta involucra una revisión de cuatro áreas:   

• La naturaleza de las preguntas de la investigación que usted intenta responder.
• Los retos de la investigación, y las maneras que ellos pueden ser resueltos o reducidos.
• Los tipos de diseños investigativos que son generalmente usados, y lo que cada diseño involucra.
• La posibilidad de adaptar un diseño investigativo particular a su programa o situación – qué estructura de su programa le dará apoyo, qué participantes darán su consentimiento, y cuáles son sus recursos y restricciones con respecto al tiempo.

Comenzaremos esta parte de la sección con una revisión de los aspectos que los diseños investigativos deben tratar, luego seguiremos con las consideraciones de algunos diseños comunes y cómo ellos tratarán esos aspectos, y finalizaremos con algunos lineamientos para escoger un diseño que tanto sea posible de implementar y que a la vez le dé la información que usted necesita acerca de su programa.

Una nota: en esta parte de la sección, estamos tratando a la evaluación como un proyecto investigativo. Como resultado, utilizaremos el término “investigación/investigativo” en muchas partes donde nosotros podríamos fácilmente solo decir, para propósitos de esta sección, evaluación.  La investigación es más general, y algunos usuarios de esta sección podrían estar más interesados en la investigación en general que en la evaluación en particular.

Aspectos/asuntos que los diseños investigativos deberían tratar

La consideración más importante en el diseño de un proyecto investigativo – excepto tal vez por el valor de la investigación de ella misma- es si su plan le dará información válida. Si usted no diseña y establece su proyecto de investigación apropiadamente, sus conclusiones (descubrimientos) no le darán la información precisa y que tiene posibilidad de ser verdadera para otras situaciones. En el caso de una evaluación, eso significa que usted no tendrá una base para adaptar lo que hace con el fin de  fortalecerlo y mejorarlo.

Aquí está un ejemplo exagerado que ilustra este punto.  Si usted midió la altura de los niños a la edad de 6 años, luego los alimenta con largas cantidades de un alimento específico  por tres años –digamos zanahorias- y los midió de nuevo al final del periodo, usted probablemente encontrará que la mayoría de ellos eran considerablemente más altos a los nueve años de edad que cuando tenían seis años.  Usted podría concluir que fue la ingesta de zanahorias la que hizo que los niños fueran más altos debido a que su diseño de investigación no le dio bases para comparar el crecimiento de estos niños con el de otros niños.

Existen dos tipos de amenazas contra la validez de una pieza de investigación. Ellos son usualmente llamados como amenazas a la validez interna (si la intervención produjo el cambio) y amenazas a la validez externa (si los resultados tienen la posibilidad de ser aplicados a otras personas y situaciones).

Amenazas a la validez interna. Estas son amenazas (o explicaciones alternativas) a su propuesta de que lo que usted hizo causó cambios en la dirección que usted estaba procurando. Ellas son por lo general presentadas por factores que operan al mismo tiempo que su programa o  intervención que podrían tener un efecto en el asunto que se estaba tratando de dirigir. Si usted no tiene una manera de separar sus efectos de aquellos del programa, usted no puede decir si los cambios observados fueron causados por su trabajo, o por uno o más de estos otros factores. Estos son llamados amenazas a la validez interna debido a que son parte interna del estudio –tienen que ver si su intervención – y no algo más – es responsable de la diferencia.

Existen aquí varios tipos de amenazas a la validez interna:

• Historia.Tanto las historias personales de los participantes – sus antecedentes, culturas, experiencias, educación, etc. – y los eventos externos que ocurrieron durante el periodo de investigación – un desastre, una elección, un conflicto en la comunidad, una nueva ley – pueden influenciar si existe o no algún cambio en los resultados que usted está tratando.
• Maduración. Esto se refiere a los procesos sociales, psicológicos, físicos naturales que toman lugar conforme pasa el tiempo. El crecimiento de los niños que comieron zanahorias en el ejemplo anterior es un resultado de la maduración, por ejemplo, como lo podría ser  un descenso en el comportamiento arriesgado una vez que se haya pasado de la adolescencia a la edad adulta, el desarrollo de la artritis en las personas mayores, o participantes cansados durante actividades de aprendizaje hacia el final del día.
• Los efectos de la evaluación u observación en los participantes. El mero hecho de la existencia de un programa, o de que ellos sean parte de él, puede afectar el comportamiento o actitudes de los participantes, como podría hacerlo la experiencia de ser evaluado, grabado en vídeo, o de alguna otra forma observado o medido.
• Cambio en la medición. Un instrumento – un manguito para la presión arterial o una escala, por ejemplo – puede cambiar con el tiempo, o diferentes aparatos pueden no dar los mismos resultados. De igual manera, los observadores – aquellos que reúnen la información -  podrían cambiar sus estándares con el tiempo, o dos o más observadores podrían no estar de acuerdo con las observaciones.
• La regresión hacia  la media. Esto es un término estadístico que se refiere al hecho de que, a través del tiempo, las puntuaciones muy altas o muy bajas de una medición (un examen, por ejemplo) a menudo tienden a desplazarse hacia el promedio del grupo. Si usted comienza un programa con participantes los cuales, por definición, tienen muy bajos o altos niveles de lo que sea que se está midiendo – habilidades de lectura, exposición a la violencia doméstica, un comportamiento particular hacia las personas de otras razas o antecedentes, etc. –sus puntuaciones pueden terminar siendo cercanas al promedio a través del curso del periodo de evaluación aún sin ningún programa.
• La selección de participantes. Aquellos que escogen participantes pueden inclinar su selección hacia un grupo particular que tiene más o menos tendencias a cambiar que una muestra representativa de la población para la cual el grupo fue elegida. (Un buen ejemplo es el de los programas para la capacitación laboral a los cuales se les paga dependiendo de la cantidad de personas que colocan en posiciones laborales. Ellos tienen la tendencia a elegir a participantes los cuales tienen todos o casi todas las habilidades que ellos necesitan para llegar a ser empleados, y rechazan a aquellos que tienen menos habilidades… y quienes en realidad necesitan más el servicio.)  La selección puede jugar una parte cuando los participantes de cuenta propia escogen inscribirse en un programa (auto-selección), ya que aquellos que deciden participar están probablemente motivados a hacer cambios. También puede ser un asunto de oportunidad: los miembros de un grupo en particular pueden, simplemente por coincidencia, compartir una característica que posicionará los resultados de dichos miembros en sus mediciones a parte de la norma de la población que se está representando.

La selección puede también ser un problema cuando dos grupos están siendo comparados por diferentes estándares. Discutiremos más de esto adelante cuando hablemos de los grupos de control y de comparación.

• La pérdida de datos o de participantes. Si muy poca información es recolectada acerca de los participantes, o si demasiados de ellos desertan mucho antes que el periodo de investigación esté terminado, sus resultados pueden estar basados en muy poca información que pueda ser confiable. Esto también ocurre cuando dos grupos son comparados.Si sus pérdidas de datos o de participantes son demasiado diferentes, el compararlos puede no darle  ya más información válida.
• La naturaleza del cambio. A menudo, el cambio no es estable y constante. Esto puede involucrar saltos hacia adelante y saltos hacia atrás antes de que se llegue a un lugar estable – si es que alguna vez se llega. (Piense en observar el rendimiento de un equipo de deportes a la mitad de la temporada. No importa cuál es su posición en ese momento, usted no podrá decir cuán bien terminará hasta que la temporada finalice.)  Sus mediciones pueden llevarse a cabo durante un periodo muy corto o darse en momentos no oportunos para rastrear el curso del cambio o la falta de cambio que está ocurriendo.
• Una combinación de los efectos de dos o más de estos. Dos o más de estos factores puede combinarse para producir o prevenir los cambios que su programa trata de producir. Un currículo del estudio del lenguaje que es evaluado solo en estudiantes que ya hablan dos o más idiomas corre problemas tanto con la historia de los participantes – todos los estudiantes tienen experiencia al aprender idiomas además del propio - como con la selección – usted ha escogido estudiantes los cuales tienen tendencias a ser exitosos en el aprendizaje de idiomas.

Amenazas a la validez externa.

Estos son factores que afectan su habilidad para aplicar sus resultados de investigación en otras circunstancias – para aumentar las oportunidades que su programa y sus resultados puedan ser reproducidos en cualquier lugar o con otras poblaciones. Si, por ejemplo, usted ofrece clases en la crianza de niños solo a madres solteras, usted no puede asumir, sin importar cuán exitoso estas puedan ser, que las mismas clases funcionarán de igual manera para los hombres.

Amenazas a la validez externa (o generalizabilidad) pueden ser el resultado de las interacciones de otros factores con el programa o la intervención por ella misma, o puede ser debido a condiciones particulares del programa.

Algunos ejemplos:

• Interacción de la prueba o recolección de datos y el programa o intervención. Una prueba inicial u observación podría cambiar la manera que los participantes reaccionan al programa, hacer una diferencia en los resultados finales. Ya que usted no puede asumir que otro grupo tendrá la misma reacción u obtendrá resultados finales similares como resultado, la validez externa o generalizabilidad de los hallazgos se vuelve cuestionable.
• Interacción de los procedimientos de selección y el programa o la intervención. Si los participantes seleccionados o auto-seleccionados son particularmente sensibles a los métodos o el propósito del programa, no puede asumirse que éste sea efectivo con participantes los cuales son menos sensibles o no están listos para el programa.

Los padres que han sido amenazados por el gobierno con la pérdida de sus niños debido a abusos a menores podrían ser más receptivos a aprender técnicas para mejorar su manera de llevar la crianza de sus hijos, por ejemplo, en comparación con los padres quienes no están bajo esa presión.

• Los efectos de la preparación de la investigación. Los participantes podrían cambiar de comportamiento como resultado de ser observados, o podrían reaccionar a individuos particulares de maneras que ellos no suelten reaccionar ante otros.

Un ejemplo clásico aquí es el del famoso investigador de mandriles (babuinos), Irven DeVore, el cual después de años de observar manadas de mandriles, se dio cuenta que ellos se comportaban de forma diferente cuando él estaba ahí que cuando no estaba.  Aunque su meta era observar su comportamiento natural, su presencia por sí sola constituía una intervención, al hacer que el comportamiento de los mandriles que él observaba fuera diferente del de una manada que no estaba siendo observada.

• La interferencia de tratamientos o intervenciones múltiples. Los efectos de un programa particular pueden ser cambiados cuando los participantes están expuestos a él anteriormente en un contexto diferente, o están expuesto a otro antes o al mismo tiempo de cuando estaba siendo evaluado. Esto puede ocurrir cuando los participantes están recibiendo servicios de diferentes fuentes, o están siendo tratados simultáneamente por dos o más asuntos de salud u otras condiciones.

Dado la cantidad de los programas comunitarios que existen, hay muchas posibilidades aquí. Los adultos podrían ser miembros de clase para completar la secundaria mientras participan en un programa de recuperación de abuso de sustancias.  Un diabético podría ser tratado con una nueva droga mientras al mismo tiempo participa en un programa de actividad física y de nutrición para tratar con la obesidad.  Algunas veces, la secuencia de los tratamientos o los servicios en un solo programa puede tener el mismo efecto, con uno que influencia cómo los participantes responden a aquellos que siguen, aún si cada tratamiento está siendo evaluado de forma separada.

Diseños investigativos comunes

Muchos libros han sido escritos sobre el tema de diseño investigativo. Mientras ellos contienen demasiado material para resumir aquí, existen algunos diseños básicos que podemos introducir. Las diferencias importantes entre ellos se basan en cuántas mediciones se llevarán a cabo, cuándo se tomarán, y cuántos grupos de qué tipo estarán involucrados.

Las evaluaciones de los programas generalmente buscan por las respuestas de tres preguntas básicas:

• ¿Hubo algún cambio- en el comportamiento de los participantes o de otros, en las condiciones físicas o sociales, o en los resultados o indicadores de éxito – durante el periodo de evaluación?
• ¿Fue cualquier cambio que se dio – o la falta de cambio – causado por su programa, intervención, o esfuerzo?
• ¿Qué, en su programa o fuera de él, realmente causó o impidió el cambio?

Como hemos discutido, los cambios y las mejoras en los resultados pueden haber sido causados por algunos o todos los aspectos de su intervención, o por factores externos. La historia de los participantes o de la comunidad podría haber sido crucial.  Los participantes podrían haber cambiado como resultado de simplemente hacerse más mayores y más maduros o con más experiencia en el mundo – lo cual es a menudo un asunto clave cuando se trabaja con niños o adolescentes.  Los factores ambientales – eventos, cambios de política, o condiciones en las vidas de los participantes – pueden a menudo facilitar o impedir el cambio de igual manera.  Comprender exactamente de dónde viene el cambio y dónde están las barreras para que el cambio suceda, le da la oportunidad de ajustar su programa para tomar ventaja o combatir esos factores.

Si todo lo que usted tuvo que hacer fue medir cualquier comportamiento o condición que usted quería influenciar al inicio y al final de la evaluación, escoger un diseño sería una tarea fácil.  Desafortunadamente, esto no es tan sencillo – existen esas amenazas desagradables a la validez que nos deben preocupar.  Y tenemos que tomarlas en cuenta que mientras observamos algunos diseños investigativos comunes.

Los diseños investigativos, en general, se diferencian en una o más de dos formas: el número y el tiempo de las mediciones que ellos usan; y si ellos observan un grupo individual o grupos múltiples. Veremos los diseños de un solo grupo primero, luego seguiremos con los grupos múltiples.

Los investigadores usualmente se refieren a sus primeras medición(es) u observación(es) – las que usted toma antes de comenzar su programa o intervención – como una medición de referencia o observación de referencia, debido a que establece una referencia – un nivel conocido – al cual usted compara mediciones u observaciones futuras.

Algunos términos de investigación importantes son:  

Variables independientes son el programa por el mismo y/o los métodos o condiciones que el investigador – en este caso, usted – quiere evaluar. Ellas son llamadas variables debido a que ellas pueden cambiar – usted podría haber escogido (y podría todavía escoger) otros métodos.  Ellas son independientes debido a que su existencia no depende de si algo existe ocurre: usted las ha escogido, y ellas seguirán  constantes a través del periodo de evaluación.

Variables dependientes son las que podrían cambiar o no como resultado de la presencia de las variable(s) independiente(s).  En una evaluación, su programa o intervención es la variable independiente.  (si usted está evaluando un número de métodos o condiciones diferentes, cada uno de ellos es una variable independiente.)  Lo que sea que usted está tratando de cambiar es la variable dependiente.  (Si usted está tratando ver cambios en más de un comportamiento o resultado, cada tipo de cambio es una variable dependiente diferente.)  Ellas son llamadas variables dependientes debido a que los cambios en ellas dependen de la acción de la variable independiente… o de algo más.

 Las mediciones son solo eso –medidas de las variables dependientes. Ellas usualmente se refieren a procedimientos que tienen resultados que pueden ser traducidos en números, y que pueden tomar la forma de evaluaciones, observaciones, encuestas, entrevistas, o pruebas comunitarias. Ellas también podrían contar incidentes o medir la magnitud de la variable dependiente (número o porcentaje de niños que tienen sobrepeso o son obesos, crímenes violentos en 100,000 habitantes, etc.)

  Las observaciones podrían involucrar mediciones, o ellas podrían simplemente registrar lo que pasa en circunstancias específicas: las formas en que la gente usa un espacio, los tipos de interacción que tienen los niños en un aula, la naturaleza de las interacciones durante una evaluación.  Para conveniencia, los investigadores a menudo usan “observación” para referirse a cualquier tipo de medición y nosotros usaremos la misma convención aquí.

Diseño inicial y final de un grupo individual.

El diseño más simple es también probablemente el menos preciso y deseado: la medición u observación inicial (antes de) y final (después de). Esto consiste en simplemente medir lo que sea que a usted le interese con un grupo – la tasa de mortalidad infantil, el desempleo, la contaminación del agua – utilizar su intervención a ese grupo o comunidad, y luego observar de nuevo. Este tipo de diseño asume que una diferencia en las dos observaciones le dirá si hubo un cambio durante el periodo entre ellos, y también asume que cualquier cambio positivo fue causado por la intervención.

En la mayoría de los casos, un diseño inicial-final no le dirá mucho, debido a que no trata realmente ninguno de los asuntos investigativos que hemos discutido. No toma en cuenta la influencia de otros factores en la variable dependiente, y no le dice nada acerca de las tendencias de cambio o del progreso de cambio durante el periodo de evaluación –solo dónde estaban los participantes al principio y dónde estaban al final.  Puede ayudarle a determinar si ciertos tipos de cosas han pasado – si existió una reducción en el nivel de logros educativos o la cantidad de contaminación ambiental en un río, por ejemplo – pero no le dirá el por qué.  A pesar de sus limitaciones, tomar mediciones antes y después de la intervención es mucho mejor que ninguna medición.

Aún mirar a algo tan meramente simple para medir, antes y después, como la presión sanguínea (en un programa para la prevención de enfermedades del corazón) es cuestionable. La presión sanguínea puede ser más baja al final de la observación que al inicio, pero eso no le dice nada acerca de cuánto haya bajado o subido en medio.  Si las lecturas fueron tomadas por diferentes personas, el cambio puede ser en parte a las diferencias en su habilidad, o a cuán relajado pudo cada uno hacer sentir a los participantes. La familiaridad con el programa podría también haber reducido la presión sanguínea de la mayoría de los participantes desde la medición inicial a la medición final, como lo pudo haber hecho algún otro factor que no fuera específicamente parte de la variable independiente que estaba siendo evaluada.

Diseño de series de tiempo interrumpido con un solo grupo (series de tiempo simple). 

Una serie de tiempo interrumpido usó mediciones repetidas antes y después de la implementación retrasada de la variable independiente (p.ej., el programa, etc.) para ayudar a excluir otras explicaciones.  Este diseño relativamente fuerte – con comparaciones entre el grupo – trata la mayoría de las amenazas a la validez interna.

La forma más simple de este diseño es tomar observaciones repetidas, implementar el programa o intervención, y observar un número de veces durante el periodo de evaluación, incluyendo el final. Este método es una gran mejoría sobre el diseño inicial-final ya que rastrea la tendencia del cambio, y puede por lo tanto, ayudar a ver si fue realmente la variable independiente la que causó algún cambio. Este puede también ayudar a identificar la influencia de los factores externos tales como cuando la variable dependiente muestra un cambio significativo antes de que la intervención es implementada.

Otra posibilidad para este diseño es implementar más de una variable independiente, ya sea al tratar dos o más, una después de la otra (a menudo con un lapso en medio), o al agregar cada una a lo había antes. Esto presenta una visión no solo del progreso del cambio, sino también muestra muy claramente qué causa el cambio. Esto le da al evaluador la oportunidad no solo de ajustar el programa, sino de descartar elementos que no tienen efecto.

Existen un número de variaciones acerca del tema: series de tiempo interrumpido, incluir una variación de los tiempos de observación; implementar la variable independiente repetidamente; e implementar una variable independiente, luego otra, luego ambas juntas para evaluar su interacción.

En cualquier variedad del diseño de series de tiempo interrumpido, es importante saber qué es lo que se busca. En una evaluación de un programa de control de muertes en las vías de tránsito en el Reino Unido  que se enfocaba en reducir la conducción de vehículos bajo los efectos del alcohol, mediciones mensuales parecían mostrar solo una disminución pequeña en los accidentes mortales. Cuando las estadísticas de los fines de semana, cuando había más posibilidades de encontrar conductores ebrios en las carreteras, eran separados, entonces, ellas mostraron que la mortalidad en los fines de semana había bajado considerablemente debido a la implementación del programa, y se mantenía bajo después de éste. Si los investigadores no se hubieran dado cuenta de  que ese era el caso, el programa podría haber sido cancelado, y la tasa de accidentes de los fines de semana no se hubiera reducido.

Diseño de series de tiempo interrumpido con grupos múltiples (referencia múltiple/series de tiempo).

Este tiene la misma posibilidad como el diseño de series de tiempo con el grupo individual, con la adicción de usar mediciones repetidas con uno o más otros grupos (lo que se llama referencia múltiple). Al usar referencias múltiples (grupos), la validez externa o la generalidad de los descubrimientos es mejorada – podemos ver si los efectos ocurren con grupos diferentes o bajo condiciones diferentes.

Este diseño de series de tiempo múltiple –usualmente una introducción paulatina (por etapas) de la intervención con diferentes grupos o comunidades – le da al investigador más  oportunidades:

• Usted puede tratar un método o programa con dos o más grupos del mismo.
• Usted puede tratar un método o programa con diferentes poblaciones, para ver si es efectivo con otros.
• Usted puede variar el tiempo o intensidad de una intervención con grupos diferentes.
• Usted puede examinar diferentes intervenciones al mismo tiempo.
• Usted puede tratar las mismas dos o más intervenciones con cada uno de los dos grupos, pero revertir su orden para ver si la secuencia hace alguna diferencia.

De nuevo, existen más variaciones posibles aquí.

Diseño del grupo de control.

Una manera común de evaluar los efectos de una variable es usar un grupo de control. Este grupo de control es usualmente similar al grupo participante, pero o no tiene ninguna intervención del todo, o recibe un tipo de intervención diferente con el mismo propósito que se le da al grupo participante. Un diseño del grupo de control es usualmente el más difícil de establecer – usted tiene que encontrar grupos apropiados, observarlos a los dos regularmente, etc. – pero es generalmente considerado como el más confiable.

El término grupo de control viene del intento de controlar influencias externas y otras influencias en la variable dependiente. Si todo acerca de los dos grupos excepto su exposición al programa siendo evaluado promedia lo mismo, entonces cualquier diferencia en los resultados se debe a la exposición. El término grupo de comparación es más modesto; este típicamente presenta a una comunidad observada para estar pendiente de niveles similares del problema/meta y características relevantes de la comunidad o la población  (p.ej., educación, pobreza).

El patrón oro aquí es el grupo de control al azar, uno que es elegido totalmente al azar, ya sea de entre la población que el programa o la intervención está tratando – aquellos en riesgo de enfermedades del corazón, hombres desempleados, padres jóvenes – o, si es apropiado, la población en general. Un grupo al azar elimina los problemas de selección que nosotros hemos discutido anteriormente, así como asuntos que podrían salir de las diferencias en cultura, raza, u otros factores.

Un grupo de control que es cuidadosamente escogido tendrá las mismas características como el grupo de intervención (el foco de la evaluación). Si, por ejemplo, los dos grupos vienen del mismo tipo de personas que tienen una condición de salud particular, y son escogidos al azar ya sea para ser tratados con la manera convencional o con el nuevo enfoque/método, puede ser asumido que – debido a que ellos fueron escogidos al azar de la misma población – ambos grupos será sujetos, en promedio, a las mismas influencias externas, y tendrán la misma diversidad de antecedentes/orígenes/formación. Por lo tanto, si existe una diferencia significativa en sus resultados, es  bastante seguro asumir que la diferencia viene de la variable independiente – el tipo de intervención, y no de algo más.

La dificultad para las organizaciones gubernamentales y basadas en la comunidad es encontrar o crear un grupo de control al azar. Si el programa tiene una larga lista de espera, puede ser capaz de crear un control al seleccionar a aquellos que reciben la intervención al azar de primero. Eso por si solo crea problemas, ya que la gente a menudo deserta de las listas de espera debido a la frustración u otras razones.  Ser incluido en la evaluación puede ayudar a mantenerlos, por el otro lado, al darles una conexión más cercana al programa y al hacerlo sentir valorados.

Un programa de ESOL (Inglés como segunda u otra lengua) en Boston con una lista de espera de tres años trató el problema al ofrecer a aquellos en la lista de espera una opción diferente.  Ellos recibieron cintas de video (videocasetes) para usar en la casa, en conjunto con una tutoría bisemanal por estudiantes avanzados y estudiantes de posgrado del programa.  Así, ellos se convirtieron en un grupo de comparación con una intervención de alguna manera diferente que, como se esperaba, fue menos efectiva que el programa mismo, pero fue más efectiva que ninguna intervención, y los mantuvo en la lista de espera.  Esto también les dio una ventaja una vez que ellos empezaron a ir a clases, muchos de ellos empezaron en un nivel intermedio en vez de hacerlo a nivel de principiantes.

Cuando no existe una lista de espera o un grupo similar para comparar, las organizaciones comunitarias a menudo usan un grupo de comparación – uno compuesto de participantes en otro lugar o programa y cuyas características, antecedentes y experiencia de los miembros pueden o no pueden ser similares a aquellos del grupo participante. Esta situación puede suscitar algunos de los mismos problemas relacionados a la selección vista cuando no existe un grupo de control. Si las únicas comparaciones potenciales involucran grupos muy diferentes, puede ser mejor usar un diseño, como el diseño de series de tiempo interrumpido que no involucra un grupo de control del todo, donde la comparación se da dentro (no entre) los grupos.

Los grupos pueden verse similares, pero pueden diferir de una manera importante. Dos grupos de participantes  de un programa de intervención de abuso de sustancias, por ejemplo, pueden tener historias similares, pero si un programa es voluntario y el otro no, los resultados tienen la tendencia a no ser comparables. Un grupo probablemente estará más motivado  y menos resentido que el otro, y estará compuesto de personas las cuales ya conocen que tienen un problema potencial.  La motivación y la determinación de los participantes, en vez de la efectividad de los dos programas, puede influenciar la magnitud del cambio observado.

 

Este asunto puede darse en el diseño de un grupo individual también. Un programa que pueda, en promedio, parecer que es relativamente poco efectivo puede probar, al hacer una inspección profunda, ser bastante efectiva con ciertos participantes –aquellos con un antecedente educativo específico, por ejemplo, o con experiencias de vida particulares.  Ver los resultados desde esta visión puede ser una parte importante de una evaluación, y darle información valiosa y  utilizable.

Escoger un diseño

La discusión sobre diseños investigativos de esta sección no está en ninguna manera completa.  Aquí tratamos de brindar una introducción de lo que está disponible.  Existen literalmente cientos de libros y artículos escritos acerca de este tema, y usted probablemente querrá más información.  Existen un número de métodos estadísticos que pueden compensar por diseños menos-que-perfectos, por ejemplo: algunos grupos comunitarios tienen recursos para juntar a un grupo de control al azar, o para implementar dos o más programas similares para ver cuál funciona mejor.

 

Dado esto, el material que sigue se trata solo de una guía general.  Nosotros no intentamos ser específicos acerca del tipo de diseño que usted necesita en qué circunstancias, solamente tratamos de sugerir algunas cosas para tener en mente en situaciones diferentes.  Existe ayuda disponible en un gran número de lugares: Mucho puede ser encontrado en la Internet (ver la parte de “Recursos” de esta sección para encontrar algunos sitios); existen libros y artículos numerosos (el texto clásico en el diseño de investigación está también citado en “Recursos”); y las universidades son un gran recurso, tanto a través de sus bibliotecas como de los profesores y estudiantes de posgrado los cuales podrían estar interesados en lo que usted está haciendo y estar dispuestos a ayudar con su evaluación.  Use cualquiera o todos estos para encontrar qué funcionará mejor para usted.  Financiadores podrían también estar dispuestos a ya sea brindar asistencia técnica para las evaluaciones, o a incluir dinero en su subvención o contrato específicamente para pagar por una evaluación profesional.

Su meta al evaluar su esfuerzo es obtener la información más confiable y certera posible, dadas las preguntas de su evaluación, la naturaleza de su programa, a lo que sus participantes consienten (acceden), sus limitaciones de tiempo, y sus recursos. Lo importante aquí no es establecer un estudio investigativo perfecto, pero diseñar su evaluación para obtener información real, y ser capaz de separar los efectos de los factores externos de los efectos de su programa. Entonces ¿cómo hacer para escoger el mejor diseño que será funcional para usted? Los pasos están en la primera oración de este párrafo.

Tenga en cuenta las preguntas de su evaluación. 

¿Qué necesito saber?  Si la intención de su evaluación es simplemente ver si algo específico pasó, es posible que un diseño simple inicial y posterior se haga. Si, como es lo más probable, usted quiere conocer tanto el cambio que ha ocurrido, y si ha ocurrido, si ha en efecto sido causado por su programa, usted necesitará un diseño que ayude a  descartar los efectos de influencias externas y los antecedentes de los participantes.

Para muchos programas comunitarios, un grupo de control o comparación es útil, pero no es absolutamente necesario. Piense detenidamente acerca de la frecuencia y el momento oportuno de sus observaciones y la cantidad de tipos de información que usted puede recolectar. Con medidas repetidas, usted puede obtener un panorama bastante acertado sobre la efectividad de su programa desde un diseño de series de tiempo simple. Los diseños de series de tiempo interrumpido con un solo grupo, los cuales son a menudo los más factibles para organizaciones pequeñas, pueden darle una evaluación muy confiable si ellos están estructurados adecuadamente. Eso generalmente significa obtener observaciones de referencia múltiples (lo suficiente para establecer una tendencia) antes que el programa comience; observar frecuentemente y documentar sus observaciones cuidadosamente (a menudo tanto con datos cuantitativos – expresados en números – y cualitativos – expresados en registros de incidentes y acerca de lo que hicieron y dijeron los participantes); e inclusive durante la intervención y las observaciones de seguimiento para ver si los efectos son mantenidos.

En muchas de estas situaciones, un diseño de series de tiempo interrumpido con múltiples grupos es razonablemente posible, pero como  un experimento “que ocurre naturalmente”. Si su programa incluye dos o más grupos o clases, cada uno trabajando hacia las mismas metas, usted tiene la oportunidad de escalonar la introducción de la intervención a través de los grupos. Esta comparación con (y a través de) los grupos le permiten a usted eliminar factores como la habilidad del facilitador y las influencias comunitarias (asumiendo que todos los participantes vienen de la misma población en general.)  Usted podría también tratar diferentes métodos o secuencias en tiempo, para ver cuál funciona mejor.

En algunos casos, la pregunta real no es si su método o programa funciona o no, sino si funciona mejor que otros métodos o programas que se podrían estar usando. Enseñar una habilidad – por ejemplo, la capacitación laboral, la crianza de niños, el control de la diabetes, la resolución de conflictos – a menudo calza en esta categoría. Aquí, usted necesita una comparación de este tipo. Mientras que las evaluaciones de algunas de éstas – tratamiento médico, por ejemplo – pueden requerir un grupo de control, otros pueden ser comparados con datos en el área específica, con resultados publicados de otros programas, o al usar indicadores a nivel comunitario  de evaluaciones en otras comunidades.

Existen programas comunitarios donde el factor crucial es muy simple. Si usted está trabajando para controlar la contaminación del agua, su preocupación mayor podría ser la cantidad de contaminación que sale de la cañería de las aguas residuales, o la cantidad encontrada en el río. Su única medición del éxito podría ser mantener la contaminación por debajo de cierto nivel, lo cual significa que tener un control regular de la calidad del agua es la única evaluación que se necesita. Existen probablemente pocos programas comunitarios donde la evaluación sea tan fácil – usted podría, por ejemplo, querer conocer cuál de las actividades de control de contaminación es la más efectiva – pero si la suya es solo una, un diseño simple puede ser todo lo que usted necesita.

Tenga en cuenta la naturaleza de su programa.

¿Qué características tiene su programa -¿cómo se ve?-, y qué es lo que intenta hacer? ¿Qué es lo que funciona con los participantes en grupos, o individualmente, por ejemplo? ¿Tiene ciclos – clases o talleres que comienzan o terminan en ciertas fechas, o un programa de tiempo limitado que los participantes pueden tomar solo una vez? ¿O pueden los participantes tomar dichas clases/talleres cuando ellos estén listos y mantenerse hasta que alcancen sus metas? ¿Cuánto del trabajo del programa depende del personal, y cuánto hacen los participantes por su cuenta? ¿Cuán importante es el contexto del programa –manera que se relacionan el personal, los participantes y otros, la filosofía general del programa, el entorno físico, la organización cultural?  (La cultura de una organización consiste en las maneras tradicionales y aceptadas de hacer las cosas, los patrones de relaciones, cómo se viste la gente, cómo actúan y se comunican con los demás, etc.)

Si usted trabaja con participantes en grupos, un diseño de grupos múltiples – uno de series de tiempo interrumpido o un grupo de control – podría ser más fácil de usar. Si usted trabaja con participantes individualmente, tal vez una serie de tiempo simple o un diseño de grupo individual sería más apropiado.

Si su programa tiene el tiempo limitado – uno de solo una vez nada más, o con sesiones que siguen a la anterior – usted querrá un diseño que calce con su programa y tiempo, y que pueda darle resultados confiables en el tiempo que usted tiene.  Una posibilidad es usar un diseño de grupo múltiple, con grupos que siguen a los siguientes, sesión por sesión. El programa para cada grupo podría ser ajustado, basado en los resultados del grupo anterior, para que así usted tenga la posibilidad de poner a prueba nuevas ideas cada sesión.

• Si su programa no tiene un comienzo o final claro, usted probablemente tendrá la necesidad de usar un diseño de grupo individual que considere a los participantes individualmente, o por el nivel de su desempeño inicial. Usted podría también tener que compensar el hecho que los participantes pueden ingresar al programa con diferentes niveles, o con diferentes metas.

Un proverbio dice que usted nunca camina en el mismo río dos veces, debido a que el agua que pasa por él siempre está cambiando.  Lo mismo es verdad para la mayoría de los programas comunitarios. Alguien que ingrese a un programa en un momento particular podría tener una experiencia totalmente diferente a la de una persona similar ingresando en un momento diferente, aún si el proceso del programa es el mismo para ambos. Un participante particular podría animar a los demás alrededor de ella, y crear una atmósfera abrumadoramente positiva diferente a la experimentada por los participantes que ingresaron al programa después de que ésta persona se fue, por ejemplo. Es muy difícil controlar este tipo de diferencia a través del tiempo, pero es importante estar consciente de que puede existir, y a menudo existe, y puede afectar los resultados de una evaluación del programa.

• Si el contexto y la cultura organizacional o del programa son importantes, entonces usted probablemente querrá comparar sus resultados con participantes en un grupo de control en una situación similar donde esos factores son diferentes, o son ignorados.

Existe, por supuesto, una gran variedad de posibilidades aquí: casi cualquier diseño puede ser adaptado a casi cualquier situación en las circunstancias adecuadas. Este material tiene el propósito solamente de darle una idea de cómo comenzar a pensar acerca del diseño para una evaluación.

Tenga en cuenta que sus participantes (y personal) estén de acuerdo.

Además del efecto que podría tener en los resultados de su evaluación, usted podría encontrar que mucha observación puede  hacer que surjan protestas por parte de participantes los cuales sienten que su privacidad está siendo amenazada, o de los miembros del personal que ya de por sí tienen demasiado trabajo y ven la evaluación solo como una carga más a su trabajo. Usted podría ser capaz de superar estos obstáculos, o usted podría tener que llegar a un acuerdo – menos o diferentes tipos de observaciones, un diseño menos molesto/ intruso – con el objetivo de ser capaz de conducir la evaluación del todo.

Existen otras razones por las cuales los participantes podrían oponerse a la observación, o por los menos a una observación intensa.  La posibilidad de ser avergonzado, un deseo de confidencialidad (mantener su participación en el programa en secreto de los miembros de su familia u otros), aún la auto-protección (en el caso de violencia doméstica, por ejemplo) puede contribuir a la falta de voluntad de ser un participante en la evaluación.  Los miembros del personal podrían tener algunas de las mismas preocupaciones.

 

Existen maneras de tratar con estos asuntos, pero no hay forma de garantizar que ellas funcionarán.  Una es informar a los participantes al comienzo acerca de qué exactamente se espera hacer, escuchar sus objeciones, y reunirse con ellos (más de una vez, si es necesario)  para llegar a una propuesta satisfactoria.  Los miembros del personal tienden a quejarse menos si ellos estuvieron involucrados en el planeamiento de la evaluación, y así tienen algo que decir acerca de la frecuencia y la naturaleza de las observaciones.

Tenga en cuenta sus limitaciones de tiempo.

Como hemos mencionado anteriormente, lo importante aquí es escoger un diseño que le dará información razonablemente confiable. En general, su diseño no tiene que ser perfecto, pero tiene que ser lo suficientemente bueno para tener una indicación lo suficientemente razonable de que se están dando cambios, y que ellos son el resultado de su programa. Cuán preciso usted puede ser es por lo menos parcialmente controlado por las limitaciones de su tiempo debido a la financiación, las consideraciones del programa, y otros factores.

Las limitaciones de tiempo podrían también ser obligatorias. Algunas de las más comunes son:

• La estructura del programa. Una evaluación puede tener más sentido si es conducido para coincidir con un ciclo de un programa regular.
• Financiación. Si usted es financiado solo como un proyecto piloto, por ejemplo, usted tendrá que llevar a cabo su evaluación en el mismo lapso de tiempo de la financiación, y pronto para mostrar que su programa es lo suficientemente exitoso para volver a ser financiado. Un horario de tiempo para la evaluación podría ser parte de su subvención o contrato, especialmente si el financiador está pagando por él.
• Horarios de los participantes. Un programa educativo rural podría necesitar  una pausa varios meses al año para permitirles a los participantes plantar y  cuidar los cultivos, por ejemplo.
• La seriedad del asunto. Un retraso en conocer si un programa de prevención de violencia es efectivo o no podría costar vidas.
• La disponibilidad de evaluadores profesionales. Tal vez el equipo de evaluación puede solo trabajar durante un marco de tiempo particular.

Tenga en cuenta sus recursos.

Los planificadores estratégicos a menudo aconsejan que los grupos y organizaciones consideren los recursos de último: ya que si no ellos terminarían rechazando muchas buenas ideas debido a que ellas son muy caras o difíciles, en vez de tratar de encontrar maneras de hacerlas funcionar con los recursos que se tienen a mano. Los recursos incluyen no solamente el dinero, pero también el espacio, materiales y equipo, personal, y habilidades y pericia. A menudo, uno de estos puede ser substituido por otro: una persona del personal con experiencia en investigación puede tomar el lugar del dinero que se utilizaría para pagar a un consultor, por ejemplo. Una asociación con una universidad cercana podría no solo darle pericia si no además el equipo necesario.

La lección aquí es comenzar a determinar el mejor diseño posible para sus propósitos, sin contemplar los recursos. Usted podría tener que decidirse por algo de menor tamaño, pero si usted comienza por lo que usted quiere, usted tiene más posibilidad de acercarse a ello que si usted asume que no tiene la posibilidad de obtenerlo.

En resumen

La manera que usted diseña su evaluación investigativa estará muy relacionada con cuán  preciso y confiable son sus resultados, y cuán bien usted puede usarlos para mejorar su programa o intervención. El diseño debería ser uno que trate de la mejor manera  las amenazas claves a la validez interna (ya sea que la intervención cause el cambio) y la validez externa (la habilidad de generalizar sus resultados en otras situaciones, comunidades, y poblaciones).

Diseños investigativos comunes –tales como diseños de tiempo interrumpido grupo de control – puede ser adaptado a varias situaciones, y combinado de varias formas para crear un diseño que es tanto apropiado como posible para su programa. Eso podría ser necesario para buscar ayuda de un asesor, un socio universitario, o simplemente alguien con experiencia en investigación para así identificar un diseño que calce con sus necesidades.

Un buen diseño tratará sus preguntas de evaluación, y tomará en consideración la naturaleza de su programa, cuáles participantes  y personal del programa estarán de acuerdo, sus limitaciones de tiempo, los recursos que usted tiene disponible para la evaluación. A menudo tiene sentido considerar los recursos de último, para que así usted no rechace buenas ideas debido a que ellas parecen demasiado caras o difíciles. Una vez que usted escoja un diseño, usted puede a menudo encontrar una manera de compensar la falta de recursos para hacerlo realidad.

¿Qué queremos decir por un diseño para la evaluación?

___El diseño de la evaluación es la disposición que asegura que dicha evaluación confiablemente le diga a usted lo que usted necesita saber.

___Un diseño apropiado le mostrará a usted si realmente obtuvo resultados, y si esos resultados se produjeron debido a sus acciones o a las circunstancias que usted creó, o a otros factores.

¿Por qué se debería escoger un diseño para su evaluación?

___Para que su evaluación sea confiable.  

___Para que usted pueda ubicar con exactitud las áreas a mejorar, así como aquellas que son exitosas. 

___Para que sus resultados sean creíbles.

___Para que usted pueda identificar factores no relacionados con lo que usted está haciendo que tengan un efecto –positivo o negativo – en sus resultados y en las vidas de los participantes.  

___Para que usted puede identificar consecuencias que no intencionadas (tanto positivas como negativas) y corregirlas.   

___Para que usted tenga un plan coherente y una estructura organizada para su evaluación.    

¿Cuándo debería escoger un diseño para su evaluación?

___En lo ideal, cuando usted está planeando el programa y la evaluación, antes de que usted comience cualquier implementación.   

___En la realidad, para muchas organizaciones, al comienzo de un ciclo del programa, o cuando un grupo nuevo de participantes  comienza. 

¿Quién debería estar involucrado en la selección de un diseño?

___Es de extremada utilidad  involucrar a alguien con experiencia en investigación para ayudar en la decisión de un diseño apropiado, y para ayudar entender de que se trata cada posible diseño. 

¿Cómo seleccionar un diseño apropiado para su evaluación?

1.  Tener en cuenta las consideraciones de investigación necesarias.

___Entender las amenazas a la validez interna (si es que la intervención produce el cambio)

• Historia

• Maduración 

• Efectos de la evaluación u observación en los participantes  

• Cambios en la medición   

• Regresión hacia la media    

• Selección de los participantes     

• Pérdida de datos o participantes    

•  Naturaleza del cambio   

• Combinación de los efectos de dos o más de estos    

___Entender las amenazas a la validez externa (generalizabilidad de sus hallazgos) 

• Interacción de la prueba o la recolección de datos y el programa o intervención

• Interacción de los procedimientos de selección y el programa o la intervención   

• Los efectos de la preparación de la investigación   

• La interferencia de programas o intervenciones múltiples    

2.  Entender diseños de investigación comunes   

___Diseño inicial y final de un grupo individual

___Diseño de series de tiempo interrumpido con un solo grupo (series de tiempo simple)

___Diseño de series de tiempo interrumpido con grupos múltiples

___Diseño del grupo de control o comparación

3.  Escoger un diseño 

___Tenga en cuenta las preguntas de evaluación 

___Tenga en cuenta la naturaleza de su programa  

___Tenga en cuenta que sus participantes y personal estén de acuerdo 

___Tenga en cuenta sus limitaciones de tiempo   

___Tenga en cuenta sus recursos

Una presentación en PowerPoint que resume los puntos principales de la sección.

• ¿Qué queremos decir por recolectar información?

• ¿Qué queremos decir por analizar información?

• ¿Por qué se debería recolectar y analizar información para su evaluación?

• ¿Cómo se recolecta y se analiza la información?¿Qué queremos decir por recolectar información?

En secciones previas a este capítulo, hemos discutido el estudiar el asunto, decidir en el diseño para la investigación, en crear un sistema de observación para la obtención de información para su evaluación. Ahora es el momento para recolectar su información y analizarla –descifrar que es lo que significa – para que así usted pueda usarla para sacar conclusiones acerca de su trabajo. En esta sección, nosotros examinaremos cómo hacer exactamente eso.

¿Qué queremos decir por recolectar información?

Esencialmente, recolectar información significa poner su diseño para recolectar información en acción. Usted ha decidido cómo usted va a obtener información – ya sea por medio de observación directa, entrevistas, encuestas, experimentos y evaluaciones, u otros métodos – y ahora usted y/u otros observadores tienen que implementar su plan. Sin embargo, todavía hay más que recolectar. Si ustedes están llevando a cabo observaciones, por ejemplo, usted tiene que definir qué está observando y programar para hacer las observaciones en los momentos indicados, así usted puede realmente observar lo que usted necesita. Usted tiene que registrar las observaciones de maneras apropiadas y organizarlas para que así ellas sean lo más útiles posibles.

El documentar (registrar) y organizar la información puede tomar diferentes formas. Eso depende del tipo de información que usted está recolectando. La manera en que usted recolecta su información deberá estar relacionada a cómo usted está planeando analizarla y usarla. Dejando de lado el método que usted decida usar, documentar debe hacerse simultáneamente con la recolección de información si es posible, o muy pronto después, para que así nada se pierda y la memoria de lo que se observó no se vuelva borrosa.

Algunas de las cosas que usted podría hacer con la información que usted recolecta incluye:

• Recolectar información de todas clases de fuentes y observaciones.
• Hacer fotocopias de todos los formularios, registros, grabaciones de audio y vídeo, y cualquier otro tipo de material recolectado para prevenir cualquier pérdida o eliminación accidental de información, u otra clase de problema.
• Digitalizar los relatos, números, y otra información y guardar en un programa de computación, donde ellos puedan ser organizados y/o pueden ser utilizados en diversas maneras.
• Llevar a cabo cualquier operación matemática o similar necesaria para tener la información cuantitativa lista para el análisis. Estas podrían, por ejemplo, incluir ingresar observaciones numéricas en un diagrama, tabla, u hoja de cálculo, o calcular la media (promedio), la mediana (valor que ocupa el lugar central), y/o la moda (valor más repetido) de un set de números.
• Transcribir (hacer una versión exacta palabra por palabra de) los contenidos de las grabaciones de audio o vídeo.
• Codificar información, particularmente información cualitativa que no está expresada en números, de una manera que permita ser procesada por un programa específico de software o puede ser sometido a un análisis estadístico.)
• Organizar la información de manera que sea más fácil de trabajar. Cómo lo haga depende del diseño de su investigación y sus preguntas de evaluación. Usted podría agrupar las observaciones con base a la variable dependiente (indicador de éxito) al cual ellos se relacionan, por los individuos o grupos de participantes, por el tiempo, por la actividad, etc. Usted podría también agrupar las observaciones en diferentes maneras, así usted puede estudiar interacciones entre las diferentes variables.

Existen dos tipos de variables en investigación. Una variable independiente. Una variable independiente (la intervención) es una condición implementada por el investigador o comunidad para ver si eso creará un cambio o mejoría. Esto podría ser un programa, método, sistema u otra acción. Una variable dependiente es lo que puede cambiar como resultado de la variable independiente o la intervención. Una variable dependiente podría ser un comportamiento, resultados/beneficios, u otra condición. Un programa para dejar de fumar, por ejemplo, es una variable independiente que puede cambiar el comportamiento de los miembros del grupo hacia el fumado, la variable dependiente primaria

¿Qué queremos decir por analizar información?

Analizar información incluye examinarla de maneras que muestran las relaciones, patrones, tendencias, etc. que puedan ser encontradas. Eso podría significar el someterlo a operaciones estadísticas que puedan mostrarle no solo qué tipos de relaciones parecen existir entre las variables sino a qué nivel usted puede confiar en las repuestas que usted está obteniendo. Eso podría significar comparar su información con la de otros grupos (un control o un grupo de comparación, figuras a nivel estatal, etc.), para ayudar a sacar conclusiones de la información obtenida. El punto, en términos de su evaluación, es el obtener una evaluación/valoración precisa con el objetivo de entender de mejor manera su trabajo y sus efectos en aquellos por los cuales usted está preocupado, o con el propósito de entender de mejor maneras la situación a nivel general.

Existen dos tipos de información con la cual usted está propenso a trabajar, aunque no todas las evaluaciones necesariamente incluirán ambos. Información cuantitativa se refiere a la información que es recolectada como, o puede ser transformada en, números, lo cual puede ser mostrado y analizado matemáticamente. Información cualitativa es recolectada como descripciones, anécdotas, opiniones, citas, interpretaciones, etc. y son generalmente o no capaces de ser reducido a números, o considerados más valiosa o informativa si es dejada como un relato (narrativamente). Como usted podría esperarse, la información cuantitativa y la cualitativa necesitan ser analizadas de diferente forma.

Información cuantitativa.

Como hemos mencionado, la información cuantitativa es recolectada normalmente directamente como números.

• La frecuencia (índice, duración) de los comportamientos o condiciones específicas.
• Puntuaciones de pruebas (ej., puntuaciones/niveles de conocimientos, habilidad, etc.)
• Resultado de encuestas (ej., comportamiento reportado, o consecuencias de las condiciones ambientales; índices de satisfacción, estrés, etc.)
• Números o porcentajes de las personas con ciertas características en una población (diagnosticados con diabetes, sin empleo, hispano-hablantes, menores de 14 años de edad, nivel educativo completado, etc.)

La información puede también ser recolectada en formas diferentes de la numérica, y ser convertido en información cuantitativa para el análisis. Los investigadores pueden contar el número de veces que un evento es documentado en las entrevistas o registros, por ejemplo, o asignarle números a los niveles de intensidad de un evento o comportamiento observado. Por ejemplo, las iniciativas comunitarias a menudo quieren documentar la cantidad e intensidad de los cambios ambientales que ellos promueven – los nuevos programas y las políticas que surgen como resultado de sus esfuerzos. Si esta clase de conversión es necesaria o útil depende de la naturaleza de lo que usted está observando y en los tipos de preguntas que su evaluación necesita responder.

La información cuantitativa es usualmente sometida a procedimientos estadísticos como calcular la media o promedio de veces que un evento o comportamiento ocurre (por día, mes, año). Estas operaciones, debido a que los números son información “sólida” y no se interpreta, pueden dar respuestas definitivas, o cercanas a ser definitivas a diferentes preguntas. Varios tipos de análisis cuantitativo pueden indicar cambios en una variable dependiente relacionada a – frecuencia, duración, momento (cuando el asunto particular pasó), intensidad, nivel, etc. Ellos pueden permitirle comparar esos cambios con otros, los cambios en otra variable o cambios en otra población. Ellos podrían ser capaces de decirle, en un grado particular de fiabilidad, si esos cambios son propensos a ser causados por su intervención o programa, o por otro factor, conocido o desconocido.Y ellos pueden identificar relaciones entre las diferentes variables, lo cual puede o no significar que uno causa el otro.

Información cualitativa.

Diferente de los números o “datos rigurosos”, la información cualitativa parece ser “blanda”, lo que quiere decir que no puede ser siempre reducida a algo definido. Eso es en algunas maneras una debilidad, pero es a su vez una fortaleza. Un número puede decirle cuán bien salió un estudiante en una prueba (examen); la expresión en su cara después de ver su nota, sin embargo puede decir mucho más acerca del efecto del ese resultado en su vida. Esa expresión no puede ser traducida por un número, ni lo puede hacer el conocimiento del maestro acerca de la historia, progreso, y experiencia del estudiante, todo lo cual termina en la interpretación del maestro de esa expresión facial. Y esa interpretación puede ser más valiosa en ayudar a la superación del estudiante que saber la nota o la puntuación numérica de la prueba.

Como explicamos anteriormente, la información cualitativa puede ser muchas veces convertida en números, usualmente al contar el número de veces que situaciones específicas ocurren en el curos de observaciones o entrevistas, o al asignar números o índices a dimensiones (ej., importancia, satisfacción, facilidad del uso).

Los retos de traducir datos cualitativos en cuantitativos tienen que ver con el factor humano. Aún si la mayoría de las personas están de acuerdo con lo que 1 (más bajo) o 5 (más alto) significa con respecto a los índices de “satisfacción” con un programa, los índices 2, 3 y 4 pueden ser muy diferentes para diferentes personas. Además, los números no dicen nada acerca de por qué las personas reportaron de la manera que lo hicieron. Uno pudo no gustarle el programa debido al contenido, el facilitador, la hora del día, etc. De igual manera puede ser cierto cuando usted está contando los momentos que fue mencionado un evento, tal como al comienzo de una nueva política o programa en una comunidad basada en entrevistas o registros de archivo. Donde una persona pueda ver un cambio en el programa que él considera importante otra persona puede omitirlo debido a que es percibido no importante.

Los datos cualitativos pueden algunas veces decirle cosas que los datos cuantitativos no pueden. Eso puede revelar el por qué ciertos métodos están trabajando o no, si parte de que se está haciendo entra en conflicto con la cultura del participantes, lo que los participantes ven como importante, etc. Eso puede también mostrar patrones – en comportamiento, ambiente físico y social, u otros factores – que los números en sus datos cuantitativos no y ocasionalmente aún identifica variables que los investigadores no estuvieron conscientes.

Es a menudo útil recolectar tanto la información cuantitativa y cualitativa

El análisis cuantitativo es considerado a ser objetivo – sin ningún prejuicio humano adherido a él- debido a que depende de la comparación de números de acuerdo a cálculos matemáticos. El análisis de datos cualitativos es generalmente logrado con métodos más subjetivos – que dependen de las opiniones de las personas, su conocimiento, suposiciones, e inferencias (y por lo tanto prejuicios) – que aquella llevada a cabo de los datos cuantitativos. La identificación de patrones, la interpretación de lo que dijo la gente u otra comunicación, el reconocimiento de tendencia – todos estos pueden ser influenciados por la forma en que el investigador ve el mundo. Esté consciente, sin embargo, que el análisis cuantitativo está influenciado por un número de factores subjetivos de igual manera. Lo que el investigador escoge medir, la precisión de las observaciones, y la manera que la investigación está estructurada al preguntar solo ciertas preguntas puede todo influenciar los resultados, así como lo puede hacer el entendimiento y la interpretación del investigador de los posteriores análisis.

¿Por qué se debería recolectar y analizar información para su evaluación?

Parte de la respuesta aquí es que no cada organización – particularmente las pequeñas con bases comunitarias o no gubernamentales – necesitará tener recursos amplios para conducir una evaluación formal. Ellos pueden tener que estar satisfechos con evaluaciones menos formales, las cuales pueden aún ser extremadamente útiles al brindar dirección para un programa o intervención. Una evaluación informal involucrará alguna recolección de datos y análisis. Esta recolección de datos y que tenga sentido es crítico para una iniciativa y su éxito futuro, y tiene un número de ventajas.

• Los datos pueden mostrarse si hubo cualquier cambio significativo/importante en las variables dependientes que se esperando influenciar. La recolección y el análisis de datos ayudan a ver si su intervención produjo los resultados deseados.

El término “importancia” tiene un significado específico cuando usted está discutiendo estadísticas. El nivel de importancia de un resultado estadístico es el nivel de confianza que usted puede tener en la respuesta que usted obtiene. Generalmente, los investigadores no consideran un resultado significativo/ importante solo si muestra por lo menos un 95% de certeza de que es correcto (llamado el nivel .05 de importancia, debido a que existe un 5% de posibilidad de que eso esté equivocado.) El nivel de importancia está construido en fórmulas estadísticas: una vez que se obtiene un resultado matemático, una tabla (o el software que se está usando) le dirá el nivel de importancia.

Así, si el análisis de datos encuentra que la variable independiente (la intervención) influenció la variable dependiente en el 0.5 nivel de importancia, eso significa que existe una probabilidad o posibilidad de un 95% de que su programa o intervención obtuvo el efecto deseado. El nivel .05 de importancia es generalmente considerado un resultado razonable, y el .01 nivel (99% de probabilidad) es considerado a ser lo más cercano a la certeza que ser puede llegar.

Un 95% de nivel de certeza no significa que el programa trabaja en un 95% de los participantes, o que eso va a trabajar un 95% de las veces. Esto significa que existe sólo un 5% de posibilidad que el programa no es realmente lo que está influenciando la(s) variable(s) dependiente(s) y causando los cambios que deberían estar asociados a él.

• Ellos pueden sacar a la luz factores que pueden estar asociados con cambios en las variables dependientes. Los análisis de datos pueden ayudar a descubrir influencias inesperadas; por ejemplo, que el esfuerzo fuera dos veces tan largo para aquellos participantes que también eran parte del grupo de apoyo. Esto puede ser usado para identificar aspectos claves de implementación.
• Ellos pueden mostrar conexiones entre varios factores que pueden tener un efecto en los resultados de su evaluación. Algunos tipos de procedimientos estadísticos buscan conexiones (“correlaciones” es el término de investigación) entre las variables. Ciertas variables dependientes pueden cambiar cuando otros cambian. Estos cambios pueden ser similares – ej., ambas variables aumentan o disminuyen (ej., por forme la habilidad de en la lectura aumenta, la cantidad de lectura hecha por ellos también aumenta.) O lo opuesto puede pasar – ej., las dos variables cambian en direcciones opuestas (conforme la cantidad de ejercicio que hacen aumenta, el peso de las personas disminuye). Correlaciones no significan que una causa la otra, o que ambas tiene la misma causa, pero ellos pueden brindar información valiosa acerca de asociaciones esperables en una evaluación.
• Ellos pueden ayudar a esclarecer las razones por las cuales su trabajo fue efectivo o, tal vez, no tan efectivo como usted esperaba. Al combinar los análisis cuantitativos y los cualitativos, usted puede a menudo determinar no solo que funcionó o que no, pero el por qué. El efecto de factores culturales, cuán bien se están usando los métodos, lo apropiado que es su enfoque para la población – estos así como otros factores que influencian el éxito pueden ser esclarecidos por la recolección cuidadosa de datos y su análisis. Este conocimiento le da una base para adaptar y cambiar lo que usted hace para que sea más factible que usted logre los resultados deseados en el futuro.
• Ellos pueden brindar evidencia creíble para mostrarle a los socios (interesados) que su programa fue exitoso, o que usted había sacado a la luz, y tratado las limitaciones. Los socios, tal como los financiadores y las juntas comunitarias, quieren saber que sus inversiones están siendo invertidas de la mejor manera. Al mostrar evidencia de los resultados intermedios (ej., nuevos programas y políticas) y resultados a largo plazo (ej., las mejorías en educación o los indicadores de salud) se está volviendo más y más importante para recibir – y mantener- la financiación.
• Su uso muestra que usted es serio acerca de la evaluación y acerca de mejorar su trabajo. Ser un buen fideicomisario o administrador de las inversiones comunitarias incluye revisiones regulares de datos relacionados al progreso y a la mejoría.
• Ellos pueden mostrarle al área de estudio lo que se está aprendiendo, y así pavimentar el camino para que otros implementen métodos y enfoques exitosos. De esa manera, usted estará ayudando a mejorar los esfuerzos comunitarios y, ultimadamente, la calidad de vida para las personas que se benefician.

¿Cuándo y por quién debería ser la información recolectada y analizada?

Al hablar de recolección de datos, la parte del “cuándo” de la pregunta es relativamente simple: la recolección de datos debería no después de que se comience a trabajar – o antes de que usted comience con el objetivo de establecer una línea de fondo o punto de comienzo – y continuar a lo largo. Idealmente, usted debería recolectar datos por periodo de tiempo antes de comenzar su programa o intervención con el propósito de determinar si existe alguna tendencia en los datos antes del comienzo de la intervención. Además, con el propósito de evaluar los efectos a largo plazo de su programa, usted debería recolectar datos posteriores (para el seguimiento) por un periodo de tiempo después de la conclusión del programa.

El momento del análisis puede ser visto de por lo menos dos maneras: Una es que es mejor analizar su información cuando usted la ha recolectado en su totalidad. La otra es que si usted la analiza conforme usted la va recolectando, usted es capaz de cambiar de opinión acerca de la información que usted realmente necesita, y de ajustar su programa para que responda a la información de usted está obteniendo. El enfoque que se decida tomar depende de los propósitos de su investigación. Si usted está más interesado en una evaluación sumativa – encontrar si su enfoque fue efectivo, usted podría estar más inclinado hacia la primera opción. Si usted está orientado hacia la implementación – la evaluación formativa – nosotros recomendamos obtener información a lo largo del camino. Ambos enfoques son legítimos, pero la recolección de datos en proceso continuo y su revisión puede particularmente traer mejorías en su trabajo.

El “quién” de la pregunta puede ser más complejo. Si usted está razonablemente familiar con las estadísticas y los procedimientos estadísticos, y usted tiene recursos de tiempo, dinero, y personal, es probable que usted haga un estudio relativamente formal, al usar pruebas estadísticas estandarizada. (Existen muchos tipos de software –tanto para comprar y gratuito o como open-source o “código abierto” – disponible para ayudarlo. Vínculos de algunos de estos recursos están disponibles en esta sección debajo de “Recursos”.)

Si ese no es el caso, usted tiene algunas opciones:

• Usted puede contratar o encontrar a un evaluador externo voluntario, tal como los de una Universidad o institución de estudios superiores cercana, para que se encargue de la recolección de datos y/o el análisis por usted.
• Usted puede llevar a cabo una evaluación menos formal. Sus resultados pueden no ser tan sofisticados como si usted lo hubiera llevado a cabo por medio de procedimientos estadísticos rigurosos, pero ellos pueden aún decirle mucho acerca de su programa. Solo los números – el número de deserciones (y cuándo desertan más), por ejemplo, o las características de la gente a la que usted le sirve – puede darle información importante y utilizable.
• Usted puede tratar de aprender suficiente acerca de estadísticas y software estadísticos para llevar a cabo una evaluación formal usted mismo. (Lleve un curso, por ejemplo.)
• Usted puede recolectar los datos y luego enviársela a alguien –un programa universitario, un amigo o un investigador, o alguien contratado – para procesarlo todo para usted.
• Usted puede recolectar y basarse principalmente en datos cualitativos. Si esto es una opción depende principalmente de lo que se trate el programa. Usted no querrá llevar a cabo una evaluación formal de efectividad de un medicamento nuevo usando solamente datos cualitativos, pero usted podría ser capaz de mostrar algunas conclusiones razonables acerca de patrones de uso o cumplimiento con base en la información cualitativa.
• Si es posible, use un grupo de control al azar o uno lo más similar al otro para compararlos. Si su control está apropiadamente estructurado, usted puede sacar algunas conclusiones bastantes confiables simplemente al comparar sus resultados con aquellos de su grupo de intervención. De nuevo, estos resultados no serán tan confiables como si la comparación fuera hecha usando procedimientos estadísticos, pero ellos pueden indicar si usted está en la dirección correcta. Es suficientemente fácil ver si hay o no una diferencia mayor entre los números de los dos o más grupos. Si el 95% de los estudiantes en su clase pasó la prueba, y sólo un 60 aquellos en un grupo similar pero no instruido pasaron, usted puede estar seguro que su clase hizo la diferencia de alguna manera, aunque usted pueda que no sea capaz de decir exactamente qué fue lo que importó. De la misma manera, si un 72% de sus estudiantes pasaron y un 70% del grupo de control también pasaron, parece ser bastante claro que su instrucción tenía esencialmente ningún efecto, si los grupos comenzaron aproximadamente en el mismo lugar.

Quién debería realmente recolectar y analizar los datos depende de la manera de su evaluación. Si usted está haciendo un evaluación participativa, mucho de la recolección de datos – y analizarlos- será hecha por los miembros de la comunidad o los participantes del programa ellos mismos. Si usted está llevando a cabo una evaluación en la cual la observación es especializada, los recolectores de datos podrían ser miembros del equipo de trabajo, profesionales, voluntarios altamente entrenados, u otros con habilidades o capacitación específica (estudiantes de maestría, por ejemplo). El análisis también puede ser logrado por un proceso participativo. Aún donde procedimientos estadísticos complicados son necesarios, los participantes y/o los miembros de la comunidad podrían ser involucrados al explicar que es lo que esos resultados realmente significan una vez que la matemática está hecha y los resultados están listos. Otra manera en que el análisis puede ser logrado es por medio de los profesionales u otros individuos capacitados, dependiendo de la clase de la naturaleza a ser analizada, los métodos de análisis, y el nivel de sofisticación al cual se intenta tener en las conclusiones.

¿Cómo recolectar y analizar información?

Aún si su evaluación incluye procedimientos formales o informales, usted todavía tiene que recolectar y analizar la información, y existen algunos pasos básicos que usted puede tomar para hacerlo.

Implementar su sistema de medición.

 Hemos discutido acerca de diseñar un sistema observacional para obtener información. Ahora es el momento de poner ese sistema a cabo.

• Claramente defina y describa cuáles mediciones u observaciones son necesarias. La definición y descripción debería ser lo suficientemente clara para permitirle a los observantes estar desacuerdo en qué es lo que ellos están observando y de buena fuente documentar los datos de igual manera.
• Seleccionar y capacitar a los observadores. Particularmente si esto es parte de un proceso participativo, los observadores necesitan capacitación para saber qué documentar; para reconocer los comportamientos clave, eventos, y condiciones; y para alcanzar un nivel aceptable de confiabilidad interna (acuerdo entre los observadores.)
• Llevar a cabo observaciones en momentos apropiados para el periodo apropiado. Esto puede incluir revisar material archivado; llevar a cabo entrevistas, encuestas, o grupos focales; enfocarse en la observación directa, etc.
• Documentar los datos en las maneras acordadas. Esto puede incluir papel y lápiz, computadoras (al usar una computadora portátil u otro aparato de uso manual en el área, ingresar números en el programa, etc.), audio o vídeo, revistas, etc.

 Organizar los datos que usted ha recolectado.

La manera que usted haga esto depende de qué es lo que usted está planeando hacer con eso, y en qué se está interesado.

• Ingresar cualquier dato a la computadora. Esto puede significar simplemente digitalizar los comentarios, descripciones, etc., e incluirlos en un programa de procesamiento de palabras, o al ingresar información variada (posiblemente incluir el audio o vídeo) a una base de datos, hoja de cálculo, un programa GIS, o algún otro tipo de software o archivo.
• Transcribir cualquier audio- o cintas de vídeos. Esto los hace más fáciles para trabajar y copiar, y permite la oportunidad para aclarar cualquier segmento de dicción que sea difícil de entender.
• Darle una puntuación a cualquier prueba y documente las puntuaciones apropiadamente.
• Clasificar su información en maneras apropiadas de su interés. Esto puede incluir clasificar por categoría de observación, por evento, por lugar, por individuo, por grupo, por el tiempo de observación, o por una combinación o algún otro estándar.
• Cuando sea posible, necesario, y apropiado, transforme los datos cualitativos en datos cuantitativos. Esto puede involucrar, por ejemplo, contar el número de veces que asuntos específicos fueron mencionados en las entrevistas, o cuán a menudo ciertos comportamientos fueron observados.

Llevar a cabo gráfica de datos, inspecciones visuales, análisis estadísticos, u otras operaciones en los datos de forma apropiada.

Nos hemos referido varias veces a los procedimientos estadísticos que usted puede aplicar a los datos cuantitativos. Si usted tiene los números correctos, usted puede descubrir mucho acerca de si su programa está causando o contribuyendo a un cambio o mejoría, cuál es ese cambio, si existen conexiones esperadas o inesperadas entre las variables, cómo se compara su grupo con otro que usted esté evaluando, etc.

Existen otras posibilidades excelentes para el análisis además de los procedimientos estadísticos, sin embargo. Algunas de ellas incluyen:

• Conteo simple, inspección visual y gráficos de frecuencia o índices de comportamiento, eventos, etc., a través del tiempo.
• Usar inspección visual de los patrones a lo largo del tiempo para identificar discontinuidades (aumentos, disminuciones marcadas) en las medidas a través del tiempo (sesiones, semanas, meses).
• Calcular la media (promedio), la mediana (valor que ocupa el lugar central), y/o la moda (valor más repetido) de una serie de medidas u observaciones. ¿Cuál fue la presión sanguínea promedio, por ejemplo, de las personas que se ejercitaron por 30 minutos al día por lo menos cinco días a la semana, en contraposición a aquellos que se ejercitaron dos días a la semana o menos?
• Usar entrevistas cualitativas, conversaciones, y observación participativa para observar (y seguirle a pista a los cambios) en las personas o situaciones. Los diarios pueden ser particularmente reveladores en esta área debido a que ellos documentan las experiencias de las personas y sus reflexiones a través de un tiempo.
• Encontrar patrones en los datos cualitativos. Si muchas personas se refirieron a problemas o barreras similares, estos pueden ser importantes en el entendimiento del asunto, al determinar qué funciona o qué no y por qué, o más.
• Comparar los verdaderos resultados con las metas o puntos de referencia previamente determinadas. Una medida de éxito podría ser alcanzar una meta para el planeamiento o programa de implementación, por ejemplo.

Tome nota de cualquier resultado significativo o interesante.

Dependiendo de la naturaleza de su investigación, los resultados podrían ser estadísticamente significativos (el 95% o mejor certeza de la que hemos discutido anteriormente), o simplemente importantes o inusuales. Ellos pueden o no ser socialmente significativos (p.ej., suficientemente grandes para resolver el problema).

Existen un número de tipos diferentes de resultados que usted puede estar buscando.

• Diferencias entre las personas o los grupos. Si usted ha repetido mediciones para individuos/grupos a través del tiempo, podemos ver si existen aumentos/disminuciones marcadas en (la frecuencia, tipo) de comportamiento (eventos, etc.) después de la introducción del programa o intervención. Cuando los efectos son vistos y solo cuando la intervención es introducida – y si la intervención es escalonado (retrasado) a lo largo de la gente o los grupos – esto aumenta nuestra certeza que la intervención, y no algo más, está produciendo los efectos observados.
• Diferencias entre dos o más grupos. Si usted tiene uno o más grupos de control al azar en un estudio formal (grupos que son escogidos al azar con una misma población como el grupo en su programa, pero no están recibiendo el mismo programa o intervención, o no está recibiendo una del todo), luego la significancia estadística de las diferencias entre los grupos debería decir si su programa tiene una alguna influencia mayor en la(s) variable(s) dependiente(s) que la que se está experimentando por los otros grupos.
• Los resultados que muestran cambios significativos estadísticamente hablando. Con o sin un grupo de control o de comparación, muchos procedimientos estadísticos pueden decirle si los cambios en las variables dependientes son verdaderamente significativos (o posiblemente no lo sean debido al cambio). Estos resultados pueden decir muy poco acerca de las causas del cambio (o ellos pueden, dependiendo de cómo usted ha estructurado su evaluación), pero ellos le dicen a usted que es lo que está pasando, y le dan un lugar para comenzar.
• Correlaciones. Correlación significa que existen conexiones entre dos o más variables. Correlaciones pueden algunas veces resaltar a relaciones importantes que usted podría no haber predicho. Algunas veces ellos pueden dar luz al asunto por el mismo, y algunas veces en los efectos de las prácticas culturales de un grupo. En algunos casos, ellos pueden realzar las causas potenciales de un asunto o condición, y así pavimentar el camino para intervenciones futuras.
• Patrones. En ambos, tanto la información cuantitativa y cualitativa, patrones a menudo emergen: ciertas condiciones de salud parecen agruparse en áreas geográficas particulares; las personas de un grupo en particular se comportan de maneras similares; etc. Estos patrones podría no ser específicamente lo que usted está buscando o espera encontrar, pero ellos podrían ser importantes por ellos mismos o sacar a la luz áreas en las que usted esté interesado. En algunos casos, usted podría necesitar someterlos a procedimientos estadísticos (análisis de regresión, por ejemplo) ver si, en realidad, ellos están al azar, o si ellos constituyen patrones reales.
• Descubrimientos importantes evidentes. Si es el resultado de un análisis estadístico, o la evaluación de sus datos y la aplicación de lógica, algunos descubrimientos pueden resaltar. Si el 70% de un grupo de participantes con sobrepeso en un programa de actividad física y nutrición saludable bajan su peso y presión sanguínea significativamente, comparado con solamente el 20% de un grupo similar no en el programa, usted puede probablemente asumir que el programa ha sido efectivo. Si no existe ningún cambio del todo en los resultados en educación después de dos años de su programa educativo, entonces usted puede estar o llevando a cabo un programa no efectivo, o simplemente no está alcanzando a aquellos que tienen más tendencias de tener pobres resultados (lo cual también puede ser interpretado como que está llevando a cabo un programa que no es efectivo.)

No todos los descubrimientos importantes necesariamente le dirán si su programa trabaja o que es el método más efectivo. Podría ser obvio para la recolección de datos, por ejemplo, que, mientras la violencia o las lesiones en la carretera no sea visto como un problema a nivel de ciudad, ellos son mucho más altos en una o más áreas particulares, o que los índices de diabetes están marcadamente mucho más altos para grupos particulares o para aquellos viviendo en áreas con mayores diferencias de ingresos. Si usted tiene los recursos, es sabio ver los resultados de su investigación en un número de maneras diferentes, ambos para encontrar cómo mejorar su programa, y aprender qué más usted podría hacer para afectar el asunto.

Interpretar los resultados.

Una vez que usted ha organizado sus resultados y que los revise a través ya sea de un análisis estadístico u otro que usted ya haya planeado, es el momento para descifrar qué es lo que significa su evaluación. Probablemente la pregunta más común que la investigación evaluativa es dirigida hacia si el programa que está siendo evaluado trabajo o hace una diferencia. En términos de investigación, que a menudo se traduce en “¿Cuáles fueron los efectos de la variable independiente (el programa, intervención, etc.) en la(s) variable(s) independiente(s) (el comportamiento, las condiciones, u otros factores que se intentaba cambiar)?” Existen un número de posibles preguntas a esta pregunta:

• Su programa tuvo exactamente los efectos en las variables dependientes que usted esperado y deseaba que tuviera. Estadísticas u otros análisis mostraron claros efectos positivos en un alto nivel de importancia para las personas en su programa y – si usted usó un diseño de grupo-múltiple – ninguno o muy pocos, con los mismos efectos para un grupo de control similar y/o para un grupo que recibía una intervención diferente con el mismo propósito. Su programa educativo en infancia, por ejemplo, grandemente aumentó los resultados de desarrollo para los niños de la comunidad, y también contribuyó a un aumento en el porcentaje de los niños que mejoraron en la escuela.
• Su programa no tuvo efecto. Su programa no produjo resultados significativos en la variable dependiente, por sí misma o al ser comparada con otros grupos. Esto significaría que no hubo ningún cambio como resultado del programa o la intervención.
• Su programa tuvo un efecto negativo. Por ejemplo, la violencia entre compañeros íntimos aumentó (o por lo menos parece ser) parte del resultado de su intervención. (Es relativamente común para los eventos reportados, tales como la violencia o las lesiones, que se aumente cuando la intervención resulta en una mejoría de vigilancia o facilidad de reporte).
• Su programa tuvo los efectos esperados y otros efectos también.
• Estos efectos podrían ser positives.Su programa de prevención de la violencia juvenil, por ejemplo, podría haber resultado en una reducción grande de la violencia entre los adolescentes, y podría también haber tenido resultados en una mejoría significativa del rendimiento académico por parte de los jóvenes involucrados.
  • Estos efectos podrían ser neutrales. El mismo programa de prevención de la violencia juvenil podría de alguna manera dar como resultado que los jóvenes vean más televisión después de la escuela.
  • Estos efectos podrían ser negativos. (Estos efectos son usualmente llamados consecuencias sin intención.) La violencia juvenil disminuyó significativamente, peor la incidencia de las jóvenes embarazadas o el consumo de alcohol entre los jóvenes podría aumentar significativamente al mismo tiempo.
  • Estos efectos podrían ser múltiples, o mixtos. Por ejemplo, un programa para reducir el VIH/SIDA podría disminuir los rangos de sex sin protección pero también podría aumentar el conflicto y los casos de violencia entre parejas.
  • Su programa no tuvo efecto o tuvo un efecto negativo y otros efectos al mismo tiempo. Como con los programas con efectos positivos, estos pueden ser positivos, neutrales; individuales o múltiples; o consistentes o mixtos.

Si su análisis le da una indicación clara de que lo que usted está haciendo está logrando sus propósitos, la interpretación es relativamente simple: Usted debería seguir haciéndolo, mientras trata otras maneras de hacerlo aún más efectivo, o mientras trata de alcanzar otros asuntos relacionados de igual manera.

Como lo hemos discutido a lo largo y ancho de la Caja de Herramientas Comunitarias, los programas buenos son dinámicos – constantemente buscando formas de mejorar, en vez de asumir que lo están haciendo de la mejor manera que puede ser.

Si su análisis muestra que su programa no es efectivo o es negativo, sin embargo –o, en ese caso, si un análisis positivo lo deja a usted preguntándose cómo hacer que sus esfuerzos exitosos sean aún más exitosos – la interpretación se vuelve aún más compleja. ¿Está usted usando un método absolutamente erróneo? ¿Está usted usando un enfoque que podría ser efectivo, pero está muy mal implementado? ¿Existe un factor particular que está contribuyendo a que usted no esté tomando en cuenta_ ¿ Existen barreras hacia el éxito – culturales, experiencias, características personales, discriminación sistemática – presentes en la población de la cual son los participantes? ¿Existen componentes particulares o elementos que usted puede cambiar para hacer a su programa más efectivo, o debería usted comenzar de nuevo de cero? ¿Hacia qué se debería dirigir para hacer un buen programa aún mejor?

Interpretación cuidadosa y muy perspicaz de sus datos podría permitirle responder a preguntas como éstas. Usted podría ser capaz de usar correlaciones, por ejemplo, para generar hipótesis acerca de sus resultados. Como lo hemos discutido antes, si los cambios positivos o negativos en variables particulares son consistentemente asociados con cambios positivos o negativos en otras variables, las dos pueden ser conectadas. (La palabra “pueden” es importante aquí. Las dos pueden estar conectadas, pero podrían no estarlo, o ambos podrían estar relacionados a una variable tercera de la cual no se está consciente o que se considera trivial.) Tal conexión puede mostrarle la dirección hacia un factor (p.ej., acceso al apoyo) que está causando los cambios en ambas variables, y que debería ser tratada para hacer su programa exitoso. Las correlaciones podrían también indicar patrones en sus datos, o podría dirigirlo hacia una manera no esperada de ver el asunto al que usted se está dirigiendo.

Usted puede a menudo usar datos cualitativos para entender el significado de una intervención, las reacciones de las personas hacia los resultados. La observación que los participantes están constantemente sufriendo de una variedad de problemas de salud podría ser localizado, a través de datos cualitativos, en problemas de nutrición (debido a la pobreza o a la ignorancia) o a restricciones culturales (algunas mujeres musulmanas podría no estar dispuestas – no ser capaces debido a una prohibición familiar - a aceptar la asistencia o tratamiento por parte de doctores varones, por ejemplo).
Una vez que usted organizó sus datos, tanto los resultados y cualquier cosa que pueda ser analizado estadísticamente necesita ser analizado lógicamente. Esto podría no brindar información convincente pero de seguro le dará algunas ideas para desarrollar a futuro, y algunos indicadores de conexiones y posibilidades que usted podría no haber considerado todavía. Eso también le mostrará algunos resultados adicionales - gente reaccionando de forma diferente al programa que antes, por ejemplo. Los números pueden decirle si existe un cambio, pero ellos no pueden siempre decirle qué lo causa o por qué (aunque algunas veces si lo hacen), o por qué algunas personas se benefician mientras otros no. Estos son a menudo asuntos que importan para análisis lógicos, o para el pensamiento crítico.

El análisis y la interpretación de los datos que ha recolectado lo llevan, de alguna manera, de vuelta al comienzo. Usted puede usar la información que ha obtenido para ajustar y mejorar su programa o intervención, evaluarlo de nuevo, y usar esa información para ajustar y mejorarlo aún más, mientras esté vigente. Usted tiene que mantener el proceso para asegurarse que se está haciendo el mejor trabajo que se puede hacer y para promover cambios en individuos, sistemas, y políticas que hagan a una comunidad más saludable y mejor.

Usted tiene que convertirse en un detective cultural para entender su iniciativa, y, de algunas maneras, cada evaluación es un estudio antropológico.

En resumen

El corazón de la investigación evaluativa es obtener información acerca del programa o la intervención que usted está evaluando y analizando para determinar qué le dice acerca de la efectividad de lo que usted está haciendo, así como acerca de cómo puede mantener y mejorar esa efectividad.

La recolección de los datos cuantitativos – información expresada en números – y llevarla a la inspección visual o al análisis estadístico formal puede decirle si su trabajo está teniendo los efectos deseados, y podría de igual manera ser capaz de decirle por qué o por qué no. Puede también resaltar las conexiones (correlaciones) entre las variables, y llamar la atención hacia factores que usted podría no haber considerado.

Recolectar y analizar datos cualitativos – entrevistas, descripciones de factores ambientales, o eventos, y circunstancias –pueden brindar una idea de cómo los participantes experimentan el asunto que usted está tratando, qué barreras y ventajas experimentan ellos, y qué se podría cambiar o agregar para mejorar lo que usted hace.
Una vez que usted haya obtenido el conocimiento que brinda su información, es hora de comenzar el proceso de nuevo. Use lo que usted ha aprendido para continuar a evaluar lo que usted hace al recolectar y analizar los datos, y continuamente mejorar su programa.

¿Qué queremos decir por recolectar información?

­­___Recolectar datos significa poner su diseño de un sistema de evaluación (medición) en operación

___Recolectar datos involucra reunir información a través de observaciones, entrevistas, evaluaciones, encuestas, y/u otras maneras; y organizarlo para que sea más fácil trabajar con ellos.

¿Qué queremos decir por analizar información?

___Analizar los datos involucra examinar la información que se ha recolectado de maneras que revelen las relaciones, patrones, tendencias, etc. que pueden encontrarse en ella.

___Los datos pueden ser cuantitativos (recolectados como números) o cualitativos (recolectados como información narrativa, registros, grabaciones, notas de diarios, etc.)

___Los datos cuantitativos son usualmente analizados al someterlos a uno o más muestras gráficas o a operaciones estadísticas que demuestran la importancia de relaciones entre las variables.

___Los datos son usualmente analizados lógicamente, al buscar patrones y relaciones reveladas entre ellos.

___Los datos cualitativos pueden algunas veces convertirse en datos cuantitativos, por ejemplo, al contar (p.ej., el número de veces que un comportamiento ocurrió en varias circunstancias) o al estimar en una escala numérica tales dimensiones como importancia, satisfacción, o calidad (p.ej., la calidad de vivienda o calidad de vida en los vecindarios).

___Una combinación de datos cuantitativos y cualitativos a menudo produce el mejor panorama general.

¿Por qué se debería recolectar y analizar datos para su evaluación?

___Esto puede mostrar si existió o no realmente algún cambio significativo en las variables dependientes las cuales esperaba influenciar.

___Esto puede mostrarle conexiones entre varios factores que podrían tener un efecto en los resultados de su evaluación.

___Esto puede implicar o mostrar las razones por las cuales su trabajo fue efectivo o ineficaz.

___Esto puede brindarle a usted evidencia creíble para mostrarle a sus financiadores y la comunidad que su programa es exitoso, o lo que usted ha revelado, y está arreglando, los elementos que son barreras hacia el éxito.

___Esto puede mostrar que usted es serio acerca de la evaluación y acerca de mejorar su trabajo.

___Esto puede mostrarle al área de trabajo que usted está haciendo sus trabajos bien, y así pavimentar el camino para que otros usen métodos y enfoques similares como las mejores prácticas.

¿Cuándo y por quién debería ser la información recolectada y analizada?

__ La recolección de datos debería de comenzar no más tarde de cuando se comienza a trabajar y debería de continuar a lo largo del proceso.

__ Si usted quiere ver si cualquier cambio es parte de la tendencia a largo-plazo, usted debería recolectar datos de los participantes un tiempo después antes de que su programa realmente comience.

___Si usted quiere entender los efectos a largo plazo, usted debería recolectar datos de los participantes un tiempo después de que ellos hayan dejado/terminado su programa.

___Los datos deberían ser recolectados y analizados por personas capaces de hacerlo.

___La recolección y análisis de datos puede ser hecho por cualquiera desde los miembros de la comunidad los cuales han sido entrenados hasta por profesionales con experiencia para realizar estudios.

¿Cómo recolectar y analizar información?

___Implementar el sistema observacional que usted ha planeado.

___Organizar los datos que usted ha recolectado.

___Llevar a cabo gráficas de datos, inspección visual , análisis estadístico, u operaciones en los datos como sea apropiado. Conduct data graphing, visual inspection, statistical analysis, or other operations on the data as appropriate.

___Tomar nota de cualquier resultado significativo o interesante.

___Interpretar los resultados.

Example #1: Santa Monica’s Use of Data to Lift All Boats: A Deeper Look

Four years ago, Santa Monica took a data-driven approach to become a true City of Wellbeing where everyone thrives. The city used a Wellbeing Index to produce a data-based guide for steering policy. The city used existing information from city departments and fresh input from surveys. The Wellbeing index sets a framework for priorities and promotes initiatives on health and wellness.

Contributed by Lia Thompson, University of Kansas, Community Tool Box Intern.

 

 

Una presentación en PowerPoint que resume los puntos principales de la sección.

در راه تلاش برای درک یک فرهنگ، فهم چرایی تصمیم‌ها و اقدامات مردم می‌تواند بی‌اندازه مهم باشد. وقتی مردم‌شناسان می‌خواهند فرهنگی را درک کنند، اغلب خودشان را در آن فرهنگ غرق می‌کنند تا بتوانند آن را از درون بررسی کنند و بشناسند. پژوهشگری که خود را به این شکل در دل فرهنگی جای می‌دهد نه فقط می‌تواند در مورد آنچه روی می‌دهد شناختی پیدا کند – اینکه مردم زندگی روزانه خود را چگونه پی می‌گیرند، چه آیین‌ها و رسومی دارند، جشن‌های آن‌ها چگونه است، و چیزهایی از این دست – بلکه می‌تواند بفهمد که اعضای آن گروه فرهنگی راجع به رویدادها چه دیدگاهی دارند. آن‌ها می‌توانند ساختار آن فرهنگ را ذره ذره کنار هم بچینند – یعنی باورها و پیش‌فرض‌هایی که زیربنای همه رفتارهای مردم را تشکیل می‌دهند و جهان‌بینی که این باورها و پیش‌فرض‌ها را پدید آورده و پشتیبان آن‌هاست.

بسته به آنکه تلاش شما معطوف به تغییر چه چیز باشد، ممکن است ناگزیر شوید در ارزشیابی به چیزی بیش از فقط رفتار افراد توجه کنید. برای مثال، اگر می‌کوشید انحصارگرایی اجتماعی مبنی بر نژاد یا جنسیت را از میان ببرید یا فرهنگ خشونت‌ را تغییر دهید، ممکن است که تمام متن جامعه درگیر موضوع شود. نمی‌توان حتما با برگزاری آزمون یا شمارش دفعاتی که افراد اعمال خاصی را انجام می‌دهند به دانشی عمیق درباره باهمستان یا بخشی از آن دست یافت. بلکه باید شناختی از جهان‌بینی کل باهمستان و آنچه که باعث پدید آمدنش شده است داشت – چه دین باشد، چه عوامل اجتماعی یا سیاسی، اقتصاد، ترکیبی از چند چیز و یا عاملی کاملا متفاوت. بهترین راه برای رسیدن به این شناخت عمیق شاید غرق شدن در فرهنگ باهمستانی باشد که درباره آن کار می‌کنید. این بخش بررسی است درباره کاربرد پژوهش‌ قوم‌نگاری – همان نوعی غرق‌شدگی فرهنگی که شرح دادیم – به عنوان روشی برای ارزشیابی.

اطلاعات قوم‌نگاری چیست؟

اطلاعات قوم‌نگاری مجموعه داده‌هایی است درباره یک فرهنگ یا گروه خاص که دقیقا از اعضای آن فرهنگ یا گروه به دست آمده است، و تا حد ممکن با استفاده از دیدگاه و جهان‌بینی خود اعضا به تشریح این جهان‌بینی می‌پردازد. هدف این است که با این اطلاعات بتوانیم فرهنگی را از بطن آن درک کنیم – به عبارت دیگر، پیش‌فرض‌ها، رسوم و رفتار مورد قبول در آن را از دیدگاه کسانی که با این فرهنگ زندگی می‌کنند، توصیف کنیم و توضیح دهیم.

این اطلاعات ممکن است هنجارهای باهمستان، دانش و شرایط بهداشتی، واقعیت‌های سیاسی، دین، وضع اقتصادی و جهان‌بینی را هم در بر بگیرد.

هنجارهای باهمستان. این هنجارها عبارتند از چیزهایی که باهمستان یا گروه در رفتارها و فعالیت روزمره عادی یا قابل‌ قبول تلقی می‌کنند. هنجارهای باهمستان را می‌توان از چند منظر نگریست:

• نقش‌های جنسیتی. این نقش‌ها بیانگر آنند که از زن‌ها و مردها انتظار می‌رود چه کنند، چگونه رفتار کنند، چگونه لباس بپوشند، و از این قبیل؛ و نیز اینکه نحوه ارتباط آن‌ها با هم در شرایط گوناگون چگونه باید باشد.
• ساختار اجتماعی. ساختار اجتماعی مشخص می‌کند که چه کسی در باهمستان از جایگاه بالاتری برخوردار شود، چگونه می‌توان پایگاه اجتماعی به دست آورد، گروه‌های اجتماعی چگونه تشکیل می‌شوند و چه شکل‌هایی به خود می‌گیرند، و داوران اجتماعی چه کسانی هستند – یعنی آن‌ها که مقررات و معیارها را وضع می‌کنند. ساختار اجتماعی همچنین مشخص می‌کند که چه کسی فرودست به حساب می‌آید، چه کسی از نظر اجتماعی طرد شده است، چقدر احتمال دارد که فردی با شایستگی، کارآفرینی، تحصیلات یا حتی فعالیت غیرقانونی و غیره، پایگاه اجتماعی خود را ارتقا دهد. ساختار اجتماعی هم معین می‌کند که آیا دنیای باهمستان به طبقات اجتماعی یا سلسله‌مراتب تقسیم شده است یا نه و اگر شده است چگونه؛ و اینکه آیا تصور می‌شود بعضی جایگاهی بالاتر از دیگران دارند.
• رفتار. چه رفتاری و چه گفتاری در انظار پذیرفتنی محسوب می‌شود؟ این بخش در بر گیرنده مسائلی است مانند اینکه مردم چگونه با یکدیگر سلام و احوال‌پرسی می‌کنند (و تاثیر پایگاه اجتماعی، جنسیت و سن بر این رفتار چقدر است)؛ نیز این که مردم به تعارفات و توهین‌های واقعی یا فرضی چگونه واکنش نشان می‌دهند (و از نظر آن‌ها چه چیز تعارف و تحسین محسوب می‌شود و چه چیز توهین به شمار می‌آید)، یا به آیین‌ها و دیگر رفتارهای مختص این جماعت، و به رفتاری که باهمستان می‌پذیرد یا می‌بخشد (یا تشویق می‌کند). همچنین بیش‌تر باهمستان‌ها و گروه‌ها معیارهایی برای رفتارهایی که برای گروه بسیار غیر قابل‌ قبول یا زیانبار است، چه علنی چه غیرعلنی، تعیین می‌کنند و مرتکبین این رفتارها به شیوه‌های رسمی، از جمله طرد شدن از گروه، تنبیه می‌شوند.

دانش و شرایط بهداشت و تندرستی. این مردمی که شما نگران وضعیتشان هستید درباره شرایط بهداشت و تندرستی در کل و در باهمستان چه می‌دانند، و چه رفتارهای سالم (یا ناسالمی) دارند. بعضی از مواردی که باید بررسی شوند عبارتند از:

• دانش درباره بهداشت و تندرستی پیش از تولد، دوره نوزادی و خردسالی و روش‌ها و رفتارهای بهداشتی در هر یک از این دوره‌ها.
• شناخت و کثرت تاثیر مواد مخدر، الکل، دخانیات و اعتیاد به طور کلی.
• آگاهی از بیماری‌های مزمن و دیگر مسائل بهداشتی و تندرستی که در باهمستان شایع هستند و نیز تهدیدها یا مزایای محیط‌ زیستی در ارتباط با تندرستی.
• دانش درباره تغذیه و فعالیت بدنی، ارتباط آن‌ها با تندرستی و رفتارها و روش‌هایی که نشان‌دهنده این دانش باشد.
• دخیل بودن در برنامه‌های سنجش سلامتی، واکسیناسیون و دیگر راهبردهای محافظتی پزشکی.
• ارتباط با یک تامین‌کننده اصلی خدمات درمانی که مردم به طور مرتب با او در تماس‌ باشند.
• درصد جمعیتی که به خدمات بهداشت و درمان دسترسی دارند.

قدرت و واقعیت‌های سیاسی. چه کسانی مناصب قدرت را در اختیار دارند؟ افکار عمومی را چه کسانی هدایت می‌کنند و سیاست‌گذاران چه کسانی هستند؟ قدرت چگونه اعمال می‌شود – رسمی یا غیررسمی، عادلانه یا بی‌رحمانه، برای منفعت شخصی یا برای منفعت مردم؟ هدف‌ها یا فعالیت‌های مدنی چگونه تحقق می‌یابند (یا آیا اصلا تحقق می‌یابند)؟ چه کسانی فاقد قدرت هستند یا خود را فاقد قدرت می‌بینند؟ دغدغه‌های چه کس یا کسانی در اولویت است و به آن‌ها توجه می‌شود؟ آیا قوانین برای عده‌ای به شکلی متفاوت از دیگران به اجرا درمی‌آید؟ شاید بتوان با پاسخ این پرسش‌ها و پرسش‌های مشابه تصویری روشن از روابط قدرت و واقعیت‌های سیاسی یک باهمستان یا گروه ترسیم کرد.

دین. مذهب موضوعی پیچیده است، زیرا دامنه تاثیرگذاری آن، بسته به شمار جمعیتی که از آن پیروی کند، ممکن است از هیچ تا همه جامعه در نوسان باشد. نقشی که دین در زندگی هر روزه باهمستان ایفا می‌کند، چقدر بزرگ است؟ دین چگونه بر زندگی روزانه تاثیر می‌گذارد؟ با پرسیدن پرسش‌هایی دقیق از این دست می‌توانید تصویری مشخص از نقش دین در باهمستان در ذهن خود ترسیم کنید.

• آیا اکثریت مردم در باهمستان پیرو یک مذهب خاص هستند و یا باهمستان متشکل از افرادی است که پیروان مذاهب گوناگونند، و نیز آیا بسیاری از ‌آن‌ها هیچ گرایش مذهبی ندارند؟
• نهادهای مذهبی چه نقشی ایفا می‌کنند – از جمله نقش ارشاد معنوی، مراکز اجتماعی، مشاوره سیاسی، منابع اطلاعاتی، رهبری باهمستان (در کسوت روحانیان)، یا بعضی از این موارد و یا همه آن‌ها؟
• اگر اکثریت اعضای باهمستان پیروان یک مذهب خاص هستند، آن مذهب چه اندازه شمول‌گراست و چقدر به باورمندان ادیان دیگر تسامح نشان می‌دهد؟
• آیا مردم می‌کوشند دیگرانی که را به دین آن‌ها باور ندارند، اصلاح کنند و به دین خود دعوت کنند؟

وضع اقتصادی. وضعیت اقتصادی باهمستان یا گروه چگونه است؟

• آیا باهمستان به مشکل بیکاری یا کم‌اشتغالی دچار است؟
• آیا باهمستان متکی به یک صنعت واحد، یا یک نوع اشتغال و یا یک صاحب‌کار است (مثلا یک تولیدی، یک نوع زراعت، یک پایگاه نظامی)؟
• آیا در استخدام یا ترفیع تبعیض اعمال می‌شود؟ علیه چه کسی یا به نفع چه کسی؟
• باهمستان نسبت میان تحصیلات و فرصت اقتصادی را چگونه می‌بیند و نظام تحصیلی آن تا چه اندازه خوب است؟
• اخلاق کار در باهمستان تا چه اندازه قوی است؟
• پیشرفت اقتصادی در باهمستان چقدر دست‌یافتنی و آسان است؟
• آیا مسکن آبرومندانه مقدور و دست‌یافتنی است؟
• آیا اکثر مردم می‌توانند نیازهای اولیه خانواده‌های خود را تامین کنند، یا آیا فقر مشکلی جدی است؟ بی‌خانمانی چطور؟ گرسنگی چطور؟
• نابرابری‌ها در میزان درآمد و ثروت تا چه حد است؟ چه گروه‌هایی نابرابری‌ها را بیش‌تر لمس می‌کنند؟

«نیازهای اولیه» یک عبارت نسبی است. مثلا در دهکده‌ای واقع در یک باهمستان محروم، این عبارت شاید به معنی یک یا دو وعده غذا در روز، سرپناهی محقر شامل یک اتاق، دسترسی به آب و پخت‌ و پز و برخورداری از سوختی برای گرما، داشتن یک دست لباس اضافه (اما شاید فقط یک جفت کفش)، و برخورداری گه‌گاهی از امکانات درمانی باشد. در شهری توسعه یافته، این عبارت معمولا به معنی سه وعده غذای پروپیمان، یک مسکن چندخوابه شامل آشپزخانه و حمام، چند دست لباس فصلی مناسب و آراسته، دسترسی منظم به امکانات درمانی و حتی امکانات رفاهی چون تلفن، تلویزیون، اینترنت و حتی اتومبیل است. مفهوم عبارت «نیازهای اولیه» (فراتر از آنچه فقط برای زنده‌ ماندن ضروری است) بستگی دارد به اینکه مابقی جامعه وجود چه چیز را بدیهی و عادی بداند.

• جهان‌بینی. این مفهوم با بسیاری از مواردی که در بالا توضیح دادیم هم‌پوشانی دارد و دربرگیرنده نگاهی است که افراد در یک باهمستان (و لذا اغلب خود باهمستان در کل) به خود و زندگی‌شان دارند. یک «جهان‌بینی» در واقع مجموعه‌ای از پیش‌فرض‌ها درباره «برحق‌ بودن» چیزهایی است که هر کس در دنیای پیرامون خود به کار می‌بندد. بعضی از مهم‌ترین عناصر جهان‌بینی عبارتند از:
• نگرش به قدرت. در این جا سه عنصر وجود دارد: قدرت چگونه تعریف می‌شود؛ کدام تعریف – چنانچه تعریفی در کار باشد – درست قلمداد می‌شود؛ و قدرت را چگونه می‌نگریم و با آن چگونه برخورد می‌کنیم. قدرت اشکال گوناگونی دارد که از قدرت یک مقام رسمی (قضات، پلیس، آموزگاران، سیاستمداران، ماموران دولت) گرفته تا قدرتی که به واسطه نیروی بدنی یا اقتصادی اعمال می‌شود (نظیر قدرت جنگ‌سالاران، رهبران باندها، صاحبان کار و سرپرستان و ناظران) و نیز قدرت ناشی از دانش، احترام و داشتن موقعیتی در ساختار اجتماعی (مانند قدرت ریش‌سفیدان و گیس‌سفیدان، پزشکان، رهبران کسب‌وکار، روحانیان، دانشگاهیان و اشخاصی که به درستکاری و هوشمندی شهره‌اند) در نوسان است. اینکه چه کسی صاحب‌ قدرتی مشروع تلقی ‌شود بستگی دارد به وفاداری و هم‌بستگی (شما با «یکی از خودتان» بیعت می‌کنید). از این روست که می‌بینیم رهبر یک باند که از همان گروه قومی است که بیش‌تر ساکنان محله به آن تعلق دارند، ممکن است بتواند بیش‌تر از پلیس در آن منطقه اعمال قدرت کند. یک موضوع دیگر در این ارتباط این است که بدانیم چه کسی قدرت واقعی را در دست دارد و چه کسی می‌تواند منافع باهمستان را به بهترین شکل پیش ببرد. نگاه بنیادی به قدرت ممکن است از احترام بدون چون و چرا (باور به اینکه قدرت همیشه برحق است و باید به آن اعتماد کرد و فرمانبردار بود) تا بی‌احترامی عمیق (باور به اینکه قدرت همیشه در پی منافع خویش و ظالمانه است و باید فعالانه یا منفعلانه در برابر آن ایستاد) متفاوت باشد.
• حس کارآیی و قدرت مهار محیط. آیا مردم احساس می‌کنند که مهار زندگی‌شان کاملا و یا تا حد بسیار در دست خودشان است و یا هیچ‌ گونه اختیاری بر آن ندارند؟ آیا احساس می‌کنند که با کار و تلاش می‌توانند چیزی را عوض کنند و یا باعث تغییر در زندگی خود یا باهمستان بشوند؟ اگر تصور می‌کنند که اختیار کار در دست آن‌ها نیست، پس به گمان آن‌ها سررشته کار در دست چه کسی است؟ در دست سیاستمداران؟ ثروتمندان؟ کسانی که با زور اعمال قدرت می‌کنند؟ اگر شمار افراد جوان (یا گروه‌هایی که از نظر اجتماعی به حاشیه رانده شده‌اند) در باهمستان بسیار است، آن‌ها چه فکر می‌کنند و چقدر خود را دارای اختیار یا فاقد آن می‌بینند؟
• مهار امور ممکن است در دست یک شخص یا گروهی از افراد در قدرت «رسمی» باشد (مانند رئیس جمهور، صاحب‌خانه، مدیر مدرسه، رئیس اداره، پدر و مادر، پلیس)؛ یا در یک نهاد یا مجموعه‌ای از نهادها باشد (دولت، اداره بهزیستی، دانشگاه، کلیسا، ارتش)؛ یا در مجموعه‌ای از اصول حقوقی، اخلاقی یا مذهبی نهفته باشد؛ یا در قراردادها و میثاق‌های یک گروه باشد که فرد هم عضوی از آن است (مثلا یک تیم فوتبال، طبقه اعیان، موسسه مذهبی، و موارد مشابه)؛ و یا در تصمیم‌ها و کردار خود فرد باشد. نگاه یک شخص به توانمندی خود برای مهار زندگی‌اش به چند عامل بستگی دارد، از جمله پیشینه خانوادگی و شیوه‌ای که تربیت شده، تحصیلات، مسائل عاطفی و تجربه‌های زندگی. مسلم است که حتی در یک باهمستان بسیار همگون افراد دیدگاه‌های متفاوتی به این موضوع دارند، اما معمولا هنجارهای باهمستان نشانگر نظرات اکثریت اعضای باهمستان است.
• روابط و اعتماد. آیا اعضای جمعیت دیگران را عمدتا قابل اعتماد می‌دانند، یا اینکه دایره افراد قابل اعتماد را به اعضای خانواده خود یا کسانی که عضوی از یک حلقه کوچک خودی‌ها هستند محدود می‌دانند؟ آیا زنان و مردان به روابط زناشویی (یا جنسی در میان جوانان) نگاهی متفاوت از هم دارند، و اگر چنین است چگونه؟ در کل دیدگاه‌ها راجع به روابط زناشویی چیست (مثبت، منفی، از هر دو طرف حمایت‌گرانه، استثمارگرانه، و از این قبیل)؟ رفتار با کودکان چگونه است، آیا لوس می‌شوند، کتک می‌خورند، انتظار می‌رود که نان‌آور باشند، عزیز داشته می‌شوند یا به چشم نانخور اضافی دیده می‌شوند؟ آیا برای روابط اقتصادی و اجتماعی و نیز برای روابط میان مردمی که به طبقات متفاوت اقتصادی و اجتماعی تعلق دارند، قوانین و مقررات آشکار یا نانوشته‌ای وجود دارد؟
• وظایف و حقوق. آیا اکثریت اعضای باهمستان یا گروه خود را مکلف به رعایت منافع عموم و نیز منافع شخصی می‌دانند؟ آیا گروه را به چشم یک باهمستان می‌بینند و یا فقط در قبال خانواده/ یا دوستان نزدیک خود احساس تکلیف و تعهد می‌کنند؟ از باهمستان یا گروه چه انتظاری دارند؟ ‌آن‌ها در جامعه بزرگ‌تر و در باهمستان چه حقوقی برای خود قائل هستند؟

بسته به ماهیت گروه یا باهمستان مورد بحث و نیز بسته به ماهیت جامعه‌ای که آن گروه بخشی از آن را تشکیل می‌دهد، موضوع حقوق و تکالیف ممکن است در هر جایی به شدت متفاوت باشد. مثلا در روستایی با اهالی کشاورز در کشوری در حال توسعه، مردم شاید با نوعی احساس وظیفه و تکلیف در قبال دیگران تربیت می‌شوند، زیرا در آن روستا همه به هم متکی هستند. اگر محصول یک خانواده از دست برود، مردم روستا خود را موظف می‌دانند که خوراک آن خانواده را تامین کنند، زیرا می‌دانند که بعید نیست سال آینده یکی از همین خانواده‌هایی که کمک می‌کنند خود بدون خوراک بماند. در شهرهای کوچک در و محیطی کم‌وبیش صنعتی شده هم دست‌ کم تا حدی همین حس همیاری وجود دارد.

در محله‌های شهرهای بزرگ هم، در صورتی که بسیاری از ساکنان محله از سال‌ها پیش در این نقطه از شهر زندگی کرده و آن جا بزرگ شده باشند شاید روال زندگی مانند همان روستاها و شهرهای کوچک باشد؛ و یا ممکن است این محله‌ها فضایی بی‌روح باشد که ساکنانش به‌ندرت همدیگر را می‌شناسند و چندان در قبال هم احساس تعهد و تکلیف نمی‌کنند. اغلب اوقات، اگر مردم اصولا چنین احساسی داشته باشند، برای گروه خاص خودشان است، به هر شکل که آن گروه تعریف شود، و/یا برای کل جامعه است. در این حالت، احساس وظیفه و تعهد بیش‌تر در قالب یک اصل بیان می‌شود، چه اصل دینی چه اخلاقی/فلسفی، و دیگر به صورت نوعی پیوند میان فرد و گروهی از مردم که او در کنارشان زندگی می‌کند وجود ندارد.

• تسامح و شمول‌گرایی. آیا باهمستان یا گروه شمول‌گراست – به عبارت دیگر آیا به افرادی که از باهمستان‌ها و فرهنگ‌های دیگر باشند روی خوش نشان می‌دهد و تفاوت‌ها را می‌پذیرد؟ آیا به «بیگانگان» بی‌اعتماد است و در حق آن‌ها تبعیض روا می‌دارد؟ آیا قوانین و رسومی وجود دارد که ضامن به رسمیت شناختن حقوق افراد شود، و آیا این قوانین و رسوم مورد احترامند یا به اجرا گذاشته می‌شوند؟ آیا رفتارهایی که متفاوت باشند تحمل می‌شوند؟ چه کسانی از نظر اجتماعی طرد می‌شود و بر چه اساسی (مثلا بر پایه تفاوت‌های نژادی یا قومی، یا طبقه اجتماعی)؟
• احساس یگانگی. اعضای جمعیت چگونه خود را یکی می‌دانند، و با چه کسانی احساس یگانگی و همبستگی می‌کنند؟ خانواده؟ گروه قومی؟ گروه هم‌ترازان (نوجوانان، موسیقی‌دان‌ها، اعضای حزب سیاسی، دوستان نزدیک، تیم ورزشی)؟ باهمستان (محله، شهر، ایالت، منطقه)؟ به عنوان افراد، یا صرفا به عنوان بخشی از نژاد بشر؟

چرا ممکن است اطلاعات قوم‌نگاری برای ارزشیابی مهم باشد؟

• در بسیاری موارد اطلاعات قوم‌نگاری برای ما تشریح می‌کند که چرا رویکردی موثر واقع می‌شود یا چرا تاثیرگذار نیست، آن هم به شیوه‌هایی که از عهده اطلاعات کمی برنمی‌آید.
• اطلاعات قوم‌نگاری بینش خوبی درباره شیوه‌هایی که شرکت‌کنندگان یا ذی‌نفعان برنامه‌ها و طرح‌های پیشگامانه آن‌ها را تجربه می‌کنند، به پژوهنده می‌دهد، در حالی که کارکنان و دیگر مشارکت‌کنندگان در طرح در این موارد یا پیش‌بینی می‌کنند یا نظر خود را بیان می‌کنند.
• اطلاعات قوم‌نگاری به روشن شدن مسائلی که باید حل شوند کمک می‌کند و بدین ترتیب شرکت‌کنندگان می‌توانند به کار شما واکنش نشان دهند.
• اطلاعات قوم‌نگاری به روشن شدن موضوع و تاثیرات آن بر جمعیت مورد بحث و نیز اهمیت موضوع برای این جمعیت کمک می‌کند.
• اطلاعات قوم‌نگاری به شما کمک می‌کند تا درباره فرهنگی که موضوع کار شماست به شناختی روشن‌تر و جامع‌تر برسید تا بتوانید در آینده بهتر برنامه‌ریزی کنید و تغییرات لازم را اعمال کنید.

چه زمانی لازم است اطلاعات قوم‌نگاری را گردآوری کنید؟

اطلاعات قوم‌نگاری مفید است، اما یک مطالعه قوم‌نگارانه، حتی اگر جزئی باشد، مستلزم زحمت و تلاش است. به ویژه اگر شما بخشی از یک سازمان کوچک باهمستان‌محور یا غیردولتی باشید، ممکن است که نخواهید وقت کارکنان یا داوطلبان خود را صرف گردآوری اطلاعاتی کنید که واقعا ضروری نیست. پس چه موقع اطلاعات قوم‌نگاری ممکن است در واقع ضروری باشد؟

• وقتی که با جمعیتی یا گروه فرهنگی سر و کار داشته باشید که با آن‌ها آشنایی ندارید و خود نیز بخشی از آن‌ها نیستید.
• وقتی با گروهی کار می‌کنید که ماهیتش به‌خوبی روشن است و فرصتی برای رشد و شکوفایی فرهنگ خود داشته است.
• وقتی برای کاری که انجام می‌دهید شناخت و درک زمینه و فرهنگ باهمستان ضروری باشد.
• وقتی به موقعیتی دقیق و کاملا مشخص می‌پردازید – و در فرآیند ارزشیابی غالبا هم چنین پیش می‌آید – که با یک گروه جمعیتی ویژه سروکار دارد.

اطلاعات قوم‌نگاری را چگونه گردآوری می‌کنید؟

حال که تصمیم گرفته‌اید اطلاعات قوم‌نگاری را گرد‌آوری کنید و در برنامه‌ریزی و ارزشیابی کار خود به کار ببرید چگونه می‌خواهید آن را به دست آورید؟ در گام نخست باید ببینید که به چه نوع اطلاعاتی نیاز دارید. بعد باید مشخص کنید که چگونه آن را به دست آورید، اعتماد گروهی را که می‌خواهید درباره‌اش بدانید جلب کنید، برای مطالعه میدانی خود برنامه‌ریزی کنید و بعد طرحتان را اجرا کنید.

۱. مشخص کنید که به چه اطلاعاتی نیاز دارید. یک وقت ممکن است بخواهید که از تمام زیر و بم فرهنگ گروه آگاه شوید؛ و در موقعیتی شاید فقط یک موضوع بسیار مشخص و ویژه مورد نظر شما باشد. اگر با یک گروه فرهنگی برجسته سر و کار دارید – گروهی که برای مثال هویت آن بر اساس قومیت یا دین تعریف شده است، و فرهنگش در طول سده‌ها شکل گرفته است – آن وقت شاید نیاز باشد که سال‌ها وقت صرف کنید تا فرهنگش را بشناسید. اما اگر گروه مورد نظر شما بخشی از فرهنگ کلی باشد – مثلا یک کلاس دوره متوسطه، یا یک محل‌ کار – که در درون آن فضای بسته و محیط فیزیکی و روحی خاص، فرهنگی برای خود به وجود آورده باشد، آن وقت برای یک بررسی مفید قوم‌نگاری شاید چند روز یا چند هفته کفایت کند. در اکثر موارد، وقتی برای یک ارزشیابی به گردآوری اطلاعات قوم‌نگاری مشغولید، فرهنگ را در ارتباط با موضوعی بسیار معین بررسی خواهید کرد.

برای انجام پژوهش قوم‌نگاری درباره موضوعی مشخص باید نخست آن موضوع را خوب تعریف کنید تا بتوانید در مشاهدات و گفت‌وگوهای خود بر آن تمرکز کنید. دقیقا چه نکته‌ای را باید در مورد جمعیت مورد نظر خود بدانید که مشخصه ارزشیابی شما باشد؟ پرسشی که اغلب مطرح می‌شود این است که «شرکت‌کنندگان (یا اعضای جمعیتی که این شرکت‌کنندگان به آن تعلق دارند) برنامه یا طرح پیشگامانه را چگونه ارزیابی می‌کنند؟» سوال‌های دیگری هم می‌توان پرسید: آیا برنامه و فعالیت‌های مربوط به آن از نظر فرهنگی مناسب و محترمانه هستند؟ آیا هدف‌های شرکت‌کنندگان همانند اهداف سازمان است یا تفاوت چشمگیری میان آن‌ها وجود دارد؟ آیا امتیازات یا موانع فرهنگی وجود دارند که بر احتمال موفقیت برنامه یا امکان مشارکت افراد در آن تاثیر بگذارند؟ چه چیز باعث تقویت آن امتیازات یا از میان بردن آن موانع می‌شود؟ آیا ناهمگونی‌های فرهنگی میان شرکت‌کنندگان و کارکنان یا داوطلبان طرح – یا کم‌اطلاعی فرهنگی یک یا هر دو طرف – مانعی در راه اثربخشی برنامه است؟

فرض کنید که برای مثال می‌خواهید بدانید دانش‌آموزان یک کارگاه سوادآموزی درباره آن چه نظری دارند. در این مورد شما با یک فرهنگ دینی یا قومی منسجم سر و کار ندارید، بلکه با فرهنگ آن کلاس سر و کار دارید، مگر آن که تمام دانش‌آموزان کارگاه پیشینه دینی یا قومی مشترکی داشته باشند.

بعضی پرسش‌ها که ممکن است مطرح کنید از این قرار است:

• نظر دانش‌آموزان درباره تحصیل چیست (آیا آن را چیزی مختص طبقات بالای اجتماع به شمار می‌آورند، آیا آن را برای خود و خانواده‌هایشان ضروری می‌دانند، آیا آن را نوعی تحمیل تلقی می‌کنند؛ آیا آن را به عنوان فرصت فراغتی از کار و امرار معاش می‌نگرند، آیا آن را مجوزی برای رسیدن به یک زندگی بهتر قلمداد می‌کنند، یا گمان می‌کنند که تحصیل از ملزومات پیوستن و به رسمیت شناخته شدن در باهمستان است)؟
• آموزگاران را چگونه می‌بینند (برای آن‌ها احترام بسیار قائل‌اند، از آن‌ها می‌ترسند، مرعوب آن‌ها هستند، تحقیرشان می‌کنند، سردرگمند)؟
• رویکردشان به یادگیری چیست (علاقه‌مند هستند، با پشتکار و پایبندی آن را دنبال می‌کنند، هیچ شناخت یا تجربه‌ای در این زمینه ندارند، روحیه همکاری و مساعدت دارند، ترس و دلهره دارند، امیدوارند)؟
• چه موانع فرهنگی بر سر راه یادگیری وجود دارد؟ امتیازات فرهنگی تحصیل کدامند؟ (برای مثال، در بسیاری از خانواده‌ها، حمایت خانواده ممکن است عامل بسیار مهمی باشد.)
• چه استدلال‌هایی برای یادگیری و چه روش‌هایی برای تدریس موثرند و دانش‌آموزان به آن‌ها واکنش مثبت نشان می‌دهند؟
• بین خودشان چه بحث‌هایی هست؟
• آیا در کلاس درس تحرکات میان‌فرهنگی هست که ریشه در فرهنگ‌های دانش‌آموزان داشته باشد و محیط یادگیری را بهبود بخشد یا از اعتبارش کم کند (مانند تبعیض جنسیتی یا نژادی یا تعصبات قومی)؟

وقتی بدانید که به چه پرسش‌هایی می‌خواهید پاسخ بدهید بهتر می‌توانید منبعی را که باید از آن اطلاعات بگیرید مشخص کنید، پی می‌برید که روند کار چقدر طول می‌کشد و – شاید مهم‌تر از همه – خواهید دانست که چه روشی در پیش بگیرید. (در بحث برنامه‌ریزی و مطالعه میدانی، به این موضوع به تفصیل خواهیم پرداخت.)

۲. مشخص کنید که برای انجام چه کاری منابع و امکانات در اختیار دارید. اگر شما بخشی از یک سازمان کوچک مردم‌نهاد (سمن) هستید که به مهاجران خدمات ارائه می‌دهد، بعید است آن قدر پول و وقت در اختیار داشته باشید که مثلا بتوانید دو سال در کشوری به سر ببرید که مبدا مهاجران است. اما ممکن است آنقدر امکانات داشته باشید که مدتی در محله‌های مهاجران بمانید و با افکار و انتظارت، و زندگی آن‌ها آشنا شوید. شاید با همین کار بتوانید برای ارزشیابی خود اطلاعات مردم‌نگاری مفیدی به دست آورید که با سال‌ها پژوهش در زمینه فرهنگ هائیتی هم به دست نیاید.

۳. اعتماد اعضای گروه مورد نظر خود را جلب کنید. فرقی نمی‌کند که شما یک ارزیابی‌کننده بیرونی باشید، یا اطلاعات قوم‌نگاری را از شرکت‌کنندگان برنامه خود گردآوری کنید، در هر حال باید آنقدر اعتماد مردم را به دست آورده باشید تا آنچه را که می‌خواهید بدانید به شما بگویند و نشان دهند.

اگر در باهمستان مربوطه حضور داشته باشید این کار راحت‌تر خواهد بود – به‌ویژه اگر برنامه شما مدتی است که ادامه داشته و مردم از آن پشتیبانی می‌کنند و به کارتان احترام می‌گذارند. در این حالت شاید بسیاری را در باهمستان بشناسید که به شما اعتماد دارند و شما و کارتان را تایید می‌کنند.

بهترین راهبرد غالبا این است که ورود شما به باهمستان تحت حمایت فردی صورت گیرد که مورد اعتماد اعضای باهمستان است – مثلا یک روحانی، یک رهبر باهمستان یا رهبر قبیله‌ای، یک عضو باهمستان که از دیرباز مورد احترام بوده یا ریش‌سفید یا گیس‌سفید است، یا یک مربی و کسانی از این دست. معمولا یک برنامه جدید به این شکل به باهمستان معرفی می‌شود.

اما اگر از امکان فوق بی‌بهره‌اید، آن وقت باید خودتان به باهمستان قدم بگذارید. ببینید که چه موقع می‌توانید با اعضای باهمستان دیدار کنید – در مسابقات ورزشی، جشنواره‌ها، چایخانه‌ها، مراکز خرید و جاهای دیگر. مکانی را انتخاب کنید که شروع کار در آن برای شما آسان باشد، چون اگر خودتان احساس راحتی کنید بسیار بهتر می‌توانید کاری کنید که دیگران با شما راحت باشند .

۴. برای مطالعه میدانی خود برنامه‌ریزی کنید. محور اصلی پژوهش قوم‌نگاری شما مطالعه میدانی است. این مطالعه در اصل سازوکار مشاهداتی شماست (نگاه کنید به بخش 3 همین فصل). این کار مستلزم رفتن به محیط طبیعی جمعیت موردنظرتان و مشاهده مردم و گفت‌وگو با آن‌هاست، و به این معنا نیست که در فضایی غیرطبیعی نظیر محیط یک اداره یا آزمایشگاه و یا در موقعیتی ساختگی مثلا با آزمون یا تجربه، تحقیق کنید.

تا به اینجا، با برنامه‌ریزی مطالعه میدانی بخشی از کار را انجام داده‌اید. گام‌های اصلی عبارتند از:

• پرسش‌های خود را معین کنید. شاید این کار را همان موقع که مشخص کردید به چه اطلاعاتی نیاز دارید خودبه‌خود انجام داده باشید. این پرسش‌ها احتمالا با پرسش‌های ارزشیابی شما مربوطند، اما یکی نیستند. آن‌ها باید به تناسب گروهی که مورد نظر شماست تنظیم شوند و از این نظر منطقی به نظر برسند (یعنی باید بتوان با مشاهده و/یا مصاحبه و دیگر روش‌های جمع‌آوری اطلاعات، پاسخ این پرسش‌ها را یافت)، و نیز از نظر ارزیابی (باید به شما اطلاعاتی بدهند که کمک کند کار خود را ارزیابی کنید و آن را اصلاح و بهتر سازید).
• مشخص کنید که برای گردآوری اطلاعات از چه روش(هایی) استفاده خواهید کرد. برای شناخت فرهنگ باهمستان یا گروه چند راه وجود دارد:
  • نوع مصاحبه‌های تک‌به‌تک یا گروهی ممکن است از گپی خودمانی تا مصاحبه‌هایی کم‌وبیش رسمی، و مصاحبه‌های ضبط‌ شده شبه‌ساختاری و ساختاری متفاوت باشد.
  • مشاهدات مستقیم شرکت کننده یا غیرشرکت‌کننده.
  • تعامل غیررسمی.
  • شرکت در رویدادهای باهمستان، جشن‌ها، کار و غیره.
  • نظرسنجی‌ها. اگر از نظرسنجی استفاده می‌کنید سوالات باید پایان‌ باز باشند (مثلا اینطور آغاز شوند: نظرتان راجع به … چیست؟) و نه از نوع موافقم/مخالفم.
  • منابع خبر نفر سوم (دیگر افراد آگاه)
  • اسناد و مدارک – متن‌ها، شنیداری-دیداری، بودجه‌ها، پوسترها، بروشورها، کتابچه‌های راهنما، آثار هنری و غیره – که به وسیله این افراد یا برای آن‌ها پدید آمده‌اند و دارای اهمیت هستند (مثلا متن‌های مذهبی) و خطاب به گروه نوشته شده‌اند (مانند دستورالعمل‌ها و سیاست‌ها).
  • داده‌های قوم‌نگاری و اسناد دولتی – سرشماری، اسناد دادگاه، داده‌های مربوط به بهداشت عمومی و غیره.
• مشخص کنید که برای این اطلاعات با چه کسی باید تماس بگیرید و چگونه. این اشخاص ممکن است افراد ویژه‌ای باشند که به دلیل موقعیتشان در باهمستان یا ارتباطشان با موضوع مورد تحقیق و یا ویژگی‌های به‌خصوص دیگر انتخاب می‌شوند؛ یا ممکن است که فقط افراد عادی جامعه باشند – یعنی هر کسی که بتوانید با او تماس بگیرید. آیا با اشخاص مورد نظرتان به طور مستقیم تماس می‌گیرید، به آن‌ها رایانامه می‌فرستید، شخصا نزد آن‌ها می‌روید یا تلفن می‌زنید؟ آیا به طور تصادفی با افراد تماس می‌گیرید – مثلا در مراسم باهمستان سر صحبت را با آدم‌ها باز می‌کنید، در مکان‌های عمومی به افراد نزدیک می‌شوید تا با آن‌ها صحبت کنید، در خانه‌ها را می‌زنید؟ یا به واسطه میانجی‌هایی چون رهبران باهمستان، روحانیان، مترجمان و غیره ارتباط برقرار می‌کنید؟

۵. کار میدانی خود را انجام دهید و یادداشت‌های میدانی بردارید. یک مطالعه قوم‌نگارانه مستلزم کار میدانی است – یعنی رفتن به محل زندگی مردمی که درباره‌شان تحقیق می‌کنید، مشاهده آن‌ها و تعامل با آن‌ها در محیط خودشان. این کار ممکن است زحمت چندانی نداشته باشد و فقط نیاز باشد که پیاده به جایی در نزدیکی خیابان خود بروید، و یا ممکن است به مراتب دشوارتر باشد و مستلزم آن باشد که به دهکده‌ای دور سفر کنید. به هر حال ماهیت مطالعه شما هر چه باشد، مبانی آن یکی خواهد بود.

یادداشت‌های میدانی یادداشت‌هایی هستند که شما از گفت‌وگوها، مشاهدات و دیگر مجموعه داده‌های خود برمی‌دارید. این یادداشت‌ها را باید یا در طول دیدار، گفت‌وگوها، مشاهدات و غیره بنویسید و یا بلافاصله پس از گفتگو و پیش از آنکه دیده‌ها و شنیده‌ها در حافظه‌تان کمرنگ و دستخوش تغییر شود. در صورت امکان، با ضبط صدا یا گرفتن فیلم ویدیویی هم می‌توان نسخه‌ای دقیق از آنچه گفته یا انجام شده را در اختیار داشت.

فهرستی از مطالبی که باید در یادداشت‌های میدانی گنجانده شوند عبارت است از:

• تاریخ، زمان و مکان مشاهده.
• وقایع مشخص، اعداد، جزئیات آنچه در محل روی می‌دهد.
• برداشت‌های حسی: مناظر، صداها، بافت‌ها (نرمی یا زبری)، بوها، مزه‌ها
• واکنش‌های شخصی به ضبط یادداشت‌های میدانی.
• واژگان خاص، عبارت‌ها، خلاصه گفت‌وگوها و زبان خودی‌ها.
• پرسش‌هایی درباره مردم یا رفتارهایی که در محل دیده شده برای بررسی در آینده.
• شماره‌گذاری صفحه‌ها برای نظم و ترتیب دادن به مشاهدات.

اطلاعات قوم‌نگاری را چگونه تفسیر می‌کنید؟

اگر اطلاعات قوم‌نگاری که گردآوری کرده‌اید، برای درک پویایی برنامه و نتایج ارزشیابی شما به کار نرود، هیچ سود و ثمری ندارد. نخستین کار این است که یادداشت‌های میدانی خود و هر اطلاعات دیگری را که جمع‌آوری کرده‌اید مرتب کنید و سر و سامان بدهید.

مرتب کردن نسخه نهایی یادداشت‌های کامل شده. یادداشت‌ها را بر اساس الگوها، اطلاعات قوم‌نگاری (جنسیت، سن، سطح تحصیلات، وضعیت اجتماعی-اقتصادی و غیره)، مبحث یا مضمون – خلاصه هر چیزی که با موضوع پژوهش شما سازگار باشد دسته‌بندی کنید. گاه ممکن است آن‌ها را به چند صورت دسته‌بندی کنید. گاهی هم فقط با کنار هم گذاشتن یادداشت‌ها به شیوه‌ یا شیوه‌هایی خاص الگویی پدیدار می‌شود یا موضوعی برجسته می‌شود که پیش‌تر از آن آگاه نبوده‌اید.

از زاویه دید علاقه اولیه‌تان شروع کنید و توصیفی از فرهنگ موردنظر را آن گونه که می‌پندارید اعضای گروه فرهنگی آن را می‌بینند بر کاغذ آورید. بسته به هدفی که دارید، حجم این نوشته ممکن است متفاوت باشد و از شرحی بسیار کامل درباره آن فرهنگ تا توصیفی بسیار مختصر از دیدگاه اعضای آن گروه فرهنگی – اعم از یک روستا، اداره، دفتر نمایندگی، دایره مصرف‌کنندگان، کشور – درباره جنبه‌ای خاص از برنامه شما، مفصل یا مختصر باشد.

بیایید دوباره نگاهی به آن برنامه سوادآموزی بیندازیم. اگر بیش‌تر اعضای کلاس به فرهنگی تعلق دارند که در آن زنان به طور معمول از مردان تمکین می‌کنند، شاید مشکل بتوان در یک کلاس مختلط زنان را قانع کرد که مشارکت فعال داشته باشند. این مشکل ویژه چنین کلاسی است، زیرا روش تدریس تا اندازه‌ای مبتنی است بر تشویق هر چه بیش‌تر به سخن گفتن از همان آغاز. اگر زنان به سخن گفتن راغب نباشند – حتی به رغم آن که درک زبانی آن‌ها رو به بهبود است – پیشرفتشان کند خواهد بود.

تحلیل‌ها از یادداشت‌های میدانی خود را واکاوی کنید. از تاثیر متقابل بینش‌ها، هنجارها و رسوم فرهنگ مورد نظر بر موضوع محوری پرسش‌های شما، به چه چیز درباره این بینش‌ها، هنجارها و رسوم پی بردید؟ اکنون که پژوهش شما کامل شده، هنوز هم تحلیل‌های اولیه خود را قبول دارید؟ آن ایده‌هایی که فکر می‌کنید احتمالا نادرست هستند یا بر اطلاعات غلطی بنا شده‌اند را کنار بگذارید، و اگر این کار را نکرده‌اید، تحلیل‌ها را از نو بیان و جایگزین تحلیل‌های پیشین کنید تا آموخته‌های جدید شما را بازنمایند.

بکوشید که پاسخ به پرسش‌های اولیه خود را از نگاه افراد مورد نظرتان ببینید.

• آیا مردم محلی هم پرسش را با همان نگاهی می‌بینند که شما می‌بینید؟
• آیا عواملی هست که بر نگاه آن‌ها به پاسخ اثرگذار است و شما از آن‌ها بی‌خبر بوده‌اید؟
• آیا عواملی هست که نگاه مردم به آن‌ها و رفتارشان در قبال آن‌ها با نگاه و عملی که شما انتظار دارید تفاوت داشته باشد.
• چیزی که برای شما مهم است از نگاه گروه چقدر اهمیت دارد؟
• آیا انتظارات شما و آن‌ها از نتایج کار یکی است؟ اگر چنین است، آیا آن‌ها در مورد نحوه رسیدن به نتایج با شما هم‌عقیده‌اند؟ اگر نیستند، آیا انتظارات شما و آن‌ها با هم در تضاد است یا به کلی متفاوت از هم است؟ آیا از شروع کار، نگاه آن‌ها به واقعیت موجود با نگاه شما یکی بوده است؟
• آیا بعضی از بینش‌ها، هنجارهای فرهنگی یا رفتارهای آن‌ها که ریشه در فرهنگشان هم دارد، مانعی در راه موفقیت برنامه شما به وجود آورده و شما اکنون درگیر مقابله با آن بینش‌ها و غیره هستید، یا ممکن است که برای مقابله با آن‌ها تلاش کنید؟
• آیا بعضی از بینش‌ها، هنجارهای فرهنگی یا رفتارهای آن‌ها که ریشه در فرهنگشان دارد به نحوی از انحاء پشتیبان موفقیت برنامه شماست و شما حالا هم از این موضوع بهره‌برداری می‌کنید و یا ممکن است که چنین کنید؟
• آیا برنامه شما پیامدهایی پیش‌بینی‌نشده یا ناخواسته – مثبت یا منفی – دارد که نتیجه کارکرد عوامل فرهنگی باشد؟

چند مثال احتمالی از کلاس سوادآموزی ما: آیا شاگردان جوان‌تر کلاس عمدا از پاسخ دادن یا حتی نشان دادن مهارت‌های رو به‌ رشدشان در زبان انگلیسی ابا دارند، زیرا نمی‌خواهند به شاگردان مسن‌تر کلاس فخر بفروشند و باعث شرمندگی آن‌ها شوند، زیرا آموخته‌اند که باید به بزرگ‌تر احترام گذاشت و از او تمکین کرد؟ آیا اعضای کلاس به وضوح سرعت یادگیری/آموزش را کم می‌کنند تا با کندترین شاگردان کلاس هماهنگ باشند، به شکلی که ‌کندترها احساس شرمساری نکنند؟ آیا ناسازگاری‌هایی ناشی از ناهمگونی‌های فرهنگی از این قبیل وجود دارد؟

از آنچه درباره شرکت‌کنندگان فهمیده‌اید به صورت اطلاعات پشتیبان طرح خود یا پاسخ‌هایی به پرسش‌های ارزشیابی استفاده کنید. بعضی از پرسش‌هایی که ممکن است از خود بپرسید عبارتند از:

• فرهنگ، نگرش‌ها و هنجارهای جمعیت مورد نظر شما چگونه بر اثربخشی برنامه‌ای که برای آن‌ها تهیه کرده‌اید تاثیر می‌گذارند؟
• آیا روش‌های شما برای فرهنگ مورد مطالعه‌تان مناسب است؟
• آیا چنین نیست که شما با بعضی از فعالیت‌ها و روش‌هایتان یا در واقع با کل برنامه‌‌‌‌تان دارید موانعی ایجاد می‌کنید به جای آنکه موانع را بردارید؟
• چگونه می‌توانید کارها را برای شرکت‌کنندگان خود آسانتر یا مفیدتر کنید؟
• تاثیرگذارترین کاری که انجام می‌دهید، چیست؟ آیا می‌توانید از داده‌های قوم‌نگاری خود بفهمید که چرا این کار تاثیرگذار است؟

همچنان به گردآوری اطلاعات قوم‌نگاری بپردازید تا سرمشق کارتان باشد. همانطور که تا وقتی برنامه یا طرح پیشگامانه شما تداوم دارد ارزشیابی هم ادامه پیدا می‌کند، بررسی قوم‌نگارانه هم باید ادامه یابد تا بتوانید با استفاده از اطلاعات بیش‌تر برنامه خود را بهبود بخشید و آن را با فرهنگ باهمستان سازگار کنید.

خلاصه

قوم‌نگاری – یعنی تلاش برای درک یک فرهنگ از زاویه دید اعضای آن فرهنگ – ممکن است در یک ارزیابی معتبر از برنامه یا طرح پیشگامانه بسیار مفید باشد. اطلاعات قوم‌نگاری شاید به شما بگوید که چرا شرکت‌کنندگان به شکل خاصی رفتار می‌کنند یا واکنش نشان می‌دهند، چه بخش‌هایی از برنامه شما با هنجارهای فرهنگی شرکت‌کنندگان در تضاد است یا این هنجارها را تقویت می‌کند، و چرا اجزایی خاص از برنامه کم‌وبیش تاثیرگذارند. این دانش شاید به شما کمک کند که فعالیت خود را به شکلی اصلاح کنید که تاثیرگذارتر شود و برای شرکت‌کنندگان ارزشمندتر.

What is ethnographic information?

__ Ethnographic information is information about a particular culture or group gathered specifically from members of that culture or group, defining and using their own perspective and world view.

__ Elements of ethnographic information include:

• Community norms
• Health conditions and knowledge
• Power and political realities
• Religion
• Economics
• World view

__ Ethnographic information is obtained directly from those who live it.

__ The gathering of ethnographic information takes place in the environment where members of the culture normally spend their time (natural setting).

__ Ethnographic information is meant to help you understand a culture from the point of view of its members.

­­__ Ethnographic information is simply descriptive, not judgmental.

Why might ethnographic information be important to evaluation?

__ In many circumstances, ethnographic information explains why approaches work or don’t work in ways that quantitative information can’t.

__ Ethnographic information gives real insight into the ways participants or beneficiaries of programs and initiatives experience them.

__ Ethnographic information helps to clarify what needs to be addressed in order for participants to respond to your approach.

__ Ethnographic information can clarify the issue and its effect on and importance to the population of interest.

__ Ethnographic information can help you gain a clearer and more complex understanding of the culture you’re working with, so you can make better plans and adjustments in the future.

When might you want to collect ethnographic information?

__ When you’re engaged with a population or cultural group that you’re not familiar with or part of.

__ When you’re working with a clearly-defined group that has had a chance to develop its own culture.

__ When an understanding of the context and culture of the community is fundamental to what you’re doing.

__ When you’re addressing, as is often the case in an evaluation, a focused, clearly-defined situation that involves a specific population group.

Who should collect and interpret ethnographic information?

__ That depends on such factors as how much time you have, whether you already have a foothold in the community (or are part of it), the size of the group you’re concerned with, your financial resources, etc.

How do you gather ethnographic information?

__ Decide what kinds of information you need.

__ Determine what you have the resources to do.

__ Gain the trust of the group you’re concerned with

__ Plan your field study

• Decide on your questions.
• Decide on your methods of data collection.
• Decide whom you’ll need to contact and how.
• Work out ethical issues.

__ Carry out your field study, taking careful field notes, including jottings, descriptions, analyses, and personal reflections on what you learned.

How do you interpret ethnographic information?

__ Organize your data.

__ Write as complete a description as possible of the culture or the element(s) of the culture you’re concerned with from the perspective of its members.

__ Reexamine the analyses from your field notes.

__ Try to understand the answer to your original question from the point of view of those you’re concerned with.

__ Translate what you’ve learned about participants into answers to, or supporting information for answers to, your evaluation questions.

__ Continue to gather ethnographic information to guide your work.

Existing data can help you evaluate whether an intervention is working without requiring you to collect every piece of information yourself. When relevant, reliable data are already available, using them can save time and resources while strengthening your evaluation. It is important to have data to evaluate the effectiveness of an intervention.

To support an evaluation, existing data must be relevant to your population, issue, intervention, and evaluation questions. They also need to be available in a form you can analyze. You data may need to clean, combine, or otherwise prepare the data before use. This section explains how to find, assess, and use existing data thoughtfully.

WHAT IS EXISTING DATA?

Existing data is information that an organization, agency, researcher, or other source has already collected for reporting, program administration, research, or another purpose. Examples include administrative and program records, public datasets and dashboards, surveys, research studies, and community assessments. Some sources are updated regularly, while others provide a snapshot from a particular point in time.

 

COMMON SOURCES OF EXISTING DATA 

Some of the most common sources of data that may be useful for your evaluation include: 

• Public records from governmental agencies
• Research organizations
• Health and human service organizations
• Schools and education departments
• Academic and similar institutions
• Business and industry 

Existing data is often available through online dashboards, open-data portals, reports, electronic record systems, downloadable files, or direct requests to the organization from which the data originated. Some information will still require a formal data request or data-sharing agreement, particularly when it contains confidential or sensitive information. 

TYPES OF EXISTING DATA YOU MIGHT LOOK FOR 

Depending on your evaluation questions, you might look for data about a specific population or geographic area, including: 

• Knowledge and awareness of issues
• Demographics of the population (e.g., age, education, income)
• Behavior
• Health and development outcomes
• Environmental conditions or risk/protection factors affecting the population 

WHY COLLECT AND USE EXISTING DATA?  

There are sometimes good reasons to collect new data, including when the information you need is not available elsewhere. When you collect new data, you also have more control over who is included, what is measured, and how the information is gathered. However, primary data collection can be time and resource intensive. 

If the information you need, or something very close to it, already exists, there are several good reasons to find and use it. 

• Existing data can save substantial time and effort, especially when you need information about a large population, geographic area, or time period. They may also provide broader coverage or greater detail than your organization could collect on its own.
• Existing datasets may already have been cleaned, organized, analyzed, or documented by people with specialized expertise. This work can reduce the technical burden on your team, although you should still review the methods, definitions, and limitations before using the results.
• Even with raw data, the basic organization and preparation (transcription of interviews, entry of numbers into a spreadsheet or specific software, etc.) may have already been done, again saving time and resources.
• It’s quite possible that you can find more information than you’d be able to gather if you did it yourself. The existing data you find may be more sweeping or more specific than what you’d be able to gather. They may involve more people than you’d be able to, cover a larger geographic area, or provide more detail.
• Existing data could touch on important areas you have not considered, or identify patterns or relationships you wouldn’t have looked for.  In cases like these, the use of data that already exist might change your whole view of your work, and help bring you to a level of effectiveness you wouldn’t have reached otherwise.
• The data may have been collected using established methods and systems. This can save time and strengthen your evaluation, but it does not guarantee that the data are free from bias, missing information, inconsistent definitions, or other limitations. You still need to understand how the data were collected.
• Existing data can help you examine change over time. Historical information can show whether an observed change is part of a longer trend and whether similar patterns appear in comparable communities, the state, or the nation. This perspective may be difficult to obtain through short-term data collection alone.
• Existing data can make it possible for small organizations with limited resources to conduct thorough evaluation studies. Most small community-based organizations simply have neither the money nor the personnel to gather large amounts of data – but, there’s no need to when the data you need exist elsewhere. 

WHEN SHOULD YOU COLLECT AND USE EXISTING DATA? 

• When it’s available and accessible. This is the key question. If you know the data exist and can obtain appropriate access, they may be useful. If the data do not exist, are too difficult to locate, or cannot be shared because of privacy or other restrictions, you may need another approach.
• When it’s relevant. As with availability, the relevance of the data to what you’re trying to find out is a key issue. All the existing data in the world won’t do you any good if they don’t help you answer your evaluation questions.
• When you don’t have the time and/or resources to collect the data yourself. Whether it’s a matter of the size and scope of your organization, time pressure from a funder to produce an evaluation, or some other factor, existing data may be the only source of the information you need.
• When the data match your evaluation needs. Data should align with the population, place, time period, measures, and program elements you are studying. Select only sources that can help answer your evaluation questions; otherwise, the information may provide an incomplete or misleading picture. 

HOW DO YOU FIND AND USE EXISTING DATA? 

As you search for and use existing data, there are several questions you should ask. 

Are the data a good fit for your evaluation? 

Before using an existing source, look beyond whether it is easy to obtain. Ask whether it can answer your evaluation question and whether it can be meaningfully compared with any data you collect yourself. 

• Who and what do the data represent? Make sure the population, geographic area, and issue are relevant to your program.
• When were the data collected or updated? Older data can be useful for trends and context, but may not reflect current conditions.
• How were the data collected and defined? Review the data source’s methods, measures, and definitions. Two sources may use the same term—for example, “service received” or “graduation”—but mean different things.
• Are the data complete and sufficiently detailed? Consider missing data, small numbers, the level of detail available, and whether results can be broken down in ways that are useful and appropriate.
• What limitations or potential biases should you keep in mind? Administrative data reflect the people who use a service and the way staff record information; survey and research data may be affected by sampling, response rates, or measurement choices.
• Can you use the data ethically and securely? Follow data-sharing agreements and privacy requirements. Whenever possible, use aggregate or de-identified data rather than information that could identify individuals. 

WHAT INFORMATION DO YOU NEED, AND WHY? 

To answer this question, you first might think about what information you need for your evaluation that doesn’t necessarily require gathering data on current participants. 

Some possibilities include: 

• Data on past participants. You may want to compare the results for current participants with data on past participants, especially if you’ve changed your methods or the population has changed significantly.
• Community-level indicators are specific, measurable signs of conditions or change across a community. Examples include program participation, services delivered, crime rates, or new cases of HIV. These indicators can help you track community trends and assess whether an initiative may be contributing to change. 

Community-level indicators describe trends for the community as a whole, rather than changes among individual participants. For example, an initiative to reduce alcohol use among young people might track weekend and nighttime single-vehicle crashes involving teenagers. Choose indicators because they are meaningful to the initiative and community—not only because data happen to be available. 

• Specific information on appropriate characteristics of the population you’re working with. This may be used to compare your participants to the population they’re part of, as well as to track specific differences that might be a result of your program.

Both general and specific information might include several categories to choose from. These categories include: 

• Demographics:
  • Demographic characteristics, such as age, race, ethnicity, gender identity, household composition, education, income, employment, housing, disability status, primary language, and geographic location
  • Geographical location and distribution, population density, etc.
  • Economics – income, employment, living conditions
  • Housing – household size and ownership
  • Education level  
  • Other characteristics –primary language spoken, etc. 
• Behavior:
  • Health-related – tobacco use, physical activity, diet, etc.
  • Alcohol and other substance use
  • Sexual behavior  
  • Various other behaviors – work habits, consumer patterns, etc. 
• Health and Development Outcomes:
  • Incidence (new cases) and prevalence (existing cases) of specific health conditions (e.g., diabetes, injuries, infant mortality)
  • Developmental and educational outcomes, such as completion of primary or secondary education and equitable participation by people with disabilities
  • General health and well-being characteristics of the population or community Access to health and human services (e.g. those with access to clean water and sanitation
  • Knowledge and awareness of issues (e.g. survey data on public concern with violence)
  • Environmental conditions or risk/protective factors (e.g. exposures to pollution or toxins) 

• Cultural information. Norms, customs, celebrations, beliefs, and practices related to culture. If you can see whether and where your group’s efforts are fitting with participants’ cultures, it will help you to determine whether that’s an issue, and where you might need to make changes. 
• Data on a similar group that can be used as a control or comparison. This might be a group from the same population that signed up for but did not experience the program, or another comparable community in a different place.
• Results of previous studies. You’d probably be most interested in studies that looked at the same issue and population group you’re addressing. These can provide a standard of comparison, as well as some sense of what kinds of results might be reasonable to expect.

Suppression of Statistics

An issue that you should be aware of and prepared to encounter during your research is suppression of statistics.  When research deals with small populations or data pools, in order to protect the privacy of individuals, it is sometimes necessary to suppress data. In other words, when the number of cases in a category - i.e., females in Wyandotte County who died from lung cancer in 2004 - is small enough that disclosing the data might allow a specific individual to be identified, steps are taken to protect the privacy of individuals.

The most common method of preventing the identification of specific individuals is through cell suppression. This means not providing counts in individual cells where doing so would potentially allow identification of a specific person. Cell suppression can also be done by combining cells from different small groups to create larger groupings that reduce the risk of identifying individuals.

The table below, from the Kansas Department of Health and Environment's Bureau of Epidemiology and Public Health Informatics, shows a break-down by race of deaths due to chronic liver disease and cirrhosis in Wyandotte County, KS in 2010. Because the numbers for Black and Other individuals are small enough that it might be possible to identify individuals from those statistics, the data is suppressed, as indicated by the #.

Death Statistics for Chronic liver disease & cirrhosis for Wyandotte County, 2010
White	Black	Other	All races
14	#	#	20
# Indicates numbers below 6

The National Association of County and City Health Officials (NACCHO) has a useful tip sheet that explores this and other challenges of data collection and analysis in jurisdictions with small populations and provides useful information for overcoming these challenges.

In addition to the question of confidentiality, low numbers in a given category can also be an issue when considering the stability of data. In other words, when there are low numbers or incidences in the data you are researching, it is more difficult to accurately calculate rates and it can give an inaccurate picture of the categories you are researching.  For instance, if the number of lung cancer deaths in 2004 was 20, and in 2005 it was 30, statistically that is a 50% rise over one year, which is quite a substantial fluctuation; however, it may be that it is simply a normal variation in reporting. Because the numbers reported are so small, even minor changes can seem substantial, and this can result in unreliable or unstable data. The table below, from the Kansas Department of Health and Environment's Bureau of Epidemiology and Public Health Informatics, shows a break-down by race of deaths due to breast cancer in 2010 in Wyandotte County, KS. Because the numbers available for White, Black, and Other are too small to allow for an accurate, reliable calculation of the rates for that year, the information is suppressed, indicated by the @.@ symbols.

Death statistics for malignant neoplasms of breast, Wyandotte County, 2010
	White	Black	Other	All Races
Number	15	6	#	23
Rate	@.@	@.@	@.@	15.5
@.@ indicates numerator too small for rate calculation # indicates numbers below 6

However, there are a couple of strategies that can be used to help avoid or address these problems of instability.

Combining several years of data can produce more stable estimates when annual counts are small. Rolling averages—for example, comparing 1997–2000 with 1998–2001—can help show change over time while reducing year-to-year variation. The tradeoff is that multi-year estimates may make recent changes or program effects harder to detect.

Expanding the geographic area can also increase the number of observations and improve statistical stability. For example, you might use regional or state data when county-level counts are too small. However, broader estimates may not reflect local conditions and can hide meaningful differences among communities. 

Who is likely to have collected that information?

Public agencies, research organizations, universities, schools, health and human service providers, funders, advocacy groups, community organizations, and businesses may all maintain useful data. Start with the source most likely to collect information about your topic, population, or geographic area.

In some cases, you might know for certain that it exists; in others, you’ll have to search around. Some places to start:

Public records.

Government records at all levels – including federal state, county, and local. Copies of publicly-funded studies (after publication), financial information, crime statistics, demographic information, and much more are available in public records.

Some you might be most interested in:

• Census Bureau. In most developed countries, the census covers a broad range of demographic, economic, and geographic information.
• Federal and state departments and ministries. From environmental data to farming practices and subsidies to poverty statistics to public health issues, the federal government is a vast storehouse of information.
• Various levels of the court system. In the U.S., where civil and criminal trials and their results are public, their records are public also.
• Police records. Arrests, domestic disputes, injury reports, and other information can be found in police reports.
• Securities Exchange Commission and other business regulators. The SEC and other regulators require businesses to file various information, usually annually, including annual financial reports and environmental statements, all of it public.
• County commissions, agencies, and authorities. County Extension Services in the U.S. (part of the U.S. Department of Agriculture) can be particularly helpful.
• City and town clerks’ offices.

Sometimes, government agencies are reluctant to share information, even though it’s public.  The Freedom of Information Act (FOIA) deals with this issue in the U.S.  It allows for access to a wide range of federal government records.  Similar laws at the state level do the same for state documents.

• Research organizations. Think tanks, independent oversight organizations, and research organizations all issue reports on various topics, often backed up by studies.

Some of these organizations aren’t, and don’t pretend to be, politically neutral.  They have agendas, conservative or liberal, and some of them interpret their research in light of those agendas.  It’s important to be aware of the bias of any archival data that you use if you want reliable data.  However, many organizations with a political stance nonetheless try to make their studies as objective as possible.

• Academia. Much research in health, human services, social issues, education, the environment, and the sciences is conducted by universities and institutions connected to them. This includes theses and dissertations for advanced degrees, as well as the results of funded research web search engines, such as Google scholar, can help locate research information.
• News media. Newspapers, magazines, and radio and TV outlets all keep archives, often going back to the founding of the publication or station. These are often available to the public – sometimes on line – either free or for a fee. Although they are unlikely to contain detailed study results, they often have summaries of important studies, and may serve to point you in the right direction to find what you need.
• Foundations and other private funders.These organizations fund studies of all kinds, and many publish or otherwise make available the results as a condition of funding.
• Hospitals and other health care providers are sometimes university-related, and may conduct studies of various health issues. They also may collect, as an administrative necessity, demographic and other statistics on their patients, as well as information on the frequency, geographical location, and intensity of various medical conditions.
• Mental health providers may have data on particular types of conditions, or on who is most at risk for particular behaviors or conditions (e.g. depression).
• Human service and other non-governmental community-based organizations. The information most likely to be gleaned from these organizations is administrative, and to cover such areas as demographics and the location and character of community issues.

Depending on its nature, some of the research carried out or administrative data gathered by universities, health and mental health providers, and human service organizations may have some restrictions on them because of confidentiality. These restrictions usually only cover access to individual records and identification of study participants, and generally don’t pose a barrier to obtaining aggregate results of studies, assessments, or surveys with no identification of individuals.

• Advocates and watchdog organizations may collect data (either locally, statewide, or nationally) on businesses, on the environment, and on other particular issues – nearly anything that pertains to their causes – and they’re usually willing to share it.
• Community activists. These folks tend to focus on specific issues, but if your issues are similar to theirs, they may have a great deal of information that’s useful to you.
• Community economic development organizations are likely to have economic data, land-use maps and patterns (perhaps including population distribution by race, ethnicity, age, etc.), environmental information, and other similar material you might find useful.
• Businesses and corporations, particularly large ones, often collect information on their workforces, economics and economic trends, and similar topics.

WHERE SHOULD YOU LOOK FOR EXISTING DATA? 

The question here is not only where to find existing information, but where to find it most quickly and easily. Some of this material will be published, some only available from the organizations that collected it. Looking in the right place first can save you a lot of time and trouble. 

Your own records and data 

Unless it’s brand new, your own organization should have administrative records, past evaluations, assessments, and other data that might be helpful to you. Don’t ignore this obvious and easily accessible source of information. 

Online data portals and websites 

Many public documents and datasets are available online. Start with the website or open-data portal of the government agency, organization, or institution most likely to have collected the data. In the U.S., federal, state, tribal, county, and municipal agencies often provide searchable reports, dashboards, or downloadable files. Similar sources are available in many other countries.

Many of the other sources of information mentioned above are likely to have websites also. Whether their data is available on those sites is another matter, and depends to some extent on what kind of information you’re seeking. Watchdog organizations and some think tanks are likely to post at least some of the results of their research on websites because they want it to be as public as possible. Community economic development organizations likewise usually have informative websites, since they’re trying to attract businesses and residents to an area.

Health providers and academics, on the other hand, may post their research on a website, but only after it’s been published in a journal or book, or presented at a conference. That means that you’re not apt to find very recent data (from the past year, for example). Local health and human service providers and schools rarely conduct formal research, and rarely post any administrative data on their websites, for two reasons: confidentiality, to which we’ve already referred, and the fact that most of that data are intended for internal use, and therefore not seen as useful to anyone outside the organization.  Business websites generally include material only of interest to potential customers. Community activists may or may not have websites at all.

Assess online data sources carefully. Favor information from the organization that originally collected or maintains the data, and look for clear documentation of methods, definitions, update schedules, and limitations. If a source is unfamiliar or a finding seems uncertain, compare it with other credible sources before using it. 

Go directly to the source

When data is not publicly available, contact the organization that maintains them. Explain what information you need, how you plan to use it, the level of detail required, and how you will protect privacy. Be prepared to discuss a data-sharing agreement, reasonable costs, or a mutually beneficial exchange of information or expertise. 

When requesting data from another organization for comparison, frame the conversation around shared learning rather than competition. Explain why the comparison is useful, how you will account for differences between programs or populations, and how findings will be interpreted and shared. An existing relationship built on trust and mutual respect can make this collaboration easier. 

Libraries

Libraries and librarians can help you identify credible datasets, government reports, scholarly research, archives, and specialized databases. They may also help you develop search terms, locate hard-to-find sources, and assess whether a source is authoritative. 

What are you planning to do with the data once you have it?

Plan how you will use the data before requesting or downloading them. Determine which variables, time periods, population groups, and level of detail you need. If you intend to compare existing data with information from your program, make sure the groups, definitions, measures, and collection periods are sufficiently similar to support a meaningful comparison.

If you’re planning to subject your data to statistical analysis, you’ll want information that either is, or can be made, quantitative. If the information you’re collecting on your participants is largely qualitative, then the existing data should be qualitative as well. Furthermore, the information you get either should determine or should match the way you collect your own data, so that there’s a reasonable comparison, assuming a comparison is what you’re intending. 

USING EXISTING DATA 

In many evaluations, you will combine existing data with new information collected from participants. Existing program or administrative records may also provide current information about participants, depending on what is recorded, how quickly the data are updated, and whether you have appropriate access. You may be able to find earlier data on participants to use as a baseline or data on a similar group to use as a comparison or control. 

The “almost” here refers to a situation where you’re evaluating a program in retrospect – looking back at it after it’s underway or been completed.  It may be possible in that case to find existing data that will allow you to determine the program’s effectiveness in terms of process, outcomes, or both. 

Although you’ll probably collect information on the participants in the program you’re evaluating, there are a number of ways you might use existing data: 

• To better understand the context of your evaluation. These might be ethnographic data (see Section 6 of this chapter), oral histories, assessment information, interviews, etc. You’d use it to get a clearer picture of the community in a number of ways, and to help you interpret the results of your evaluation.  It might, for instance, give you insight into why a particular approach did or didn’t work, or why some participants stayed in the program while others didn’t.
• To identify areas to address. A clearer picture of the community allows for a deeper understanding of the community’s needs and concerns.
• To establish a baseline against which to measure your results. For this purpose, you’d need recent information about where the population you’re working with stands on the dependent variables or outcomes you’re concerned with. That would tell you where the participants started from (on average), so that you could see from the measures you used in your evaluation whether and how much they might have improved because of your work. 

In an evaluation, the intervention is the program, policy, service, or other action expected to contribute to change. The outcomes are the behaviors, conditions, or other results that may change. For example, a violence-prevention program is the intervention, while changes in violent behavior and related injuries are outcomes. 

• To identify already-existing trends that may affect the results of your evaluation study. The fact that there’s been a change in participants between the beginning and end of your evaluation doesn’t necessarily mean that you’ve caused it. Among other things, it may be part of an ongoing trend toward change that started well before your program did, and may continue after it.  Archival data might show such a trend over a number of measures of your dependent variable in the population your participants come from.
• To establish a standard of comparison against which to measure your efforts. There are two ways that you could use archival data for this purpose.  One is to use census, statewide, and/or community-wide data to compare with that of the population you’re working with. That comparison can give you a sense of how serious the issue is for your group, compared to the general public.  The second way is to use similar data to compare your outcomes with the data on the larger population. This might work especially well when you’re using community-level indicators (e.g., rate of injuries, percentage of girls completing different education levels).

You might find, for example, that even though community-level indicators moved in the right direction – the sale of tobacco products went down, say – they still compared unfavorably with the state or national averages for the same indicators.  That knowledge might be important in future goal-setting and in using your evaluation results to gain community support or funding. 

• To act as a control or comparison group. One of the best ways to learn whether or not your program had an effect is to compare the participants you’re working with to those in another group that received no program or a different one. The best alternative here is to create a group from the same population as participants – so that all participants will have approximately the same background, environmental influences, cultural norms, etc. – and to conduct the same observations on both groups at the same times, so that the only difference between them is the program that one of them is exposed to. In practice, creating or finding a perfect control group is often difficult.  Archival data may be able to provide a reasonable alternative, in the form of data collected on a comparison group or population similar to that of participants in your program.

Often, the most likely possibility is a group that was part of another program with the same goal as yours, but using different methods. This has the advantage not only of providing a control, but of letting you infer whether your approach works as well as, not as well as, or better than that of the comparison group. 

• To provide data for a longitudinal study.  If you think your program might have a long-term effect, or if you think it will interact with the effects of past events, circumstances, or programs, you might want to conduct a longitudinal study – one that looks at participants over a longer period of time – for your evaluation. You may not have the time or resources to collect data over a period of years, but you may be able to find archival information that allows you to draw some conclusions about long-term effects.

There are at least two circumstances where you might be able to use existing data for a longitudinal perspective.  The first is one in which you’re looking at the effect of an issue on the population for a length of time before your program began. This might make it easier to see program results in context, and to understand whether the program broke a cycle and started real change. The second circumstance is when you’re looking back at the effects of a program that was completed some time ago.  In some circumstances, the effects of a program multiply or accelerate over time. Particularly if your program was aimed at changes throughout the community (reducing intimate partner violence, for instance), you may be able to find existing data that tells you whether the effects of your program continued, kept growing, or trailed off. 

In Summary

Existing data can help you understand community conditions, establish a baseline, identify trends, compare outcomes, and examine change over time. Useful sources include your own records as well as data maintained by public agencies, community organizations, health and human service providers, universities, funders, and other institutions. Select data that fit your evaluation questions, examine their quality and limitations, and follow all privacy and data-sharing requirements. Used thoughtfully, existing data can make evaluation more feasible and informative—especially for organizations with limited time and resources.

What are archival data?

___Archival data is data that already exists as a result of administrative procedures or past studies or evaluations

___Be aware of sources of archival data:

• Public records
• Research organizations
• Health and human service organizations
• Schools and education departments
• Academic and similar institutions
• Business and industry

___Be aware of the possible types of data available:

• Demographics
• Behavior
• Health and development outcomes
• Attitudes – racial, political, social, etc.
• Knowledge and awareness of issues
• Environmental conditions or factors affecting the population and/or your work

Why collect and use archival data?

___It’s easier and less time-consuming than collecting all the data yourself

___Archival data may have already been processed by people with more statistical expertise than you, making it easier to use in analysis

___Even with raw data, the basic organization and preparation (transcription of interviews, entry of numbers into a spreadsheet or specific software, etc.) may have already been done, again saving time and resources

___It’s quite possible that you can find more information than you’d be able to gather if you did it yourself

___Archival data could touch on important areas you might not have thought of, or identify patterns or relationships you wouldn’t have looked for

___It may eliminate the need to correct for such problems as lack of inter-rater reliability or observer bias

___Archival data allows the possibility of looking at the effects of your work over time

___Archival data can make it possible for small organizations with limited resources to nonetheless conduct thorough evaluation studies

When should you collect and use archival data?

___When it’s available

___When it’s relevant

___When you don’t have the time and/or resources to collect the data yourself

___When it can truly inform your evaluation

How do you collect and use archival data?

___Determine what information you’re looking for and why

Possible categories of information you’d be interested in:

___Data on past participants

___General information on the population and/or the community you’re working with

___Specific information on appropriate characteristics of the population you’re working with

___Cultural information

___Data on a similar group that can be used as a control or comparison

___Results of previous studies

___Determine who is likely to have collected that information:

• Government departments and agencies, the census, and other entities whose data are likely to be available in public records
• Research organizations
• Academia
• News media
• Foundations and other private funders
• Hospitals and other health care providers
• Mental health providers
• Human service and other community-based organizations
• Advocates and watchdog organizations
• Community activists
• Community economic development organizations
• Businesses and corporations

___Decide where you should look for archival data

• Your own archives
• The Internet
• The original source
• Libraries

___Decide what you plan to do with the data once you have it

Use archival data:

___To better understand the context of your evaluation

___To identify areas to address

___To establish a baseline against which to measure your results

___To identify already-existing trends that may affect the results of your evaluation study

___To establish a standard of comparison against which to measure your efforts

___To act as a control or comparison group

___To provide data for a longitudinal study

Tool 1: Common Secondary Data Sources Used to Address Gender-Based Violence

This tool from Strategic Prevention Solutions provides descriptions of common secondary data sources useful for addressing gender-based violence, along with common challenges with secondary sources.

در طول زندگی بارها و به اشکال مختلف پیش آمده که فعالیتی را ارزیابی کرده ایم. وقتی در یک کلاس آموزشی ثبت‌نام می‌کنیم یا وقتی کاری را انجام می‌دهیم یا هنگامی که مشغول انجام پروژه‌ای هستیم این سوال برای ما پیش می‌آید که آیا این کلاس انتظاراتم را برآورده می‌کند؟ آیا کاری که انجام می‌دهم کار درستی است؟ آیا این پروژه در جهت هدفی که برایش تعیین شده، حرکت می‌کند؟ 

حضور ما در باهمستان هم از این قائده مستثنی نیست. حضور ما در باهمستان نیاز به ارزیابی دارد تا اطمینان حاصل شود که روند مداخله در جهت تغییر مثبتی است که اعضای باهمستان انتظارش را دارند. 

این مقاله به اهمیت ارزیابی و مراحل و شیوه‌های انجام آن می‌پردازد. 

ارزیابی ابتکار باهمستانی به چه معنی است؟

ارزیابی ابتکار باهمستانی به معنی سنجش میزان فایده یا ارزش کاری است که بر اساس برنامه‌ریزی قبلی در باهمستان انجام می‌شود. گاهی این سنجش و ارزیابی به دلیل دریافت سریع بازخورد و مشاهده نتیجه کار به‌راحتی امکان‌پذیر است. مانند تعداد افرادی که در جلسه شرکت می‌کنند یا تعداد بروشورهایی که برای اطلاع‌رسانی در مورد پروژه منتشر می‌شود. اما گاهی ناچاریم مسائل و رویدادهای پیچیده‌تری را ارزیابی کنیم، به‌ویژه مسائل و رویدادهایی که ابزار مناسبی برای اندازه‌گیری‌شان وجود ندارد. مثل میزان رضایتمندی افراد از مشارکتشان در جلسات باهمستان یا میزان رعایت عدالت اجتماعی یا تساوی جنسیتی در باهمستان. نتایجی که ارزیابی آن مستلزم داشتن اطلاعات کامل و جامع و شناخت کافی از روند شکل‌گیری و تاثیرگذاری یک حرکت یا اقدام یا محصول است. اطلاعاتی که به ما کمک می‌کند هر مورد خاصی را از جهت‌های مختلف تحلیل و بررسی کنیم و نقاط قوت و ضعف آن را بهتر بشناسیم. تنها با در اختیار داشتن این اطلاعات است که می‌توانیم در جهت بازبینی و بهبود یک فرآیند، اقدام کنیم. این مقاله مروری است بر  روش‌های رایجی که برای گردآوری اطلاعات به منظور ارزیابی به‌کار می‌رود.

اما نباید از نظر دور داشت که موانع و مقاومت‌های زیادی در روند ارزیابی  وجود دارد که شناخت این موانع و مقاومت‌ها و آگاهی از نحوه مقابله با آن منجر به افزایش  دقت و وثوق روند ارزیابی می‌شود. 

ترس از ارزیابی 

تصمیم به انجام ارزیابی به خودی خود معمولا با کمی شک و تردید و حتی ترس توام است. هم شخص یا تیمی که مسئولیت ارزیابی را به‌عهده دارد و هم شخص یا تیمی که کارش مورد ارزیابی قرار می‌گیرد، ملاحظاتی در انجام ارزیابی دارند که به نوعی کار ارزیابی را دشوار می‌کند. این مقاومت احتمالا محصول نگرانی‌هایی است که در مورد شیوه انجام ارزیابی، زمانی که باید صرف ارزیابی شود یا ترس از منفی بودن نتیجه ارزیابی و مورد انتقاد قرار گرفتن به‌وجود می‌آید. نگرانی‌هایی که تا حد زیادی قابل پیشگیری هستند. 

شیوه انجام ارزیابی 

در مورد روش‌های انجام ارزیابی همیشه اختلاف نظرهایی وجود دارد. به‌ويژه در مواردی که شاخص‌ها کیفی هستند و این احتمال وجود دارد که دستاوردهای کیفی ممکن است از چشم تیم ارزیابی دور بماند. برای پیشگیری از چنین وضعیتی می‌توان پیش از انجام ارزیابی، این نگرانی را با گروه ارزیابی در میان گذاشت و از آنها خواست تا شاخص‌های اندازه‌گیری برای دستاورد یا دستاوردهای مورد نظر را با توافق طرفین تعریف کنند. 

زمانی که باید صرف ارزیابی شود

از آنجا که انجام ارزیابی مستلزم تحقیق و بررسی، داده‌پردازی، مصاحبه، کارگاه و جلسه است، گاهی مدیر پروژه ترجیح می‌دهد انجام ارزیابی را تا جایی که امکان دارد در پایان پروژه انجام دهد. در حالیکه تاخیر در انجام ارزیابی می‌تواند منجر به شکست برخی اقدامات و حتی خود پروژه شود. بنابراین تاکید بر فایده اختصاص زمان مناسب به ارزیابی در مقاطع مختلف پروژه موجب شناخت سریع‌تر نقاط ضعف و تهدیدها و در نتیجه بازبینی و اصلاح استراتژی و حصول نتایج بهتر می‌شود. 

ترس از منفی بودن نتیجه ارزیابی 

نگرانی از منفی بودن نتیجه ارزیابی منطقی و به‌جا است. اما آنچه نباید از نظر دور بماند تاثیر پروژه در درازمدت است. بدون تردید شناسایی زودهنگام نقاط منفی و نقایص یک اقدام، موجب اصلاح ساختار و پیشگیری از ناکامی‌ها و نقایص بزرگ‌تر می‌شود. 

ارزیابی عملکرد گروه‌های محلی 

ارزیابی عملکرد تسهیلگران و مشارکت‌کنندگان محلی هم بخشی از برنامه ارزیابی است. همانطور که روش‌ها و دستاوردها در مقاطع مختلف پروژه ارزیابی می‌شوند، عملکرد افراد و گروه‌هایی هم که در شکل‌گیری و اجرای این اقدامات سهیم هستند نیز لازم است در مقاطع مختلف پروژه ارزیابی شود. شواهد زیادی مبنی بر ضرورت انجام ارزیابی عملکرد گروه‌های محلی وجود دارد. از جمله:

• مثبت بودن عملکرد مشارکت‌کنندگان محلی موجب موفقیت پروژه و تجهیز منابع بیشتر می‌شود. به‌ویژه اگر تاثیر تلاش و مشارکت آنها به درستی در نتایج ارزیابی نشان داده شود. 
• شناسایی و تشخیص شکست‌ها و ناکامی‌ها به معنای شروع دوباره براساس یادگیری است. هرچند پذیرش این شکست‌ها در ابتدا سخت و ناامید کننده به نظر می‌آید اما در دراز مدت پشتوانه‌ای از تجربه و درس خواهد بود. 
• ارزیابی لزوما به معنای شناسایی نقاط ضعف و بازخوردهای منفی نیست. مشاهده دستاوردها و موفقیت‌ها در نتیجه ارزیابی می‌تواند انگیزه‌ و مشوقی برای ادامه فرایند باشد. در هر دو مورد (بازخورد منفی و مثبت) مشارکت‌کنندگان و گروه‌های محلی و تیم اجرایی پروژه باید در جریان قرار بگیرند. 
• ارزیابی عملکرد اعضای پروژه یا گروه مشارکت‌کنندگان به ما کمک می‌کند در تقسیم‌ نقش‌ها و وظایف بازنگری کنیم و در صورت نیاز افرادی را به تیم اضافه یا از تیم حذف کنیم، یا اینکه تغییراتی در شرح خدمات پرسنل اعمال کنیم. علاوه بر این با بررسی کیفیت مشارکت اعضای باهمستان و شناخت خلاء‌های موجود در روند مشارکت، اقداماتی را برای تقویت مشارکت و بازبینی سازوکارهای ایجاد انگیزه، انجام می‌دهیم. 
• ارزیابی عملکرد مشارکت‌کنندگان همچنین به ما کمک می‌کند که کارکرد استراتژی‌های ارتباطی و اطلاع‌رسانی را بهتر بشناسیم و در صورت لزوم در به کارگیری ابزار و روش‌ها و همچنین تجهیزات برقراری ارتباط با مشارکت کنندگان، تجدید نظر کنیم. 

بهترین زمان ارزیابی یک ابتکار محلی کی است؟ 

ارزیابی بهتر است در مراحل مختلف یک فرایند انجام شود. 

در طول اجرای برنامه

• تعیین مبنای مقایسه: ارزیابی دقیق عملکرد، مستلزم مقایسه است. مقایسه‌ای بین وضعیت قبلی و فعلی. برای انجام این مقایسه نیاز به تعیین یک مبنا داریم که به ما نشان دهد وضعیتی که قصد تغییرش را داریم در بدو اجرای پروژه چگونه بود. برای مثال اگر هدف ما  افزایش آگاهی نوجوانان یک محله در مورد مضرات سیگار است، مبنای مقایسه باید نشان دهد میزان آگاهی نوجوانان در مورد مضرات سیگار پیش از شروع پروژه چقدر است. 
• تمرکز بر تاثیری که پروژه بر مشارکت‌کنندگان می‌گذارد. ارزیابی در طول اجرای برنامه و سنجش تاثیری که روند اجرا بر مشارکت‌کنندگان می‌گذارد از احتمال تاثیر منفی بر مشارکت‌کنندگان پیشگیری می‌کند. به این دلیل که در طول ارزیابی صدای افراد و گروه‌های مختلف شنیده می‌شود و در صورت لزوم تیم اجرایی فرصت کافی برای بازبینی و اصلاح عملکرد در نوع روابط و همچنین جزییات برنامه اقدام را دارد. 

بعد از پایان برنامه 

• ارزیابی پایانی علاوه بر اینکه میزان موفقیت و تاثیرات یک ابتکار را اندازه‌گیری می‌کند، حاوی درس‌های ارزشمندی برای مجری و ذینفعانی است که به اشکال مختلف در روند اجرای پروژه مشارکت داشته‌اند یا با آن در ارتباط بوده‌اند. ارزیابی پایانی مروری است بر کیفیت عملکرد که می‌تواند پشتوانه‌ای قوی برای اجرای اقداماتی در آینده باشد. 

ارزیابی را از کجا شروع کنیم؟

پیدا کردن نقطه شروع ارزیابی به‌ویژه در ابتکاراتی که بخش‌های مختلفی دارند، کار راحتی نیست. به همین دلیل برنامه ارزیابی در قسمت‌های مختلف و گاهی در مراحل مختلف انجام می‌شود که خود بخشی از برنامه‌ریزی ارزیابی و تعیین استراتژی اجرای آن است. یکی از شیوه‌های معمول برای تفکیک بخش‌های مختلف ارزیابی تعیین اولویت‌های اجرایی است که در قالب فهرستی از سوالات طرح می‌شود. به این ترتیب برای یافتن پاسخی برای هر سوال یک ارزیابی در زمینه مورد نظر انجام می‌شود. این سوالات بهتر است به نوعی طراحی شوند که به تحقق اهداف پروژه و تغییری که در صدد ایجاد آن هستیم بینجانمد. برای مثال سوالاتی مانند:

• میزان مشارکت اعضای باهمستان چقدر است؟
• کدام‌یک از اقدامات، سیاست‌ها یا فعالیت‌ها در باهمستان تغییر ایجاد کرده است؟
• از ابتدای پروژه تاکنون چه تغییری در رفتار یا نگرش اعضای باهمستان به وجود آمده است، این تغییر چه بوده است؟
• چه تغییراتی در زمینه رعایت تساوی جنسیتی و عدالت اجتماعی ایجاد شده است و مهمترین عوامل این تغییرات چه بوده، یا اگر تغییری ایجاد نشده دلیل آن چه است؟
• میزان رضایتمندی اعضای باهمستان و دست‌اندرکاران و مجریان از مشارکت در پروژه چقدر است؟ در صورتی که این مقدار نسبت به شروع پروژه افزایش پیدا کرده یا کاهش، دلیل آن چه است؟ 

توصیه‌هایی برای یک ارزیابی موفق

تصمیم شما برای ارزیابی از روی تمایل باشد و نه اجبار.

تا زمانی که درک درستی از ضرورت انجام ارزیابی نداشته باشیم، نتیجه موثری هم از انجام ارزیابی نخواهیم گرفت. چون همانطور که در بخش قبلی گفته شد، ارزیابی پاسخی است برای دغدغه‌های ما در مورد بهبود و موفقیت پروژه . 

ارزیابی را بر اساس اهدافی که برای پروژه تعیین شده انجام دهید.

ممکن است در طول اجرای پروژه شاهد مشکلات و مسائل بیشتری در محل اجرای پروژه باشیم. برای مثال در پروژه‌ای که با هدف پیشگیری از ابتلا به مالاریا تعریف شده مشاهده مشکلاتی مانند سوء‌تغذیه کودکان و یا خشونت‌های خانگی دور از انتظار نیست. در چنین موقعیتی گسترش دامنه پروژه و در نتیجه گسترش اولویت‌های ارزیابی موجب کاهش تاثیر اقدامات در زمینه پیشگیری از ابتلا به مالاریا (هدف اصلی) می‌شود. 

برای سنجش میزان موفقیت و تحقق هر یک از اهداف جزیی، لازم است شاخص‌هایی برای آن هدف تعیین کنید.

برای مثال اگر یکی از اهداف «کاهش خشونت در دبیرستان الف» است، شاخص‌هایی که می‌تواند میزان کاهش خشونت را نشان دهند مواردی هستند مانند تعداد پذیرش نوجوانان در بیمارستان‌های محلی (در اثر آسیب ناشی از خشونت)، میانگین سنی افرادی که نامشان در شکایت‌های پلیس از نزاع‌های محلی ثبت شده، تعداد نزاع‌هایی که در مدرسه درگرفته است. 

صدای همه دست‌اندرکاران و مشارکت‌کنندگان را بشنوید.

در برنامه‌های ارزیابی، مشارکت‌کنندگان و مجریان تمایل بیشتری به تاکید بیشتر بر موفقیت‌ها و دستاوردهای پروژه دارند. در‌حالی‌که افراد و گروه‌هایی که صدایشان شنیده نمی‌شود، ممکن است روند اجرای پروژه را از زاویه دیگری ببینند. از این رو لازم است تا جایی که مقدور است نظر این افراد را در مصاحبه‌های نیمه‌ساختار یافته و یا در کارگاه‌های مشارکتی (با توجه به شرایط و موقعیت پروژه) جویا شویم. 

معادل‌ مناسبی برای اصطلاحات و واژه‌های تخصصی ارزیابی پیدا کنید.

اصطلاحات و واژه‌های تخصصی ارزیابی به‌ويژه برای اعضای باهمستان، مشارکت‌کنندگان و مجری اغلب مفهوم یکسانی ندارد. برای مثال اصطلاحاتی مانند تساوی جنسیتی، میزان رضایتمندی، عدالت زیست‌محیطی و … مفاهیم مختلف و بعضا گسترده‌ای را به ذهن افراد مختلف متبادر می‌کنند. بنابراین بهتر است از معادل‌های ساده و در عین حال دقیق استفاده کنیم. 

 

اصطلاحات تخصصی	معادل‌های جایگزین در هنگام مصاحبه و گفت‌وگو
آیا تساوی جنسیتی در جلسات رعایت می‌شود؟	در جلسات چند نفر خانم و چند نفر آقا شرکت می‌کنند؟ خانم‌ها بیشتر نظر می‌دهند یا آقایان؟
میزان رضایتمندی کشاورزان از کلاس‌های آموزشی مضرات سم و کود چقدر است؟	چند نفر از کشاورزان در جلسات آموزشی شرکت می‌کنند؟ آیا در مورد جلسات سم و کود در خارج از کلاس‌ها صحبت می‌شود؟ سه تا از ضررهای سم و کود شیمیایی چه هستند؟
آیا در این منطقه عدالت زیست‌محیطی وجود دارد؟	چه تعدادی از ساکنان این منطقه از آب آشامیدنی محروم هستند؟ چه بخشی از جنگل‌های این منطقه پاکسازی شده است؟ جاده‌ای که در حال ساخت است چه مقداری از چراگاه را تخریب کرده است؟

خلاصه

نتیجه ارزیابی، کارنامه‌ای است که در هر مرحله دریافت می‌کنیم. این کارنامه به ما نشان می‌دهد در کدام بخش‌ها بی نقص و خوب هستیم و در چه بخش‌هایی نیاز به تلاش بیشتر داریم. اگر این نتیجه تنها در پایان پروژه حاصل شود فرصتی برای بازبینی و جبران باقی نیست. ارزیابی اقدامی موثر برای یادگیری و بهبود مستمر است. 

 

 نفهم أنّ التقييم يعني تحديد قيمة عملنا.

__ نفهم المخاوف من التقييم:

• "لا أعرف كيف أجري التقييم."
• "ليس لديّ الوقت الكافي."
• "قد تكون النتائج سلبية أو مزعجة بالنسبة لنا."

نعرف لماذا يجب أن نقيّم برنامجنا:

__ النجاح يعزّز عملنا.

__ الفشل يعلّم.

__ التقييم يُشعرِنا بالراحة.

__ التقييم يزيد من حظوظ القيام بالمزيد من الأعمال.

__ التقييم قد يساعدنا على فهم الجوانب المهمّة للمبادرة.

__ يجب أن نقيّم مبادرتنا في أثناء تنفيذ خطّتنا، أو عندما تكون بعض خططنا قد تمّ انجازها.

نفهم كيفية القيام بالتقييم:

__ نرغب في التقييم.

__ لقد قيّمنا بناءَ على أهدافنا أو غاياتنا.

__ لقد حدّدنا المعايير، أو المؤشّرات، التي من شأنها أن توفّر طرقاً لقياس أهدافنا.

__ لقد جمعنا البيانات لكلٍّ من هذه المؤشّرات.

__ لقد استخدمنا النتائج لتعديل البرنامج أو التدخّل عند الضرورة.

عرض تقديمي ل PowerPoint تلخيص النقاط الرئيسية في هذا الباب.

منظور از پایش فرآیند چیست؟

پایش یا سنجش مستمر اقداماتی که در طول اجرای پروژه انجام می‌شود به ما کمک می‌کند تا فعالیت‌ها و اقدامات پروژه را در جهت اهدافی که از پیش تعیین شده کنترل و هدایت کنیم. علاوه بر این از این طریق می‌توانیم شناخت دقیق‌‌تری از کارکرد و کیفیت اقداماتی که انجام می‌شود داشته باشیم تا در صورت مشاهده نقایص یا موانعی که در روند تصمیم‌گیری یا اجرا رخ می‌دهد به موقع وارد عمل شویم. همچنین برنامه پایش به ما کمک می‌کند:

• درک بهتری از آنچه در عمل اتفاق می‌افتد داشته باشیم. 
• پروژه را در جهتی که در نقشه راه تعیین شده پیش ببریم.
• واکنش مناسب و به موقعی نسبت به دستاوردها، موفقیت‌ها و شکست‌ها داشته باشیم. 
• اطلاعات لازم را برای انجام ارزشیابی گردآوری کنیم. 
• از اتلاف بودجه جلوگیری کنیم. 
• به طور مستمر به کل فرآیند فکر کنیم و همواره دنبال راه‌حل و افزایش کارآمدی باشیم. 

پیش از آنکه مرعوب عبارت پایش یا سنجش میان‌دوره‌ای شویم، خوب است تجربه‌های ساده‌ای از پایش را در ذهن مرور کنیم: برگزاری امتحان‌های میان‌دوره‌ای برای سنجش و پایش وضعیت تحصیلی یا یادگیری، رای‌گیری یا نظرسنجی در طول کمپین‌های آگاه‌سازی به منظور  سنجش میزان آگاهی یا اثربخشی کمپین و یا حصول اطمینان از کارکرد سازوکارهای اطلاع‌رسانی و مرور و مقایسه قبض‌های آب یا برق به منظور اطلاع از میزان کاهش یا افزایش مصرف، نمونه‌هایی از پایش و سنجش هستند. بنابراین روند پایش بر حسب موقعیت و هدف نهایی با شیوه‌های مختفی قابل انجام است. به طور کلی پایش به مجموعه روش‌ها و اقداماتی گفته می‌شود که با هدف مشاهده و بررسی رویدادها و نتایجی (مثبت و منفی) که در طول فرآیند به دست می‌آید انجام می‌شود. 

برنامه پایش شامل سه بخش اصلی است:

• سنجش و اندازه‌گیری فرآیند و نتایج حاصل از آن 
• پایش و نظارت 
• بازخورد مستمر در مورد عملکرد

این مقاله به توضیح چند نکته در مورد «سنجش و اندازه‌گیری» و همچنین «پایش و نظارت» اختصاص دارد و اهمیت «بازخورد مستمر در مورد عملکرد» در مقاله دیگری بررسی خواهد شد. 

سنجش و اندازه‌گیری

سنجش فرآیند

اندازه‌گیری یا سنجش فرآیند مجموعه اقداماتی است که در طول یک ابتکار با هدف حصول اطمینان از اجرای درست برنامه‌ها صورت می‌گیرد. سنجش فرآیند دربخش‌های مختلف یک پروژه متناسب با هدفی که برای آن تعیین شده انجام می‌شود. مانند:

• سنجش مشارکت: اندازه‌گیری تعداد و انواع مشارکت کنندگان، کیفیت مشارکت و میزان استقبال یا بی‌توجهی مشارکت کنندگان به موضوعی که تعیین شده. 
• سنجش برنامه‌ریزی: بررسی کیفیت اقداماتی که برای برنامه‌ریزی انجام می‌شود مانند تعیین اهداف و شاخص‌های دقیق، زمان و نتیجه جلسات برنامه‌ریزی، مطالعاتی که برای تعیین جزئیات و یا بودجه‌بندی انجام می‌شود. 
• سنجش پوشش رسانه‌ای: سنجش تعداد و کیفیت محتوایی که برای انتشار در رسانه‌ها تولید می‌شود و نحوه گزارش‌دهی و انتقال پیام در رسانه‌ها (رادیو، تلویزیون، رسانه‌های چاپی و شبکه‌های اجتماعی) 
• سنجش منابع مالی: میزان و محل تامین منابع مالی (نقدی یا غیرنقدی)، نحوه هزینه‌کرد منابع مالی، سنجش شفافیت مالی و پاسخگویی 
• سنجش کیفیت خدماتی که پروژه تامین می‌کند مانند سنجش محتوای آموزشی کلاس‌ها و کارگاه‌های آموزشی، انتشارات، و کارکردی که اعتبارات، تجهیزات و تاسیسات باید داشته باشند.  
• سنجش عملکرد مشارکت کنندگان و ذینفعان: تطبیق اقدامات و فعالیت‌های افراد  بر اساس شاخص‌هایی که از پیش در سند پروژه تعیین شده است. 

سنجش نتایج و انتظارات 

بر خلاف سنجش فرآیند که در آن به روش‌ها و جزئیات پرداخته می‌شود، در سنجش نتایج و انتظارات تاثیر کلی یک پروژه و نتایجی که از مجموع تک تک اقدامات حاصل شده مورد بررسی قرار می‌گیرد. تغییراتی که در نتیجه پروژه در باهمستان یا در زندگی مشارکت کنندگان و ذینفعان ایجاد شده است. از جمله:

• تغییراتی که در برنامه ایجاد شده مانند ایجاد یا بهبود یک برنامه خدماتی، مثل برگزاری کلاس آموزشی
• تغییراتی که در سیاست‌گذاری‌ها و سیاست‌های کلی ایجاد شده مانند تدوین یا اصلاح یک آیین‌نامه حقوقی یا یک قانون، مثل تصویب قانون اضافه کردن ویتامین به تغذیه مدارس. 
• تغییراتی که در عملکرد یا اجرای سیاست‌ها ایجاد شده مانند نصب دستورالعمل‌های بهداشتی در فروشگاه‌ها، یا اعمال جریمه برای نبستن کمربند ایمنی یا تولید و توزیع شیر غنی شده با ویتامین D در مدارس ابتدایی. 

پایش و نظارت

ضرورت انجام پایش و نظارت چیست؟

با در دست داشتن داده‌ها و اطلاعاتی که از پایش و نظارت فرآیند برمی‌آید می‌توان روند پروژه را با روندی که در برنامه‌ریزی پیش‌بینی شده مقایسه کرد و در صورت لزوم از انحراف پروژه جلوگیری کرد. این انحراف در مقاطع مختلف و در زمینه‌های مختلف ممکن است ایجاد شود. مانند:

• تشخیص اینکه تاکید و تمرکز فعالیت‌ها در هر مرحله روی چه بخش‌هایی از پروژه است. آیا این تاکید در برنامه‌ریزی در نظر گرفته شده یا لازم است با مشاهده ‌آن واکنش نشان دهیم و تمرکز پروژه را بر بخش دیگری هدایت کنیم.
• تشخیص اینکه چه افراد و گروه‌هایی از پروژه تاثیر می‌پذیرند، آیا این افراد و گروه‌ها در برنامه‌ریزی در نظر گرفته شده بودند یا اینکه در طی اجرای پروژه افراد دیگری جایگزین گروه مخاطب اصلی شده‌اند.
• تشخیص اینکه آیا اقداماتی که انجام می‌شود در راستای استراتژی است که در برنامه‌ریزی تعریف شده بوده یا اینکه استراتژی تحت تاثیر شرایط و موقعیت بطور خودکار و بدون بررسی تغییر کرده است. 

چگونه پیشرفت کار را پایش کنیم؟

انجام پایش و نظارت عمدتا مبتنی بر اطلاعات و داده‌هایی است که در طول پروژه به دست می‌آید. گردآوری این اطلاعات گاهی مستلزم انجام تحقیق و پژوهش‌های سیستماتیک است و گاهی حاصل مشاهدات و برداشت‌های مجری و مشارکت‌کنندگان است.

طراحی فرم‌های گردآوری و ثبت اطلاعات و داده‌ها 

فرم‌های مستندسازی فعالیت‌ها و اقدامات، ابزار مفید و موثری برای ثبت اطلاعات هستند. این فرم‌ها را می‌توان به شکل‌های مختلف و برای مقاصد مختلف طراحی کرد. مثل ثبت تغییرات، میزان مشارکت، هزینه‌ها، سیاست‌ها و تغییرات و غیره.

این فرم‌ها بهتر است حاوی مشخصات زیر باشند:

• تاریخ دقیق فعالیت یا اقدامی که انجام شده 
• یک توضیح مختصر در مورد آن شامل:
  • هدف و اهمیت 
  • نتیجه‌ای که به دست آمده 
• توضیحی در مورد جزییات بیشتر فعالیت یا اقدام شامل:
  • دست‌اندرکاران و مشارکت‌کنندگان (افراد و نهادها)
  • ارتباط موضوع به پروژه (اهداف، شاخص‌ها، چشم‌انداز و …)
  • نتیجه پایش 

تقسیم وظایف

اگر حجم فعالیت‌ها و اقدامات و در نتیجه تعداد فرم‌های پایش و کنترل زیاد است، یک راه‌حل مناسب، تقسیم وظایف مستندسازی بین اعضای مختلف تیم و یا اعضای باهمستان است. قرار نیست تنها یک نفر در تیم به خاطر اینکه قلم شیواتری دارد همه فرم‌ها را به تنهایی تکمیل کند. در هر یک از بخش‌ها یا مراحل مختلف پروژه از یکی از اعضای پروژه بخواهید مسئولیت تکمیل فرم را به عهده بگیرد. مستندسازی هر فعالیت لازم است به فاصله کوتاهی بعد از انجام فعالیت یا رویداد انجام شود. در غیراینصورت معمولا جزئیات فراموش می‌شود و به همان نسبت تحلیل وقایع اعتبار کمتری خواهند داشت. این فرم‌ها بعدا در اختیار مسئول مستندسازی برای مستندسازی فرآیند و مسئول ارزشیابی برای تهیه گزارش ارزشیابی قرار می‌گیرد. 

رعایت دقت و صداقت در روند گردآوری اطلاعات 

برای گردآوری اطلاعات به اندازه‌ای که نیاز است وقت بگذارید. حتی اگر زمانی که صرف این کار می‌کنید بیشتر از زمان انجام خود فعالیت باشد. به جزئیات توجه کنید. صحبت‌ها را بشنوید. روابط و مناسبات را درک کنید و سعی کنید علاوه بر داده‌ها و اطلاعاتی که به دست می‌آورید، مشاهدات خودتان را هم اضافه کنید. نگاه انتقادی و طرح سوال‌های مناسب در هنگام گردآوری اطلاعات، باعث اعتبار مشاهدات می‌شود. 

ساماندهی داده‌ها و اطلاعات 

بعد از گردآوری اطلاعات و داده‌ها و مشاهدات، ساختاری برای طبقه‌بندی و ساماندهی آن طراحی کنید. این ساختار می‌تواند شامل فرم، جدول، نقشه، ابزارهای امتیازدهی و طبقه‌بندی و مواردی از این دست باشد. ساماندهی اطلاعات و داده‌ها علاوه بر اینکه روند تحلیل را تسهیل می‌کند، مرجع معتبری برای مستندسازی و ارزشیابی و همینطور مطالعات و پژوهش‌های بعدی نیز می‌شود. ساماندهی اطلاعات را به گونه‌ای انجام دهید که دسترسی به آن برای افراد تازه وارد و کسانی که بعد از پایان پروژه به آن رجوع می‌کنند میسر باشد. تدوین یک راهنمای ساده یا فهرست عناوین و محتویات می‌تواند مفید باشد.

خلاصه‌نویسی و گزارش‌دهی 

در پایان هر مرحله از گردآوری اطلاعات، خلاصه‌ای از هر بخش تهیه کنید و به روشی که امکان‌پذیر و مناسب است با سایر اعضای تیم به اشتراک بگذارید. تهیه گزارش‌های کوتاه و مکتوب یک یا دو صفحه‌ای و در صورت امکان تهیه یک فایل صوتی و تصویری از نتیجه‌ای که به دست آمده ترکیب مناسبی برای انتقال پیامی است که در این خلاصه قصد انتقالش را دارید.  

خلاصه

کیفیت روند گردآوری اطلاعات و آنچه در این فرآیند به عنوان داده و اطلاعات مورد توجه قرار می‌گیرد، ارتباط مستقیم با میزان اعتبار برنامه پایش و سنجش پروژه دارد. اگرچه گردآوری اطلاعات، داده‌ها و مشاهدات ترکیبات اصلی فرآیند پایش هستند، اما اگر این گردآوری بدون شناخت و مهارت کافی از موضوع انجام شود، انبوه اطلاعات و داده‌هایی که به دست می‌آورید بی‌فایده خواهند بود و روند پایش را مختل خواهند کرد و یا منجر به کسب نتیجه‌ای غیرمرتبط خواهند شد. 

در کنار اطلاعاتی که گردآوری می‌کنید، به مشاهدات و برداشت‌های شخصی اعضای تیم اعتماد کنید. چنانچه اعتماد به نفس کافی برای طرح مشاهدات در بین اعضای تیم وجود ندارد، راه‌حلی برای تقویت اعتماد به نفس آنها پیدا کنید. برگزاری جلسات آموزشی، سپردن مسئولیت خلاصه‌نویسی و گزارش‌دهی به آنها، استناد به مشاهدات اعضای تیم در گزارش‌های رسمی، و اقداماتی از این دست می‌تواند موجب افزایش اعتماد به نفس و تقویت تفکر انتقادی در بین اعضای تیم پایش و ارزشیابی شود. 

مثال: سجل الفعاليات الخاص بمبادرة "الزواج المبكر وحمل الأمهات المراهقات"  (معدّل بتصرف).

الموقع: منطقة التل الأخضر                                         

المُسجِّلة: أميمة ب.

التاريخ	الفعالية	الوصف
(اليوم/الشهر/السنة)	وصف الفعالية بالتفصيل، ويشمل: لماذا كانت مهمّة؟ ما الذي حدث بنتيجتها؟	مَن كان مشاركا؟ ما هي المنظّمات التي أسهمت؟ ما هو قطاع المجتمع المحلّي المعني أو الهدف الذي تتعلّق به هذه الفعالية؟ هل كانت هذه المرّة الأولى التي تحصل فيها هذا الفعالية؟
14/2/1999	اجتماع مع مدير المدرسة الثانوية للحصول على إذنٍ بتنظيم لجنة عمل للمراهقين والمراهقات في المدرسة. تمّت الموافقة على ذلك. وكان ذلك مهمًّا لأنّه سوف يتيح أمام الشباب فرصاً للقيادة.	ميساء ب. و ليلى ج. المدرسة الثانوية المدارس نعم
21/2/1999	عقد اجتماع مجلس المنطقة التربوية لمناقشة إجراء إصدار استبيانٍ عن حالات ودوافع التزويج المبكر والمسائل الإنجابية والتربية الجنسية. تمّت الموافقة على استخدام المسح في المدرسة. ويُعَدُّ ذلك مهمًّا لأنّه يشكّل ممارسةً جديدة لجمع المعلومات عما يعرفه الطلاب، والمواقف، والسلوكيات المتعلّقة والتوعية الصحية الجنسية.	كامل ن. وأعضاء مجلس المدرسة. 288 دولاراً أميركياً؟؟؟؟؟ المدارس نعم

الأدوات التالية متوافرة في هذا القسم:

• سجل الفعاليات: نموذج سجل الفعاليات مُصمَّمٌ لمساعدتنا على تسجيل أبرز أنشطة مبادرة مجموعتنا، كالأعمال المجتمعية. وهو يُستخدَم أيضاً لتسجيل أيّ تغييراتٍ في المجتمع المحلّي نتيجة المبادرة.
• رموز تصنيف الفعاليات: يوفّر هذا الجدول قائمةً بالفعاليات الرئيسية، والتعريفات، والأمثلة، مع رموز المراقبة الخاصة بنظام الرصد، إضافةً إلى التوجيهات العامة حول كيفية تصنيف الفعاليات في سجل الفعاليات. للمزيد من التوجيهات، والتعريفات، والسجلات والإجراءات المُفصَّلة، راجعوا دليل التقييم الخاص بمجموعة العمل.

الأداة رقم 1: سجل الفعاليات

السجل الخاص بحدث ____________________________

الموقع: ____________________________

المُسجِّل: ____________________________

لهذا النموذج، يُرجى وصف:

•  الأعمال المُنجَزة لإحداث التغييرات المتعلّقة بمبادرتنا في المجتمع المحلّي.
•  التغييرات في البرامج، والسياسات، والممارسات المتعلّقة بمبادرتنا.

التاريخ	الفعالية	الوصف
(اليوم /الشهر/ السنة)	وصف الفعالية بالتفصيل. ويشمل: لماذا كانت مهمّة؟ ما الذي حدث بنتيجتها؟	مَن كان مشاركاً؟ ما هي المنظّمات التي أسهمت؟ ما هو قطاع المجتمع المحلّي أو الهدف الذي تتعلّق به هذه الفعالية؟ هل كانت هذه المرّة الأولى التي تحصل فيها هذه الفعالية؟

الأداة رقم 2: رموز المراقبة الخاصة بنظام الرصد

الفعاليات الداخلية (الحاصلة ضمن المبادرة)
الرمز	التعريف	الأمثلة
م. ت. منتَج التخطيط	منتَجات أو مخلّفات أنشطة التخطيط ضمن المجموعة	- بيانات الأهداف - تشكيل اللجان أو فرق العمل من الأعضاء الدائمين -  تقديم طلبات المنح
م. م. الموارد الممنوحة	اكتساب التمويل من خلال المنح، أو الهبات، أو الهدايا العينية	- المواد المُسلَّمة - وقت الناس (ما عدا المتطوّعين) -  المال

 

نفهم أنّ رصد مبادرتنا المجتمعية قد يساعدنا على:

__ قياس الأعمالنا مقابل النتائج لنرى ما إذا كنّا نحقّق غايات المجتمع المحلّي والمبادرة

__ فهم المبادرة

__ اتّخاذ القرارات بشأن برمجة المبادرة

__ تعزيز إدراك الإنجازات

__ تجنيد الدعم

__ تأمين التمويل

 نفهم هذه الأجزاء الثلاثة الرئيسية في نظام الرصد:

__ قياسات العملية والمُخرَجات

__ نظام المراقبة

__ المردود المنتظم حول الأداء

نفهم أنّه يمكن استخدام قياسات العملية لرصد ما يلي:

__ الأعضاء المشاركون

__ منتَجات التخطيط

__ التغطية الإعلامية

__ الموارد المالية

__ الخدمات التي يتمّ توفيرها في النهاية

__ الأعمال المجتمعية

نفهم أنّه يمكن استخدام قياسات المُخرَجات لرصد ما يلي:

__ التغييرات في البرامج

__ التغييرات في السياسات

__ التغييرات في الممارسات

نفهم أنّ البيانات التي نجمعها من خلال استخدام نظام الرصد قد تساعد المجموعة من النواحي التالية:

__ بإمكان البيانات أن تحدّد أين تضع المبادرة تركيزها.

__ قد تشير البيانات إلى المجموعات المتأثّرة بمبادرتنا في المجتمع المحلّي.

__ قد تكشف البيانات عن الاستراتيجيات التي تتمّ مخاطبتها.

__ يمكن استخدام البيانات من قبل الموظّفين لتحقيق مجموعةٍ من النتائج.

قائمة المراجعة الخاصة بجمع البيانات

__ الحرص على قيام الموظّفين الرئيسيين في المشروع والأعضاء الناشطين في المبادرة بإعداد سجلات الفعاليات لجميع الفعاليات

يتضمّن سجل الفعاليات المعلومات التالية:

__ يوم/شهر/سنة الفعالية

__ وصف الفعالية بحدّ ذاتها، وهو يشمل:

__ ­­­ لماذا كانت مهمًّة؟

__ ما الذي حدث بنتيجتها؟

__ وصف لتفاصيل الفعالية، ويشمل:

__ مَن كان منخرطاً؟

__ ما هي المنظّمات التي أسهمت بالأشخاص والموارد؟

__ ما هو قطاع المجتمع المحلّي أو الهدف الذي تتعلّق به هذه الفعالية؟

__ هل كانت هذه المرّة الأولى التي تحصل فيها هذه الفعالية؟

__ يتمّ ملء سجل الفعّالية بعد أسبوعٍ من حصول الفعّالية كحدٍّ أقصى.

__ تُعطى سجلات الفعاليات المُنجَزة إلى الأشخاص المسؤولين عن التقييم في المجموعة.

__ تُحوَّل المعلومات التي تمّ جمعها إلى أعضاء المجموعة الذين سوف يقومون بترتيب البيانات ضمن سياقٍ مُنظَّم مُعيَّن، حتّى تتمكّن المبادرة من استخدامها بطريقةٍ مفيدة.

__ تُوزَّع النتائج على أعضاء المجموعة.

عرض تقديمي ل PowerPoint تلخيص النقاط الرئيسية في هذا الباب.

• ما الذي يعنيه تصنيف غايات المجتمع المحلّي؟
• لماذا يجب أن نصنّف غايات المجتمع المحلّي؟
• متى يجب أن نصنّف غايات المجتمع المحلّي؟
• كيف نصنّف غايات المجتمع المحلّي؟

ما الذي يعنيه تصنيف غايات المجتمع المحلّي؟

إنّ تصنيف غايات المجتمع المحلّي التي تمّ بناؤها من خلال عملية تخطيط (للمزيد عن التخطيط، راجعوا  القسم "بناء خطّة استراتيجية") هو طريقة لاكتشاف ما إذا كان المجتمع المحلّي يعتقد أنّ غاياته مرغوبة وواقعية. في الواقع، يجب أن تخضع الغايات لتقييم الأشخاص من داخل مجموعتنا وخارجها. ينبغي أن يُطلَب منهم شرح الغايات التي يعتبرونها الأهمّ والأنسب بالنسبة إلى المجتمع المحلّي. فإذا طلبنا من مجموعة متنوّعة من الأفراد أن يعبّروا عن آرائهم حول الغايات التي تخدم المجتمع المحلّي على أفضل نحو، فسوف يزيد ذلك من إمكانية حصول الأعمال المُنجَزة لاحقاً على دعم المجتمع المحلّي وتأييده. وقد تكونُ الغاياتُ هي أيَّ تغييرٍ في سياسةٍ ما، أو برنامجٍ، أو ممارسةٍ، من شأنه أن يؤثّر على المسألة التي قرّرت مجموعتنا أن تحلّها.

لماذا يجب أن نصنّف غايات المجتمع المحلّي؟

عندما تقوم مجموعتنا بتصنيف غايات المجتمع المحلّي فإنها تصغي إليه المجتمع:  ما الذي يجب أن تكونه الغايات؟ كيف يجب بلوغ هذه الغايات؟ ثمّ تقوم مجموعتنا بتنقيح هذه الغايات، فتوضّحها وتحدّدها بدقّة. بعد ذلك، تطلب مجموعتنا من المجتمع المحلّي أن يصنّف الغايات المُنقَّحة للتأكّد من أنّها تعكس وجهات نظر المجتمع المحلّي وما الذي سوف ينجح - بفعالية برأيه.

مثال:

لنفترض أنّنا قرّرنا مع بعضٍ من جيراننا أن نطوّر برنامجاً للحدّ من أمراض القلب والشرايين في مجتمعنا المحلّي. من أجل أن نفهم الأمور الأساسية، نقوم بقراءة بعض الكتب المفيدة حول تعزيز الصحّة، وتنمية المجتمع المحلّي، وأمراض القلب والشرايين. كذلك، نجمع المعلومات من أعضاء المجتمع المحلّي حول أكثر أنواع البرامج التي يريدها الناس. ولكن، لنفترض أنّ الجميع لا يتشاركون النظرة عينها! فقد تعتقد إحدى المجموعات أنّه علينا العمل على بناء ممرٍّ للمشي في المجتمع المحلّي، وقد لا يوافق آخرون على ذلك. فقد عاشوا في هذا الجزء من البلد لسنواتٍ عدّة أكثر منّا، وخبرتهم تقول لهم إنّ البرامج السابقة المشابهة الرامية إلى زيادة النشاط الجسدي في مجتمعهم المحلّي قد فشلت، ولم تنجح سوى صفوف التمارين الرياضية في السابق، وذلك لأسبابٍ متعدّدة. كذلك، هناك أشخاصٌ آخرون لديهم اقتراحات مختلفة. إذاً، لتحقيق أحلام الجميع، قد يكون علينا ربّما أن نُدرِج أكبر عددٍ ممكن من الاقتراحات ضمن خطّتنا الكبرى.

بعد ذلك، ننظّم وجهات نظر الجميع حول الغايات ونقدّم النتائج لمجتمعنا المحلّي. ويصوّت أعضاء المجتمع المحلّي على الغايات التي يعتقدون أنّها الأكثر أهميةً، والأكثر سهولةً في التنفيذ. واستناداً إلى الأصوات، نصنّف الغايات بحسب الأولويات. ثمّ، نقوم بوضع خطّةٍ أو تصميمٍ لخمس سنوات، نصف فيه(ا) الخطوات التي سوف نتّخذها لنرى المجتمع المحلّي الذي كان سلبياً وغير مبالٍ ينتعش بالنشاط ويهتمّ بالقيام بأمرٍ ما للحدّ من أمراض القلب.

وبطريقةٍ مماثلة، يمكن لمجموعتنا أن تستفيد من سؤال أعضاء مجموعتنا وأعضاء المجتمع المحلّي عن أفضل ما قد ينجح برأيهم لحلّ مشكلةٍ مُعيَّنة في مجتمعنا المحلّي. فتقييم غايات المجتمع المحلّي قد يساعد المجتمع المحلّي ومجموعتنا على:

• التوصّل إلى توافق بين الأعضاء
• الاستمرار في تحديد الأولويات
• التحقّق من صوابية الخيارات التي اتّخذوها حول غاياتهم.

متى يجب أن نصنّف غايات المجتمع المحلّي؟

في هذه الخطوة من عملية التقييم، "أوّل الواصلين يحصل على الجائزة". وهذا يعني أنّ أفضل توقيت لتصنيف الغايات هو قبل البتّ في خطّة عملنا، وطبعاً قبل البدء بالتحرّك. بهذه الطريقة، تستطيع مجموعتنا أن تقوم بأيّ تعديلاتٍ لازمة قبل البدء بالعمل نحو تحقيق أهدافها.

كيف نصنّف غايات المجتمع المحلّي؟

إجراء مسحٍ للمشاركين حول غايات المجتمع المحلّي

هل نريد سماع آراء الناس؟ هل نريد أن نعرف ما يعتقده المجتمع المحلّي إزاء الغايات التي وضعتها مجموعتنا؟ هل نريد أن نشعر بالثقة بأنّ خطط مجموعتنا لديها حظوظ وافية في إحداث التغيير في المجتمع المحلّي؟ إذا أجبنا بـ"نعم"، فإنّنا مستعدّون لإجراء مسحٍ لأعضاء مجموعتنا والمجتمع المحلّي اللذين لديهم ما يقولونه حول المسألة.

وتنطوي العملية الفعلية على أربع خطوات، وهي:

• إعداد مسح (أو استطلاع)
• إجراء المسح
• مراجعة نتائج المسح
• استخدام المعلومات التي حصلنا عليها لصقل الخطّة.

ولكن، قبل التطرّق إلى هذه الخطوات، علينا مراجعة الأسباب التي تدعونا إلى إجراء المسح (أو الاستطلاع). بتعبيرٍ آخر، ما الذي نأمل أن نتعلّمه من خلال طلب المُدخَلات حول أهمية غايات المجتمع المحلّي وسهولة تنفيذها؟

في الواقع، سوف تقوم مجموعتنا بإجراء المسح من أجل:

• التأكّد من أهمية الغايات
• تصنيف الغايات بحسب الأولويات
• مراجعة الغايات

والآن، ننتقل إلى التفاصيل:

إعداد مسحٍ (أو استطلاع) يعدّد الأهداف المختلفة التي تأمل مجموعتنا تحقيقها ويشرحها.

في هذه المرحلة، سوف يقوم أعضاء مجموعتنا أو موظّفوها بإعداد مسحٍ يرمي إلى تصنيف أهمية الغايات المُقترَحة وسهولة تنفيذها. عندما تكون المبادرة صغيرة أو جديدة فقد تقتصر على حوالى عشر غايات، فيما قد تضمّ المبادرة الضخمة والواسعة والطويلة الأمد مئات الغايات. إذا كانت مجموعتنا تريد تخفيض نسبة التزويج المبكر وحمل الأمهات المراهقات، فقد تكون إحدى الغايات المذكورة في المسح هي التالية:

توزيع المواد المكتوبة على المدارس والمنطقة المُستهدَفة بشأن مشكلة حمل المراهقات.

سوف نطلب من الشخص الذي يُجري المسح أن يصنّف أهمية كلّ غاية وسهولة تنفيذها. فما مدى أهمية هذه الغاية بالنسبة إلى إنجاز رسالتنا التي تقضي بتخفيض حمل المرهقات؟ وما مدى سهولة بلوغ هذه الغاية؟

ترتبط أهمية الغاية بالنسبة إلى رسالتنا بالأثر الذي قد تخلّفه على المشكلة. فتوزيع منشوراتٍ تتكلّم على التبعات القانونية على المتاجر في مجتمعنا المحلّي نتيجة بيع التبغ إلى القاصرين سوف يساعد على الحدّ من التدخين بين التلاميذ الثانويين، أكثر مما يفعل إنشاء مسارٍ لركوب الدراجات و/أو المشي لمسافاتٍ طويلة.

ومن ناحية سهولة التنفيذ، نطلب من الناس أن يصنّفوا حظوظنا في إنجاز الغاية. بتعبيرٍ آخر، ما هو عدد الحواجز والعوائق التي تعرقل بلوغنا للغاية، كمقدار الموارد المتوافرة؟ على سبيل المثال، إنّ الغاية التي تقوم على تأسيس مجموعات تثقيفية للأقران في مدرسةٍ ثانوية محلّية للمساعدة على نشر المعلومات العلمية عن التثقيف الجنسي أو الإنجابي أو الزواج والحمل المبكر هي ربّما أسهل من مجرد توزيع مواد مكتوبة أو وسائل منع الحمل المجانية على من يطلبها من التلاميذ الكبار والجامعيين. فالغاية الثانية مثيرة للجدل إلى حدٍّ بعيد طبعاً، كما أنّها قد تواجه المعارضة الاجتماعية والسياسية.

وتجدر الإشارة إلى أنّه على أعضاء مجموعتنا المسؤولين عن التقييم، أو أعضاء فريق التقييم الخارجي (إذا توافرت لدينا الموارد لتوظيفه) أن يقترحوا تصميماً لاستبيان المسح أو الاستطلاع. ثمّ، يساعد هؤلاء الأشخاص على تصميمه وتطويره. ومع ذلك، أوردنا في ما يلي طريقةً سهلة لإعداد المسح:

لكلّ غاية، نعطي المُجيب مقياساً من 1 إلى 5: "1" يعني "غير مهمّ إطلاقاً"، و"5" يعني "مهمّ جداً". هكذا، يستطيع المُجيب أن يقيّم كلّ غايةٍ وفقاً لأهميتها وسهولة تنفيذها.

 يصوّر الجدول أدناه نموذج مسح/استطلاع عن الغايات استُخدِم في مبادرةٍ مدرسية- مجتمعية للوقاية من التدخين والمخدرات.

 

مسح للغايات لمبادرةٍ مدرسية/مجتمعية للوقاية من التدخين والمخدرات

الغاية المُقترَحة (مثلاً: تطوير برنامج إرشاد)	الأهمية		سهولة التنفيذ
	غير مهمّة إطلاقاً	مهمّة جداً	غير سهلة إطلاقاً	سهلة جداً
توزيع المواد المكتوبة على المدارس والمنطقة المُستهدَفة بشأن مشكلة التدخين والمخدرات.	5 4 3 2 1		5 4 3 2 1
توفير التدريب الجماعي للدعم، للشباب والبالغين.	5 4 3 2 1		5 4 3 2 1
العمل مع 200 دينار لتسهيل تفاعل الأهالي والمعلّمين وانخراطهم في أنشطةٍ ترمي إلى خفض مخاطر الإدمان.	5 4 3 2 1		5 4 3 2 1
تجنيد وتدريب المعلّمين والتلاميذ المشتركين في النوادي المشرحية، والصحافية، وغيرها من النوادي للبدء بالتمثيليات شبابية وأنشطة الدعم الجماعية حول الحياة الصحية والتدخين والمخدرات في سنّ المراهقة.	5 4 3 2 1		5 4 3 2 1

ولكن، ما الذي تعنيه هذه الأرقام؟ قد يكون من المفيد، في هذه المرحلة، أن نرتّب الغايات وفقاً لتصنيفات أهميتها. فالتصنيفات مهمّة بالنسبة إلينا، لأنّها سوف تلقي الضوء على رأي المجتمع المحلّي إزاء غاياته. إذا سُجِّلت لإحدى الغايات نسبة 3.0 في الأهمية، فهل هذا يعني أنّه ينبغي إدراجها ضمن خطّة العمل؟ ليس بالضرورة. سوف يساعدنا الجزء 4 على تصنيف غاياتنا بحسب الأولويات أكثر فأكثر.

 

استخدام نتائج المسح/الاستطلاع لوضع اللمسات الأخيرة على الخطّة.

لن يكون إجراء المسح مفيداً إلّا إذا استخدمت مجموعتنا النتائج لاختيار الغايات المدعومة من قبل المجتمع المحلّي وتطبيقها، ولإعادة تقييم تلك التي لم تحصل على نسبٍ عالية.

توجد طرق عديدة لترتيب الغايات استناداً إلى استجابات المجتمع المحلّي حيالها، وهي:

• الغايات الضرورية: إنّها الغايات التي يعتقد المجتمع المحلّي أنّها مهمّة وسهلة التنفيذ. سوف يكون علينا المضي فيها فوراً.
• الغايات التي من المهمّ تجربتها: إنّها الغايات التي يعتقد المجتمع المحلّي أنّها مهمّة، غير أنّها سوف تكون صعبة التنفيذ. يجب أن نحاول القيام بها، ولكن من دون أن ننسى أنّ هذه الغايات سوف تتطلب المزيد من الجهود لإنجازها.
• الغايات سهلة التنفيذ: إنّها الغايات التي يعتقد المجتمع المحلّي أنّها سهلة الإنجاز، ولكنّها ليست مهمّة جداً. علينا القيام بها إذا احتجنا إلى زيادة مصداقية مجموعتنا.
• الملاذ الأخير: إنّها الغايات غير المهمّة بالنسبة إلى مجتمعنا المحلّي، والتي من الصعب القيام بها. وليس علينا أن نقوم بها إلّا إذا كنّا نعلم شيئاً ما يجهله الناس في المجتمع المحلّي؛ لأنّنا لن نحصل على الكثير من الدعم، وحتّى لو نجحنا، فلن يهمّ ذلك.

جدول تصنيف الغايات بحسب الأولويات

	أهمية كبرى	أهمية قليلة
سهولة كبيرة في التنفيذ	الغايات الضرورية	الغايات السهلة التنفيذ
صعوبة في التنفيذ	الغايات التي من المهمّ تجربتها	الملاذ الأخير

 

الأداة: مسح/استطلاع الغايات

إنّ إجراء مسحٍ/استطلاع للغايات سوف يساعد مجموعتنا على وضع قائمةٍ بالتغييرات المجتمعية التي يجب إحداثها. وقد يكون مفيداً أيضاً في جهود التخطيط الاستراتيجي المستقبلية الخاصة بنا.

مسح/استطلاع غايات لـ:

المشروع:

إنّ الغرض من هذا المسح/الاستطلاع يكمن في المساعدة على تحديد الأولويات لـ_________________________. ونودّ الاطّلاع على تقييمكم لأهمية كل ّ تغيير من التغييرات المُقترَحة وسهولة تنفيذها.

في العمود الأوّل (الأهمية)، يُرجى وضع دائرة حول الرقم الذي يُظهِر مدى أهمية التغيير المذكور للوقاية من، أو لخفض __________________________. وفي العمود الثاني (سهولة التنفيذ)، يُرجى وضع دائرة حول الرقم الذي يُظهِر مدى سهولة تحقيق الهدف.

الرجاء استخدام نظام التصنيف التالي:

ما مدى أهمية وسهولة قيام المبادرة بـ...

الغاية المُقترَحة (مثلاً: تطوير برنامج إرشاد)	الأهمية		سهولة التنفيذ
	غير مهمّة إطلاقاً	مهمّة جداً	غير سهلة إطلاقاً	سهلة جداً
1.	5 4 3 2 1		5 4 3 2 1
2.	5 4 3 2 1		5 4 3 2 1
3.	5 4 3 2 1		5 4 3 2 1
4.	5 4 3 2 1		5 4 3 2 1
5.	5 4 3 2 1		5 4 3 2 1
6.	5 4 3 2 1		5 4 3 2 1
7.	5 4 3 2 1		5 4 3 2 1
8.	5 4 3 2 1		5 4 3 2 1
9.	5 4 3 2 1		5 4 3 2 1
10.	5 4 3 2 1		5 4 3 2 1
11.	5 4 3 2 1		5 4 3 2 1
12.	5 4 3 2 1		5 4 3 2 1
13.	5 4 3 2 1		5 4 3 2 1
14.	5 4 3 2 1		5 4 3 2 1
15.	5 4 3 2 1		5 4 3 2 1