در سرتاسر جهان، برنامه‌ها و مداخلات زیادی وجود دارد که برای بهبود شرایط باهمستان‌های محلی تدوین شده‌اند. به عنوان چند نمونه، باهمستان‌ها برای کاهش میزان خشونت موجود، تلاش برای تامین مسکن ایمن و ارزان برای همه، یا کمک به دانش‌آموزان برای بهبود وضع تحصیلی در مدارس با یکدیگر همکاری می‌کنند.
ولی چگونه باید بفهمیم که این برنامه‌ها موثر هستند؟ اگر موثر نباشند، یا حتی اگر باشند، چگونه می‌توانیم آنها را بهتر کنیم تا برای باهمستان‌های محلی موثرتر باشند؟ در نهایت، یک سازمان چگونه می‌تواند با اتخاذ تصمیماتی هوشمندانه تعیین کند که کدام برنامه‌ها برای هر باهمستان نویدبخش بیشترین بهره‌وری هستند؟
طی سال‌های گذشته، گرایش فزاینده‌ای نسبت به ضرورت انجام ارزیابی برای شناخت و بهبود یک اقدام بوجود آمده است. اجرای اصولی ارزیابی، بسیاری از مشکلات را حل کرده و به تعداد بی‌شماری از سازمان‌های مستقر در باهمستان‌ها کمک کرده تا بهتر عمل کنند.
علیرغم وجود ادراکی فزاینده از نیاز به ارزیابی و کارآیی آن، یک چارچوب اساسی توافق شده برای ارزیابی برنامه‌ها وجود ندارد. در سال ۱۹۹۷ دانشمندان مرکز کنترل و پیشگیری از بیماری‌ها، در ایالات متحده متوجه نیاز به ایجاد چنین چارچوبی شدند. در نتیجه، این مرکز یک کارگروه متشکل از متخصصان حوزه سلامت و ارزیابی تشکیل داد و از اعضای آن خواست تا چارچوبی را بر اساس چکیده‌ای از عناصر ارزیابی برنامه‌ها تدوین کنند. در این مقاله، چارچوب ابداع شده توسط این کارگروه تشریح می‌گردد.
ولی قبل از شروع، بعضی از اصطلاحاتی را که در این مقاله مورد استفاده قرار می‌گیرند تعریف می‌کنیم.
منظور ما از ارزیابی، تحقیقی مبتنی بر نظم درباره مزیت، ارزش یا اهمیت یک سوژه یا تلاش است. فرایند ارزیابی طی سه دهه اخیر به شکلی چشمگیر تغییر کرده است؛ بدین معنی که روش‌ها و رویکردهای تازه‌ای ابداع شده و اکنون ارزیابی به طوری فزاینده برای پروژه‌ها و مخاطبان متنوع مورد استفاده قرار می‌گیرد.
در این بخش، برای تشریح سوژه یا تلاشی که مورد ارزیابی قرار می‌گیرد، اصطلاح برنامه به کار می‌رود. این می‌تواند به هر اقدامی اطلاق شود که هدف آن بهبود نتیجه برای کل باهمستان‌هاست؛ برای حوزه‌های خاص (مانند مدارس، محل کار) یا برای زیر گروه‌ها (مانند جوانان، افراد مبتلا به خشونت یا ایدز). این تعریف باید بسیار گسترده باشد.
این بخش برای رسیدن به درکی مشترک از ارزیابی برنامه، چارچوبی را ارائه می‌دهد؛ با این هدف کلی که برای همه دست‌اندرکاران حوزه سلامت و توسعه باهمستان، کار ارزیابی را تسهیل کند.
چرا باید برنامه سلامت و توسعه باهمستان ارزیابی شود؟
آن نوع از ارزیابی که در این بخش از آن صحبت می‌کنیم، می‌تواند با اجرای روزمره برنامه ارتباط نزدیکی داشته باشد. تاکید ما بر ارزیابی عملی و مداوم است که مستلزم همکاری کارکنان برنامه، اعضای باهمستان، و سایر ذینفعان است نه صرفا متخصصان ارزیابی. این نوع از ارزیابی برای بسیاری از متخصصان سلامت و توسعه باهمستان مزایای زیادی دارد.
ضمنا به یاد داشتن این نکته هم مهم است که ارزیابی برای آن دسته از ما که تلاش داریم باهمستان خود را بهتر کنیم، فعالیت تازه‌ای نیست. در واقع، ما وقتی پرسش می‌کنیم، با ذینفعان مشورت می‌کنیم، کارمان را بر اساس بازخورد بررسی می‌کنیم، دایما مشغول برآورد کارآیی تلاش خود هستیم و سپس با استفاده از این قضاوت‌ها کار خود را بهبود می‌بخشیم. وقتی که میزان ریسک پایین باشد، این نوع ارزیابی غیر رسمی شاید کفایت کند؛ ولی وقتی که ریسک‌ها بالا می‌روند یا مقدار زیادی وقت و پول موجود باشد، یا وقتی که افراد زیادی تحت تاثیر مشکل مورد نظر باشند، آنگاه شاید معقول باشد که سازمان شما از روش‌های ارزیابی دیگری استفاده کند که رسمی‌تر، قابل رویت‌تر و موجه‌تر هستند.
چگونه یک برنامه را ارزیابی کنیم؟
پیش از این که سازمان شما کار ارزیابی برنامه را شروع کند، گروه شما باید در مورد پاسخ پرسش‌های زیر، ایده روشنی داشته باشد:
- چه چیز ارزیابی می‌شود؟
- برای قضاوت درباره کارکرد برنامه از چه معیاری استفاده می‌شود؟
- برای این که برنامه موفق تلقی شود، باید به چه استانداردهایی برای عمل بر اساس معیارها دست یافت؟
- چه شواهدی نشان دهنده عملکرد بر اساس معیارها به نسبت استانداردها است؟
- بر اساس شواهد موجود، چه نتیجه گیری‌هایی درباره عملکرد برنامه موجه هستند؟
برای روشن شدن معنی هر یک از اینها، بیایید به برخی از پاسخ‌های مربوط به برنامه «هشیار برانید» نگاهی داشته باشیم که عبارت است از برنامه‌ای فرضی که برای جلوگیری از رانندگی در حین مستی ایجاد شده است.
- چه چیز را ارزیابی می‌کنیم؟
- برنامه «هشیار برانید» برنامه‌ای که به واسطه آموزش عمومی و مداخله، بر کاهش رانندگی در حین مستی متمرکز است.
- برای تعیین کارآیی برنامه از چه معیارهایی استفاده می‌شود؟
- تعداد ساکنان باهمستان که با برنامه و اهداف آن آشنا هستند
- تعداد افرادی که برای رفتن به منزل از تاکسی‌های داوطلب «رانندگی ایمن» استفاده می‌کنند
- درصد افرادی که رانندگی در حین مستی را گزارش می‌دهند
- تعداد گزارش شده تصادفات شبانه اتومبیل‌های تک سرنشین (این راهی معمول است برای تعیین این که آیا تعداد رانندگی‌های حین مستی تغییر یافته است
- برای آن که برنامه موفق قلمداد شود، به چه استانداردهایی در کارآیی معیارها باید رسید؟
- ۸۰ درصد از ساکنان باهمستان یک سال پس از راه اندازی برنامه از وجود آن و اهدافش آگاهی دارند
- تعداد افرادی که از تاکسی‌های «رانندگی ایمن» استفاده می‌کنند، در سال نخست تا ۲۰ درصد افزایش خواهد یافت
- درصد کسانی که رانندگی در حین مستی را گزارش می‌دهند، در سال اول ۲۰ درصد کاهش خواهد یافت
- تعداد گزارش شده تصادفات شبانه اتومبیل‌های تک سرنشین، در دو سال اول برنامه ۱۰ درصد کاهش خواهد یافت
- چه شواهدی نشانگر عملکرد بر اساس معیارها نسبت به استانداردها خواهد بود؟
- یک نظرسنجی تلفنی تصادفی، معلومات ساکنان باهمستان نسبت به برنامه و تغییرات در رفتار گزارش شده را نشان خواهد داد
- ثبت روزانه «سواری ایمن» نشان خواهد داد که چه تعداد از مردم از این خدمات استفاده می‌کنند
- اطلاعات تصادفات شبانه اتومبیل‌های تک سرنشین از پلیس جمع‌آوری خواهد شد
- بر اساس شواهد موجود، چه قسم نتیجه گیری درباره برنامه توجیه پذیر است؟
- آیا تغییراتی که ما در تعداد رانندگی در حین مستی مشاهده کرده‌ایم، به خاطر تلاش‌های ما بوده یا چیزی دیگر؟ یا حتی اگر نتیجه نشان دهد که تغییری ناچیز در رفتار مشاهده شده یا هیچ تغییری مشاهده نشده باشد.
- آیا لازم است این برنامه رویه خود را تغییر دهد یا ما به اندازه کافی صبر نکرده‌ایم تا شاهد نتایج باشیم؟
چارچوب زیر با استفاده از رویکردی مبتنی بر نظم، پاسخ این پرسش‌ها را می‌دهد.
چارچوبی برای ارزیابی برنامه
ارزیابی برنامه با استفاده از روش‌هایی موثر، امکان پذیر، کامل و درست، راهی برای درک و ارتقای سلامت و توسعه است. چارچوب تشریح شده در زیر، ابزاری عملی و غیر اجباری است که اهمیت عناصر ارزیابی برنامه را به صورتی منطقی خلاصه می‌کند.
این چارچوب دارای دو بعد مرتبط است:
- مراحل روند ارزیابی و
- استانداردهای ارزیابی «خوب»
شش مرحله به هم پیوسته که در چارچوب در نظر گرفته شده، اقداماتی هستند که باید در هر نوع ارزیابی وجود داشته باشند. هر چند شاید در عمل این مراحل با ترتیب متفاوتی انجام شوند، اما معمولا بهتر آن است که ترتیب توصیه شده را رعایت کنید. علت آن است که مراحل اولیه، زیربنای مراحل بعدی را فراهم می‌کنند. بنابراین قبل از این که مراحل قبلی به دقت انجام شده باشند، تصمیم گیری درباره نحوه اجرای یک مرحله را نباید نهایی کرد.
ولی بنا بر این است که این مراحل انعطاف پذیر باشند. حساسیت در قبال هر یک از مضامین منحصر به فرد برنامه، (مثلا تاریخچه و حال و هوای سازمانی برنامه) در ارزیابی درست، ضروری است. این موارد قرار است مانند نقطه شروعی عمل کنند که سازمان‌های باهمستان می‌توانند حول آن یک ارزیابی را چنان انجام دهند که به بهترین نحو با نیازهایشان هم خوانی داشته باشد.
- مشارکت ذینفعان را جلب کنند
- برنامه را تشریح کنند
- روی طراحی ارزیابی متمرکز باشند
- شواهد معتبر گردآوری کنند
- توجیه نتیجه‌گیری‌ها
- از درس‌های آموخته بهره ببرند
قسمت دوم چارچوب عبارت است از یک سری استاندارد برای بررسی کیفیت فعالیت‌های ارزیابی. این ۳۰ استاندارد خاص، در قالب چهار گروه زیر طبقه بندی می‌شوند:
- سودمندی
- قابلیت یا امکان اجرا
- تناسب
- صحت
با کمک این استانداردها می‌توانیم به این سوال پاسخ دهیم که: «آیا این یک ارزیابی خوب خواهد بود؟» این استانداردها به عنوان معیارهایی ابتدایی توصیه می‌شوند که بر اساس آنها در مورد کیفیت ارزیابی برنامه قضاوت کنید.
مشارکت ذینفعان
ذینفعان باید در ارزیابی مشارکت داشته باشند تا نظریات منحصر به فرد آنان را هم درک کنیم. هنگامی که ذینفعان به شکلی درست مشارکت نکرده باشند، احتمالا یافته‌های ارزیابی نادیده، مورد انتقاد یا مقاومت قرار خواهند گرفت. ولی اگر آنان بخشی از فرایند باشند، احتمالا مردم در مورد فرایند ارزیابی و نتایج آن مقدار مناسبی حس تملک خواهند داشت و احتمالا مایلند که آن را بسط دهند، از آن دفاع کنند و اطمینان یابند که ارزیابی به خوبی انجام می‌شود. به همین دلیل است که این چرخه ارزیابی با مشارکت دادن ذینفعان آغاز می‌شود. این افراد وقتی که دخیل شدند به اجرای هر یک از مراحل بعدی کمک می‌کنند.
مشارکت سه گروه اصلی از ذینفعان مهم است:
- افراد یا سازمان‌هایی که در اجرای برنامه شرکت دارند، مانند اعضای باهمستان، حامیان مالی، همکاران، اعضای ائتلاف، حامیان مالی، مجریان، مدیران و کارمندان.
- افراد یا سازمان‌هایی که خدمات برنامه را دریافت می‌کنند یا از آن تاثیر می‌پذیرند مانند مراجعین، اعضای خانواده، سازمان‌های محله، نهادهای آموزشی، مسئولان، گروه‌های ترویج، و ساکنان باهمستان. ضمنا شاید مشارکت دادن کسانی که آَشکارا نسبت به برنامه مردد یا بر ضد آن هستند هم مهم باشد. راه اندازی یک ارزیابی نسبت به نظریات مخالف و ثبت نام از مخالفان بالقوه برنامه می‌تواند به اعتبار ارزیابی بیافزاید.
به همین منوال، افراد یا گروه‌هایی که می‌توانند مخالف باشند یا به طور ناخواسته تحت تاثیر تغییرات حاصل از ارزیابی قرار گیرند هم حق مشارکت دارند. برای مثال، مشارکت دادن کسانی که در صورت گسترش، تغییر، تحدید یا متوقف شدن خدمات برنامه به خاطر ارزیابی، متاثر خواهند شد نیز مهم است.
- کاربران اصلی مورد نظر در ارزیابی، افراد خاصی که در موقعیت تصمیم گیری درباره نتایج یا استفاده از نتایج قرار دارند. اینها را نباید با کاربران اصلی مورد نظر در برنامه اشتباه گرفت؛ هر چند بعضی از آنان باید در این گروه مشارکت داشته باشند. در واقع، کاربرانی که از ابتدا مورد نظر بودند، باید زیر مجموعه‌ای از همه ذینفعانی باشند که شناسایی شده‌اند. یک ارزیابی موفق در بدو شروع، کاربرانی را که از ابتدا مورد نظر بوده‌اند تعیین می‌کند؛ مانند کارمندان برنامه و حامیان مالی تا اطمینان یابد که ارزیابی به طور اخص ارزش‌ها و نیازهای آنان را مد نظر قرار خواهد داد.
مقدار و نوع مشارکت ذینفعان به ازای هر ارزیابی برنامه‌ای متفاوت خواهد بود. برای نمونه ذینفعان می‌توانند مستقیما در طراحی و اجرای ارزیابی مشارکت داشته باشند. می‌توان آنان را به واسطه جلسات و گزارشات منظم و سایر وسایط ارتباطی در جریان روند پیشرفت ارزیابی قرار داد.
هنگام همکاری با چنین گروهی، شاید تدوین یک فرایند مشخص برای تقسیم قدرت و حل کردن اختلافات مفید باشد.
برنامه را تشریح کنید
شرح برنامه خلاصه‌ای از مداخله‌ای است که باید ارزیابی شود. این شرح باید روشن کند که برنامه سعی دارد چه دستاوردی داشته باشد و چگونه می‌خواهد آن تغییرات را ایجاد کند. همچنین آن شرح نشان دهنده اجزا و عناصر اصلی برنامه، قابلیت آن برای ایجاد تغییرات، مرحله توسعه آن و سازگار کردن آن با محیط بزرگ‌تر سازمانی و باهمستانی است.
نحوه تشریح یک برنامه، برای همه تصمیمات آتی درباره ارزیابی آن، چارچوبی مرجع فراهم می‌کند. برای مثال اگر یک برنامه را تحت عنوان «تلاش برای تقویت قوانین موجود که مصرف الکل زیر سن قانونی را منع می‌کند» تشریح کنیم، ارزیابی بسیار متفاوتی خواهد داشت در مقایسه با زمانی که «برنامه‌ای که رانندگی در حین مستی در میان نوجوانان» را شرح می‌دهد. ضمنا تشریح برنامه به اعضای گروه کمک می‌کند تا برنامه را با سایر برنامه‌های مشابه مقایسه کنند و این نشان می‌دهد که هر یک از بخش‌های برنامه چه تاثیراتی داشته است.
به علاوه ممکن است ذینفعان مختلف درباره دستاوردهای برنامه و علل آن نظریات گوناگونی داشته باشند. مثلا شاید یک برنامه با هدف کاهش نرخ بارداری دختران نوجوان، برای گروهی از اعضا به معنی افزایش دسترسی به وسایل جلوگیری از بارداری باشد و برای گروهی دیگر صرفا به معنای تمرکز بر پرهیز از ارتباط جنسی باشد.
ارزیابی‌هایی که بدون توافق بر سر شرح برنامه انجام می‌شوند، چندان مفید نخواهند بود. در بسیاری از موارد فرایند همکاری با ذینفعان برای تدوین یک شرح روشن و منطقی از برنامه، مدت‌ها قبل از آن که داده‌ها برای سنجش میزان موفقیت برنامه در دسترس باشند، فواید خود را نشان می‌دهد.
در تشریح برنامه چند جنبه خاص وجود دارد که باید در نظر گرفته شود
شرح نیازها
در شرح نیازها، به مشکل، هدف، یا فرصتی پرداخته می‌شود که برنامه به آن می‌پردازد. این شرح، به واکنش برنامه نسبت به آن مشکل اشاره‌ای مختصر دارد. ویژگی‌های مهم در رابطه با نیازهای برنامه که باید مورد توجه قرار گیرند عبارتند از: ماهیت مشکل یا هدف؛ کسانی که از آن تاثیر گرفته‌اند، مقیاس آن، و اینکه آیا در حال تغییر است و اگر هست، چگونه.
توقعات
توقعات نتایجی هستند که از برنامه انتظار می‌رود. توقعات شرح می‌دهند که قرار است برنامه چه دستاوردی داشته باشد تا موفق تلقی شود. در اکثر برنامه‌ها، دستاوردها در یک پیوستار قرار دارند، (ابتدا می‌خواهیم به الف برسیم، سپس به ب). بنابراین باید پیامدها را از نظر زمانی، با توجه به جزئیات و تاثیر کوتاه مدت یا بلند مدت آن سازمان‌دهی کنیم. مثلا چشم انداز، رسالت، اهداف اصلی و فرعی یک برنامه، همگی نشانگر سطوح مختلف مشخص بودن درباره توقعات از یک برنامه هستند.
فعالیت‌ها
فعالیت هر اقدامی است که برنامه برای ایجاد تغییرات انجام می‌دهد. تشریح اجزا و عناصر برنامه به ما این امکان را می‌دهد تا فهرستی از راهبردها و اقدامات خاصی را به ترتیب منطقی مشخص کنیم. به این ترتیب می‌توان ارتباط بین برنامه‌های مختلف را با هم بررسی کرد. علاوه بر این، تشریح فعالیت‌های برنامه، فرصتی فراهم می‌کند تا فعالیت‌هایی را که وظیفه مستقیم برنامه هستند، از فعالیت‌هایی که با برنامه‌های مرتبط یا سازمان‌های همکار انجام می‌شوند تمیز دهیم. ضمنا اقدامات خارج از محدوده برنامه که شاید در موفقیت آن تاثیر گذار باشند را نیز می‌توان تشخیص داد؛ مانند قوانین سخت‌تر برای فروشگاه‌هایی که به افراد زیر سن قانونی الکل می‌فروشند.
منابع
منابع شامل زمان، استعداد، تجهیزات، اطلاعات، پول، و سایر دارایی‌های در دسترس برای اجرای برنامه هستند. شناخت منابع و ظرفیت‌هایی که یک برنامه در اختیار دارد، اطلاعات زیادی در مورد کیفیت و کمیت خدمات برنامه به دست می‌دهد. علاوه بر این با شناخت بهتر از منابع می‌ةوان تناسب بین فعالیت‌های مورد نظر برنامه و ظرفیت اجرای آن را سنجید. دانستن هزینه‌های برنامه برای بررسی نسبت هزینه و فایده در روند ارزیابی، امری ضروری است.
مرحله توسعه
مرحله توسعه یک برنامه، منعکس کننده بلوغ آن است. همه برنامه‌های سلامت و توسعه باهمستان، طی زمان رشد کرده و تغییر می‌کنند. کسانی که کار ارزیابی را انجام می‌دهند و نیز کسانی که از داده‌های این افراد استفاده می‌کنند، باید ماهیت پویایی برنامه‌ها را در نظر بگیرند. مثلا برنامه جدیدی که به تازگی اولین کمک مالی خود را دریافت کرده، شاید از بسیاری جهات با دیگری که بیش از یک دهه فعال بوده تفاوت داشته باشد.
پیش‌زمینه
شرح پیش‌زمینه برنامه، در برگیرنده ویژگی‌های مهم محیط اجرای برنامه است. ویژگی‌هایی همچون درک تاریخچه، جغرافیا، جو سیاسی، اجتماعی و اقتصادی منطقه، و نیز اطلاع از آنچه سایر سازمان‌ها انجام داده‌اند. یک ارزیابی واقع گرا و پاسخگو، در قبال دامنه وسیعی از نفوذهای بالقوه بر برنامه حساس است. درک پیش‌زمینه به کاربران فرصتی می‌دهد تا یافته‌ها را به درستی تفسیر کرده و قابلیت تعمیم آنها را بررسی کنند. مثلا یک برنامه برای بهبود اسکان در مرکز شهر، شاید موفقیتی شایان داشته، ولی احتمالا در شهری کوچک در سوی دیگر کشور، مفید نخواهد بود.
مدل منطقی
مدل منطقی، عناصر اصلی برنامه را با تصویر کارکردی که از برنامه انتظار می‌رود، تعریف می‌کند. این مدل، ترتیب دقیقی از اقداماتی را نشان می‌دهد که قرار است منجر به تغییر شوند. این منطق اغلب در قالب فلوچارت، نقشه یا نمودار نشان داده می‌شود تا ترتیب وقایع موثر در روند دستیابی به نتایج را ببینیم.
ایجاد یک مدل منطقی، به ذینفعان اجازه می‌دهد تا بر مسیر برنامه متمرکز شده و آن را ارتقا‌ء دهند. این مدل، فرضیات مربوط به شرایط کارایی برنامه را نشان داده و برای یک یا چند ارزیابی برنامه، چارچوب مرجعی ارایه می‌دهد. ضمنا مدل منطقی دقیق، می‌تواند مبنایی برای تخمین کارایی برنامه در نقاط پایانی باشد که به طور مستقل اندازه‌گیری نمی‌شوند. مثلا اگر در مورد تاثیر مداخله اطلاعات قبلی وجود داشته باشد، شاید بتوان نرخ کاهش موارد بیماری را، از تعداد افرادی که مداخله را تجربه می‌کنند، تخمین زد.
طرح ارزیابی را متمرکز کنید
منظور ما از متمرکز کردن طراحی ارزیابی، برنامه ریزی از قبل درباره هدف ارزیابی و نیز مراحلی است که باید برای رسیدن به آن طی کرد. تلاش برای پاسخ دادن ارزیابی به همه سوالات ذینفعان، نه ممکن است و نه مفید؛ باید نقطه تمرکزی وجود داشته باشد. برنامه‌ای که به خوبی متمرکز شده، در مقابل استفاده ناکارآمد از زمان و منابع نقش محافظ خواهد داشت.
بسته به این که قصد فراگیری چه چیز را دارید، برخی از انواع ارزیابی مناسب تر از بقیه هستند. اما وقتی که جمع‌آوری داده‌ها شروع شد، شاید تغییر مسیر دشوار یا غیر ممکن باشد؛ حتی اگر مشخص شده باشد که سایر متدها کارایی بیشتری خواهند داشت. یک برنامه ریزی دقیق، کاربران مورد نظر خود را در نظر می‌گیرد و راهبرد ارزیابی را با بیشترین امکان سودمندی، امکان پذیری، بی نقصی و دقت ارایه می‌دهد.
مواردی که باید هنگام تمرکز بر ارزیابی در نظر داشت عبارتند از:
هدف
هدف به معنی قصد کلی از ارزیابی است. هدف روشن، مبنایی برای طراحی، متدها، و استفاده از ارزیابی است. وقت گذاشتن برای بیان هدفی کلی، سازمان شما را از تصمیم گیری‌های نادرست در رابطه با نحوه انجام ارزیابی و استفاده از آن باز می‌دارد.
برای انجام ارزیابی چهار هدف کلی را باید در نظر گرفت:
- درک صحیح.
- بهبود نحوه اجرای امور.
- تعیین چیزهایی که برنامه را تحت تاثیر قرار می‌دهند.
- تاثیر بر شرکت کنندگان در ارزیابی.
کاربران
کاربران افراد خاصی هستند که یافته‌های ارزیابی را دریافت می‌کنند. آنان پیامدهای ناشی از مصالحه ناگزیر در روند ارزیابی را مستقیما تجربه می‌کنند. مثلا یک مصالحه می‌تواند چنین باشد که یک ارزیابی نسبتا ساده دارید که بین بودجه شما و محصول نهایی تناسب برقرار می‌کند، اما این ارزیابی نتایجی را به بار می‌آورد که در مقابل نتایج یک ارزیابی تمام عیار، قابلیت اتکای کمتری دارد. چون نتایج یاد شده تحت تاثیر این مصالحه قرار دارند، کاربران مورد نظر حق دارند در انتخاب نوع تمرکز ارزیابی مشارکت کنند. یک ارزیابی که بدون دخالت کافی کاربران در انتخاب تمرکز طراحی شده باشد، می‌تواند حرکتی گمراه کننده و نامربوط باشد. بالعکس، وقتی کاربران را ترغیب کنید تا کاربری مورد نظر خود را تشریح کرده و در پرسش‌ها و متدهای مورد نظر خود، اولویت‌ها را روشن نمایند، ارزیابی بیشتر بر چیزهایی تمرکز خواهد داشت که اقدامات آینده را با دقت همراه کرده و بر آنها اثر می‌گذارد.
کاربردها و موارد استفاده
کاربرد به آنچه با یافته‌های ارزیابی انجام می‌شود اطلاق می‌گردد. ارزیابی برنامه، شامل طیف وسیعی از کارکردهای بالقوه است. به طور کلی کاربرد در همان چهار گروهی قرار می‌گیرد که در فهرست بالا عنوان شد: درک صحیح، بهبود نحوه انجام امور، تعیین تاثیرات برنامه، و تاثیر بر شرکت کنندگان.
پرسش‌ها
ارزیابی لازم است به پرسش‌های خاصی جواب دهد. طرح پرسش‌ها ذینفعان را ترغیب می‌کند تا نشان دهند که به نظر آنان ارزیابی باید به چه پرسش‌هایی جواب بدهد. یعنی کدام پرسش‌ها برای ذینفعان اهمیت بیشتری دارند؟ فرایند تهیه پرسش‌های ارزیابی، به تمرکز آن دقت بیشتری می‌دهد.
روش‌ها
روش‌های ارزیابی موجود، برگرفته از علوم رفتاری و پژوهش و علوم اجتماعی و توسعه هستند. معمولا سه نوع طراحی وجود دارد: تجربی، شبه تجربی، و مورد پژوهی بر اساس مشاهدات. طراحی تجربی برای مقایسه تاثیر یک مداخله در گروه‌های همسان، از گزینش تصادفی استفاده می‌کند، (مثلا یک گروه از دانشجویان که به طور تصادفی انتخاب شده‌اند و در یک جلسه مطالعه فوق برنامه شرکت کرده‌اند، با گروه مشابه دیگری که در این برنامه شرکت نداشتند مقایسه می‌شوند). در متد شبه تجربی، گروه‌های غیر همسان را با هم مقایسه می‌کنند، (مثلا شرکت کنندگان در برنامه در مقایسه با کسانی که در فهرست انتظار هستند) یا مقایسه یک گروه در زمان‌های مختلف؛ مانند بازه‌های مختلف زمانی که طی آنها مداخله متوالی برای گروه‌ها یا موضوعات مختلف صورت می‌گیرد. متدهای مشاهداتی یا مورد پژوهی، برای تشریح و توضیح آنچه رخ می‌دهد از مقایسه درون گروهی استفاده می‌کنند (مثلا مورد پژوهی قیاسی در چندین باهمستان).
شاید در خلال ارزیابی لازم باشد روش کار اصلاح یا تعدیل شود. همچنین شرایطی که یک رویکرد خاص را کارآمد می‌کند، شاید تغییر کند. برای مثال ارزیابی ممکن است با هدف بهبود برنامه شرع شود، اما در نهایت به ما کمک کند که در مورد ادامه یا توقف آن تصمیم بگیریم. بدین ترتیب برای آن که ارزیابی در مسیر خود باقی بماند، شاید لازم باشد متدها اصلاح شده یا دوباره طراحی شوند.
توافقات
متن توافق شامل خلاصه‌ای از مراحل ارزیابی است که در آن نقش و مسئولیت هر کسی نیز مشخص می‌شود. در این سند چگونگی اجرای فعالیت‌های مرتبط با ارزیابی تشریح می‌شود. یک توافق‌نامه شامل بیانیه هدف مورد نظر، کاربران، موارد استفاده، روش‌ها، اشخاص مسئول، برنامه زمان بندی و بودجه، و همچنین خلاصه‌ای از نتایج است.
شواهد معتبر گردآوری کنید
یک ارزیابی خوب، مستلزم وجود شواهد معتبر است. اطلاعات به دست آمده را ذینفعان باید باور پذیر، قابل اتکا، و با پرسش‌های خود مرتبط بدانند. لازمه چنین شناختی، این است که در مورد اینکه چه چیزی شاهد معتبر محسوب می‌شود خوب فکر کنیم. این قبیل تصمیمات همیشه به موقعیت؛ یعنی به پرسشی که مطرح شده و انگیزه آن بستگی دارند. شاید در مورد برخی از پرسش‌ها، استانداردی که ذینفع برای مفهوم اعتبار قائل است، موجب می‌شود تا نتیجه آزمایش تجربه تصادفی را درخواست کند. در قبال پرسشی دیگر، تعدادی مشاهدات دقیق و منظم مانند تعاملات بین مددکار اجتماعی و اعضای باهمستان، از درجه اعتبار بالایی برخوردار است. تفاوت اینها به این بستگی دارد که ذینفعان در پی چه نوع اطلاعاتی هستند و شرایط جمع‌آوری این اطلاعات چیست.
مضمون اهمیت دارد! در برخی از موارد شاید مشاوره با یک متخصص ارزیابی لازم باشد. این به ویژه زمانی مصداق دارد که نگرانی برای کیفیت داده‌ها زیاد باشد. در سایر موارد ساکنان محلی می‌توانند بهترین توضیحات را ارائه دهند. اما افراد همکار در ارزیابی فارغ از تخصصی که دارند، باید تلاش کنند اطلاعاتی را جمع‌آوری کنند که تصویری معتبر و شسته رفته‌ای را از برنامه و فعالیت‌های آن ارائه دهند.
داشتن شواهد معتبر، نتایج ارزیابی و نیز توصیه‌هایی که در پی آن می‌آیند را تقویت می‌کند. هر چند همه انواع داده‌ها دارای محدودیت هستند، ولی بالا بردن اعتبار کلی ارزیابی امکان پذیر است. یک راه برای این کار استفاده از شیوه‌های متعدد برای جمع‌آوری، تحلیل و تفسیر داده‌هاست. ضمنا تشویق ذینفعان به مشارکت می‌تواند میزان اعتبار را افزایش دهد. وقتی که ذینفعان به طرح پرسش‌ها و جمع‌آوری داده‌ها کمک کنند، به احتمال بیشتری نتایج ارزیابی را پذیرفته و به توصیه‌های آن عمل خواهند کرد.
مواردی که اعتبار شواهد گردآوری شده را تعیین می‌کنند عبارتند از:
شاخص‌ها
شاخص‌ها مفاهیم کلی در مورد برنامه و اثرات مورد نظر از آن را به اجزای مشخص و قابل اندازه گیری تبدیل می‌کنند.
مثال‌های شاخص از این قرار هستند:
- ظرفیت برنامه برای عرضه خدمات
- نرخ مشارکت
- میزان رضایت مشتری
- میزان مواجهه با مداخله (چه تعداد افراد در معرض برنامه قرار گرفتند و به چه مدت)
- تغییرات ایجاد شده در رفتار شرکت کنندگان
- تغییرات ایجاد شده در شرایط یا هنجارهای باهمستان
- تغییرات ایجاد شده در محیط (مثلا برنامه‌ها، سیاست‌ها، یا رویه‌های تازه)
- تغییرات دراز مدت در وضعیت سلامت جمعیت (مثلا نرخ تخمین زده بارداری نوجوانان در کشور)
شاخص‌ها باید به معیارهایی بپردازند که برای قضاوت درباره برنامه استفاده خواهند شد؛ یعنی جنبه‌هایی از برنامه را منعکس می‌کنند که پایش آنها بیشترین لزوم را دارد. پیگیری، اجرا و تاثیر یک برنامه یا مداخله پیچیده، معمولا نیازمند چندین شاخص است.
یک راه برای ایجاد شاخص‌های متعدد، ایجاد یک «ترازنامه متوازن» است که حاوی شاخص‌هایی است که برای تکمیل یکدیگر با دقت انتخاب شده‌اند. بر اساس این راهبرد، فرایندها و تاثیرات برنامه، با استفاده از گروه‌های کوچکی از شاخص‌های مرتبط، از زوایای متعدد بررسی می‌شوند. برای نمونه یک ترازنامه متوازن برای یک برنامه، می‌تواند شامل شاخص‌هایی در رابطه با چگونگی اجرای برنامه باشد؛ یا این که شرکت کنندگان درباره برنامه چه نظری دارند؛ چه تاثیراتی مشاهده شده؛ چه اهدافی محقق شدند؛ و در محیط اطراف برنامه چه تغییراتی در حال رخ دادن هستند.
رویکرد دیگر، استفاده از چندین شاخص بر مبنای مدل منطقی یک برنامه است؛ مانند آنچه قبلا در این بخش مورد بحث قرار گرفت. یک مدل منطقی، می‌تواند در طول مسیری که از فعالیت‌های برنامه تا نتایج مورد انتظار امتداد دارد، به عنوان قالبی برای تعریف طیف کاملی از شاخص‌ها مورد استفاده قرار گیرد. شاخص‌های کیفی و کمی، با هم یا جداگانه، می‌توانند برای هر گامی در این مدل تعریف شوند.
شاید لازم باشد در مسیر ارزیابی، شاخص‌ها اصلاح شده یا از نو تعریف شوند. ضمنا سنجش کارکرد برنامه با پیگیری شاخص‌ها، تنها بخشی از ارزیابی است و نباید آن را با مبنایی برای خود تصمیم گیری اشتباه گرفت.
منابع
منبع شواهد در ارزیابی می‌تواند مردم، اسناد، یا مشاهدات باشد. برای جمع‌آوری شواهد برای هر شاخصی، بیش از یک منبع می‌تواند مورد استفاده قرار گیرد. در واقع انتخاب منابع متعدد، فرصتی برای در نظر گرفتن نقطه نظرات مختلف درباره برنامه فراهم می‌کند و درجه اعتبار ارزیابی را بالا می‌برد. برای نمونه، نقطه نظر درون گروهی، را می‌توان با اسناد و اظهار نظرهای داخلی از سوی کارکنان یا مدیران برنامه منعکس کرد؛ در حالی که سایر افراد و کسانی که از برنامه پشتیبانی نمی‌کنند، شاید نظریات مختلف، اما به همان میزان مرتبط داشته باشند. تلفیق اینها و سایر نظریات، دیدگاهی دقیق‌تر از برنامه یا مداخله را فراهم می‌کند.
کیفیت
کیفیت به تناسب و قابل اتکا بودن اطلاعات جمع‌آوری شده در ارزیابی اشاره دارد. داده‌های دارای کیفیت بالا، قابل اعتماد و اطلاعاتی مفید هستند. اگر شاخص‌ها به خوبی تعیین شده باشند، جمع‌آوری داده‌های کیفی آسان‌تر خواهد بود. سایر عواملی که در تعیین کیفیت موثرند عبارتند از طراحی ابزار، مراحل جمع‌آوری داده، آموزش افراد مشارکت‌کننده در جمع‌آوری داده، انتخاب منبع، کدگذاری، مدیریت داده و پایش مداوم خطاها.
کمیت
کمیت به مقدار شواهد جمع‌آوری شده در ارزیابی اشاره دارد. باید از ابتدا مقدار اطلاعات مورد نیاز را تخمین بزنیم تا معیاری داشته باشیم که نشان دهد چه وقت جمع‌آوری داده را متوقف کنیم و بدانیم که چه مدتی کافی کافی است. کمیت در سطح اطمینان یا دقتی که کاربران می‌توانند داشته باشند و میزان اطمینانی که از درستی آموخته‌ها داریم موثر است. ضمنا کمیت تا حدودی تعیین می‌کند که آیا ارزیابی قادر به ردیابی تغییرات خواهد بود یا نه. تمام شواهد جمع‌آوری شده باید مورد استفاده‌ای روشن و پیش بینی شده داشته باشند.
تدارکات
منظور از تدارکات روش‌ها، زمان‌بندی، و زیرساخت‌های فیزیکی، برای جمع‌آوری و بهره برداری از شواهد است. مردم و سازمان‌ها هم از لحاظ فرهنگی ترجیحاتی دارند که برای پرسیدن پرسش‌ها و جمع‌آوری اطلاعات، راه‌های مورد قبولی را دیکته می‌کنند؛ از جمله این که فکر می‌کنید برای مطرح کردن پرسش‌ها چه کسی مناسب است.
توجیه نتیجه گیری‌ها
توجیه نتیجه گیری‌ها بدین معناست که در ارزیابی، شواهد لزوما بی نیاز از تفسیر نیستند. شواهد باید با نقطه نظر مختلف ذینفعان با دقت بررسی شوند تا به نتایجی برسند که به خوبی اثبات شده و توجیه پذیر باشند. نتیجه گیری‌ها هنگامی توجیه می‌شوند که با شواهد جمع‌آوری شده مرتبط بوده و بر اساس ارزش‌های مورد توافق ذینفعان مورد قضاوت قرار گرفته باشند. ذینفعان باید توافق کنند که نتیجه گیری‌ها توجیه شده هستند، تا بتوانند از نتایج ارزیابی با اطمینان استفاده کنند.
عناصر اصلی در توجیه پذیری نتیجه گیری‌ها بر اساس شواهد عبارتند از:
استانداردها
استانداردها منعکس کننده ارزش‌هایی هستند که ذینفعان نسبت به برنامه قایل هستند. استانداردها مبنای قضاوت در مورد برنامه هستند. استفاده از استانداردهای روشن برای قضاوت، در ارزیابی سالم جنبه‌ای بنیادین دارند.
تجزیه و ترکیب
تجزیه و ترکیب روش‌هایی برای استخراج و خلاصه کردن یافته‌های ارزیابی هستند که برای ردیابی الگوهایی در شواهد طراحی شده‌اند؛ خواه با جدا کردن یافته‌های مهم (تجزیه) یا با تلفیق منابع مختلف اطلاعات برای دستیابی به درکی بیشتر (ترکیب). ارزیابی با ترکیبی از هر دو روش، مستلزم تحلیل مجزای هر یک از شواهد و نیز ترکیب همه منابع برای بررسی الگوهایی که نمودار می‌شوند است.
تفسیر
تفسیر تلاشی است برای کشف معنی یافته‌ها. کشف حقایق مربوط به کارکرد یک برنامه برای نتیجه گیری کافی نیست. باید حقایق را تفسیر کرد تا اهمیت عملی آنها را دریابیم. برای مثال، اگر ۵۰٪ اعضای باهمستان سال گذشته شاهد یک عمل خشونت آمیز بوده باشند، در صورتی که پنج سال قبل از آنان نظرسنجی شده باشد، می‌شود نتیجه گیری کرد که هر چند خشونت هنوز مشکل باهمستان است اما اوضاع در حال بهتر شدن است. ولی اگر پنج سال قبل تنها ۷٪ افراد مورد نظرسنجی قرار گرفته همین را تکرار کرده باشند، سازمان دهندگان باهمستان ممکن است این را به منزله نشانه‌ای تلقی کنند که لازم است چیزی را تغییر دهند. به طور خلاصه، هر تفسیری نتیجه اطلاعات و نظریاتی است که ذینفعان در ارزیابی منظور می‌کنند. می‌توان این تفاسیر را به واسطه مشارکت فعالانه یا تعامل با داده‌ها و توضیحات مقدماتی از آنچه رخ داده تقویت کرد.
قضاوت
قضاوت بیانه‌ای درباره شایستگی، ارزش یا اهمیت برنامه است. قضاوت با مقایسه یافته‌ها و تفاسیر آنها به ازای یک یا دو استاندارد انتخاب شده شکل می‌گیرد. از آنجا که استانداردهای متعدد می‌توانند در یک برنامه معین به کار گرفته شوند، شاید ذینفعان به نتایجی متفاوت یا حتی متضاد برسند.
پیشنهادها
پیشنهادها اقداماتی هستند که به عنوان نتیجه ارزیابی در نظر گرفته می‌شوند. ارایه پیشنهاد مستلزم اطلاعاتی فراتر از آن‌چیزیست که صرفا برای قضاوت ضرورت دارد. برای نمونه، دانستن این که یک برنامه می‌تواند خدمات در دسترس زنان قربانی خشونت را افزایش دهد، لزوما به معنی توصیه به ادامه برنامه نیست؛ به ویژه وقتی که پای اولویت‌های متعارض یا سایر جایگزین‌های موثر در میان باشد. بدین ترتیب، پیشنهادهایی که در مورد نحوه برخورد با یک مداخله معین ارایه می‌شوند، از قضاوت درباره کارایی برنامه فراتر می‌روند.
اگر پیشنهادها از شواهد کافی برخوردار نباشد، یا اگر با ارزش‌های ذینفعان همسو نباشند، می‌توانند اعتبار یک ارزیابی را جدا زیر سوال ببرند. بالعکس می‌توان ارزیابی را با استفاده از توصیه‌هایی تقویت کرد که پرسش‌های کاربران را پیش بینی کرده و بدانها واکنش نشان می‌دهند.
سه چیز می‌تواند این احتمال که پیشنهادها مناسبت داشته و مورد استقبال قرار گیرد را بالا ببرد:
- در میان گذاشتن نسخه اولیه پیشنهادها
- درخواست واکنش از چندین ذینفع
- ارائه گزینه‌ها به جای توصیه‌های مستقیم
توجیه نتیجه گیری‌ها در ارزیابی، فرایندی است که نیازمند گام‌های مختلف است. برای مثال با جستجو برای توضیحاتی جدا از آنچه انتخاب کرده‌اید، می‌توانید نتایج را تقویت کرده و سپس نشان دهید که چرا شواهد آنها را تایید می‌کنند. ولی وقتی که نتیجه گیری‌های مختلف داشته باشیم که به تساوی از پشتیبانی برخوردارند، می‌توان هر یک را با خلاصه‌ای از نقاط قوت و ضعف آن به دیگران عرضه کرد. می‌تواند قبل از آغاز جمع‌آوری داده‌ها، در مورد تکنیک‌های تجزیه، ترکیب و تفسیر آنها توافق کنند.
حتما از درس‌های آموخته بهره برده و آن را با دیگران در میان بگذارید
این ساده لوحی است که تصور کنیم آموخته‌های ارزیابی لزوما در تصمیم گیری و اقدام نهایی به کار خواهند رفت. برای اطمینان از استفاده مناسب از یافته‌های ارزیابی، کوششی عمدی از سوی ارزیابان لازم است.
برای اطمینان از این که پیشنهادهای ارزیابی مورد استفاده قرار می‌گیرند، عناصر دارای اهمیت کلیدی عبارتند از:
طراحی
طراحی به چگونگی طراحی پرسش‌ها، روش‌ها، و فرایند کلی ارزیابی اشاره دارد. همان طور که در سومین مرحله از این چارچوب آموختیم (تمرکز بر طراحی ارزیابی)، ارزیابی باید از ابتدا سازمان یافته باشد تا به کاربری خاصی که بر آن توافق شده برسد. داشتن هدفی روشن که بر استفاده از درس‌های آموخته متمرکز باشد، به مجریان ارزیابی کمک می‌کند تا تعیین کنند که چه کسی با یافته‌ها چه خواهد کرد. علاوه بر این، فرایند ایجاد طرحی روشن، راه‌هایی را مشخص می‌کند تا ذینفعان، به واسطه مشارکت‌های بسیار خود بتوانند ارزیابی را بهتر و استفاده از نتایج را تسهیل کنند.
آمادگی
آمادگی به گام‌هایی اشاره دارد که باید بردارید تا برای بهره برداری‌های آینده از یافته‌های ارزیابی آماده شوید. قابلیت تبدیل اطلاعات تازه به اقدامات متناسب، مهارتی است که می‌تواند با تمرین تقویت شود. در واقع تقویت همین یک مهارت خود می‌تواند یکی از مزیت‌های مفید ارزیابی باشد. می‌توانید ذینفعان را به واسطه تبادل نظر درباره چگونگی تاثیر یافته‌های بالقوه بر امر تصمیم گیری، برای استفاده‌های آتی از نتایج آماده کنید.
بازخورد
بازخورد ارتباطی است که بین همه افراد همکار در ارزیابی رخ می‌دهد. داد و ستد بازخورد، فضایی از اعتماد را در میان ذینفعان به وجود می‌آورد و به واسطه اطلاع رسانی به همه درباره روند پیشرفت ارزیابی، ارزیابی را در مسیر صحیح نگاه می‌دارد. کاربران اولیه و سایر ذینفعان حق دارند درباره تصمیمات مرتبط با ارزیابی اظهار نظر کنند. برگزاری جلسات و گزارش‌دهی منظم فرصت مناسبی برای تبادل بازخورد بین ذینفعان و مشارکت‌کنندگان در ارزیابی ایجاد می‌کند.
پیگیری
پیگیری به حمایتی که بسیاری از کاربران در خلال ارزیابی و پس از دریافت یافته‌های ارزیابی بدان نیاز دارند اشاره دارد. به خاطر حجم بالای اقداماتی که لازم است انجام شود، رسیدن به نتایج موجه در ارزیابی می‌تواند به خودی خود هدف تلقی شود. اما این طور نیست. شاید برای خاطر نشان کردن به کاربران در مورد آنچه آموخته شده است، پیگیری فعالانه لازم باشد. علاوه براین پیگیری ممکن است لازم باشد تا از گم شدن یا نادیده گرفته شدن درس‌های آموخته در فرایند اخذ تصمیمات پیچیده یا سیاسی جلوگیری شود. برای محافظت در برابر چنین نظارتی، شاید مفید باشد که یکی از اعضای تیم ارزیابی، به عنوان مدافع یافته‌های ارزیابی در طول مراحل تصمیم گیری باشد.
انتشار
انتشار عبارت است از فرایند انتقال رویه‌ها یا درس‌های آموخته از یک ارزیابی به مخاطبان مرتبط به نحوی زمان‌مدار، بدون تعصب و مستمر. راهبرد گزارش‌دهی، مانند سایر عناصر ارزیابی، باید از قبل با کاربران و سایر ذینفعان در میان گذاشته و مورد بحث قرار گیرد. علاوه بر این، برنامه ریزی برای ارتباط گیری موثر با دیگران، مستلزم در نظر داشتن زمان بندی، سبک، لحن، منبع پیام، واسطه انتقال، و قالب محصولات اطلاع‌رسانی است. گذشته از این که ارتباطات چگونه ایجاد می‌شوند، هدف از انتشار، دستیابی به افشای کامل و گزارش بی طرفانه است.
سایر کارکردهای ارزیابی در فرایند عبارتند از:
- با تعریف شاخص‌ها، آنچه واقعا برای ذینفعان اهمیت دارد آشکار می‌شود
- ارزیابی کمک می‌کند تا به واسطه عوض کردن نیروهای امدادی مرتبط با دستیابی به نتایج مثبت، خروجی‌ها اهمیت یابند. مثلا ممکن است یک حامی مالی به برنامه‌ای که در باهمستان تغییرات زیادی ایجاد کرده و موجب توسعه آن شده، «کمک مالی افزوده» یا «سود سهام» بدهد.
استانداردهای ارزیابی «خوب»
برای سنجش کیفیت و درستی یک ارزیابی، استانداردهای مشخصی با عنوان استانداردهای ارزیابی برنامه در کمیته ارزیابی آموزشی تدوین شده‌اند. این استانداردها که در اصل با هدف بررسی و تحلیل ارزیابی برنامه‌های آموزشی طراحی شده‌اند، در ارزیابی برنامه‌ها و مداخلات مرتبط با سلامت و توسعه باهمستان نیز قابل استفاده هستند.
استانداردهای ارزیابی برنامه، انجام ارزیابی‌های صحیح و منصفانه را تسهیل و کاربردی می‌کند. این استانداردها اصولی را ارائه می‌کنند که در هنگام مواجهه با چالش‌ها می‌توان به آن رجوع کرد. توجه به استانداردها می‌تواند مانع ارزیابی‌های غیرمنصفانه شود. منظور از ارزیابی غیرمنصفانه مواردیست که اگرچه منتج به نتایج دقیق می‌شوند اما آنچه به دست آمده چندان مفید و مرتبط به ادامه روند برنامه نیست.
استانداردهای زیر را می توان در هنگام تدوین یک طرح ارزیابی و در طول اجرای آن در نظر گرفت. به یاد داشته باشید، استانداردها را باید تنها به عنوان اصول راهنما در نظر گرفت، نه به عنوان قوانین سفت و سختی که باید در همه موقعیت‌ها رعایت شوند.
مجموع ۳۰ استاندارد ارزیابی را می‌ةوان به چهار گروه اصلی طبقه‌بندی کرد:
سودمندی:
- شناسایی ذینفعان: استانداردهای سودمندی بر اهمیت شناسایی ذینفعانی که در ارزیابی نقش دارند یا تحت تأثیر آن قرار می گیرند تأکید می‌کند.
- اعتبار تیم ارزیابی: لازمه اعتبار و صحت ارزیابی این است که تیم ارزیابی باید از نظر کسانی که نتیجه را دریافت می‌کنند، معتبر و قابل اعتماد باشند.
- انتخاب و حجم اطلاعات: اطلاعات جمع‌آوری‌شده باید بر سؤالات مرتبطی متمرکز شود که منافع مخاطبین و ذینفعان را در نظر می‌گیرد.
- شناسایی ارزش‌ها: رویکرد، ارزش‌ها و منطقی که نتایج ارزیابی بر آن بنا می‌شود باید با کاملا تبیین شود.
- گزارش دقیق: گزارش‌های ارزیابی باید شامل شرح منسجمی از برنامه، سوابق و پیش‌زمینه‌ها، روش‌ها و یافته‌های ارزیابی باشد.
- گزارش‌دهی سریع: یافته‌های مهم باید در اسرع وقت به اطلاع کاربران مورد نظربرسد.
- تاثیر ارزیابی: ارزیابی‌ها باید به گونه‌ای طراحی شوند که ذینفعان را تشویق به پیگیری برای به حداکثر رساندن تأثیر آنها کند.
قابلیت یا امکان اجرا
استانداردهای امکان سنجی برای حصول اطمینان از منطقی و عملی بودن تمام مراحل ارزیابی تدوین می‌شوند. استانداردهای امکان سنجی عبارتند از:
- رویه های کاربردی: رویه‌های ارزیابی باید کاربردی باشند تا در حین کسب اطلاعات مورد نیاز، اختلال در فعالیت های روزمره به حداقل برسد.
- دوام سیاسی: ارزیابی باید با در نظر گرفتن موقعیت‌ها یا منافع گروه‌های مختلف برنامه‌ریزی و اجرا شود. در اینصورت می‌ةوان همکاری آنها را برای انجام ارزیابی و جلوگیری از سوء استفاده از نتایج جلب کرد.
- اثربخشی هزینه: ارزیابی باید کارآمد باشد و اطلاعاتی با ارزش کافی تولید کند تا منابعی که صرف انجام آن شده به هدر نرود.
تناسب
استانداردهای تناسب تضمین می کنند که ارزیابی‌ها به صورت اخلاقی و با رعایت حقوق و منافع همه ذینفعان انجام می شود.
- سمت و سوی ارزیابی: این استانداردها بر جهت گیری خدمات تأکید می کنند و هدف آن کمک به سازمان ها برای برآورده کردن نیازهای مشارکت کنندگان است.
- توافق رسمی: پاسخگویی و مشارکت در یک ارزیابی باید به صورت رسمی توسط همه ذینفعان مکتوب شده و مسئولیت‌های همه طرف‌ها در آن مشخص شود.
- حقوق انسانی: احترام به کرامت انسانی بسیار مهم است و ارزیابی‌ها باید به شکل کامل و منصفانه‌ای نقاط ضعف و قوت برنامه را شناسایی و تحلیل کنند تا در طول برنامه هیچ‌یک از ذینفعان احساس حذف شدگی، خطر یا آسیب نکنند.
- انتشار یافته‌ها: همه ذینفعان باید حق دسترسی کامل به نتایج ارزیابی را داشته باشند.
- تضاد منافع: با موارد تضاد منافع باید به طور صادقانه و شفاف برخورد شود تا اطمینان حاصل شود که نتایج ارزیابی منافع شخص یا گروهی را به خطر نمی‌اندازد.
- شفافیت مالی: استفاده از منابع برای تیم ارزیابی باید مسئولانه و شفاف باشد.
صحت
این استانداردها تضمین می‌کنند که یافته‌های ارزیابی از نظر ذینفعان صحیح و قابل اعتماد هستند. این استانداردها برای اطمینان از موارد زیر تدوین شده‌اند:
- مستندسازی برنامه: برنامه باید به خوبی مستند شده باشد تا امکان ارزیابی به طور کامل و مشخص فراهم شود.
- بررسی پیش‌زمینه و مضمون برنامه: پبیش‌زمینه و بستر اجرای برنامه و عوامل متاثر از آن باید در هنگام ارزیابی مورد توجه قرار بگیرد.
- تشریح فرایند و رویه‌های اجرایی: کل فرایند و رویه‌های ارزیابی باید با ذکر جزییات کامل تشریح و مستند شوند.
- تعریف منابع اطلاعاتی معتبر و قابل اتکا: عناوین و جزئیات منابع اطلاعاتی باید به طور کامل مشخص باشند و اعتبار آنها مورد بررسی قرار گیرد.
- بررسی ساختارمند اطلاعات: برای اطمینان از یافته‌های معتبر و قابل اعتماد، روش‌های جمع‌آوری اطلاعات باید با دقت انتخاب و اجرا شوند. داده های کمی و کیفی باید به طور سیستماتیک تجزیه و تحلیل شوند تا به طور مؤثر به سوالات ارزیابی پاسخ داده شود.
- نتیجه‌گیری و جمع‌بندی دقیق: نتیجه‌گیری‌ها باید به شکل شفاف، صریح و قابل درک برای ذینفعان ارائه شوند.
- گزارش‌دهی بی‌طرفانه: روش‌های گزارش‌دهی باید بدون سوگیری و بی‌طرفانه باشند. در نهایت، خود برنامه ارزیابی باید در برابر این استانداردها برای ارزیابی کامل نقاط قوت و ضعف خود، تحت یک ارزیابی دیگر قرار گیرد.
به کار گیری چارچوب: اجرای ارزیابی‌های بی نقص
درباره ارزش ارزیابی، توافق‌های روز افزونی وجود دارد؛ در واقع اغلب این کار مستلزم مشارکت حامیان مالی و سایر ذینفعان است. بنابر این افراد حرفه‌ای سلامت و توسعه باهمستان، دیگر نمی‌توانند در لزوم ارزیابی برنامه‌های خود تردید کنند. اما پرسش‌های مناسب عبارتند از:
- بهترین راه ارزیابی کدام است؟
- ما از ارزیابی چه می‌آموزیم؟
- با استفاده از آنچه می‌آموزیم، چگونه موثرتر باشیم؟
چارچوب ارزیابی برنامه، به پاسخ این پرسش‌ها کمک می‌کند.
بهره گیری از این چارچوب، مستلزم مهارت زیادی در ارزیابی برنامه است. در اغلب موارد تعداد زیادی ذینفع وجود دارد، بستر سیاسی می‌تواند تفرقه آمیز باشد، مراحل معمولا دارای نظمی منطقی نیستند، و محدودیت منابع شاید در پیش گرفتن اقدام مطلوب را دشوار کند. چالش یک ارزیاب، ایجاد یک راهبرد بی نقص با توجه به شرایطی است که در آن کار می‌کند. یک راهبرد بی نقص آن است که در یکایک مراحل جمع‌آوری موفقیت یابد؛ به طریقی که مضمون برنامه را در نظر بگیرد و بتواند استانداردهای مرتبط را رعایت کند یا از آن حد فراتر رود.
ضمنا این چارچوب پاسخگویی به دغدغه‌های معمول درباره ارزیابی برنامه را ممکن می‌کند. مثلا بسیاری از ارزیابی‌ها به دلیل هزینه‌های بالا اجرا نمی‌شوند. اما هزینه یک ارزیابی امری نسبی است و به سوالی که مطرح می‌شود و درجه اطمینانی بستگی دارد که در پاسخ انتظار می‌رود. یک ارزیابی کم هزینه ساده می‌تواند اطلاعاتی را تامین کند که برای ارتقای برنامه ارزشمند است.
چارچوب ارزیابی، ارزیابی‌هایی را توصیه می‌کند که به صورت راهبردی زمان بندی شده‌اند تا بازخورد لازم را تولید کنند. این قابلیت، پیوند ارزیابی به کارهای روزمره را ممکن می‌کند.
نگرانی دیگر حول محور نیازهای فنی طراحی و انجام ارزیابی متمرکز است، اما رویکرد عملی مورد تایید این چارچوب، بر سئوالاتی متمرکز است که می‌توانند برنامه را بهتر کنند.
در آخر تصور ارزیابی بسیاری از کارکنان را آزرده می‌کند، چون روش‌های ارزیابی از نظر آنان یا برای تنبیه هستند (فقط می‌خواهند نشان دهند که ما چه اشتباهاتی می‌کنیم)، یا برای ایجاد حس محرومیت (چرا ما در آن شرکت نداریم؟ این ماییم که با کار آشنا هستیم.)، یا متخاصم (ما بر علیه آنان) هستند. اما در عوض این چارچوب نوعی از رویکرد ارزیابی را تشویق می‌کند که طراحی شده تا مفید باشد و همه ذینفعان علاقمند را در فرایند درگیر کرده و از مشارکت آنان استقبال می‌کند.
خلاصه
ارزیابی یک راهبرد قدرتمند، برای تفکیک برنامه‌ها و مداخلاتی است که تفاوت‌هایی را با برنامه‌های فاقد این مشخصات ایحاد می‌کنند. ارزیابی نیروی محرکی برای توسعه و بکارگیری راهبردهای صحیح، بهبود برنامه‌های جاری، و نشان دادن نتایج سرمایه گذاری‌ها در زمان و سایر منابع است. ضمنا ارزیابی کمک می‌کند تا تعیین کنیم که آیا آنچه انجام می‌شود ارزش هزینه آن را دارد یا نه.
این چارچوب توصیه شده برای ارزیابی برنامه، ترکیبی از بهترین برنامه‌های در حال اجرا و نیز مجموعه‌ای از استانداردها برای پیشرفت‌هایی در آینده است. این چارچوب از رویکردی عملی برای ارزیابی بر اساس گام‌ها و استانداردهایی که می‌توان آنها را تقریبا در هر شرایطی به کار گرفت پشتیبانی می‌کند. از آنجا که چارچوب به عمد کلی است، یک راهنمای عملی برای طراحی و اجرای طیف‌های زیادی از ارزیابی‌ها را در تعداد زیادی از حوزه‌های خاص برنامه فراهم می‌کند. چارچوب می‌تواند به عنوان الگویی برای ایجاد طرح‌های ارزیابی مورد استفاده قرار گیرد.