Ключевые вопросы оценки (KEQs — Key Evaluation Questions) — это вопросы высокого уровня, на которые должна ответить оценка (т.е. их следует отличать от частных узких вопросов, которые задаются в ходе интервью или анкетирования). Имея согласованный комплекс ключевых вопросов оценки, проще решить, какие данные следует собрать, как их анализировать, и как представить в отчете. PDF файл материала доступен для скачивания по ссылке.
KEQs обычно формулируются и утверждаются на начальном этапе планирования оценки, но иногда предварительно прописываются в системе оценки либо в заранее разработанной оценочной концепции.
Попытайтесь сделать так, чтобы ключевых вопросов оценки было не слишком много – 5-7 будет вполне достаточно. Также KEQs можно конкретизировать с помощью более узких, специализированных вопросов.
KEQs следует разрабатывать с учетом типа оценки, предполагаемых пользователей информации, планируемых способов (целей) применения результатов, и используемых оценочных критериев. В частности, для лучшего понимания можно продумать будущие сценарии использования ответов на ключевые вопросы оценки – чтобы убедиться в том, что KEQs действительно отвечают информационным потребностям и могут быть полезными; и что они охватывают круг задач, которые должна решить оценка. (Данный процесс также поможет обозначить виды данных, которые могут оказаться подходящими и надежными для поиска ответов на Ключевые вопросы оценки).
Далее представлена информация, которая вошла в Набор инструментов, разработанный для Правительства Нового Южного Уэльса, администрации премьер-министра и кабинета министров (Австралия) (New South Wales Government, Department of Premier and Cabinet Evaluation Toolkit) при содействии международной инициативы BetterEvaluation.
Ниже приведены некоторые наиболее типичные KEQs, используемые в трех типах оценки:
Ключевые вопросы оценки для основных типов оценки
Тип | Типичные ключевые вопросы оценки
|
Оценка процесса | Каким образом построена работа по выполнению программы?
В какой мере рабочие процессы обеспечивают соблюдение стандартов качества? Соответствует ли работа по выполнению программы утвержденным планам? Удалось ли сформировать аудиторию участников, как планировалось изначально? В какой мере клиенты удовлетворены программой? Кто эти клиенты? Что было сделано инновационным способом?
|
Оценка социальных результатов или эффектов
|
Насколько хорошо работает программа?
Генерирует ли программа социальные результаты (или содействует ли их получению) в краткосрочной, среднесрочной или долгосрочной перспективе? На кого ориентируются эти результаты, каким образом они возникают, и при каких обстоятельствах? Какие непредвиденные социальные результаты (положительные и отрицательные) были получены? В какой мере эти изменения можно связать с данной программой? Какие именно характерные особенности программы и контекста способствовали этим изменениям? Каким образом повлияли на программу и ее результаты какие-либо другие факторы?
|
Экономическая оценка (анализ экономической эффективности и «затраты-выгоды») | Каков коэффициент затрат-выгод?
Какой вариант является самым экономически обоснованным? Можно ли назвать социальное преобразование экономически эффективным (в сравнении с альтернативными вариантами)? Является ли программа лучшим вариантом применения ресурсов? |
Целесообразность, эффективность и результативность
Чтобы убедиться в том, что программа целесообразна, эффективна и результативна, чаще всего используются три широкие категории ключевых вопросов оценки.
Распределение KEQs по этим категориям позволяет определять степень целесообразности, эффективности и результативности какой-либо конкретной программы в конкретных обстоятельствах. Вопросы, относящиеся к этим категориям, варьируются в зависимости от типа оценки (оценка процесса, социальных результатов или экономической составляющей программы).
Типовые ключевые вопросы оценки
Целесообразность
Эффективность
Результативность
|
В какой мере данная программа обеспечивает отклик на выявленную потребность? Насколько программа согласуется с приоритетами правительства и причастных организаций?
Отводится ли правительству надлежащая роль в данной программе?
В какой мере программа добивается желаемых результатов в краткосрочной, среднесрочной и долгосрочной перспективе? В какой мере программа генерирует существенные результаты (немедленные и отложенные) и/или справляется с решением каждой из поставленных задач? Сопоставимы ли социальные результаты программы с вложенными денежными ресурсами? В какой мере ресурсные вливания содействуют своевременному и экономически обоснованному получению продуктов/немедленных результатов (outputs), и обеспечивают их соответствие ожидаемым стандартам? |
Пример
В рамках оценки Стратегии укрепления семей и сообществ (The Stronger Families and Communities Strategy) использовались четко сформулированные KEQs, которые обеспечили согласованность оценочных мероприятий, несмотря на значительные масштабы и разнообразие подлежащих оценке аспектов и параметров. Оценка проводилась на протяжении трех лет; охватывала более 600 разных проектов, получивших финансирование в рамках пяти различных финансовых инициатив; и включала подготовку 7 материалов различной проблематики, 11 отчетов по итогам ситуационных исследований (включая кейсы — примеры из практики финансовых инициатив), текущих отчетов о прогрессе, и итогового отчета.
Ключевые вопросы оценки были разработаны в процессе широких консультаций, организованных с целью создания рамочной оценочной концепции (evaluation framework) до объявления конкурса среди оценщиков-соискателей контракта на проведение оценки.
1. Каким образом Стратегия содействует укреплению семей и сообществ в краткосрочной, среднесрочной и долгосрочной перспективе?
2. В какой мере Стратегия способствовала получению внеплановых социальных результатов (положительных и отрицательных)? 3. Как можно охарактеризовать затраты и выгоды Стратегии в сравнении с похожими социальными преобразованиями национального и международного уровня? (В силу ограниченных сведений данный вопрос был пересмотрен и изложен «в широких, качественных терминах».) 4. Какие особенности, свойственные данной Стратегии, способствовали изменениям в жизни общества? 5. Что способствует или препятствует выполнению задач в рамках данной инициативы? Чем объясняется эффективность отдельных инициатив? В частности, содействует ли получению более значительных социальных результатов взаимодействие между разными инициативами? 6. Каким образом данная Стратегия способствует достижению социальных результатов в сочетании с другими инициативами, программами или услугами в данной сфере деятельности? 7. Какие иные дополнительные обстоятельства способствуют выполнению задач и получению социальных результатов в рамках данной Стратегии? 8. Каким образом Стратегия может улучшить свои социальные результаты? CIRCLE (2008) Stronger Families and Communities Strategy 2000-2004: Final Report (Стратегия укрепления семей и сообществ 2000-2004: Итоговый отчет). Мельбурн: RMIT University (Мельбурнский королевский технологический университет). |
Использование ключевых вопросов оценки позволило структурировать отчеты о прогрессе и итоговый отчет, а также задать общие концептуальные рамки, которые помогли свести воедино разные виды фактологической информации и доказательств, послуживших основой для выводов и заключений.
Источник: http://www.betterevaluation.org/en/plan/engage_frame/decide_evaluation_questions