Ключевые вопросы оценки (перевод)

Ключевые вопросы оценки (KEQs — Key Evaluation Questions) — это вопросы высокого уровня, на которые должна ответить оценка (т.е. их следует отличать от частных узких вопросов, которые задаются в ходе интервью или анкетирования). Имея согласованный комплекс ключевых вопросов оценки, проще решить, какие данные следует собрать, как их анализировать, и как представить в отчете.  PDF файл материала доступен для скачивания по ссылке.

KEQs обычно формулируются и утверждаются на начальном этапе планирования оценки, но иногда предварительно прописываются в системе оценки либо в заранее разработанной оценочной концепции.

Попытайтесь сделать так, чтобы ключевых вопросов оценки было не слишком много – 5-7 будет вполне достаточно. Также KEQs можно конкретизировать с помощью более узких, специализированных вопросов.

KEQs следует разрабатывать с учетом типа оценки, предполагаемых пользователей информации, планируемых способов (целей) применения результатов, и используемых оценочных критериев. В частности, для лучшего понимания можно продумать будущие сценарии использования ответов на ключевые вопросы оценки – чтобы убедиться в том, что KEQs действительно отвечают информационным потребностям и могут быть полезными; и что они охватывают круг задач, которые должна решить оценка. (Данный процесс также поможет обозначить виды данных, которые могут оказаться подходящими и надежными для поиска ответов на Ключевые вопросы оценки).

Далее представлена информация, которая вошла в Набор инструментов, разработанный для Правительства Нового Южного Уэльса, администрации премьер-министра и кабинета министров (Австралия) (New South Wales Government, Department of Premier and Cabinet Evaluation Toolkit) при содействии международной инициативы BetterEvaluation.

Ниже приведены некоторые наиболее типичные KEQs, используемые в трех типах оценки:

Ключевые вопросы оценки для основных типов оценки 

Тип Типичные ключевые вопросы оценки

 

Оценка процесса Каким образом построена работа по выполнению программы?

В какой мере рабочие процессы обеспечивают соблюдение стандартов качества?

Соответствует ли работа по выполнению программы утвержденным планам?

Удалось ли сформировать аудиторию участников, как планировалось изначально?

В какой мере клиенты удовлетворены программой? Кто эти клиенты?

Что было сделано инновационным способом?

 

Оценка социальных результатов или эффектов

 

Насколько хорошо работает программа?

Генерирует ли программа социальные результаты (или содействует ли их получению) в краткосрочной, среднесрочной или долгосрочной перспективе?

На кого ориентируются эти результаты, каким образом они возникают, и при каких обстоятельствах? Какие непредвиденные социальные результаты (положительные и отрицательные) были получены?

В какой мере эти изменения можно связать с данной программой?

Какие именно характерные особенности программы и контекста способствовали этим изменениям?

Каким образом повлияли на программу и ее результаты какие-либо другие факторы?

 

Экономическая оценка (анализ экономической эффективности и «затраты-выгоды») Каков коэффициент затрат-выгод?

Какой вариант является самым экономически обоснованным?

Можно ли назвать социальное преобразование экономически эффективным (в сравнении с альтернативными вариантами)?

Является ли программа лучшим вариантом применения ресурсов?

Целесообразность, эффективность и результативность

Чтобы убедиться в том, что программа целесообразна, эффективна и результативна, чаще всего используются три широкие категории ключевых вопросов оценки.

Распределение KEQs по этим категориям позволяет определять степень целесообразности, эффективности и результативности какой-либо конкретной  программы в конкретных обстоятельствах. Вопросы, относящиеся к этим категориям, варьируются в зависимости от типа оценки (оценка процесса, социальных результатов или экономической составляющей программы).

Типовые ключевые вопросы оценки 

 

 

 

Целесообразность

 

 

 

 

 

 

Эффективность

 

 

 

 

Результативность

 

В какой мере данная программа обеспечивает отклик на выявленную потребность? Насколько программа согласуется с приоритетами правительства и причастных организаций?

 

Отводится ли правительству надлежащая роль в данной программе?

 

В какой мере программа добивается желаемых результатов в краткосрочной, среднесрочной и долгосрочной перспективе?

В какой мере программа генерирует существенные результаты (немедленные и отложенные) и/или справляется с решением каждой из поставленных задач?

Сопоставимы ли социальные результаты программы с вложенными денежными ресурсами?

В какой мере ресурсные вливания содействуют своевременному и экономически обоснованному получению продуктов/немедленных результатов (outputs), и обеспечивают их соответствие ожидаемым стандартам?

 

Пример

В рамках оценки Стратегии укрепления семей и сообществ (The Stronger Families and Communities Strategy) использовались четко сформулированные KEQs, которые обеспечили согласованность оценочных мероприятий, несмотря на значительные масштабы и разнообразие подлежащих оценке аспектов и параметров. Оценка проводилась на протяжении трех лет; охватывала более 600 разных проектов, получивших финансирование в рамках пяти различных финансовых инициатив; и включала подготовку 7 материалов различной проблематики, 11 отчетов по итогам ситуационных исследований (включая кейсы — примеры из практики финансовых инициатив), текущих отчетов о прогрессе, и итогового отчета.

Ключевые вопросы оценки были разработаны в процессе широких консультаций, организованных с целью создания рамочной оценочной концепции (evaluation framework) до объявления конкурса среди оценщиков-соискателей контракта на проведение оценки.

1. Каким образом Стратегия содействует укреплению семей и сообществ в краткосрочной, среднесрочной и долгосрочной перспективе?

2. В какой мере Стратегия способствовала получению внеплановых социальных результатов (положительных и отрицательных)?

3. Как можно охарактеризовать затраты и выгоды Стратегии в сравнении с похожими социальными преобразованиями национального и международного уровня? (В силу ограниченных сведений данный вопрос был пересмотрен и изложен «в широких, качественных терминах».)

4. Какие особенности, свойственные данной Стратегии, способствовали изменениям в жизни общества?

5. Что способствует или препятствует выполнению задач в рамках данной инициативы? Чем объясняется эффективность отдельных инициатив? В частности, содействует ли получению более значительных социальных результатов взаимодействие между разными инициативами?

6.  Каким образом данная Стратегия способствует достижению социальных результатов в сочетании с другими инициативами, программами или услугами в данной сфере деятельности?

7. Какие иные дополнительные обстоятельства способствуют выполнению задач и получению социальных результатов в рамках данной Стратегии?

8. Каким образом Стратегия может улучшить свои социальные результаты?

CIRCLE (2008) Stronger Families and Communities Strategy 2000-2004: Final Report (Стратегия укрепления семей и сообществ 2000-2004: Итоговый отчет). Мельбурн: RMIT University (Мельбурнский королевский технологический университет).

Использование ключевых вопросов оценки позволило структурировать отчеты о прогрессе и итоговый отчет, а также задать общие концептуальные рамки, которые помогли свести воедино разные виды фактологической информации и доказательств, послуживших основой для выводов и заключений.

Источник: http://www.betterevaluation.org/en/plan/engage_frame/decide_evaluation_questions