Автор: Редакция

Подготовлено на основе материалов обучающего семинара «Создание системы измерения и оценки социального воздействия» (АНО «Эволюция и Филантропия», 20.09.2016 года, Международная научно-практическая конференция Доказательный подход к проектированию и оценке результатов программ в сфере детства); презентация.

 

Система измерения эффективности деятельности  – это совокупность процессов, обеспечивающих регулярный сбор, мониторинг и анализ информации, предоставление отчета о результативности, качестве, эффективности использования ресурсов и о программной деятельности в целом.

Цепочка социальных результатов представляет собой основу для планирования и оценки результатов.

Цепочка социальных результатов – это схема взаимосвязей между социальной проблемой, на решение которой направлена программа (проект, деятельность организации), дизайном программы, непосредственными, социальными результатами и социальным эффектом.

Подробнее о цепочке социальных результатов см. также методическое издание Показатели для измерения социальных результатов в сфере детства: российский и международный опыт.

Объект измерения  — благотворительные/cоциальные  программы и проекты или вся деятельность организации.

Основные понятия системы измерения результатов

Ресурсы/вход (inputs) – данные об объемах затрат — все необходимые человеческие, материальные, организационные и информационные условия (ресурсы) для осуществления деятельности организации.

Деятельность / Процессы (activities) – использование исходных ресурсов и преобразование их в продукты / непосредственные результаты.

Непосредственный результат/продукт (output) – все, что непосредственно производится в ходе деятельности программы. Включение этой информации в отчетность является стандартной практикой во всем мире. Однако непосредственные результаты сами по себе не говорят о достижении социальных результатов, но именно с их помощью можно получить желаемые социальные результаты.

Виды: промежуточные (связанные с оказанными услугами), конечные (связанные  с получателями услуг ).

Социальный результат (outcome) – изменение, которое преднамеренно и непреднамеренно произошло вследствие осуществления программы. Для программ, связанных с оказанием услуг, социальные результаты — это главным образом события, явления или изменения состояния, поведения, свидетельствующие о прогрессе в достижении целей программы.

В программах оказания услуг — изменения состояния, поведения  благополучателей.

Социальное влияние (impacts) – это те благоприятные изменения, которые, в конечном счете, ожидаются от реализации программы. Эти результаты отражаются на определенных аспектах семейного благополучия, условий воспитания детей, здоровья, академических успехов, трудоустройства или доходов, безопасности граждан, развития гражданского общества.

Социальное влияние – это степень системного воздействия программы, касающаяся всего общества (существуют разные школы трактовки влияния/impact).

Выбор показателей для измерения социальных результатов

Именно положительные изменения с благополучателями становятся предметом измерения социальных результатов программы.

Изменения качества жизни благополучателей могут касаться:

• обстоятельств;
• статуса;
• поведения;
• деятельности;
• отношения;
• чувств;
• восприятия.

Построение системы измерения и оценки результатов как проект

Цели и назначение системы измерения результатов

Измерение результатов программ внедряется в целях:

• совершенствования планирования и отчетности, общего руководства программной деятельностью;
• обеспечения высокого качества программ в области предоставления социальных услуг;
• обоснования для распределения ресурсов между программами и проектами.

Система измерения результатов:

• делает центральным компонентом эффективности программы социальные результаты для благополучателей;
• обеспечивает общий язык руководства организации, менеджеров и сотрудников программ в понимании эффективности, производительности, качества и полезности программ;
• призвана повышать мотивацию сотрудников, которые получают обратную связь от благополучателей о том, кому и в какой мере была оказана реальная помощь.

Анализ данных в хорошо продуманной системе измерения результатов позволяет:

• выяснить, насколько успешно исполняется программа, стимулируя, таким образом, принятие мер по исправлению ситуации;
• разработать и реализовать на практике стратегию улучшения услуг;
• выявить проблемы и, в некоторых случаях, действия, позволяющие в будущем достигнуть лучших социальных результатов;
• оценить, насколько принятые меры привели к улучшению ситуации

Ограничения системы измерения результатов

1. Возникает проблема ответственности и подотчетности за достигаемый социальный результат
2. Данные, полученные в ходе измерения, не объясняют, за счет чего достигнут тот или иной программный результат
   При разработке системы измерения результатов деятельности следует определить, за какие виды результатов могут и должны отвечать сотрудники разных уровней (исполнители, руководители).
3. Некоторые социальные результаты нельзя (очень трудно) измерить напрямую (кол-во предотвращенных нежелательных явлений)
4. Стабильность программы

Программы, в которых происходят серьезные перемены в целях или в штате – неподходящие кандидаты для внедрения измерения результатов. Необходимо подождать стабилизации ситуации.

Этапы создания системы измерения в организации

I этап

1.Сбор рабочей группы

2.Аудит существующей системы оценки

• какие данные уже отслеживаются, как и когда
• где они хранятся
• формы и методы отчетности
• как пересматриваются и используются

II этап: Выбор индикаторов

Определение основных элементов системы эффективности.

2.1. Выбор своих индикаторов.

2.2. Составление мастер-листа обновленных индикаторов.

III этап

Определить , как будут собираться данные для каждого индикатора и выбор подходящего метода хранения. Выбор времени и ответственных. Определите место хранения  (базы данных, Excel, СRM).

IV этап. Подготовка к использованию данных

Определите базу; Проставьте целевые значения; Спланируйте регулярность анализа (есть ответственные и расписания).  Будьте готовы извлекать уроки и учитывать в действиях.

V этап. Запуск системы

Будьте готовы обновлять свои цели , настраивать свою систему, публиковать внешнюю отчетную карточку с выбранными для внешних пользователей показателями в рамках первого цикла.

Какие результаты планировать и отслеживать

Источниками информации о возможных социальных результатах программ могут служить:

1) законы и нормативно-правовые акты;

2) Документация программы и организационные планы

 3) Опросы, беседы:

• с высшими руководящими лицами;
• с благополучателями;
• с персоналом программы (особенно сотрудниками, работающими на местах, а также подрядчиками или грантополучателями, оказывающими помощь в предоставлении услуг),
• с другими партнерами (например, организациями, имеющими сходные программы) и заинтересованными лицами

4) Материалы других организаций

5) Исследования (российские и зарубежные)

Пример

Выбор показателей

Результат – изменение, которое изначально запланировано, происходит благодаря программе, поддается описанию.

Пример: услуга оказана.

Показатель – конкретная (чаще – числовая) мера, выраженная в соответствующих единицах измерения, и показывающая, каков прогресс на пути достижения результата, или  достигнут ли результат в целом.

Пример: число получивших услугу; число оказанных услуг.

Методы сбора данных

Невозможно определить окончательный набор показателей, не определившись с методами сбора данных. Каждый метод имеет свои сильные и слабые стороны, а также определенный уровень затрат.

Существуют 4 основных метода сбора данных для расчета показателей:

1.получение данных из административной отчетности о программе или деятельности организации;

2.опросы благополучателей;

3.оценка обученными наблюдателями;

4.использование специального измерительного оборудования.

 

Полезные материалы и ресурсы

1. Мониторинг результативности в общественном секторе, Г.П.Хатри

2. Методическое издание Показатели для измерения социальных результатов в сфере детства
3. Теория изменений (для планирования долгосрочных социальных результатов)
4. Оценка социально-экономической эффективности социальных и благотворительных программ
5. Руководство по оценке результатов программ социальной направленности 
6. Платформа Социальные результаты и показатели
7. Межотраслевое объединение «Оценка программ в сфере детства»
8. Виртуальный Ресурсный Центр по оценке
9. Дайджест международного филантропического сообщества
10. Ассоциация специалистов  по оценке программ и политик
11. Платформа Оценка От и До