Подготовлено на основе материалов обучающего семинара «Создание системы измерения и оценки социального воздействия» (АНО «Эволюция и Филантропия», 20.09.2016 года, Международная научно-практическая конференция Доказательный подход к проектированию и оценке результатов программ в сфере детства); презентация.
Система измерения эффективности деятельности – это совокупность процессов, обеспечивающих регулярный сбор, мониторинг и анализ информации, предоставление отчета о результативности, качестве, эффективности использования ресурсов и о программной деятельности в целом.
Цепочка социальных результатов представляет собой основу для планирования и оценки результатов.
Цепочка социальных результатов – это схема взаимосвязей между социальной проблемой, на решение которой направлена программа (проект, деятельность организации), дизайном программы, непосредственными, социальными результатами и социальным эффектом.
Подробнее о цепочке социальных результатов см. также методическое издание Показатели для измерения социальных результатов в сфере детства: российский и международный опыт.
Объект измерения — благотворительные/cоциальные программы и проекты или вся деятельность организации.
Основные понятия системы измерения результатов
Ресурсы/вход (inputs) – данные об объемах затрат — все необходимые человеческие, материальные, организационные и информационные условия (ресурсы) для осуществления деятельности организации.
Деятельность / Процессы (activities) – использование исходных ресурсов и преобразование их в продукты / непосредственные результаты.
Непосредственный результат/продукт (output) – все, что непосредственно производится в ходе деятельности программы. Включение этой информации в отчетность является стандартной практикой во всем мире. Однако непосредственные результаты сами по себе не говорят о достижении социальных результатов, но именно с их помощью можно получить желаемые социальные результаты.
Виды: промежуточные (связанные с оказанными услугами), конечные (связанные с получателями услуг ).
Социальный результат (outcome) – изменение, которое преднамеренно и непреднамеренно произошло вследствие осуществления программы. Для программ, связанных с оказанием услуг, социальные результаты — это главным образом события, явления или изменения состояния, поведения, свидетельствующие о прогрессе в достижении целей программы.
В программах оказания услуг — изменения состояния, поведения благополучателей.
Социальное влияние (impacts) – это те благоприятные изменения, которые, в конечном счете, ожидаются от реализации программы. Эти результаты отражаются на определенных аспектах семейного благополучия, условий воспитания детей, здоровья, академических успехов, трудоустройства или доходов, безопасности граждан, развития гражданского общества.
Социальное влияние – это степень системного воздействия программы, касающаяся всего общества (существуют разные школы трактовки влияния/impact).
Выбор показателей для измерения социальных результатов
Именно положительные изменения с благополучателями становятся предметом измерения социальных результатов программы.
Изменения качества жизни благополучателей могут касаться:
- обстоятельств;
- статуса;
- поведения;
- деятельности;
- отношения;
- чувств;
- восприятия.
Построение системы измерения и оценки результатов как проект
Цели и назначение системы измерения результатов
Измерение результатов программ внедряется в целях:
- совершенствования планирования и отчетности, общего руководства программной деятельностью;
- обеспечения высокого качества программ в области предоставления социальных услуг;
- обоснования для распределения ресурсов между программами и проектами.
Система измерения результатов:
- делает центральным компонентом эффективности программы социальные результаты для благополучателей;
- обеспечивает общий язык руководства организации, менеджеров и сотрудников программ в понимании эффективности, производительности, качества и полезности программ;
- призвана повышать мотивацию сотрудников, которые получают обратную связь от благополучателей о том, кому и в какой мере была оказана реальная помощь.
Анализ данных в хорошо продуманной системе измерения результатов позволяет:
- выяснить, насколько успешно исполняется программа, стимулируя, таким образом, принятие мер по исправлению ситуации;
- разработать и реализовать на практике стратегию улучшения услуг;
- выявить проблемы и, в некоторых случаях, действия, позволяющие в будущем достигнуть лучших социальных результатов;
- оценить, насколько принятые меры привели к улучшению ситуации
Ограничения системы измерения результатов
- Возникает проблема ответственности и подотчетности за достигаемый социальный результат
- Данные, полученные в ходе измерения, не объясняют, за счет чего достигнут тот или иной программный результат
При разработке системы измерения результатов деятельности следует определить, за какие виды результатов могут и должны отвечать сотрудники разных уровней (исполнители, руководители). - Некоторые социальные результаты нельзя (очень трудно) измерить напрямую (кол-во предотвращенных нежелательных явлений)
- Стабильность программы
Программы, в которых происходят серьезные перемены в целях или в штате – неподходящие кандидаты для внедрения измерения результатов. Необходимо подождать стабилизации ситуации.
Этапы создания системы измерения в организации
I этап
1.Сбор рабочей группы
2.Аудит существующей системы оценки
- какие данные уже отслеживаются, как и когда
- где они хранятся
- формы и методы отчетности
- как пересматриваются и используются
II этап: Выбор индикаторов
Определение основных элементов системы эффективности.
2.1. Выбор своих индикаторов.
2.2. Составление мастер-листа обновленных индикаторов.
III этап
Определить , как будут собираться данные для каждого индикатора и выбор подходящего метода хранения. Выбор времени и ответственных. Определите место хранения (базы данных, Excel, СRM).
IV этап. Подготовка к использованию данных
Определите базу; Проставьте целевые значения; Спланируйте регулярность анализа (есть ответственные и расписания). Будьте готовы извлекать уроки и учитывать в действиях.
V этап. Запуск системы
Будьте готовы обновлять свои цели , настраивать свою систему, публиковать внешнюю отчетную карточку с выбранными для внешних пользователей показателями в рамках первого цикла.
Какие результаты планировать и отслеживать
Источниками информации о возможных социальных результатах программ могут служить:
1) законы и нормативно-правовые акты;
2) Документация программы и организационные планы
3) Опросы, беседы:
- с высшими руководящими лицами;
- с благополучателями;
- с персоналом программы (особенно сотрудниками, работающими на местах, а также подрядчиками или грантополучателями, оказывающими помощь в предоставлении услуг),
- с другими партнерами (например, организациями, имеющими сходные программы) и заинтересованными лицами
4) Материалы других организаций
5) Исследования (российские и зарубежные)
Пример
Выбор показателей
Результат – изменение, которое изначально запланировано, происходит благодаря программе, поддается описанию.
Пример: услуга оказана.
Показатель – конкретная (чаще – числовая) мера, выраженная в соответствующих единицах измерения, и показывающая, каков прогресс на пути достижения результата, или достигнут ли результат в целом.
Пример: число получивших услугу; число оказанных услуг.
Методы сбора данных
Невозможно определить окончательный набор показателей, не определившись с методами сбора данных. Каждый метод имеет свои сильные и слабые стороны, а также определенный уровень затрат.
Существуют 4 основных метода сбора данных для расчета показателей:
1.получение данных из административной отчетности о программе или деятельности организации;
2.опросы благополучателей;
3.оценка обученными наблюдателями;
4.использование специального измерительного оборудования.
Полезные материалы и ресурсы
- Методическое издание Показатели для измерения социальных результатов в сфере детства
- Теория изменений (для планирования долгосрочных социальных результатов)
- Оценка социально-экономической эффективности социальных и благотворительных программ
- Руководство по оценке результатов программ социальной направленности
- Платформа Социальные результаты и показатели
- Межотраслевое объединение «Оценка программ в сфере детства»
- Виртуальный Ресурсный Центр по оценке
- Дайджест международного филантропического сообщества
- Ассоциация специалистов по оценке программ и политик
- Платформа Оценка От и До