Без рубрики

Подготовлено на основе материалов обучающего семинара «Создание системы измерения и оценки социального воздействия» (АНО «Эволюция и Филантропия», 20.09.2016 года, Международная научно-практическая конференция Доказательный подход к проектированию и оценке результатов программ в сфере детства); презентация.

 

Система измерения эффективности деятельности  – это совокупность процессов, обеспечивающих регулярный сбор, мониторинг и анализ информации, предоставление отчета о результативности, качестве, эффективности использования ресурсов и о программной деятельности в целом.

Цепочка социальных результатов представляет собой основу для планирования и оценки результатов.

Цепочка социальных результатов – это схема взаимосвязей между социальной проблемой, на решение которой направлена программа (проект, деятельность организации), дизайном программы, непосредственными, социальными результатами и социальным эффектом.

Подробнее о цепочке социальных результатов см. также методическое издание Показатели для измерения социальных результатов в сфере детства: российский и международный опыт.

Объект измерения  — благотворительные/cоциальные  программы и проекты или вся деятельность организации.

Основные понятия системы измерения результатов

Ресурсы/вход (inputs) – данные об объемах затрат — все необходимые человеческие, материальные, организационные и информационные условия (ресурсы) для осуществления деятельности организации.

Деятельность / Процессы (activities) – использование исходных ресурсов и преобразование их в продукты / непосредственные результаты.

Непосредственный результат/продукт (output) – все, что непосредственно производится в ходе деятельности программы. Включение этой информации в отчетность является стандартной практикой во всем мире. Однако непосредственные результаты сами по себе не говорят о достижении социальных результатов, но именно с их помощью можно получить желаемые социальные результаты.

Виды: промежуточные (связанные с оказанными услугами), конечные (связанные  с получателями услуг ).

Социальный результат (outcome) – изменение, которое преднамеренно и непреднамеренно произошло вследствие осуществления программы. Для программ, связанных с оказанием услуг, социальные результаты — это главным образом события, явления или изменения состояния, поведения, свидетельствующие о прогрессе в достижении целей программы.

В программах оказания услуг — изменения состояния, поведения  благополучателей.

Социальное влияние (impacts) – это те благоприятные изменения, которые, в конечном счете, ожидаются от реализации программы. Эти результаты отражаются на определенных аспектах семейного благополучия, условий воспитания детей, здоровья, академических успехов, трудоустройства или доходов, безопасности граждан, развития гражданского общества.

Социальное влияние – это степень системного воздействия программы, касающаяся всего общества (существуют разные школы трактовки влияния/impact).

Выбор показателей для измерения социальных результатов

Именно положительные изменения с благополучателями становятся предметом измерения социальных результатов программы.

Изменения качества жизни благополучателей могут касаться:

• обстоятельств;
• статуса;
• поведения;
• деятельности;
• отношения;
• чувств;
• восприятия.

Построение системы измерения и оценки результатов как проект

Цели и назначение системы измерения результатов

Измерение результатов программ внедряется в целях:

• совершенствования планирования и отчетности, общего руководства программной деятельностью;
• обеспечения высокого качества программ в области предоставления социальных услуг;
• обоснования для распределения ресурсов между программами и проектами.

Система измерения результатов:

• делает центральным компонентом эффективности программы социальные результаты для благополучателей;
• обеспечивает общий язык руководства организации, менеджеров и сотрудников программ в понимании эффективности, производительности, качества и полезности программ;
• призвана повышать мотивацию сотрудников, которые получают обратную связь от благополучателей о том, кому и в какой мере была оказана реальная помощь.

Анализ данных в хорошо продуманной системе измерения результатов позволяет:

• выяснить, насколько успешно исполняется программа, стимулируя, таким образом, принятие мер по исправлению ситуации;
• разработать и реализовать на практике стратегию улучшения услуг;
• выявить проблемы и, в некоторых случаях, действия, позволяющие в будущем достигнуть лучших социальных результатов;
• оценить, насколько принятые меры привели к улучшению ситуации

Ограничения системы измерения результатов

1. Возникает проблема ответственности и подотчетности за достигаемый социальный результат
2. Данные, полученные в ходе измерения, не объясняют, за счет чего достигнут тот или иной программный результат
   При разработке системы измерения результатов деятельности следует определить, за какие виды результатов могут и должны отвечать сотрудники разных уровней (исполнители, руководители).
3. Некоторые социальные результаты нельзя (очень трудно) измерить напрямую (кол-во предотвращенных нежелательных явлений)
4. Стабильность программы

Программы, в которых происходят серьезные перемены в целях или в штате – неподходящие кандидаты для внедрения измерения результатов. Необходимо подождать стабилизации ситуации.

Этапы создания системы измерения в организации

I этап

1.Сбор рабочей группы

2.Аудит существующей системы оценки

• какие данные уже отслеживаются, как и когда
• где они хранятся
• формы и методы отчетности
• как пересматриваются и используются

II этап: Выбор индикаторов

Определение основных элементов системы эффективности.

2.1. Выбор своих индикаторов.

2.2. Составление мастер-листа обновленных индикаторов.

III этап

Определить , как будут собираться данные для каждого индикатора и выбор подходящего метода хранения. Выбор времени и ответственных. Определите место хранения  (базы данных, Excel, СRM).

IV этап. Подготовка к использованию данных

Определите базу; Проставьте целевые значения; Спланируйте регулярность анализа (есть ответственные и расписания).  Будьте готовы извлекать уроки и учитывать в действиях.

V этап. Запуск системы

Будьте готовы обновлять свои цели , настраивать свою систему, публиковать внешнюю отчетную карточку с выбранными для внешних пользователей показателями в рамках первого цикла.

Какие результаты планировать и отслеживать

Источниками информации о возможных социальных результатах программ могут служить:

1) законы и нормативно-правовые акты;

2) Документация программы и организационные планы

 3) Опросы, беседы:

• с высшими руководящими лицами;
• с благополучателями;
• с персоналом программы (особенно сотрудниками, работающими на местах, а также подрядчиками или грантополучателями, оказывающими помощь в предоставлении услуг),
• с другими партнерами (например, организациями, имеющими сходные программы) и заинтересованными лицами

4) Материалы других организаций

5) Исследования (российские и зарубежные)

Пример

Выбор показателей

Результат – изменение, которое изначально запланировано, происходит благодаря программе, поддается описанию.

Пример: услуга оказана.

Показатель – конкретная (чаще – числовая) мера, выраженная в соответствующих единицах измерения, и показывающая, каков прогресс на пути достижения результата, или  достигнут ли результат в целом.

Пример: число получивших услугу; число оказанных услуг.

Методы сбора данных

Невозможно определить окончательный набор показателей, не определившись с методами сбора данных. Каждый метод имеет свои сильные и слабые стороны, а также определенный уровень затрат.

Существуют 4 основных метода сбора данных для расчета показателей:

1.получение данных из административной отчетности о программе или деятельности организации;

2.опросы благополучателей;

3.оценка обученными наблюдателями;

4.использование специального измерительного оборудования.

 

Полезные материалы и ресурсы

1. Мониторинг результативности в общественном секторе, Г.П.Хатри

2. Методическое издание Показатели для измерения социальных результатов в сфере детства
3. Теория изменений (для планирования долгосрочных социальных результатов)
4. Оценка социально-экономической эффективности социальных и благотворительных программ
5. Руководство по оценке результатов программ социальной направленности 
6. Платформа Социальные результаты и показатели
7. Межотраслевое объединение «Оценка программ в сфере детства»
8. Виртуальный Ресурсный Центр по оценке
9. Дайджест международного филантропического сообщества
10. Ассоциация специалистов  по оценке программ и политик
11. Платформа Оценка От и До

Социальный возврат на инвестиции (Social Return On Investment, SROI) — подход, который позволяет измерять ценности в широком смысле слова и учитывает социальные, экологические и экономические издержки и выгоды.

Метод SROI помогает проанализировать изменения, существенные для ключевых стейкхолдеров (людей и организаций, которые их совершают и для которых они совершаются), а также представить их в стоимостном выражении.

Деньги в анализе SROI – это универсальный способ выражения ценности. Благодаря универсальному языку финансов, методику могут использовать и коммерческие компании, и благотворительные фонды, и некоммерческие организации, и органы власти.

Анализ SROI базируется на принципах и включает ряд обязательных этапов, однако нет ограничений относительно методов сбора и анализа данных. Это значит, что анализ можно организовать с учетом имеющихся ресурсов и потребностей организации.

Итоги анализа по методике SROI используются для повышения положительного воздействия деятельности (проекта, программы, организации и пр.) и/или минимизации ее нежелательных эффектов.

SROI — разновидность стоимостного подхода к анализу по принципу затраты-выгоды (cost-benefit analysis, CBA). Например, соотношение 2:1 означает, что, вложив в некий проект или деятельность 1 рубль, мы получим 2 рубля в виде созданных этим проектом ценностей.

В то же время создание и развитие методики SROI осуществлялось с учетом двух других традиций, таких как учет вклада в устойчивое развитие общества (sustainability accounting) и финансовый учет (financial accounting). Подробнее об отличии SROI и CBA см. здесь.

Полезные материалы по методике SROI:

Семь принципов анализа социальных ценностей — 7 принципов SROI (на русском языке)

Руководство по оценке социального возврата на инвестиции (на русском языке)

Дополнительное руководство по анализу существенности (на русском языке)

Руководства по SROI (Social Value UK, на английском языке)

Кейсы и публикации по SROI (на русском языке)

Публикации по теме SROI на страницах Дайджеста ЭиФ

Сертифицированный тренинг SROI Network в Москве. Видео с отзывами участников и фотографии с тренинга

Подробнее о стоимостных подходах к оценке эффективности программ и их социального воздействия:

• Интеграция стоимостных подходов к измерению и/или оценке создаваемого общественного блага (Материалы круглого стола «Развитие в России культуры оценки социально-экономической эффективности социальных программ», Москва, 2015).
• Как и зачем измерять эффективность деятельности НКО? (запись вебинара Теплицы социальных технологий, ответы на вопросы участников: 1, 2 и 3).
• Рекомендации по оценке социально-экономической эффективности социальных программ: определения, подходы, практический опыт / Е.И. Андреева, И.Д. Горшкова, А.С. Ковалевская / М.: Изд-во «Проспект», 2014.
• Социальный возврат на инвестиции (SROI) и Анализ «затраты – выгоды» (CBA): есть отличия или нет ничего общего?