Представленный ниже перечень показателей собран на основе данных, предоставленных крупными российскими СО НКО, которые реализуют социальные программы в сфере защиты детства (преимущественно, социального сиротства). Характер показателей в значительной степени отражает содержание деятельности СО НКО, принявших участие в исследовании.
Показатели, отмеченные знаком (*) снабжены комментариями и пояснениями – что означает тот или иной показатель; какие могут быть инструменты измерения; мнение представителей организаций, использующих данный показатель в своей практике; частные случаи и аналогичные формулировки и иные уточнения.
| № п/п | Показатель / Комментарий |
| 1. Благополучатели, участники программы (проекта) | |
| 1. | *Число представителей целевых групп (благополучателей), принявших участие в программе / проекте
Частные случаи: · Количество семей, принявших участие в семейных мероприятиях по программе · Число специалистов, принявших участие в мероприятиях программы (информационных, просветительских, обучающих и пр.) · Число замещающих семей, принятых на сопровождение · Число кандидатов в замещающие родители, подготовленных в рамках программы (проекта) · Число детей, устроенных в приемную семью за время существования Школы приемных родителей (нарастающим итогом) · Число семей, получивших материальную поддержку · Число семей (детей), получивших услугу по организации отдыха · Число семей, прошедших диагностику, направленную на выявление социальных проблем · Число семей — участников программы, получивших услуги по социальному содействию и медиации в рамках программы |
| 2. Мероприятия, услуги и пр. для благополучателей, целевых групп | |
| 2. | Количество организованных мероприятий для целевых групп
Частные случаи: · Количество просветительских (обучающих) мероприятий · Количество организованных семейных мероприятий |
| 3. | Количество / доля обращений за помощью, услугами по Программе |
| 4. | Количество диагностик, направленных на выявление психологических проблем семьи |
| 5. | Количество занятий с детьми, направленных на развитие определенных знаний и навыков (например, речи; привитие санитарно-гигиенических навыков; когнитивных умений; помощь в освоении образовательных программ и пр.) |
| 6. | Количество занятий с родителями, направленных на повышение педагогических (родительских) компетенций |
| 7. | *Количество занятий, направленных на активизацию социального окружения |
| 8. | Количество занятий, направленных на коррекцию детско-родительских отношений |
| 9. | Количество занятий, направленных на повышение психологического уровня развития ребенка |
| 10. | Количество занятий, направленных на развитие социальных компетенций ребенка |
| 11. | Количество занятий, направленных на стабилизацию эмоционального состояния ребенка (родителя) |
| 12. | Количество занятий, направленных на формирование коммуникативных навыков |
| 13. | Количество юридических консультаций, проведенных для семей – участников программы |
| 14. | Количество супервизий для специалистов программы (сотрудников) |
| 3. Распространение информации о программе, проблеме | |
| 15. | *Число сообщений в СМИ, инициированных в рамках программы / проекта (публикации, выпуски газеты, телепередачи, видео (радио) сюжеты) |
| 16. | Число публичных мероприятий, организованных или поддержанных в рамках Программы / проекта, на которых представлен и распространен опыт организации / Программы |
| 17. | Число информационных кампаний, реализованных в рамках программы / проекта |
| 18. | Число изданных информационных (методических) материалов |
| 19. | Тираж печатных информационных (методических) материалов |
| 20. | Число разработанных информационных материалов, ориентированных на совершенствование законодательства |
| 21. | *Количество распространенных экземпляров информационных материалов по программе |
| 22. | Количество распространенных экземпляров методической литературы, изданных НКО по программе / проекту |
| 23. | Количество зарегистрированных участников профессиональных сообществ в социальных сетях |
| 4. Осведомленность, вовлеченность, удовлетворенность стейкхолдеров (включая благополучателей) | |
| 24. | *Уровень информированности, осведомленности стейкхолдеров о программе и ее целях (данные опросов, анкетирования благополучателей) |
| 25. | *Уровень удовлетворенности стейкхолдеров |
| 26. | *Уровень удовлетворенности благополучателей |
| 27. | *Количество благополучателей, включенных в оценку потребностей |
| 28. | *Динамика сложившихся за год новых партнерств |
| 29. | Количество профильных комиссий/ советов, в которых участвуют сотрудники НКО
(учет по факту) |
| 5. Изменения у благополучателей (показатели социального результата) | |
| 5.1. Дети | |
| 30. | **Количество детей, у которых повысился уровень удовлетворения базовых потребностей |
| 31. | **Доля детей – участников занятий, повысивших социальные компетенции, % |
| 32. | *Доля детей, у которых наблюдается развитие знаний в рамках образовательных программ, % |
| 33. | *Доля детей, у которых наблюдается развитие когнитивных умений, % |
| 34. | *Доля детей, у которых наблюдается развитие речи, % |
| 35. | *Доля детей, у которых наблюдается развитие санитарно-гигиенических навыков, % |
| 36. | *Доля детей — участников занятий, повысивших психологический уровень своего развития, % |
| 37. | *Динамика снижения риска, % |
| 38. | *Доля детей с ОВЗ, адаптировавшихся к обучению в школе, % |
| 39. | Число детей, принятых на воспитание в сопровождаемые семьи (обученными в рамках проекта кандидатами в замещающие родители) |
| 40. | *Число (доля) детей, сохраненных в кровных семьях
Частные случаи (по различным целевым группам):
|
| 41. | Количество новорожденных, в отношении которых снижен риск отказа (раннее выявление риска, включая беременных) |
| 42. | Количество (доля) возврата детей из сопровождаемых замещающих семей (по итогам года)
Близкие показатели: Уровень сохранения детей в приемных семьях, находящихся на сопровождении в программе, % Количество несовершеннолетних, в отношении которых предотвращен вторичный отказ /Заявлено отказов от приемных детей (вторичный отказ) |
| 43. | Количество несовершеннолетних, в отношении которых снижен риск утраты родительского попечения (раннее выявление) |
| 44. | Количество несовершеннолетних в возрасте от 0 до 5 лет, временно размещенных в доме ребенка, возвращенных в кровную семью |
| 45. | Количество несовершеннолетних, в отношении которых оперативно предотвращена угроза жизни и здоровью в ситуациях жестокого обращения в семье |
| 46. | Количество несовершеннолетних, в отношении которых предотвращено нарушение прав |
| 5.2. Семьи, родители | |
| 47. | *Количество семей, у которых улучшилось материально-экономическое положение |
| 48. | *Количество семей, у которых произошли социально значимые изменения |
| 49. | Доля семей, в которых не изъяли детей, % |
| 50. | Доля родителей, у которых наблюдается развитие педагогических (родительских) компетенций, % |
| 51. | *Количество (доля) семей – участников занятий, отметивших улучшение в детско-родительских отношениях |
| 52. | Доля семей – участников занятий, отметивших улучшение коммуникативных навыков внутри семьи, % |
| 53. | Доля семей – участников занятий, отметивших улучшение коммуникативных навыков с ребенком, % |
| 54. | Доля семей – участников занятий, отметивших улучшение эмоционального состояния внутри семьи, % |
| 55. | Доля семей – участников занятий, отметивших улучшение эмоционального состояния ребенка, % |
| 56. | *Доля семей, отмечающих улучшение в отношениях со своим социальным окружением, % |
| 5.3. Специалисты (если предусмотрено программой / проектом) | |
| 57. | *Число подготовленных специалистов, применяющих полученные методики |
| 58. | *Изменение установок специалистов сферы детства |
| 6. Измерение долгосрочного социального эффекта программы | |
| 59. | *Доля опрошенных экспертов в сфере защиты детства / благотворительности, признающих социальный эффект от деятельности НКО |
| 60. | *Доля опрошенных экспертов, признающих вклад технологий НКО в решение проблемы Х |
КОММЕНТАРИИ ЭКСПЕРТОВ
Общий комментарий:
«Основными достоинствами данных списков являются следующие:
- возможность выбрать показатели, которые можно использовать для разработки и реализации своих проектов;
- собственно сами примеры, помогающие по крайней мере по аналогии разрабатывать или искать показатели, адекватные для своих проектов;
- классификация показателей, помогающая пользователю найти тематически значимые показатели и сделать собственный выбор;
- примеры и комментарии реальных разработчиков и исполнителей проектов, уже применивших и применяющих на практике некоторые из этих показателей.
Основными ограничениями к применению, а точнее теми особенностями представления списков показателей, которые присущи всем подобным спискам, являются следующие:
- Необходимость уточнения определения показателя, представленного в списке, при использовании его в проекте. Например, «Количество обращений / доля обращений за помощью, услугами в организацию». Вопрос: что имеется ввиду при использовании в конкретном проекте, что считать собственно обращением? Простой телефонный звонок с вопросом: «Чем вы можете мне помочь»? Приход на первичный прием, где будет определено, является ли обратившийся клиентом организации? Само посещение, в ходе которого оказывается услуга? Любой контакт обратившегося с любым сотрудником организации? Это будет касаться собственно оказания услуг? Или это показатель первичных обращений, часть из которых не перейдет в оказание услуг?
- Необходимость преобразования качественных индикаторов в содержательно соответствующие количественные показатели, т.е. найти соответствующее адекватное число. По сути, эта операция тоже требует переопределения индикатора применительно к конкретному проекту. Пример – «динамика сложившихся за год новых партнерств». Это качественный показатель, в данном определении неясно, какое число может отражать изменение. И более того, непонятно, что лучше – увеличение какого-то числа или его уменьшение, или даже изменение каких-то определенных характеристик партнерств? Если задача требует увеличения партнерств, то об этом может свидетельствовать количество соглашений о сотрудничестве, заключенных с новыми партнерами. Возможно, что в проекте нужно сохранить только реально действующие партнерские отношения, тогда показатель может выглядеть так: «доля официально завершенных партнерств от общего числа неработающих или неиспользуемых отношений». Имеется в виду, что нужно официально завершить «спящие» отношения? В этом случае целевой показатель может быть 100%. И наконец, возможно, что надо улучшить качество существующих отношений. Тогда возможен показатель «количество новых соглашений о сотрудничестве с организациями, уже являющимися действующими партнерами». Еще один пример – «уровень информированности, осведомленности стейкхолдеров о программе и ее целях» – можно преобразовать в «доля стейкхолдеров, знающих точное определение цели и задач программы, от общего числа стейкхолдеров».
- Для работы с любым показателем нужно создавать систему сбора информации о его значениях. Если мы хотим знать, сколько занятий определенной направленности было проведено с детьми-участниками проекта, то необходимо не только дать развернутое определение данного индикатора, но и разработать систему сбора информации о его значении. Проведение каких именно занятий будет отслеживаться? Индивидуальных или групповых? Если групповые, то какое минимальное количество детей может на них присутствовать, чтобы занятие было признано состоявшимся? Кто и как будет фиксировать факт проведения занятия? В какой форме? Как будет собираться информация о проведении всех занятий, как она будет фиксироваться, где и как храниться? Кто будет этим заниматься? Кто и как будет формировать отчеты о текущих значениях этих индикаторов, с какой периодичностью? Кому будут передаваться отчеты? Кто и как будет их использовать? Все это надо продумать, описать, передать исполнителям и апробировать на практике.
- И еще одно ограничение, которое представляется наиболее важным, с него, по сути, надо начинать выбор индикаторов или их конструирование. Выбранные индикаторы обязательно должны быть привязаны, соответствовать определенным компонентам проекта. Это могут быть индикаторы цели проекта и/или решения задач проекта, это могут быть технические индикаторы, отражающие выполнение планов действий или использование проектных ресурсов.
- Таким же важным ограничением, которое нужно учитывать еще до реализации проекта, является своевременность разработки индикаторов. Если проект уже реализуется, а тем более уже заканчивается, разрабатывать и использовать индикаторы поздно».
(В. Балакирев)
Комментарии экспертов к отдельным показателям
К показателю 1. Число представителей целевых групп (благополучателей), принявших участие в программе / проекте: «Основная проблема с этим показателем – в определении целевых групп, в глоссарии (что такое целевая группа, благополучатель, ключевой стейкхолдер). Этот показатель важнее не агрегировать, а наоборот, сегментировать по видам услуг или степени участия в программе. Не всегда до конца понятно и определено, что такое «принять участие в программе». Так как программа может состоять из самых разных мероприятий. Если программа связана не с предоставлением конкретных социальных услуг, а, например, с массовым информированием или с адвокацией, число благополучателей вообще трудно идентифицировать точно» (О. Евдокимова).
К показателю 7. Количество занятий, направленных на активизацию социального окружения: «Количество встреч и/или домашних визитов социальных специалистов детских программ, которые нужно было проделать для достижения качественного изменения ситуации в социальном окружении клиента. Это могут быть как ситуация в кровной семье и изменение отношения членов домохозяйства, так и серия встреч с одноклассниками, направленная на изменение отношения к особому ребенку» (С. Будницкая).
К показателю 15. Число сообщений в СМИ, инициированных в рамках программы: «Здесь хорошо бы учитывать также число подписчиков каждого СМИ» (О. Евдокимова).
К показателю 21. Количество распространенных экземпляров информационных материалов по программе: «Этот показатель далеко не всегда используется исполнителями программы, которые ограничиваются лишь отчетом о числе изданных материалов. И непонятно, сколько из опубликованного реально прочитано и используется» (О. Евдокимова).
К показателю 24. Уровень информированности, осведомленности стейкхолдеров о программе и ее целях: «Очень важный показатель, хоть и редко кем применяемый» (О. Евдокимова).
К показателю 25. Уровень удовлетворенности стейкхолдеров: См. также показатели №№ 26-27 (благополучатели – один из ключевых стейкхолдеров).
Инструменты измерения:
1) Регулярное анкетирование / интервью с ключевыми группами стейкхолдеров (благополучатели, исполнители проектов, партнеры и др.).
2) Использование опосредованных показателей (как правило, в отношении доноров):
- динамика объема финансирования каждым донором;
- количество лет поддержки каждым донором;
- количество и содержание профессиональных визитов с целью личного мониторинга реализации проектов и программ;
- лоббирование интересов НКО и/или клиентских групп;
- рекомендация НКО партнерам.
К показателю 26. Уровень удовлетворенности благополучателей:
Частный случай показателя 27 (уровень удовлетворенности стейкхолдеров).
Инструменты – анкетирование / интервью с благополучателями, либо проведение опосредованных замеров.
«Наши благополучатели – это дети и волонтеры-наставники. Мы измеряем через увеличение количества пар (наставник-ребенок), устойчивость пары – у нас есть пары, которые вместе 8 лет» (А. Телицына).
К показателю 27. Количество благополучателей, включенных в оценку потребностей: «Здесь важно не только абсолютное количество, а еще и доля от совокупного объема потенциальных благополучателей» (О. Евдокимова).
К показателю 28. Динамика сложившихся за год новых партнерств: Для ряда экспертов, принявших участие в опросе, партнеры – это юридические лица, присоединившиеся к реализации проекта / программы (как в рамках отдельной акции, так и на постоянной основе).
Для других – все стейкхолдеры. Показатели, соответственно, различны. Например:
- государство – количество выступлений сотрудников в официальных мероприятиях, участие в рабочих группах, экспертных советах и пр.;
- детские учреждения – количество присоединившихся (новых) и прекративших сотрудничество;
- доноры – объем пожертвований;
и т.д.
К показателю 30. Количество детей, у которых повысился уровень удовлетворения базовых потребностей: Например, созданы безопасные бытовые условия для жизни ребенка, удовлетворены первичные потребности ребенка в еде, сне, игре, родители заботятся о здоровье ребенке и др.
К показателю 31. Доля детей – участников занятий, повысивших социальные компетенции: Например, входные / выходные измерения с использованием Шкалы социальной компетентности подростков (11-16 лет) А.М. Прихожан (субшкалы – самостоятельность; уверенность в себе; отношение к своим обязанностям; развитие общения; организованность, развитие произвольности; интерес к социальной жизни, наличие увлечений, владение современными технологиями).
К показателям 30-36. Изменения у благополучателей. Дети: «В проектах, где благополучателями являются дети с ОВЗ (и семьи, в которых они воспитываются) есть аналогичные показатели – и не только про развитие речи, но и про развитие слуха, внимания, координации движений, навыков самообслуживания (в зависимости от ОВЗ). Мы проводим диагностику клиента (на момент прихода клиента в проект) и сравниваем с показателем на момент его выхода – завершения работы в проекте» (А. Богомолова).
«У нас зашито несколько контрольных замеров в оценку эффективности нашей программы. На этапе планирования введены обязательные опросники. В начале общения с волонтером-наставником и в конце каждого года общения – опросники заполняют и волонтеры, и дети, и воспитатели (родители), и куратор-психолог, который сопровождает пары (А. Телицына).
К показателю 37. Динамика снижения риска: «Мы оказываем социальную поддержку семьям, попавшим в трудную жизненную ситуацию. Социальные работники могут отмечать «рискованные» семьи – на базе разработанных фондом индикаторов оценки риска в сферах здоровья, образования, психолого-социального климата в семье. Риски могут быть разные. Например, важно, чтобы ребенок школьного возраста был прикреплён и посещал образовательное учреждение. Если он никуда не прикреплён, то это риск 2, а если прикреплён, но посещает нерегулярно – 1. В работе мы стремимся к снижению или снятию рисков. Например, устройство ребенка в образовательное учреждение и посещение занятий в течение учебного года дает нам возможность пересмотреть уровень риска или совсем его снять с семьи» (С. Будницкая).
К показателю 38. Доля детей с ОВЗ, адаптировавшихся к обучению в школе: «Мы используем этот показатель применительно к детям с ОВЗ, принятых в первые классы школ проекта (общее количество детей в проекте в начале года). Получаем заключения от ПМПК школ – как будет построена траектория обучения и индивидуального сопровождения ребенка; смотрим изменения в динамике, а также показатели адаптивности ребенка к обучению в школе. Важно учитывать, нужна ли ребенку индивидуальная дальнейшая поддержка сопровождающих специалистов. В качестве показателя – доля детей, кому на входе поддержка требовалась, а по результатам первого учебного года ребенок адаптирован и дальше может самостоятельно учиться в массовой школе» (С. Будницкая).
К показателю 40. Число (доля) детей, сохраненных в кровных семьях: «Количество детей, сохраненных в кровной семье от числа заявленных отказов в родильных домах и от числа намерений отказаться от ребенка в период беременности. Через специалистов проекта проходят все беременные и роженицы, поэтому данные получаем от специалистов проекта, из документации, которую они ведут в процессе работы» (А. Богомолова).
К показателю 47. Количество семей, у которых улучшилось материально-экономическое положение: Например, трудоустройство родителей, решение жилищных проблем, оформление гражданства на ребенка, регистрации, инвалидности, субсидий, пособий, алиментов и др.
К показателю 48. Количество семей, у которых произошли социально значимые изменения: Например, восстановились / улучшились отношения с социальным окружением, родители не употребляют / реже употребляют алкоголь, самостоятельно могут решать важные для семьи вопросы, устроили ребенка в детский сад и др.
См. также показатели №№ 51-57.
К показателю 51. Количество (доля) семей – участников занятий, отметивших улучшение в детско-родительских отношениях: Родители «принимают» и понимают ребенка, повысили компетентность в вопросах воспитания, последовательны в своих требованиях, дети и родители научились договариваться, конструктивно решают конфликты, совместно проводят досуг, появились семейные традиции и др.
К показателю 56. Доля семей, отмечающих улучшение в отношениях со своим социальным окружением: «Данные показатели мы измеряем в разных проектах
по-разному, так как тема / проблема / вопрос, в которой необходимо развить компетентность – разная. Например, в одном проекте – это компетентность замещающего родителя, в другом – родителя, воспитывающего ребенка-аутиста, в третьем – родителя-беженца, в четвертом – родителя, имеющего условный срок, в пятом – родителям несовершеннолетнего правонарушителя, в шестом – родителя первенца и т.д. В одних проектах используем модель родительских компетенций, которые кластеризованы на измеряемые индикаторы (специалисты измеряют по ходу проекта или по итогам работы с родителями). В других проектах компетенцию родителей, ее развитие отмечают специалисты, кураторы, работающие с семьей в ходе наблюдения. В третьих – через анкетирование благополучателей, то есть просим родителей дать самооценку их компетенций после сотрудничества со специалистами проекта» (А. Богомолова).
«У нас зашито несколько контрольных замеров в оценку эффективности программы. На этапе планирования введены обязательные опросники. В начале общения с волонтером-наставником и в конце каждого года общения. Опросники заполняют и волонтеры, и дети, и воспитатели (родители), и куратор-психолог, который сопровождает пары» (А. Телицына).
К показателю 57. Число подготовленных специалистов, применяющих полученные методики: «Довольно важный показатель, хотя и трудно собираемый» (О. Евдокимова).
К показателю 58. Изменение установок специалистов сферы детства: «Путем наблюдения мы оцениваем, как меняются специалисты детских домов, с которыми были проведены семинары, как меняются их установки в отношении детей и работы с ними. Мы учитываем субъективные оценки специалистов об участии в проекте, о полученных ими знаниях, собираем отзывы после каждого мероприятия, где просим указать небольшие изменения, новые мысли и идеи, которые возникли у специалистов в результате семинара или встречи. Кроме того, мы просим специалистов детских домов субъективно оценить, как изменились их отношения с детьми за период проекта, улучшились или ухудшились, благодаря чему это произошло» (Л. Бучельникова).
К показателям 59-60. Доля опрошенных экспертов в сфере защиты детства / благотворительности, признающих социальный эффект от деятельности НКО; *Доля опрошенных экспертов, признающих вклад технологий НКО в решение проблемы Х:
«Ежегодно мы проводим анкетирование или интервью с партнерами Фонда. Изначально список участников интервью состоял из экспертов, для проведения экспертных оценок деятельности фонда. В процессе работы наши эксперты стали нашими партнерами.
Среди наших экспертов-партнеров – представители смежных сфер деятельности (образования, здравоохранения, культуры, социальной сферы, УВД, социальной защиты), а также признанные на городском и областном уровнях эксперты в области связей с общественностью, журналистики, социальной рекламы, исследований, представители местной власти (все работают в Череповце).
Бланк анкеты или гайд интервью ежегодно адаптируется под цели замера, но большая часть вопросов из года в год остается неизменной.
Мы считаем именно количество, а не долю. «В идеале» должно быть столько экспертов, чтобы, во-первых, достичь цели исследования, во-вторых, выявить наиболее широкий спектр ответов. Идеального числа нет. Негласно мы принимаем по 1-4 партнера от каждого проекта (в зависимости от кол-ва партнеров у проекта. В среднем у проекта от 2 до 5 партнеров).
Среди критериев отбора экспертов: опыт работы в требуемой сфере, сотрудничество с Фондом, его проектами, готовность принять участие в исследовании.
В исследовании есть вопросы об одобрении деятельности НКО в городе, оценки ее вклада в решение проблемы X в городе, сильных и слабых сторонах взаимодействия и т.д.» (А. Богомолова).
«Мы входим в составы разных экспертных советов, наше присутствие там – подтверждение признания нашей профессиональности. Логично, что если эксперты не признают социальный эффект от нашей деятельности, то они не будут нас звать в советы, комиссии и пр. Если посчитать количество выступлений на профильных конференциях, то получится цифра опосредовано опрошенных экспертов.
А доля будет от чего? Если знать количество экспертов вообще, то мы можем посчитать примерное количество экспертов, признающих наш вклад и тогда посчитать долю. Однако мы занимаемся очень узкой проблемой – наставничеством» (А. Телицына).
Источник: Показатели для измерения социальных результатов в сфере детства: российский и международный опыт. М., 2015