Результаты работы группы паллиативной помощи в рамках тренд-сессии «Вместе с детьми: фронтиры оценки»

В рамках тренд-сессии «Вместе с детьми: фронтиры оценки» по изучению актуальных направлений развития сферы мониторинга и оценки социальных программ была организована специализированная групповая работа представителей организаций паллиативной помощи. Группа провела ранжирование 14 основных трендов и углубленное обсуждение одного из ключевых направлений — «Развитие внутренней оценки и самооценивания», которое заняло 7-е место в их рейтинге.

Приоритеты паллиативного сообщества

Топ-5 трендов группы паллиативной помощи:

  1. Фокус оценки на обучении и развитии практики (28 баллов)
  2. Использование доказательного подхода (25 баллов)
  3. Использование ИКТ и ИИ (19 баллов)
  4. Профессионализация оценки (17 баллов)
  5. Системное мышление и системный подход (17 баллов)

Единственное существенное отличие от общего рейтинга — выход тренда «Фокус оценки на обучении и развитии практики» с 8-го места в общем рейтинге на 1-е место у группы паллиативной помощи.

Подробнее см. в аналитической записке.

17 июня состоялась тренд-сессия «Вместе с детьми: фронтиры оценки»

17 июня состоялась тренд-сессии «Вместе с детьми: фронтиры оценки». Организаторы мероприятия: АНО «Эволюция и филантропия» и БФ «Абсолют— Помощь». Информационный партнер: Пространство коллективной работы «Точка кипения МГППУ». Мероприятие собрало более 100 представителей некоммерческих организаций, экспертов и грантодающих фондов, чтобы обсудить современные тенденции, опыт и перспективы в области оценки социальных программ.

Открыла сессию Эльвира Гарифулина, исполнительный директор БФ «Абсолют— Помощь».

О трендах и новых подходах в оценке программ рассказала Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия» (презентация).

Свой опыт в области оценки программ представили НКО-лидеры.

Антонина Попова, методист БФ «Волонтеры в помощь детям-сиротам» поделилась опытом построения системной и автоматизированной системы мониторинга и оценки, охватывающей все программы фонда: от поддержки кровных и замещающих семей до проектов сопровождаемого проживания. За последние годы фонд перешёл от внешней мотивации (требования доноров) к внутренней — развитие оценки стало частью стратегии до 2030 года. Более 70% деятельности фонда переведено в единую автоматизированную систему, что позволяет быстро получать аналитику и принимать решения на основе данных. Для оценки используются как количественные, так и качественные методы (интервью, сторителлинг, самооценка), а в процесс вовлекаются не только родители, но и молодые взрослые с ментальными особенностями и дети с опытом сиротства. Важным достижением спикер назвала совместные исследования с другими НКО для оценки эффективности программ и создание единой логической модели практики. Среди сложностей — нехватка ресурсов, сопротивление сотрудников инновациям и отсутствие профильных конкурсов на проведение исследований. В будущем фонд планирует завершить автоматизацию, описать все практики в доказательном ключе, развивать компетенции сотрудников в использовании ИИ и делиться результатами исследований с профессиональным сообществом (презентация).

Елена Лянгузова, руководитель программ поддержки детей и взрослых с особенностями развития и их семей РООРДИ «Дорогою добра» Кировской области рассказала системе внутреннего мониторинга и оценки в 1С, которую фонд выстраивает для поддержки детей и взрослых с особенностями развития и их семей. Она подробно описала, как организация регулярно собирает данные от родителей, самих детей и специалистов: используются анкеты удовлетворённости, визуальные инструменты для самооценки подростков с разными возможностями; как автоматизированная система на базе 1С используется для фиксации количественных и качественных результатов работы. Такой подход позволяет не только отслеживать динамику развития каждого ребёнка, но и помогают принимать управленческие решения при планировании работы (презентация).

Виктория Копейкина, советник по стратегическому развитию программ Благотворительной организации «Детские деревни SOS» рассказала трендах оценки внутри организации: рост интереса к оценке среди сотрудников, активное вовлечение участников программ и сотрудников в оценку, использование ИИ (презентация).

Александр Маньшин, старший специалист по мониторингу и оценке БФ СТ «Все Получится!» рассказал о развитии системы мониторинга и оценки в рамках социальной франшизы фонда, направленной на сопровождение трудоустройства молодых людей с инвалидностью, ОВЗ и сиротским опытом. За последние два года команда активно вовлекает региональные НКО-провайдеры в сбор и анализ данных через CRM-систему, а также внедряет новые инструменты — например, внутренний дашборд на базе Яндекс DataLens для оперативной аналитики и визуализации результатов. Особое внимание уделяется описанию франшизы в доказательном подходе совместно с экспертами, что позволяет по-новому взглянуть на процессы и повысить качество оценки. Кроме того, фонд помогает партнёрам выстраивать собственные системы мониторинга и оценки, поддерживает их в разработке теорий изменений и создании инструментов для оценки внедрения технологий (презентация).

На сессии выступили представители грантодающих фондов.

Эльвира Гарифулина, БФ «Абсолют—Помощь», рассказала о трёх «П» доказательного подхода — применении, партнёрстве и продвижении (презентация), а Инна Ширшова, руководитель направления «Инклюзивная среда» БФ «Вклад в будущее», поделился опытом системного анализа инклюзивной среды и планами по развитию этого направления (презентация).

Далее участники работали в тематических группах:

  • Приёмные семьи и профилактика семейного неблагополучия
  • Семьи с детьми с ОВЗ
  • Кризисные центры
  • Социализация подростков из учреждений
  • В конфликте с законом
  • Паллиативный статус
  • Молодые взрослые с ОВЗ

В группах проходили дискуссии, обсуждение и совместная фиксация актуальных трендов, вызовов и направлений развития оценки.

В заключительной части были представлены ресурсы и возможности от донорских инфраструктурных НКОТатьяна Подушкина, руководитель Центра доказательного социального проектирования МГППУ, рассказала о новых направлениях работы Точки кипения МГППУ в области внедрения доказательного подхода, процедуре верификации практик на основе требований Стандарта доказательности, работе Реестра социальных технологий с доказанной эффективностью на цифровой платформе МГППУ (презентация). Екатерина Ядова, директор проектов БФ «Вклад в будущее» презентовала опыт развития Методики оценки решений с учетом их социальной значимости (МОРСЗ), а также пригласила участвовать в тестировании МОРСЗ (презентация). Эльвира Гарифулина презентовал конкурс исследований БФ «Абсолют— Помощь» (презентация).

Мероприятие завершилось общим обсуждением, в ходе которого участники тематических групп представили свои карты трендов и видение направлений развития оценки в сфере детства.

На сессии проводились опросы участников.

Относительно опыта в МиО — 42% участников только начинают разбираться в мониторинге и оценке, у 39% есть опыт использования МиО, 19% — это эксперты, которые консультируют других.

Представленность участников из разных практик: набольший процент участников сессии (34%) работают с людьми с паллиативным статусом, 17% — с молодыми взрослыми с ОВЗ, 16% — с приемными семьями.

Актуальные аспекты развития МиО. 61% участников оценили прогресс в развитии системы МиО в своей организации за последний год как умеренный, а 33% — как значительный. Основными мотивами развивать систему МиО выступают: желание повысить эффективность и качество программ, стремление лучше понимать потребности благополучателей, требования доноров и интерес к внедрению инновационных подходов. Наиболее актуальными аспектами МиО для участников являются: анализ и интерпретация данных для принятия решений, вовлечение благополучателей в МиО, использование ИИ в МиО, вопрос «как вовлекать команду в процессы МиО?».

Использование доказательного подхода. 73% участников назвали получение объективной обратной связи о развитии программ главным мотиватором в использовании доказательных подходов и инструментов верификации.

В завершающем опросе участники поделились тем, что было для них полезным на сессии.

Отвечая на вопрос «С каким настроением или чувством вы уходите с сегодняшней сессии?», участники сообщили, что вдохновлены новыми идеями, почувствовали желание изменить что-то в работе, почувствовали поддержку сообщества, но также указали, что остались вопросы, на которые они будут искать ответы (вопрос с множественным выбором).

На вопрос о следующем шаге наибольшее количество ответов набрали опции: обсудить идеи с командой, изучить новые инструменты и подходы, внедрять изменения в свои программы.

Полезность мероприятия: 76% участников назвали мероприятие очень полезным, 24% — скорее полезным.

Запись сессии доступна по ссылкам: VKrutube.

«Оцените мой проект!» — выпуск подкаста об оценке социальных проектов

Алексей Кузьмин и Владимир Балакирев? специалисты по оценке программ и проектов социальной направленности из компании «Процесс Консалтинг», приняли участие в эпизоде «Оцените мой проект!» подкаста «Чейные дети».

Это эпизод о том, что такое оценка социальных программ, почему это не проверка, а пространство для развития. Как оценка может быть связана не с внешним контролем, а внутренней честностью и какие нужны качества человеку, который может всерьёз говорить об эффективности социальной деятельности.

Разные ракурсы к системному анализу Инклюзивной среды

14 апреля на V Научно-практической конференции «Ценность каждого»: преодоление исключенности» был представлен прототип системной модели развития инклюзивной среды, которая объединяет три ключевых методологии: анализ динамики обратных связей, учет системной травмы и социально-поведенческие изменения. Модель разрабатывалась БФ «Вклад в будущее» совместно с АНО «Эволюция и Филантропия».

Начиная сессию Инна Ширшова, Благотворительный фонд «Вклад в будущее» сказала, что Фонд инвестирует в самые разнообразные программы развития Инклюзивной среды, которые находятся  на разных этапах пути семьи с особенным ребенком и Фонду важно понимать , как инвестиции в одно направление могут повлиять на развитие другого.

Презентацию модели провели О.Евдокимова, исполнительный директор АНО «Эволюция и филантропия», и О. Заводилкина, старший научный сотрудник ФГБУ ИИДСВ РАО, эксперт центра доказательного социального проектирования МГППУ (презентация).

Ключевые моменты, важные для понимания контекста и особенностей представляемой модели из выступления О.Евдокимовой:

1)  Во-первых, эта задача стояла в рамках нашего сотрудничества с Фондом по развитию методики МОРСЗ. Эта методика сама по себе довольно инновационная, не самая простая и она предполагает использование Деревьев проблем, логических моделей и т.д.  И количественное измерение проблематики. И изначально задача стояла как создание Дерева проблем для направления инклюзивной среды, в его, скажем так, классическом виде.  

2) Когда мы приступили к выполнению этой задачи, то столкнулись с серьезным методологическим вызовом. Инклюзивная среда — это чрезвычайно сложная, динамическая система с множеством взаимосвязанных и взаимодействующих на разных уровнях акторов. Традиционные подходы анализа и визуализации здесь не работают, поскольку не позволяют уловить и отобразить  всю сложность и динамику происходящих процессов.

3) И нам пришлось  осваивать принципиально новые инструменты системного мышления и системного подхода. Мы, конечно, изучали соответствующий зарубежный опыт, но сами руками никогда не делали. Более того, нам не удалось найти какие-то российские аналоги, возможно они есть, но у нас было довольно ограниченное время на все 2-3 месяца на все. Таким образом, для нас  это был одновременно сложный и увлекательный такой пилот и мы благодарим лично Инну Ширшову и Екатерину Ядову  за уникальную возможность и сам Фонд в целом за лидерство в вопросах социальных  и управленческих инноваций  по развитию Инклюзивной среды.  Вообще, очень хорошо для сектора, когда есть частные и корпоративные Фонда, которые берут на себя  определенные риски, потому что без них невозможны никакие системные изменения.

 4) При этом мы придерживаемся позиции, что системные изменения можно рассматривать по-разному — от реального опыта до научных теорий. Все подходы полезны, просто смотрят на систему под разным углом. Но для старта важно было выбрать какой-то один ракурс и это был конечно ракурс Фонда. Я сейчас вот говорю конечно, но на практике этот этап согласования ракурса оказался если не самым сложным,  то как минимум самым длительным.  

5) В итоге у нас получился такой методологический бриколаж. Мы остановились на популярном системном подходе « 6 вод системеных изменений» (вот он на рисунке представлен). Он специфичен для Инклюзивной тематики и  предусматривает  анализ системы одновременно на 3-х уровнях: это т.н структурный уровень ( обычно здесь сосредоточены усилия анализа). Но мы постарались уйти  на 2 уровня глубже , то есть на уровень взаимодействий и на уровень ментальных моделей. Для этого и для учета инклюзивной специфики дополнительно применили еще 2 методические рамки  — травмо-информированный подход и методология социальных и поведенческих изменений, рекомендованная ЮНИСЭФ.

6) Для визуализации этих сложных взаимосвязей мы использовали специальные инструменты — диаграммы причинно-следственных связей (CLD).  Вообще Петли обратной связи – это ключевой механизм в системной анализе, помогающий понять динамику систему и выявить ключевые точки воздействия. И также мы попытались использовать  диаграммы запасов и потоков (SFD), но это инструмент больше для количественного моделирования и мы пока вглубь него  не пошли, это м.б. следующим шагом.  

7) На основе этого анализа мы создали прототип модели, который является только началом пути и требует осмысления, корректировок и дальнейшего развития. Мы осознаем его ограничения, прежде всего, сложности восприятия особенного с первого раза, да и не с первого тоже. Вообще нелинейная  визуализация требует сопровождающего нарратива. Кроме того, пока нет общепринятого у нас в секторе глоссария для описания таких систем, что добавляет сложности в коммуникации.

8) Сейчас мы находимся на важном этапе верификации модели. Через диалоги с различными стейкхолдерами мы наполняем ее доказательной базой, уточняем гипотезы и ищем точки роста. При этом, повторюсь,  мы понимаем, что у разных акторов могут быть свои ракурсы восприятия системы, и это и нормально и правильно. И мы надеемся, что представляемая модель, а возможно будут еще и другие модели, станет общим пространством для критического осмысления и сбора доказательств, что будет способствовать  развитию инклюзивной среды в целом.

Ольга Заводилкина представила подробно алгоритм системного подхода к анализу Инклюзивной среды и отдельно показала на примере, как работают петли обратной связи при анализе ключевой точки «Школьное образование» и как находить рычаги воздействия. В заключении Ольга представила варианты развития Подхода и его использования.

И.Дуденкова, кандидат социологических наук, декан факультета социальных наук МВШСЭН, предложила более четко продумать , как связана представляемая система и внешняя среда. Один из основных обсуждаемых вопросов — где граница система?

Е. Ярская-Смирнова, доктор социологических наук, профессор, заведующий Международной лаборатории исследований социальной интеграции НИУ ВШЭ, отметила: «Очень хорошо, что в системе переплетена статика и динамика», и предложила усилить акцент на работе с неравенством и с «динамикой власти и представленности семей с ЛСИ». Для того, чтобы придать этому подходу больше доказательности и практичности, необходимо разрабатывать критериальные шкалы, определяющие необходимый уровень поддержки со стороны акторов.

А. Маньшин, старший специалист по мониторингу и оценке проекта «Все получится!», член Правления АСОПП, отметил практическую пользу представленной модели, которую он видит, прежде всего, в коммуникационной составляющей. Комментируя диаграмму с анализом трудоустройства, Александр предложил конкретные корректировки для фактора «альтернативное трудоустройство».

Ю. Богданова, руководитель направления КСО Кэпт, член попечительского совета БФ Кэпт, остановилась на важности понимания стрессовых факторов, упомянула важность анализа факторов взаимодействия людей с инвалидностью и общества и экономических расчетов.

Самсонова Е.В., к.псих.н.. вед.н.сотрудник Федерального центра по развитию инклюзивного общего и дополнительного образования ФГБОУ ВО «Московский государственный психолого-педагогический университет», сфокусировалась на вопросе «Что есть инклюзивная среда вообще и для каких детей она выстраивается?». Фактически Елена предложила сменить ракурс с положения семей с ОВЗ на другой, поставив в центр качество школьного образования со всем его многообразием.

А. Мошкин, председатель РООРДИ «Дорогою Добра», г. Киров, рассказал о том, как в их НКО обеспечивается бесшовный путь семьи.

Участвующие в зале слушатели из регионов подчеркнули, что важно оставить пространство для доработки модели и для учета локального контекста, а также предложили свою помощь в этом вопросе.

Cсылка на видео.

Методы вовлечения детей и молодых взрослых с особенностями развития в оценку

Вебинар «Методы вовлечения детей и молодых взрослых с особенностями развития в оценку» был проведен БФ «Абсолют-помощь» 13 ноября 2024

16 октября на конференции АСОПП эксперты обсуждали развитие доказательного подхода в социальной сфере

16 октября на X конференции АСОПП «Развитие оценки в социальной сфере в России: достижения и точки роста» состоялась сессия «Внедрение доказательного подхода на федеральном уровне: стратегия развития консорциума партнерских организаций», на которой представители академического сообщества, государственных и некоммерческих организаций обсудили развитие доказательного подхода в социальной сфере. Провела сессию Татьяна Подушкина, руководитель Центра доказательного социального проектирования МГППУ.

Участники обсуждали, как доказательное проектирование может повысить эффективность социальных программ и улучшить качество социальной работы в целом. Татьяна Подушкина, руководительница «Центра доказательного социального проектирования» МГППУ, представила трехуровневую модель сетевой верификации и поделилась опытом работы инкубатора доказательных социальных практик.

Алексей Газарян, руководитель Аппарата Уполномоченного при Президенте РФ по правам ребенка, рассказал о проблеме тиражирования программ: «не каждая практика, успешная в одном регионе, может быть столь же эффективной в другом. Практики требуют адаптации и гибкости при внедрении на новом месте». Газарян отметил, что такие различия связаны с местными особенностями, что делает процесс распространения более сложным, чем может показаться на первый взгляд.

Игорь Тимофеев, представитель Института дополнительного образования работников социальной сферы Москвы, выделил важную роль грантовых конкурсов в популяризации доказательного подхода среди государственных и некоммерческих организаций. Он отметил, что необходимо вовлекать участников в исследовательскую работу и обучать их научным методам на ранних этапах.

Для успешного распространения доказательного проектирования важна подготовка специалистов. Андрей Некрасов, руководитель Точки кипения МГППУ, рассказал о подготовке специалистов через образовательные программы на базе университета, которые помогают глубже понять доказательный подход и применять его на практике.

Ольга Евдокимова, директор АНО «Эволюция и филантропия», подчеркнула, что образовательные коллаборации должны базироваться на потребностях системы верификации и предложила также обратить внимание на обучение основам доказательного подхода представителей финансирующих организаций. Она отметила, что образовательные коллаборации нужны для повышения уровня знаний специалистов в области доказательных практик   (конкурсы, образовательные программы). Необходимо ответить на вопросы: каким образом можно связать подготовку специалистов к участию в конкурсах и существующие образовательные программы, какие оптимальные стратегии привлечения специалистов к повышению квалификации в области доказательного подхода. Профессионализация специалистов социальной сферы возможна через просвещение и обучение доказательному подходу: разработку разноуровневых образовательных программ по доказательному подходу, развитие синтетической образовательной инфраструктуры для специалистов государственных и некоммерческих организаций сферы детства на основе общей методологии. 

Светлана Гани, заведующая сектором Федерального ресурсного центра психологической службы в системе высшего образования РАО отметила необходимость создания инфраструктуры для независимой оценки социальных практик, включая междисциплинарные исследования и цифровые платформы для обработки данных.

Эльвира Гарифулина, программный директор фонда «Абсолют-Помощь», рассказала, как доказательный подход помогает организациям лучше планировать деятельность, избегать выгорания сотрудников и привлекать больше ресурсов. Это особенно важно для работы с уязвимыми группами населения, где точные данные и научный подход существенно повышают качество помощи.

Екатерина Ядова из фонда «Сбербанк — Вклад в будущее» отметила важность баланса при внедрении доказательного подхода. Глубокая аналитика и научная верификация улучшают результаты, но важно не перегружать социальные организации сложными требованиями. Необходимо сохранить мотивацию и энергию работников, чтобы они могли эффективно реализовывать свои программы, не отвлекаясь на чрезмерные бюрократические процессы.

Видео доступно по ссылке.

При подготовке новости использовался материал, опубликованный на сайте МГППУ.

14 июня в Московском городском педагогическом университете прошла первая экспертная сессия по проблеме оценки социально-ориентированных программ, проектов и инициатив

14 июня в Московском городском педагогическом университете состоялась открытая экспертная сессия «Продукт, результат, воздействие: проблема оценки и измерения социально ориентированных программ, проектов и инициатив».

На площадке МГПУ ведущие эксперты России в области оценки социального воздействия обсудили вопросы, связанные с проблемой измерения импакта проектных инициатив в сфере науки и высшего образования.

На сессии рассматривались следующие вопросы:

  1. Какие этапы работ необходимо выполнить при разработке подхода к оценке социального воздействия от реализации социально-ориентированных практик, проектов, программ и инициатив университета?
  2. Какова специфика оценки проектов негосударственного (НКО) и государственного сектора?
  3. Какова специфика разработки подхода к оценке импакта проектов / программ в сфере образования?
  4. Какова специфика разработки подхода к оценке импакта проектов / программ в сфере науки и технологий?
  5. Возможно ли оценить социальное воздействие проекта после его завершения?

Ключевым направлением экспертной дискуссии стал вопрос создания многоуровневой модели оценки социального воздействия социально-ориентированных проектов, программ и инициатив для российских университетов, включающей образовательную, научно-исследовательскую и общественную миссии вузов.

Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», предложила проанализировать потребности заказчика проектов внутри вуза и понять, какую пользу должны приносить университетские проекты, возможно ли увеличить данную пользу.

Наталья Гладких, главный редактор журнала «Позитивные изменения», ведущий эксперт центра технологических инноваций института социально-экономического проектирования НИУ ВШЭ, и Владимир Вайнер, заведующий центра инновационных экосистем в социальной сфере института социально-экономического проектирования НИУ ВШЭ, лидер Фонда развития медиапроектов и социальных программ «Глэдвэй» (Gladway Foundation), в качестве подхода к оценке предложили опираться на теорию позитивных изменений и использовать модель создания уникального оценочного профиля (УОП) проекта, адаптировав его под потребности университета.

В качестве важного аспекта разработки и оценки социально-ориентированных проектов университета, а также в контексте стратегии развития проектных инициатив университета Владимир Вайнер обозначил необходимость принятия во внимание контекста третьей миссии, которая характеризуется вкладом в социально-экономическое развитие общества, в том числе через обучение служением.

Владимир Балакирев, консультант по оценке программ в компании «Процесс Консалтинг», отметил важность взаимодействия с заказчиком для определения целей и задач проекта, включая ожидаемое социальное воздействие, которое планируется измерять.

В качестве конкретной рекомендации Ольга Евдокимова предложила провести пилотное оценочное исследование для специально отобранных университетских проектов, в рамках которого создать карту проектов, ранжированных по актуальным критериям. Важным аспектом пилотного исследования должно стать вовлечение заинтересованных сотрудников, например, руководителей проектов и научно-исследовательских групп

Общая рекомендация экспертов состояла в том, что для разработки модели оценки университетских проектов необходимо переходить от кабинетной (теоретической) части исследования к практической (эмпирической), в том числе к проведению интервью со стейкхолдерами проектов для определения конкретных потребностей и направлений их решения.

Более подробно с мнениями экспертов можно ознакомиться в видеозаписи трансляции

Гайд обсуждения доступен в презентации. Видео доступно по ссылке.

7 июня на Петербургском международном экономическом форуме прошла секция «Калькулятор эффективности для НКО»

7 июня на Петербургском международном экономическом форуме прошла секция «Калькулятор эффективности для НКО». Организатором секции выступила Социальная платформа фонда «Росконгресс». Модератором секции выступил Дементьев Иннокентий Андреевич, заместитель генерального директора Фонда президентских грантов

Основная задача секции состояла в том, чтобы обсудить перспективы разработки и внедрения ключевых и комплексных методик по оценке результативности и эффективности деятельности некоммерческих организаций, которые бы учитывали многообразие и специфичность направлений НКО и могли быть доступными в использовании для самих команд социальных проектов. Одним из ключевых вопросов, затронутых на секции, был вопрос о необходимости и возможности разработки ясных, объективных, измеримых и сопоставимых показателях положительного социального и экономического влияния проектов.

Приглашенные спикеры отвечали на поставленные модератором вопросы.

Тополева-Солдунова Елена Андреевна, директор автономной некоммерческой организации «Агентство социальной информации», генеральный директор благотворительного фонда «Доброта севера», председатель комиссии по развитию некоммерческого сектора Общественной палаты РФ, ответила на вопросы, насколько сообщество НКО готово к принятию необходимости постоянной оценки результатов своей работы? Какая динамика в этой части наблюдается по линии Общественной палаты в рамках мониторинга и рейтингования НКО.

Шадрин Артём Евгеньевич, генеральный директор Национального агентства развития квалификаций, директор Института социально-экономического проектирования НИУ «Высшая школа экономики», поделился перечнем инструментов, которые помогают сделать культуру оценки результатов понятной не только для институтов развития, но и для самих НКО. Артем Евгеньевич, в частности, упомянул Теорию изменений, а также рассказал, какие методики оценки результатов могут дать НКО импульс для улучшения своих практик и для более системного взгляда на сами практики.
Александрова Александра Борисовна, первый заместитель руководителя Департамента труда и социальной защиты населения города Москвы, поделилась интересным опытом разработки показателей эффективности использования помещений, выделяемых Департаментом на безвозмездной основе для НКО.
Евдокимова Ольга Анатольевна, исполнительный директор АНО поддержки
и развития инноваций в социальной сфере «Эволюция и филантропия», в своем выступлении затронула тему сопоставимых показателей и рейтингов эффективности и необходимости фокусировки на осмыслении некоммерческими организациями и финансирующими сторонами своей работы.

В частности, в своем выступлении Ольга Евдокимова отметила несколько моментов:

  • Цель НКО – это максимизация  социального воздействия и акселерация социальных преобразований для улучшения качества жизни людей.  В этой связи оценка играет важную роль, которая не сводится к определению только набора показателей, пусть даже ясных.  Более того, фокусировка исключительно на показателях даже вредна, в определенном смысле.
  • Показатели  редко дают возможность принимать решения, направленные на развитие, на обучение, на управление неопределенностью. Фокус должен быть на развитии оценочного мышления, на принятии решений, основываясь на глубоком понимании, как и почему и для кого и в каких обстоятельствах работает программа. Показателями это многообразие не охватишь. В сложном мире оценка играет новую роль: не столько для подсчета эффекта, сколько для прогнозирования и для корректировки и максимизации социальных преобразований.  Сейчас важен акцент на кастомизацию, гибкость, уникальность.  Трудность создает отсутствие бенчмарков для сравнения.
  • Чтобы оценка становилась более массовым явлением,  более зрелым процессом в НКО, необходимо,  с одной стороны,  снижать  методологические барьеры (больше простых доступных руководств и материалов,  примеров и  площадок для обмена). С другой стороны, необходимо сохранять профессиональный уровень и профессиональный дискурс, в том числе этические стандарты, особенно при вовлечении благополучателей.  
  • Нужны независимые верификации социальных результатов.  ВУЗы должны включаться  более активно и профессионально. Важны осмысление, обобщение, теоретические  и практические рамки. В исследования могут включаться студенты.
  • IT-технологии, в том числе, искусственный интеллект, будут в некой перспективе снижать методологические барьеры. Кроме внешних барьеров, НКО надо уметь управлять изменениями внутри команды, которая будет сопротивляться новациям, связанными с оценкой. Нужны стимулы для НКО  со стороны донорского сообщества, но и оно само должно становиться более зрелым. 
  • В целом донорское сообщество остается довольно незрелым в плане оценки программ. Культура принятия решений о социальном инвестировании  на основе доказательств  остается довольно низкой. Подход к оценке влияния донорского сообщества должен соотноситься со стратегией социального воздействия, а мало у кого она разработана в виде, пригодном для создания полезной модели оценки. Отсутствует внятная Теория изменений, например.  Многие доноры заявляют о том, что их стратегия предполагает системные изменения.  Но мало у кого есть внятное описание, что такое системное воздействие и его оценка.
  • Это не означает, что показатели вообще не нужны. Могут быть наборы показателей на разных уровнях и для разных моделей воздействия, для разных стейкхолдеров, для разных целей. Нужно использовать показатели верхнего (национальный уровень), среднего (на уровне тематики (приемные семьи), нижнего (на уровне организации). Необходима кластеризация моделей воздействия: типовые модели оценки, включая показатели.  Стоимостные оценки  (оценки социально-экономической эффективности) очень нужны, но у нас практически отсутствует необходимая  статистика.
  • Растет запрос со стороны общества на рейтинги, рэнкинги.

Гурцкая Диана Гудаевна, народная артистка России, художественный руководитель «Центра социальной интеграции Дианы Гурцкая», председатель комиссии по доступной среде и развитию инклюзивных практик Общественной палаты РФ, рассказала о том, как центр проводит оценку и отслеживает долгосрочные результаты своей работы.
Маковецкая Дарья Тимофеевна, руководитель ресурсного центра развития добровольчества Республики Карелия, член Совета Ассоциации волонтерских центров, поделилась своим опытом исследований развития добровольчества.
Афрова Елена Викторовна, директор центра реабилитации животных «Верность», рассказала об успехах в масштабировании практики, и о том, какие есть индикаторы для понимания, что центр движется в правильном направлении.
Бесшапошникова Екатерина Николаевна, руководитель образовательных программ, Фонд «Наше будущее», ответила на вопрос, получается ли у социальных предпринимателей выразить экономически прогнозируемые ими социальные результаты и эффекты, уложить их в бизнес-модель.

Видео секции доступно по ссылке.

Развитие общей базы знаний в области МиО для кризисных центров было представлено на встрече 20 мая

20 мая в Москве прошла рабочая встреча руководителей и юристов организаций, имеющих в своем составе кризисные центры временного проживания для женщин с детьми, на которой Ольга Евдокимова рассказала о развитии общей базы знаний в области МиО для Кризисных центров. В частности, Ольга рассказала о наработках сообщества практиков в сфере оценки , которое развивалось в рамках проекта, реализованного АНО «Эволюция и Филантропия» в 2021- 2022 годах, представила онлайн-сервис «ПИОН» и продемонстрировала собранные там инструменты для кризисных центров. Также были представлены возможности обучения на онлайн-курсе «Оценка проектов и программ в сфере детства», очередной старт которого запланирован на лето 2024 года и сервисы проекта «Больше историй«, направленном на расширение применения практик вовлечения благополучателей в деятельность НКО сферы детства через использование сторителлинга для оценки программ (презентация).

Во время мероприятия участники встречи обсуждали вопросы оценки эффективности работы Кризисных центров. Был согласованы следующие ключевой показатель социальной эффективности: Количество решенных случаев (ребенок/cемья в безопасности, ребенок сохранен в семье и пр.) за определенный срок и за определенную сумму. При формулировании такого ключевого показателя сохраняется вариативность решаемой проблематики и учет сложности кейсов. При этом учитываются доступные для организации ресурсы. Что такое решенный случай организация может решить самостоятельно, определив необходимый минимум решенных задач с заданным качеством. Отдельно обсуждался вопрос — как оценить эффективность, если ребенок не смог остаться в семье. Было предложено оценивать качество работы и меру снижаемого вреда.

Критерием устойчивости может служить — количество семей, в которых результат сохраняется, например, в течение года или другого срока, определенным Кризисным центром. При этом важно обращать внимание и на устойчивость самой организации , на ее возможность быть эффективной в течение продолжительного времени. Для этого нужны показатели организационной и финансовой устойчивости. В разрезе этого обсуждался вопрос о роли информационной открытости в работе КЦ и об управлении «потоком клиентов». Было также отмечено, что для разных стейкхолдеров на разных этапах будут полезны разные наборы индикаторов

Какими инструментами можно пользоваться, чтобы измерять эти показатели?

  1. Административная отчетность (планы развития, например)
  2. Интервью на входе и выходе, сторителлинг через какое-то время, наблюдения администраторов и специалистов.
  3. Самооценка Кризисного центра, экспертные оценки и бенчмаркинг.

Какие сложные вопросы озвучивали участники?

  1. Границы подотчетности КЦ
  2. Решенный кейс или субъективное благополучие женщины
  3. Отсутствие бенчмарков, позволяющих сохранять ценность многообразия
  4. Вклад женщины и вклад КЦ в решение проблемы
  5. Как работать с негативной обратной связью
  6. Влияние показателей эффективности на гос. задание

На встрече был также проведен опрос участников о состоянии МиО в кризисных центрах, в котором приняли участие 15 специалистов.

33% ответили, что у них в организации был значительный прогресс в области МиО за последний год, 47% — что прогресс был незначительным, 13% сообщили, что прогресса скорее не было.

53% респондентов сообщили, что им скорее актуальная задача по развитию МиО в организации, 40% — что очень актуальна.

17 октября на конференции АСОПП прошла сессия «Анализ данных в оценке проектов и программ»

17 октября в рамках IX конференции АСОПП прошла сессия «Анализ данных в оценке проектов и программ», которую провели Ольга Заводилкина и Ольга Евдокимова.

Ольга Евдокимова рассказала об актуальном состоянии анализа данных для оценки социальных результатов программ и проектов в сфере детства и рассказала о возможностях для развития в этой теме, которые предоставляет АНО «Эволюция и Филантропия», в частности, об онлайн-курсе «Оценка программ в сфере детства» и работе группы «САД» («Статистический анализ данных») (презентация).

Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», представила кейс «Как формировать группы сравнения на этапе сбора данных и на этапе анализа» на примере исследования «Влияние деятельности НКО на социальную адаптацию детей-сирот: опрос благополучателей», которое проводил БФ «Расправь Крылья!» (презентация). Ольга также рассказала о работе группы САД (презентация).

Елена Лянгузова, РООРДИ «Дорогою добра» Кировской области, рассказала об анализе данных и выборе инструментов для их сбора (презентация).

Марина Ушакова, руководитель МБУ города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель» рассказала об использовании результатов анализа для развития практики (презентация).

Видео доступно по ссылке.