Развитие сообщества практиков

7 июня на Петербургском международном экономическом форуме прошла секция «Калькулятор эффективности для НКО». Организатором секции выступила Социальная платформа фонда «Росконгресс». Модератором секции выступил Дементьев Иннокентий Андреевич, заместитель генерального директора Фонда президентских грантов

Основная задача секции состояла в том, чтобы обсудить перспективы разработки и внедрения ключевых и комплексных методик по оценке результативности и эффективности деятельности некоммерческих организаций, которые бы учитывали многообразие и специфичность направлений НКО и могли быть доступными в использовании для самих команд социальных проектов. Одним из ключевых вопросов, затронутых на секции, был вопрос о необходимости и возможности разработки ясных, объективных, измеримых и сопоставимых показателях положительного социального и экономического влияния проектов.

Приглашенные спикеры отвечали на поставленные модератором вопросы.

Тополева-Солдунова Елена Андреевна, директор автономной некоммерческой организации «Агентство социальной информации», генеральный директор благотворительного фонда «Доброта севера», председатель комиссии по развитию некоммерческого сектора Общественной палаты РФ, ответила на вопросы, насколько сообщество НКО готово к принятию необходимости постоянной оценки результатов своей работы? Какая динамика в этой части наблюдается по линии Общественной палаты в рамках мониторинга и рейтингования НКО.

Шадрин Артём Евгеньевич, генеральный директор Национального агентства развития квалификаций, директор Института социально-экономического проектирования НИУ «Высшая школа экономики», поделился перечнем инструментов, которые помогают сделать культуру оценки результатов понятной не только для институтов развития, но и для самих НКО. Артем Евгеньевич, в частности, упомянул Теорию изменений, а также рассказал, какие методики оценки результатов могут дать НКО импульс для улучшения своих практик и для более системного взгляда на сами практики.
Александрова Александра Борисовна, первый заместитель руководителя Департамента труда и социальной защиты населения города Москвы, поделилась интересным опытом разработки показателей эффективности использования помещений, выделяемых Департаментом на безвозмездной основе для НКО.
Евдокимова Ольга Анатольевна, исполнительный директор АНО поддержки
и развития инноваций в социальной сфере «Эволюция и филантропия», в своем выступлении затронула тему сопоставимых показателей и рейтингов эффективности и необходимости фокусировки на осмыслении некоммерческими организациями и финансирующими сторонами своей работы.

В частности, в своем выступлении Ольга Евдокимова отметила несколько моментов:

• Цель НКО – это максимизация  социального воздействия и акселерация социальных преобразований для улучшения качества жизни людей.  В этой связи оценка играет важную роль, которая не сводится к определению только набора показателей, пусть даже ясных.  Более того, фокусировка исключительно на показателях даже вредна, в определенном смысле.
• Показатели  редко дают возможность принимать решения, направленные на развитие, на обучение, на управление неопределенностью. Фокус должен быть на развитии оценочного мышления, на принятии решений, основываясь на глубоком понимании, как и почему и для кого и в каких обстоятельствах работает программа. Показателями это многообразие не охватишь. В сложном мире оценка играет новую роль: не столько для подсчета эффекта, сколько для прогнозирования и для корректировки и максимизации социальных преобразований.  Сейчас важен акцент на кастомизацию, гибкость, уникальность.  Трудность создает отсутствие бенчмарков для сравнения.
• Чтобы оценка становилась более массовым явлением,  более зрелым процессом в НКО, необходимо,  с одной стороны,  снижать  методологические барьеры (больше простых доступных руководств и материалов,  примеров и  площадок для обмена). С другой стороны, необходимо сохранять профессиональный уровень и профессиональный дискурс, в том числе этические стандарты, особенно при вовлечении благополучателей.  
• Нужны независимые верификации социальных результатов.  ВУЗы должны включаться  более активно и профессионально. Важны осмысление, обобщение, теоретические  и практические рамки. В исследования могут включаться студенты.
• IT-технологии, в том числе, искусственный интеллект, будут в некой перспективе снижать методологические барьеры. Кроме внешних барьеров, НКО надо уметь управлять изменениями внутри команды, которая будет сопротивляться новациям, связанными с оценкой. Нужны стимулы для НКО  со стороны донорского сообщества, но и оно само должно становиться более зрелым. 
• В целом донорское сообщество остается довольно незрелым в плане оценки программ. Культура принятия решений о социальном инвестировании  на основе доказательств  остается довольно низкой. Подход к оценке влияния донорского сообщества должен соотноситься со стратегией социального воздействия, а мало у кого она разработана в виде, пригодном для создания полезной модели оценки. Отсутствует внятная Теория изменений, например.  Многие доноры заявляют о том, что их стратегия предполагает системные изменения.  Но мало у кого есть внятное описание, что такое системное воздействие и его оценка.
• Это не означает, что показатели вообще не нужны. Могут быть наборы показателей на разных уровнях и для разных моделей воздействия, для разных стейкхолдеров, для разных целей. Нужно использовать показатели верхнего (национальный уровень), среднего (на уровне тематики (приемные семьи), нижнего (на уровне организации). Необходима кластеризация моделей воздействия: типовые модели оценки, включая показатели.  Стоимостные оценки  (оценки социально-экономической эффективности) очень нужны, но у нас практически отсутствует необходимая  статистика.
• Растет запрос со стороны общества на рейтинги, рэнкинги.

Гурцкая Диана Гудаевна, народная артистка России, художественный руководитель «Центра социальной интеграции Дианы Гурцкая», председатель комиссии по доступной среде и развитию инклюзивных практик Общественной палаты РФ, рассказала о том, как центр проводит оценку и отслеживает долгосрочные результаты своей работы.
Маковецкая Дарья Тимофеевна, руководитель ресурсного центра развития добровольчества Республики Карелия, член Совета Ассоциации волонтерских центров, поделилась своим опытом исследований развития добровольчества.
Афрова Елена Викторовна, директор центра реабилитации животных «Верность», рассказала об успехах в масштабировании практики, и о том, какие есть индикаторы для понимания, что центр движется в правильном направлении.
Бесшапошникова Екатерина Николаевна, руководитель образовательных программ, Фонд «Наше будущее», ответила на вопрос, получается ли у социальных предпринимателей выразить экономически прогнозируемые ими социальные результаты и эффекты, уложить их в бизнес-модель.

Видео секции доступно по ссылке.

20 мая в Москве прошла рабочая встреча руководителей и юристов организаций, имеющих в своем составе кризисные центры временного проживания для женщин с детьми, на которой Ольга Евдокимова рассказала о развитии общей базы знаний в области МиО для Кризисных центров. В частности, Ольга рассказала о наработках сообщества практиков в сфере оценки , которое развивалось в рамках проекта, реализованного АНО «Эволюция и Филантропия» в 2021- 2022 годах, представила онлайн-сервис «ПИОН» и продемонстрировала собранные там инструменты для кризисных центров. Также были представлены возможности обучения на онлайн-курсе «Оценка проектов и программ в сфере детства», очередной старт которого запланирован на лето 2024 года и сервисы проекта «Больше историй«, направленном на расширение применения практик вовлечения благополучателей в деятельность НКО сферы детства через использование сторителлинга для оценки программ (презентация).

Во время мероприятия участники встречи обсуждали вопросы оценки эффективности работы Кризисных центров. Был согласованы следующие ключевой показатель социальной эффективности: Количество решенных случаев (ребенок/cемья в безопасности, ребенок сохранен в семье и пр.) за определенный срок и за определенную сумму. При формулировании такого ключевого показателя сохраняется вариативность решаемой проблематики и учет сложности кейсов. При этом учитываются доступные для организации ресурсы. Что такое решенный случай организация может решить самостоятельно, определив необходимый минимум решенных задач с заданным качеством. Отдельно обсуждался вопрос — как оценить эффективность, если ребенок не смог остаться в семье. Было предложено оценивать качество работы и меру снижаемого вреда.

Критерием устойчивости может служить — количество семей, в которых результат сохраняется, например, в течение года или другого срока, определенным Кризисным центром. При этом важно обращать внимание и на устойчивость самой организации , на ее возможность быть эффективной в течение продолжительного времени. Для этого нужны показатели организационной и финансовой устойчивости. В разрезе этого обсуждался вопрос о роли информационной открытости в работе КЦ и об управлении «потоком клиентов». Было также отмечено, что для разных стейкхолдеров на разных этапах будут полезны разные наборы индикаторов

Какими инструментами можно пользоваться, чтобы измерять эти показатели?

1. Административная отчетность (планы развития, например)
2. Интервью на входе и выходе, сторителлинг через какое-то время, наблюдения администраторов и специалистов.
3. Самооценка Кризисного центра, экспертные оценки и бенчмаркинг.

Какие сложные вопросы озвучивали участники?

1. Границы подотчетности КЦ
2. Решенный кейс или субъективное благополучие женщины
3. Отсутствие бенчмарков, позволяющих сохранять ценность многообразия
4. Вклад женщины и вклад КЦ в решение проблемы
5. Как работать с негативной обратной связью
6. Влияние показателей эффективности на гос. задание

На встрече был также проведен опрос участников о состоянии МиО в кризисных центрах, в котором приняли участие 15 специалистов.

33% ответили, что у них в организации был значительный прогресс в области МиО за последний год, 47% — что прогресс был незначительным, 13% сообщили, что прогресса скорее не было.

53% респондентов сообщили, что им скорее актуальная задача по развитию МиО в организации, 40% — что очень актуальна.

17 октября в рамках IX конференции АСОПП прошла сессия «Анализ данных в оценке проектов и программ», которую провели Ольга Заводилкина и Ольга Евдокимова.

Ольга Евдокимова рассказала об актуальном состоянии анализа данных для оценки социальных результатов программ и проектов в сфере детства и рассказала о возможностях для развития в этой теме, которые предоставляет АНО «Эволюция и Филантропия», в частности, об онлайн-курсе «Оценка программ в сфере детства» и работе группы «САД» («Статистический анализ данных») (презентация).

Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», представила кейс «Как формировать группы сравнения на этапе сбора данных и на этапе анализа» на примере исследования «Влияние деятельности НКО на социальную адаптацию детей-сирот: опрос благополучателей», которое проводил БФ «Расправь Крылья!» (презентация). Ольга также рассказала о работе группы САД (презентация).

Елена Лянгузова, РООРДИ «Дорогою добра» Кировской области, рассказала об анализе данных и выборе инструментов для их сбора (презентация).

Марина Ушакова, руководитель МБУ города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель» рассказала об использовании результатов анализа для развития практики (презентация).

Видео доступно по ссылке.

31 мая Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», выступила с докладом «Доказательный подход в сфере детства – как основа для устойчивости и роста эффективности социальной сферы» на VII Всероссийской научно-практической конференции «Сохраним семью для ребенка!» .

Ольга рассказала о создании необходимой инфраструктуры и пилотирование доказательного подхода в период с 2016 по 2023 гг. Говоря о барьерах, с которыми сталкиваются организации, решившие работать в доказательном подходе, Ольга отметила такие факторы как организационная культура, методические сложности и недостаток компетенций в сфере МиО, затратность и отсутствие доступных и качественных данных. В докладе также освещались вопросы условий для развития доказательного подхода и уделялось внимание доступным ресурсам.

Организатор: Межрегиональная общественная организация по содействию семьям с детьми в трудной жизненной ситуации «Аистенок» ( МОО «Аистенок») основана в 2003 г.

Участники Конференции — руководители и специалисты государственных учреждений, социально ориентированных некоммерческих и религиозных организаций из регионов РФ, имеющих на базе организаций стационары (приюты, шелтеры, убежища и др.) для проживания женщин с детьми в трудной жизненной ситуации.

Конференция направлена на повышение эффективности деятельности в сфере профилактики социального сиротства и помощи семьям с детьми в кризисных ситуациях. Конференция проводится с использованием пожертвования Благотворительного фонда «Абсолют-Помощь».

Презентация доступна по ссылке.

19 мая прошла последняя встреча третьего потока группы «Статистический анализ данных». Группа начала свою работу 10 марта, состоялось 5 рабочих встреч. Пилотная группа проходила в апреле — июле 2022, второй поток работал сентябре-декабре 2022. Видео Ольги Заводилкиной о работе группы смотрите по ссылке.

В третьем потоке группы приняли участие 5 специалистов из 4-х организаций некоммерческих организаций:

• БФ «Волонтеры в помощь детям-сиротам»;
• Санкт-Петербургское государственное бюджетное учреждение «Городской информационно-методический центр «Семья»;
• Ассоциация «Драйвер роста»;
• АНО «Эволюция и Филантропия».

Отзыв Сергея Назарова, участника группы:

«Мы окончательно встали на путь оценочного доказательного подхода в реализации своих проектов. Теория изменения дает методологию такого подхода. А «анализ данных» помогает проверить наши модели математическим точным способом. И это, безусловно, делает оценку более адекватной.
 
Анализ статистическими инструментами позволяет увидеть то, что обычным взглядом иной раз и не видно, а иной раз видно совершенно не правильно. Кроме того, анализ данных позволяет скорректировать саму модель проектной «теории изменений», выбрать более значимые факторы и показатели, более четко сформулировать гипотезу воздействия проекта на целевую аудиторию. Мы благодарны организаторам (Ольга Евдокимова) и ведущей (Ольга Заводилкина) курса за возможность на практике попробовать статистические инструменты и понять, как это работает. После курса стало понятно, как внедрять статистический анализ данных в свои проекты. Но я все-таки понимаю, что в этом вопросе я скорей еще подмастерье и помощь более опытных экспертов еще пригодится».

Мы благодарим ведущую группы Ольгу Заводилкину, приглашенного эксперта АНО «Эволюция и Филантропия», за методическую поддержку участников.

Презентация итогов работы 3 потока планируется в июне.

16 марта 2023 года БФ «Найди семью» провел вебинар «Применение доказательного подхода в работе с приемными семьями».

Видео доступно по ссылке.

22 марта прошла встреча тематической группы «Оценка программ помощи семьям с детьми с ОВЗ», в которой приняли участие 34 специалиста из 17 регионов РФ.

Открыла встречу Ольга Евдокимова (АНО «Эволюция и Филантропия»), которая рассказала об итогах работы площадки в 2022 году и планах на 2023 год, а также об инструментах и материалах, накопленных за время работы группы, которые доступны в онлайн-сервисе ПИОН и онлайн-базе «Слушай с пользой!» (презентация).

Далее выступили активные участники площадки, которые поделились новостями в области МиО в своих организациях:

• Мария Лукьянова и Оксана Матвеева, Региональная общественная организация «Красноярский центр лечебной педагогики», рассказали своем проведенном в конце 2022 года социологическом исследовании удовлетворенности родителей услугами ранней помощи детям до 3-х лет. Исследование было проведено совместно с центром социологических исследований «Мониторинг общественного мнения» (презентация).
• Мария Полянская, БФ «Спина Бифида», рассказала о качественном исследовании, которое организация провела для создания нового онлайн-курса «Школа социального работника» (презентация).

В практической части встречи специалисты Благотворительного фонда «Даунсайд Ап» Александр Боровых, директор отдела стратегий, и Анна Хомякова, аналитик, рассказали методологии и результатах оценки вклада фонда в достижение социальных результатов. Александр рассказал о том, почему такие исследования проводит «Даунсайд Ап» и почему, по его мнению, исследования важны для любой организации: «Исследования и анализ своей деятельности, конечно, надо проводить. Вопрос только в масштабе этого исследования и наличии ресурсов. Это дает возможность рассказать о деятельности организации в простой и доступной форме. С помощью исследования можно получить мнение благополучателя, а не руководителя или специалиста. Часто специалисты знают о достигнутых результатах, но недостаточно, когда об этом знают 2-3 человека. А когда эти результаты появляются на основе проведенного опроса с хорошим уровнем достоверности информации, это уже совершенно другой уровень«. Александр подчеркнул, что полученные результаты опросов важно включать во внешние коммуникации организации (соц.сети, рассылки, презентации и пр.), и этому в БФ «Даунсайд Ап» уделяется специальное внимание (презентация: часть 1 и часть 2).

На встрече был проведен экспресс-опрос участников о прогрессе МиО в их организациях за 2022 год: 24% сообщили о значительном и 48% о небольшом 48% прогрессе в этой области, 8% ответили, что прогресса не было, 20% затруднились с ответом.

По итогам встречи были намечены следующие темы для дальнейших обсуждений:

1. Применение IT-технологий, в том числе, применение искусственного интеллекта для МиО.
2. Виды оценочных вопросов, их формулировка.
3. Методологические аспекты Оценки влияния (Impact Evaluation)
4. Подходы к оценке обучающих курсов, которые проводят НКО.
5. Сравнение результатов исследований, проводимых НКО по схожим тематикам.

Видео встречи см. по ссылке.

С начала этого года на постоянной основе заработал цикл семинаров для специалистов сферы детства, использующих технологию наставничества в работе с воспитанниками и выпускниками детских сиротских учреждений. Инициатива поддержана Центром доказательных социальных технологий и направлена на выработку единого подхода, обмен опытом и систематизацию представлений данной технологии. 

1 марта состоялся второй онлайн-семинар сообщества. Модератором встречи выступила Татьяна Подушкина , руководитель ЦДСП. В качестве основных спикеров присутствовали Ирина Бобылева , Ольга Евдокимова — руководитель АНО «Эволюция и филантропия», представители фондов: «БФ Дети плюс» , «БФ «Старшие братья и старшие сестры» , «БФ «Волонтеры в помощь детям-сиротам» , БФ «Арифметика добра» .

Приглашенным экспертом выступила Вероника Ослон , профессор кафедры «Возрастная психология имени профессора Л.Ф.  Обуховой» МГППУ. Она представила для обсуждения диагностический комплекс, разработанный в рамках ГЗ от Минпросвещения России , направленный на социально-психологическое обследование детей-сирот, работников и кандидатов в замещающие семьи. В него вошел целый спектр методик по работе с целым рядом блоков, посвященных темам:Влияние психологической травмы на поведение детей и подростковВыявление кризисных состояний, личностных расстройств у воспитанников, последствий психической депривацииСклонность к девиантному поведениюПереживаемое насилиеЛичностные характеристики воспитанниковЭмоционально-когнитивная сфераПсихологические ресурсы воспитанникаСоциальные навыки, компетенцииОтношение к школеДиагностика потребностей и готовности воспитанника к семейному жизнеустройствуСубъективное благополучие воспитанников

Вероника Нисоновна подчеркнула важность работы с травмой у воспитанников детских сиротских учреждений, глубокой социально-психологической реабилитации и применения комплекса готовности к самостоятельной жизни. Она также отметила, что не менее важна работа с сотрудниками организаций, находящихся в непосредственном контакте с детьми, а также лиц, готовящихся принять их в замещающую семью. 

Переходя в обсуждению, специалисты-практики выразили интерес к тому, каким образом полученные данные могут быть использованы непосредственно в их деятельности. Возникли вопросы, прежде всего связанные с организацией доступа к данному диагностическому комплексу, а также основной вопрос, направленный на то, какие методики из этого комплекса соотносятся с конкретными социальными результатами технологий наставничества у разных фондов. Сообщество специалистов сферы детства активно включены в использование доказательного подхода в своей деятельности и возникшие вопросы служат наглядным примером того, как практики все больше видят свою работу в описательном ключе, где есть логические модели, теории изменений и социальные эффекты. 

Посмотреть запись семинара ( смотреть с 14 мин. 25 сек ). 

Следующая встреча состоится в конце марта и будет посвящена обсуждению двух главных тем: поиску повторяющихся элементов технологий наставничества у разных фондов и их соотнесению с конкретными социальными эффектами.

Тема: « Описание элементов технологий наставничество и цепочка социальных результатов ».

Формат: онлайн

Модератор: Татьяна Подушкина, Ирина Бобылева

Основные спикеры: БФ «Солнечный город» (Г. Новосибирск), БФ «Арифметика добра» (г. Москва), БФ «Волонтеры в помощь детям-сиротам» (г. Москва), БФ «Старшие Братья Старшие сестры» (г. Москва), Центр «Все свои» (г. Красноярск), БФ «Дети плюс» (г. Москва).

Источник: Москва без формата.

Во встрече принял участие 31 специалист сферы детства из 21 региона РФ.

Встречу открыла Ольга Евдокимова, которая рассказала о работе площадки «Оценка программ для кризисных центров» в 2022 году и представила планы на 2023 год (презентация).

Елизавета Плотникова, Хабаровская краевая общественная организация замещающих семей «Чужих детей не бывает», рассказала о своем опыте участия в группе САД (статистический анализ данных) и как он был использован для работы над системой мониторинга и оценки в организации (презентация).

Антонина Попова и Елена Андреева, БФ «Волонтеры в помощь детям-сиротам» представляли результаты исследования факторов результативности работы с мамами и их детьми на базе центра временного пребывания «Теплый Дом» и ответили на вопросы участников встречи (презентация). Обобщенные и персонализированные данные программы «Теплый дом» см. по ссылке.

Был проведён опрос участников по теме МиО.

На вопрос о прогрессе в области МиО в 2022 году 36% респондентов сообщили о значительном прогрессе, 29% сказали, что прогресс был, но незначительный. 14% ответивших считают, что прогресса не было. 21% затруднились ответить.

Отвечая на опрос о доступности методической поддержки, 80% опрошенных сообщили, что считают ее доступной для себя, 7% сообщили, что поддержка скорее недоступна, 13% затруднились ответить.

Доступной экспертную поддержку считают 73% опрошенных, 13% ответили, что она скорее недоступна, 13% затруднились ответить.

Видео-запись встречи доступна по ссылке.

Благодарим спикеров и всех присутствующих.