Развитие сообщества практиков

16 октября на X конференции АСОПП «Развитие оценки в социальной сфере в России: достижения и точки роста» состоялась сессия «Внедрение доказательного подхода на федеральном уровне: стратегия развития консорциума партнерских организаций», на которой представители академического сообщества, государственных и некоммерческих организаций обсудили развитие доказательного подхода в социальной сфере. Провела сессию Татьяна Подушкина, руководитель Центра доказательного социального проектирования МГППУ.

Участники обсуждали, как доказательное проектирование может повысить эффективность социальных программ и улучшить качество социальной работы в целом. Татьяна Подушкина, руководительница «Центра доказательного социального проектирования» МГППУ, представила трехуровневую модель сетевой верификации и поделилась опытом работы инкубатора доказательных социальных практик.

Алексей Газарян, руководитель Аппарата Уполномоченного при Президенте РФ по правам ребенка, рассказал о проблеме тиражирования программ: «не каждая практика, успешная в одном регионе, может быть столь же эффективной в другом. Практики требуют адаптации и гибкости при внедрении на новом месте». Газарян отметил, что такие различия связаны с местными особенностями, что делает процесс распространения более сложным, чем может показаться на первый взгляд.

Игорь Тимофеев, представитель Института дополнительного образования работников социальной сферы Москвы, выделил важную роль грантовых конкурсов в популяризации доказательного подхода среди государственных и некоммерческих организаций. Он отметил, что необходимо вовлекать участников в исследовательскую работу и обучать их научным методам на ранних этапах.

Для успешного распространения доказательного проектирования важна подготовка специалистов. Андрей Некрасов, руководитель Точки кипения МГППУ, рассказал о подготовке специалистов через образовательные программы на базе университета, которые помогают глубже понять доказательный подход и применять его на практике.

Ольга Евдокимова, директор АНО «Эволюция и филантропия», подчеркнула, что образовательные коллаборации должны базироваться на потребностях системы верификации и предложила также обратить внимание на обучение основам доказательного подхода представителей финансирующих организаций. Она отметила, что образовательные коллаборации нужны для повышения уровня знаний специалистов в области доказательных практик   (конкурсы, образовательные программы). Необходимо ответить на вопросы: каким образом можно связать подготовку специалистов к участию в конкурсах и существующие образовательные программы, какие оптимальные стратегии привлечения специалистов к повышению квалификации в области доказательного подхода. Профессионализация специалистов социальной сферы возможна через просвещение и обучение доказательному подходу: разработку разноуровневых образовательных программ по доказательному подходу, развитие синтетической образовательной инфраструктуры для специалистов государственных и некоммерческих организаций сферы детства на основе общей методологии. 

Светлана Гани, заведующая сектором Федерального ресурсного центра психологической службы в системе высшего образования РАО отметила необходимость создания инфраструктуры для независимой оценки социальных практик, включая междисциплинарные исследования и цифровые платформы для обработки данных.

Эльвира Гарифулина, программный директор фонда «Абсолют-Помощь», рассказала, как доказательный подход помогает организациям лучше планировать деятельность, избегать выгорания сотрудников и привлекать больше ресурсов. Это особенно важно для работы с уязвимыми группами населения, где точные данные и научный подход существенно повышают качество помощи.

Екатерина Ядова из фонда «Сбербанк — Вклад в будущее» отметила важность баланса при внедрении доказательного подхода. Глубокая аналитика и научная верификация улучшают результаты, но важно не перегружать социальные организации сложными требованиями. Необходимо сохранить мотивацию и энергию работников, чтобы они могли эффективно реализовывать свои программы, не отвлекаясь на чрезмерные бюрократические процессы.

Видео доступно по ссылке.

При подготовке новости использовался материал, опубликованный на сайте МГППУ.

7 июня на Петербургском международном экономическом форуме прошла секция «Калькулятор эффективности для НКО». Организатором секции выступила Социальная платформа фонда «Росконгресс». Модератором секции выступил Дементьев Иннокентий Андреевич, заместитель генерального директора Фонда президентских грантов

Основная задача секции состояла в том, чтобы обсудить перспективы разработки и внедрения ключевых и комплексных методик по оценке результативности и эффективности деятельности некоммерческих организаций, которые бы учитывали многообразие и специфичность направлений НКО и могли быть доступными в использовании для самих команд социальных проектов. Одним из ключевых вопросов, затронутых на секции, был вопрос о необходимости и возможности разработки ясных, объективных, измеримых и сопоставимых показателях положительного социального и экономического влияния проектов.

Приглашенные спикеры отвечали на поставленные модератором вопросы.

Тополева-Солдунова Елена Андреевна, директор автономной некоммерческой организации «Агентство социальной информации», генеральный директор благотворительного фонда «Доброта севера», председатель комиссии по развитию некоммерческого сектора Общественной палаты РФ, ответила на вопросы, насколько сообщество НКО готово к принятию необходимости постоянной оценки результатов своей работы? Какая динамика в этой части наблюдается по линии Общественной палаты в рамках мониторинга и рейтингования НКО.

Шадрин Артём Евгеньевич, генеральный директор Национального агентства развития квалификаций, директор Института социально-экономического проектирования НИУ «Высшая школа экономики», поделился перечнем инструментов, которые помогают сделать культуру оценки результатов понятной не только для институтов развития, но и для самих НКО. Артем Евгеньевич, в частности, упомянул Теорию изменений, а также рассказал, какие методики оценки результатов могут дать НКО импульс для улучшения своих практик и для более системного взгляда на сами практики.
Александрова Александра Борисовна, первый заместитель руководителя Департамента труда и социальной защиты населения города Москвы, поделилась интересным опытом разработки показателей эффективности использования помещений, выделяемых Департаментом на безвозмездной основе для НКО.
Евдокимова Ольга Анатольевна, исполнительный директор АНО поддержки
и развития инноваций в социальной сфере «Эволюция и филантропия», в своем выступлении затронула тему сопоставимых показателей и рейтингов эффективности и необходимости фокусировки на осмыслении некоммерческими организациями и финансирующими сторонами своей работы.

В частности, в своем выступлении Ольга Евдокимова отметила несколько моментов:

• Цель НКО – это максимизация  социального воздействия и акселерация социальных преобразований для улучшения качества жизни людей.  В этой связи оценка играет важную роль, которая не сводится к определению только набора показателей, пусть даже ясных.  Более того, фокусировка исключительно на показателях даже вредна, в определенном смысле.
• Показатели  редко дают возможность принимать решения, направленные на развитие, на обучение, на управление неопределенностью. Фокус должен быть на развитии оценочного мышления, на принятии решений, основываясь на глубоком понимании, как и почему и для кого и в каких обстоятельствах работает программа. Показателями это многообразие не охватишь. В сложном мире оценка играет новую роль: не столько для подсчета эффекта, сколько для прогнозирования и для корректировки и максимизации социальных преобразований.  Сейчас важен акцент на кастомизацию, гибкость, уникальность.  Трудность создает отсутствие бенчмарков для сравнения.
• Чтобы оценка становилась более массовым явлением,  более зрелым процессом в НКО, необходимо,  с одной стороны,  снижать  методологические барьеры (больше простых доступных руководств и материалов,  примеров и  площадок для обмена). С другой стороны, необходимо сохранять профессиональный уровень и профессиональный дискурс, в том числе этические стандарты, особенно при вовлечении благополучателей.  
• Нужны независимые верификации социальных результатов.  ВУЗы должны включаться  более активно и профессионально. Важны осмысление, обобщение, теоретические  и практические рамки. В исследования могут включаться студенты.
• IT-технологии, в том числе, искусственный интеллект, будут в некой перспективе снижать методологические барьеры. Кроме внешних барьеров, НКО надо уметь управлять изменениями внутри команды, которая будет сопротивляться новациям, связанными с оценкой. Нужны стимулы для НКО  со стороны донорского сообщества, но и оно само должно становиться более зрелым. 
• В целом донорское сообщество остается довольно незрелым в плане оценки программ. Культура принятия решений о социальном инвестировании  на основе доказательств  остается довольно низкой. Подход к оценке влияния донорского сообщества должен соотноситься со стратегией социального воздействия, а мало у кого она разработана в виде, пригодном для создания полезной модели оценки. Отсутствует внятная Теория изменений, например.  Многие доноры заявляют о том, что их стратегия предполагает системные изменения.  Но мало у кого есть внятное описание, что такое системное воздействие и его оценка.
• Это не означает, что показатели вообще не нужны. Могут быть наборы показателей на разных уровнях и для разных моделей воздействия, для разных стейкхолдеров, для разных целей. Нужно использовать показатели верхнего (национальный уровень), среднего (на уровне тематики (приемные семьи), нижнего (на уровне организации). Необходима кластеризация моделей воздействия: типовые модели оценки, включая показатели.  Стоимостные оценки  (оценки социально-экономической эффективности) очень нужны, но у нас практически отсутствует необходимая  статистика.
• Растет запрос со стороны общества на рейтинги, рэнкинги.

Гурцкая Диана Гудаевна, народная артистка России, художественный руководитель «Центра социальной интеграции Дианы Гурцкая», председатель комиссии по доступной среде и развитию инклюзивных практик Общественной палаты РФ, рассказала о том, как центр проводит оценку и отслеживает долгосрочные результаты своей работы.
Маковецкая Дарья Тимофеевна, руководитель ресурсного центра развития добровольчества Республики Карелия, член Совета Ассоциации волонтерских центров, поделилась своим опытом исследований развития добровольчества.
Афрова Елена Викторовна, директор центра реабилитации животных «Верность», рассказала об успехах в масштабировании практики, и о том, какие есть индикаторы для понимания, что центр движется в правильном направлении.
Бесшапошникова Екатерина Николаевна, руководитель образовательных программ, Фонд «Наше будущее», ответила на вопрос, получается ли у социальных предпринимателей выразить экономически прогнозируемые ими социальные результаты и эффекты, уложить их в бизнес-модель.

Видео секции доступно по ссылке.

20 мая в Москве прошла рабочая встреча руководителей и юристов организаций, имеющих в своем составе кризисные центры временного проживания для женщин с детьми, на которой Ольга Евдокимова рассказала о развитии общей базы знаний в области МиО для Кризисных центров. В частности, Ольга рассказала о наработках сообщества практиков в сфере оценки , которое развивалось в рамках проекта, реализованного АНО «Эволюция и Филантропия» в 2021- 2022 годах, представила онлайн-сервис «ПИОН» и продемонстрировала собранные там инструменты для кризисных центров. Также были представлены возможности обучения на онлайн-курсе «Оценка проектов и программ в сфере детства», очередной старт которого запланирован на лето 2024 года и сервисы проекта «Больше историй«, направленном на расширение применения практик вовлечения благополучателей в деятельность НКО сферы детства через использование сторителлинга для оценки программ (презентация).

Во время мероприятия участники встречи обсуждали вопросы оценки эффективности работы Кризисных центров. Был согласованы следующие ключевой показатель социальной эффективности: Количество решенных случаев (ребенок/cемья в безопасности, ребенок сохранен в семье и пр.) за определенный срок и за определенную сумму. При формулировании такого ключевого показателя сохраняется вариативность решаемой проблематики и учет сложности кейсов. При этом учитываются доступные для организации ресурсы. Что такое решенный случай организация может решить самостоятельно, определив необходимый минимум решенных задач с заданным качеством. Отдельно обсуждался вопрос — как оценить эффективность, если ребенок не смог остаться в семье. Было предложено оценивать качество работы и меру снижаемого вреда.

Критерием устойчивости может служить — количество семей, в которых результат сохраняется, например, в течение года или другого срока, определенным Кризисным центром. При этом важно обращать внимание и на устойчивость самой организации , на ее возможность быть эффективной в течение продолжительного времени. Для этого нужны показатели организационной и финансовой устойчивости. В разрезе этого обсуждался вопрос о роли информационной открытости в работе КЦ и об управлении «потоком клиентов». Было также отмечено, что для разных стейкхолдеров на разных этапах будут полезны разные наборы индикаторов

Какими инструментами можно пользоваться, чтобы измерять эти показатели?

1. Административная отчетность (планы развития, например)
2. Интервью на входе и выходе, сторителлинг через какое-то время, наблюдения администраторов и специалистов.
3. Самооценка Кризисного центра, экспертные оценки и бенчмаркинг.

Какие сложные вопросы озвучивали участники?

1. Границы подотчетности КЦ
2. Решенный кейс или субъективное благополучие женщины
3. Отсутствие бенчмарков, позволяющих сохранять ценность многообразия
4. Вклад женщины и вклад КЦ в решение проблемы
5. Как работать с негативной обратной связью
6. Влияние показателей эффективности на гос. задание

На встрече был также проведен опрос участников о состоянии МиО в кризисных центрах, в котором приняли участие 15 специалистов.

33% ответили, что у них в организации был значительный прогресс в области МиО за последний год, 47% — что прогресс был незначительным, 13% сообщили, что прогресса скорее не было.

53% респондентов сообщили, что им скорее актуальная задача по развитию МиО в организации, 40% — что очень актуальна.

17 октября в рамках IX конференции АСОПП прошла сессия «Анализ данных в оценке проектов и программ», которую провели Ольга Заводилкина и Ольга Евдокимова.

Ольга Евдокимова рассказала об актуальном состоянии анализа данных для оценки социальных результатов программ и проектов в сфере детства и рассказала о возможностях для развития в этой теме, которые предоставляет АНО «Эволюция и Филантропия», в частности, об онлайн-курсе «Оценка программ в сфере детства» и работе группы «САД» («Статистический анализ данных») (презентация).

Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», представила кейс «Как формировать группы сравнения на этапе сбора данных и на этапе анализа» на примере исследования «Влияние деятельности НКО на социальную адаптацию детей-сирот: опрос благополучателей», которое проводил БФ «Расправь Крылья!» (презентация). Ольга также рассказала о работе группы САД (презентация).

Елена Лянгузова, РООРДИ «Дорогою добра» Кировской области, рассказала об анализе данных и выборе инструментов для их сбора (презентация).

Марина Ушакова, руководитель МБУ города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель» рассказала об использовании результатов анализа для развития практики (презентация).

Видео доступно по ссылке.

31 мая Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», выступила с докладом «Доказательный подход в сфере детства – как основа для устойчивости и роста эффективности социальной сферы» на VII Всероссийской научно-практической конференции «Сохраним семью для ребенка!» .

Ольга рассказала о создании необходимой инфраструктуры и пилотирование доказательного подхода в период с 2016 по 2023 гг. Говоря о барьерах, с которыми сталкиваются организации, решившие работать в доказательном подходе, Ольга отметила такие факторы как организационная культура, методические сложности и недостаток компетенций в сфере МиО, затратность и отсутствие доступных и качественных данных. В докладе также освещались вопросы условий для развития доказательного подхода и уделялось внимание доступным ресурсам.

Организатор: Межрегиональная общественная организация по содействию семьям с детьми в трудной жизненной ситуации «Аистенок» ( МОО «Аистенок») основана в 2003 г.

Участники Конференции — руководители и специалисты государственных учреждений, социально ориентированных некоммерческих и религиозных организаций из регионов РФ, имеющих на базе организаций стационары (приюты, шелтеры, убежища и др.) для проживания женщин с детьми в трудной жизненной ситуации.

Конференция направлена на повышение эффективности деятельности в сфере профилактики социального сиротства и помощи семьям с детьми в кризисных ситуациях. Конференция проводится с использованием пожертвования Благотворительного фонда «Абсолют-Помощь».

Презентация доступна по ссылке.

19 мая прошла последняя встреча третьего потока группы «Статистический анализ данных». Группа начала свою работу 10 марта, состоялось 5 рабочих встреч. Пилотная группа проходила в апреле — июле 2022, второй поток работал сентябре-декабре 2022. Видео Ольги Заводилкиной о работе группы смотрите по ссылке.

В третьем потоке группы приняли участие 5 специалистов из 4-х организаций некоммерческих организаций:

• БФ «Волонтеры в помощь детям-сиротам»;
• Санкт-Петербургское государственное бюджетное учреждение «Городской информационно-методический центр «Семья»;
• Ассоциация «Драйвер роста»;
• АНО «Эволюция и Филантропия».

Отзыв Сергея Назарова, участника группы:

«Мы окончательно встали на путь оценочного доказательного подхода в реализации своих проектов. Теория изменения дает методологию такого подхода. А «анализ данных» помогает проверить наши модели математическим точным способом. И это, безусловно, делает оценку более адекватной.
 
Анализ статистическими инструментами позволяет увидеть то, что обычным взглядом иной раз и не видно, а иной раз видно совершенно не правильно. Кроме того, анализ данных позволяет скорректировать саму модель проектной «теории изменений», выбрать более значимые факторы и показатели, более четко сформулировать гипотезу воздействия проекта на целевую аудиторию. Мы благодарны организаторам (Ольга Евдокимова) и ведущей (Ольга Заводилкина) курса за возможность на практике попробовать статистические инструменты и понять, как это работает. После курса стало понятно, как внедрять статистический анализ данных в свои проекты. Но я все-таки понимаю, что в этом вопросе я скорей еще подмастерье и помощь более опытных экспертов еще пригодится».

Мы благодарим ведущую группы Ольгу Заводилкину, приглашенного эксперта АНО «Эволюция и Филантропия», за методическую поддержку участников.

Презентация итогов работы 3 потока планируется в июне.

16 марта 2023 года БФ «Найди семью» провел вебинар «Применение доказательного подхода в работе с приемными семьями».

Видео доступно по ссылке.

22 марта прошла встреча тематической группы «Оценка программ помощи семьям с детьми с ОВЗ», в которой приняли участие 34 специалиста из 17 регионов РФ.

Открыла встречу Ольга Евдокимова (АНО «Эволюция и Филантропия»), которая рассказала об итогах работы площадки в 2022 году и планах на 2023 год, а также об инструментах и материалах, накопленных за время работы группы, которые доступны в онлайн-сервисе ПИОН и онлайн-базе «Слушай с пользой!» (презентация).

Далее выступили активные участники площадки, которые поделились новостями в области МиО в своих организациях:

• Мария Лукьянова и Оксана Матвеева, Региональная общественная организация «Красноярский центр лечебной педагогики», рассказали своем проведенном в конце 2022 года социологическом исследовании удовлетворенности родителей услугами ранней помощи детям до 3-х лет. Исследование было проведено совместно с центром социологических исследований «Мониторинг общественного мнения» (презентация).
• Мария Полянская, БФ «Спина Бифида», рассказала о качественном исследовании, которое организация провела для создания нового онлайн-курса «Школа социального работника» (презентация).

В практической части встречи специалисты Благотворительного фонда «Даунсайд Ап» Александр Боровых, директор отдела стратегий, и Анна Хомякова, аналитик, рассказали методологии и результатах оценки вклада фонда в достижение социальных результатов. Александр рассказал о том, почему такие исследования проводит «Даунсайд Ап» и почему, по его мнению, исследования важны для любой организации: «Исследования и анализ своей деятельности, конечно, надо проводить. Вопрос только в масштабе этого исследования и наличии ресурсов. Это дает возможность рассказать о деятельности организации в простой и доступной форме. С помощью исследования можно получить мнение благополучателя, а не руководителя или специалиста. Часто специалисты знают о достигнутых результатах, но недостаточно, когда об этом знают 2-3 человека. А когда эти результаты появляются на основе проведенного опроса с хорошим уровнем достоверности информации, это уже совершенно другой уровень«. Александр подчеркнул, что полученные результаты опросов важно включать во внешние коммуникации организации (соц.сети, рассылки, презентации и пр.), и этому в БФ «Даунсайд Ап» уделяется специальное внимание (презентация: часть 1 и часть 2).

На встрече был проведен экспресс-опрос участников о прогрессе МиО в их организациях за 2022 год: 24% сообщили о значительном и 48% о небольшом 48% прогрессе в этой области, 8% ответили, что прогресса не было, 20% затруднились с ответом.

По итогам встречи были намечены следующие темы для дальнейших обсуждений:

1. Применение IT-технологий, в том числе, применение искусственного интеллекта для МиО.
2. Виды оценочных вопросов, их формулировка.
3. Методологические аспекты Оценки влияния (Impact Evaluation)
4. Подходы к оценке обучающих курсов, которые проводят НКО.
5. Сравнение результатов исследований, проводимых НКО по схожим тематикам.

Видео встречи см. по ссылке.

С начала этого года на постоянной основе заработал цикл семинаров для специалистов сферы детства, использующих технологию наставничества в работе с воспитанниками и выпускниками детских сиротских учреждений. Инициатива поддержана Центром доказательных социальных технологий и направлена на выработку единого подхода, обмен опытом и систематизацию представлений данной технологии. 

1 марта состоялся второй онлайн-семинар сообщества. Модератором встречи выступила Татьяна Подушкина , руководитель ЦДСП. В качестве основных спикеров присутствовали Ирина Бобылева , Ольга Евдокимова — руководитель АНО «Эволюция и филантропия», представители фондов: «БФ Дети плюс» , «БФ «Старшие братья и старшие сестры» , «БФ «Волонтеры в помощь детям-сиротам» , БФ «Арифметика добра» .

Приглашенным экспертом выступила Вероника Ослон , профессор кафедры «Возрастная психология имени профессора Л.Ф.  Обуховой» МГППУ. Она представила для обсуждения диагностический комплекс, разработанный в рамках ГЗ от Минпросвещения России , направленный на социально-психологическое обследование детей-сирот, работников и кандидатов в замещающие семьи. В него вошел целый спектр методик по работе с целым рядом блоков, посвященных темам:Влияние психологической травмы на поведение детей и подростковВыявление кризисных состояний, личностных расстройств у воспитанников, последствий психической депривацииСклонность к девиантному поведениюПереживаемое насилиеЛичностные характеристики воспитанниковЭмоционально-когнитивная сфераПсихологические ресурсы воспитанникаСоциальные навыки, компетенцииОтношение к школеДиагностика потребностей и готовности воспитанника к семейному жизнеустройствуСубъективное благополучие воспитанников

Вероника Нисоновна подчеркнула важность работы с травмой у воспитанников детских сиротских учреждений, глубокой социально-психологической реабилитации и применения комплекса готовности к самостоятельной жизни. Она также отметила, что не менее важна работа с сотрудниками организаций, находящихся в непосредственном контакте с детьми, а также лиц, готовящихся принять их в замещающую семью. 

Переходя в обсуждению, специалисты-практики выразили интерес к тому, каким образом полученные данные могут быть использованы непосредственно в их деятельности. Возникли вопросы, прежде всего связанные с организацией доступа к данному диагностическому комплексу, а также основной вопрос, направленный на то, какие методики из этого комплекса соотносятся с конкретными социальными результатами технологий наставничества у разных фондов. Сообщество специалистов сферы детства активно включены в использование доказательного подхода в своей деятельности и возникшие вопросы служат наглядным примером того, как практики все больше видят свою работу в описательном ключе, где есть логические модели, теории изменений и социальные эффекты. 

Посмотреть запись семинара ( смотреть с 14 мин. 25 сек ). 

Следующая встреча состоится в конце марта и будет посвящена обсуждению двух главных тем: поиску повторяющихся элементов технологий наставничества у разных фондов и их соотнесению с конкретными социальными эффектами.

Тема: « Описание элементов технологий наставничество и цепочка социальных результатов ».

Формат: онлайн

Модератор: Татьяна Подушкина, Ирина Бобылева

Основные спикеры: БФ «Солнечный город» (Г. Новосибирск), БФ «Арифметика добра» (г. Москва), БФ «Волонтеры в помощь детям-сиротам» (г. Москва), БФ «Старшие Братья Старшие сестры» (г. Москва), Центр «Все свои» (г. Красноярск), БФ «Дети плюс» (г. Москва).

Источник: Москва без формата.