Приглашаем Вас 17 августа 2022 с 9:00 до 11:00 (по Москве) на онлайн-встречу «Анализ данных для оценки результатов программ и проектов в сфере детства».
Программа онлайн-встречи состоит из двух блоков – экспертного и информационного.
Экспертный блок
«Подходы к анализу технологий работы в Программе «Уверенное начало». Екатерина Горина, психолог, АНО «Пространство общения», РБОО «Центр лечебной педагогики».
Участники пилотной группы под руководством эксперта АНО «Эволюция и Филантропия» Ольги Заводилкиной, прошедшие специальное обучение, поделятся опытом применения различных методов анализа количественных данных. Группа начала работу около двух месяцев назад и уже готова представить свои кейсы.
Свои кейсы представят:
Виктория Алейничек, Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов «ГАООРДИ»
Мария Егорова, Международный детский фонд «Дети Саха-Азия».
Информационный блок: новости по теме «Мониторинг и оценка».
«Исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания», Антонина Попова, БФ «Волонтеры в помощь детям-сиротам».
Исследование «Оценка эффективности медиапроектов», проведенного в рамках конкурса «Research Got Talent», Ольга Андросова, МДФ «Дети Саха-Азия».
Мероприятие проводится в рамках деятельности созданного АНО «Эволюция и Филантропия» сообщества специалистов практиков в области оценки программ в сфере детства.
Во встрече приняли участие 35 специалистов из 9 регионов России.
В первой части встречи Ирина Бобылева, куратор площадки, напомнила об основных итогах работы группы в 2021 году и о собранных инструментах для использования в системах мониторинга и оценки. Инструменты собирались в онлайн-сервисе ПИОН и на сайте «Слушай с пользой!». Всего было собрано 11 инструментов. Часть из которых была представлена организациями», активными участниками проекта «Оценка в сфере детства: развитие сообществ практиков».
Инструменты в ПИОНе (доступно только зарегистрировавшимся пользователям):
Во второй практической части встречи приглашенные эксперты, активисты площадки и просто желающие, знакомые с методологией создания Теории изменений, разделились на 3 мини-группы, где работали над созданием Теории изменений Центра Свт. Василия Великого. Практическая работа велась в мини-группах с модераторами на Джембордах.
28 января 2022 года состоялась онлайн-встреча тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений», подводящая итоги работы группы. Участниками встречи стали более 35 человек из 16 регионов.
Первая часть встречи была посвящена подведению итогов работы тематической группы в 2021 году.
Ирина Бобылева, куратор группы напомнила основные содержательные выводы и продукты, полученные в ходе работы тематической группы. В четырех онлайн-встречах группы приняли участие 83 человека из 43 государственных и негосударственных некоммерческих организаций. Группа внесла вклад в развитие методической базы для систем МиО: онлайн-база «Слушай с пользой» пополнена новыми инструментами, а Реестр (банк) доказательных практик – новыми практиками, описанными в формате Стандарта доказательности и прошедшими независимую верификацию. Подробнее – в презентации.
Ожидания членов тематической группы от участия в ней были связаны с повышением компетенций в области мониторинга и оценки, знакомством с опытом коллег, обсуждением актуальных задач для развития системы МиО организации.
Краткий опрос показал, что для большинства участников встречи тематической группы соответствовали их ожиданиям, полученная информация была новой и полезной, повлияла на решение актуальных задач мониторинга и оценки. Есть готовность к дальнейшему участию в работе тематической группы.
В ходе групповой работы участники обсуждали индивидуальные результаты участия в сообществе, его возможности и барьеры обращения за его ресурсами, темы и формы интересные для дальнейшей работы.
В качестве личных результатов участники отмечали:
изменилось отношение к системе МиО, появилось понимание необходимости ее перестройки и разработки инструментария;
рост уверенности в своих силах, связанный с повышением компетенций и как следствие расширение участия в грантовых конкурсах, в том числе международных;
разработка новых инструментов, которые получилось логично встроить в практику;
сбор большого массива данных.
Причинами не обращения за ресурсами сообщества были названы:
сложности развития культуры организации и долговременность такого процесса;
отсутствие внутренней склонности к аналитической деятельности у некоторых сотрудников;
отсутствие общих подходов и договоренностей в поле близких практик.
Некоторые участники отмечали необходимость дифференциации «продуктового предложения» площадки. Для новых участников, только знакомящихся с МиО, — вводные, ознакомительные возможности; для руководителей – должно быть отдельное предложение; для специалистов, которые уже прошли определенный путь – возможность профессионального роста и обмена опытом с коллегами.
В качестве ресурса сообщества для лоббирования интересов и способов повышения устойчивости отмечена важность развития культуры донорских организаций, имеющих запрос оценки воздействия поддерживаемых практик.
Участникам было бы интересно включить в повестку новых встреч:
сравнение близких практик, критерии такого сравнения;
международный опыт стран с условиями близкими к российским условиям;
оценка измерительных инструментов;
возможность разработки универсальных практик;
влияние исполнителя на достижение социальных результатов практики;
конструктор работающих решений в области мониторинга и оценки;
Потребность в освоении базовых подходов к МиО остается очень высокой у региональных организаций.
Участники предложили попробовать формат междисциплинарных встреч, привлечение социологов, попробовать встречи только для близких практик или для участников с одинаковым уровнем компетенций.
Была отмечена польза коллективной работы, увеличивающей личные ресурсы, атмосфера доверия и безопасности в группе.
Во второй части встречи были представлены кейсы организаций, иллюстрирующие решение актуальных задач развития систем мониторинга и оценки, сделанные при поддержке индивидуального консультанта.
Опытом развития систем мониторинга и оценки поделились:
1) Автономная некоммерческая организация «Центр социальных проектов» (Татьяна Илясова). Кейс иллюстрировал опыт рефлексии практики сопровождения родителей – выпускников организаций для детей–сирот на основе обратной связи от благополучателей. Презентация доступна по ссылке;
2) Благотворительный фонд «Большая перемена» (Роман Лебедев). Кейс раскрывал опыт разработки модели оценки социального эффекта реализации программной деятельности. Презентация доступна по ссылке;
3) Благотворительный фонд помощи детям-отказникам и детям-сиротам «Бюро добрый дел» (Анна Хегай). Кейс показал изменения процедуры подсчета показателя на основе триангуляции данных. Презентация доступна по ссылке.
Консультанты, оказавшие поддержку организациям, отметили, что для них это был интересный и не всегда простой опыт и поделились выводами:
встроить серьезную исследовательскую работу в текущую деятельность организации – процесс довольно сложный, требующий отдельных усилий;
происходила не только разработка конкретного инструмента, но в целом перестройка системы МиО, выработка общих подходов;
особенности целевой группы практики задают требования к разрабатываемым инструментам, которые с одной стороны должны отслеживать сложные социальные результаты практики, а с другой стороны быть понятными и доступными для благополучателей;
важен вопрос осознанного выбора внутреннего интервьюера для обеспечения тесного контакта с благополучателем на основе уже сложившихся доверительных отношений;
решающим в достижении социальных результатов практик тематической группы становится мнение самого подростка (исследование авторства в жизни), ориентация на то, что для него важно и как он сам себя оценивает и насколько удовлетворен изменениями;
большой объем полученной качественными инструментами информации усложняет анализ;
интерпретации полученного результата должны подтверждаться дополнительными исследованиями, а не быть «удобными» для организации.
30 ноября 2021 года состоялся онлайн-семинар «Итоги верификации практик тематической группы «Социализация подростков / выпускников учреждений для детей-сирот». В работе семинара приняли участие 24 специалиста сферы детства.
В первой части встречи Ирина Бобылева, главный специалист-эксперт БФ «Расправь крылья!», представила типичные ошибки при описании практик в доказательном ключе во всех разделах доказательного анализа. Подробнее в презентации.
Во второй части встречи были представлены:
1) опыт Благотворительного фонда «Рауль», связанный с описанием в русле Стандарта доказательности практики «Все получится!» и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко «Реестр доказательных практик» (Евгения Канцыпко, руководитель Ресурсного центра «Все получится!»). Презентация доступна по ссылке;
2) опыт повышения доказанности практики «Значимый взрослый» – направление проекта «Право выбора» (длительное наставничество) Санкт-петербургского регионального общественного движения помощи детям, оставшимся без попечения родителей «Петербургские родители» (Анастасия Куркина, руководитель практики). Презентация доступна по ссылке;
3) опыт повышения доказанности практики «Социальная технология «Наставничество» для воспитанников и выпускников организаций для детей-сирот» (длительное и краткосрочное наставничество) Тамбовского областного государственного бюджетного учреждения «Центр по развитию семейных форм устройства детей-сирот и детей, оставшихся без попечения родителей, «Ради будущего» (Вахрушева Анна Александровна, ведущий психолог Центра). Презентация доступна по ссылке;
В третьей части семинара прошла публичная верификация практики «Подготовка выпускников организаций для детей-сирот к смене условий (к выходу из детского дома) и поддержка при адаптации к самостоятельной жизни «Навстречу взрослой жизни» бюджетного учреждения Омской области «Центр поддержки семьи».
Основные выводы спикеров и участников семинара:
описание практики в русле Стандарта доказательности и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко дает организации возможность развивать как систему МиО, так и саму практику;
наличие типичных ошибок в описании создает вектор развития доказательности практики;
организации, вставшие на путь доказательности, «путь поиска ответов на сложные вопросы» получают новый импульс развития сообщества организаций, реализующих социальные практики.
По результатам публичной верификации специалисты Центра дали следующие комментарии:
мнение коллег было полезным, взгляд со стороны позволяет по-другому посмотреть на практику (на результат ее описания), выявить более объемно проблемные места описания (точки развития);
в целом мнения экспертов-верификаторов и участников нашей встречи совпали, нам кажется, коллеги очень старались смотреть на описание нашей практики объективно;
комментарии коллег позволили нам определить приоритет в повышении доказанности – начать работу с повышения регламентированности, собрать все наработанные материалы воедино.
в результате обсуждения кейсов и публичной верификации, мы поняли, что подобной (даже если очень отдаленно) практики среди коллег никто не реализует и это показалось нам интересным достижением.
