Во встрече приняли участие 35 специалистов из 9 регионов России.
В первой части встречи Ирина Бобылева, куратор площадки, напомнила об основных итогах работы группы в 2021 году и о собранных инструментах для использования в системах мониторинга и оценки. Инструменты собирались в онлайн-сервисе ПИОН и на сайте «Слушай с пользой!». Всего было собрано 11 инструментов. Часть из которых была представлена организациями», активными участниками проекта «Оценка в сфере детства: развитие сообществ практиков».
Инструменты в ПИОНе (доступно только зарегистрировавшимся пользователям):
Во второй практической части встречи приглашенные эксперты, активисты площадки и просто желающие, знакомые с методологией создания Теории изменений, разделились на 3 мини-группы, где работали над созданием Теории изменений Центра Свт. Василия Великого. Практическая работа велась в мини-группах с модераторами на Джембордах.
28 января 2022 года состоялась онлайн-встреча тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений», подводящая итоги работы группы. Участниками встречи стали более 35 человек из 16 регионов.
Первая часть встречи была посвящена подведению итогов работы тематической группы в 2021 году.
Ирина Бобылева, куратор группы напомнила основные содержательные выводы и продукты, полученные в ходе работы тематической группы. В четырех онлайн-встречах группы приняли участие 83 человека из 43 государственных и негосударственных некоммерческих организаций. Группа внесла вклад в развитие методической базы для систем МиО: онлайн-база «Слушай с пользой» пополнена новыми инструментами, а Реестр (банк) доказательных практик – новыми практиками, описанными в формате Стандарта доказательности и прошедшими независимую верификацию. Подробнее – в презентации.
Ожидания членов тематической группы от участия в ней были связаны с повышением компетенций в области мониторинга и оценки, знакомством с опытом коллег, обсуждением актуальных задач для развития системы МиО организации.
Краткий опрос показал, что для большинства участников встречи тематической группы соответствовали их ожиданиям, полученная информация была новой и полезной, повлияла на решение актуальных задач мониторинга и оценки. Есть готовность к дальнейшему участию в работе тематической группы.
В ходе групповой работы участники обсуждали индивидуальные результаты участия в сообществе, его возможности и барьеры обращения за его ресурсами, темы и формы интересные для дальнейшей работы.
В качестве личных результатов участники отмечали:
изменилось отношение к системе МиО, появилось понимание необходимости ее перестройки и разработки инструментария;
рост уверенности в своих силах, связанный с повышением компетенций и как следствие расширение участия в грантовых конкурсах, в том числе международных;
разработка новых инструментов, которые получилось логично встроить в практику;
сбор большого массива данных.
Причинами не обращения за ресурсами сообщества были названы:
сложности развития культуры организации и долговременность такого процесса;
отсутствие внутренней склонности к аналитической деятельности у некоторых сотрудников;
отсутствие общих подходов и договоренностей в поле близких практик.
Некоторые участники отмечали необходимость дифференциации «продуктового предложения» площадки. Для новых участников, только знакомящихся с МиО, — вводные, ознакомительные возможности; для руководителей – должно быть отдельное предложение; для специалистов, которые уже прошли определенный путь – возможность профессионального роста и обмена опытом с коллегами.
В качестве ресурса сообщества для лоббирования интересов и способов повышения устойчивости отмечена важность развития культуры донорских организаций, имеющих запрос оценки воздействия поддерживаемых практик.
Участникам было бы интересно включить в повестку новых встреч:
сравнение близких практик, критерии такого сравнения;
международный опыт стран с условиями близкими к российским условиям;
оценка измерительных инструментов;
возможность разработки универсальных практик;
влияние исполнителя на достижение социальных результатов практики;
конструктор работающих решений в области мониторинга и оценки;
Потребность в освоении базовых подходов к МиО остается очень высокой у региональных организаций.
Участники предложили попробовать формат междисциплинарных встреч, привлечение социологов, попробовать встречи только для близких практик или для участников с одинаковым уровнем компетенций.
Была отмечена польза коллективной работы, увеличивающей личные ресурсы, атмосфера доверия и безопасности в группе.
Во второй части встречи были представлены кейсы организаций, иллюстрирующие решение актуальных задач развития систем мониторинга и оценки, сделанные при поддержке индивидуального консультанта.
Опытом развития систем мониторинга и оценки поделились:
1) Автономная некоммерческая организация «Центр социальных проектов» (Татьяна Илясова). Кейс иллюстрировал опыт рефлексии практики сопровождения родителей – выпускников организаций для детей–сирот на основе обратной связи от благополучателей. Презентация доступна по ссылке;
2) Благотворительный фонд «Большая перемена» (Роман Лебедев). Кейс раскрывал опыт разработки модели оценки социального эффекта реализации программной деятельности. Презентация доступна по ссылке;
3) Благотворительный фонд помощи детям-отказникам и детям-сиротам «Бюро добрый дел» (Анна Хегай). Кейс показал изменения процедуры подсчета показателя на основе триангуляции данных. Презентация доступна по ссылке.
Консультанты, оказавшие поддержку организациям, отметили, что для них это был интересный и не всегда простой опыт и поделились выводами:
встроить серьезную исследовательскую работу в текущую деятельность организации – процесс довольно сложный, требующий отдельных усилий;
происходила не только разработка конкретного инструмента, но в целом перестройка системы МиО, выработка общих подходов;
особенности целевой группы практики задают требования к разрабатываемым инструментам, которые с одной стороны должны отслеживать сложные социальные результаты практики, а с другой стороны быть понятными и доступными для благополучателей;
важен вопрос осознанного выбора внутреннего интервьюера для обеспечения тесного контакта с благополучателем на основе уже сложившихся доверительных отношений;
решающим в достижении социальных результатов практик тематической группы становится мнение самого подростка (исследование авторства в жизни), ориентация на то, что для него важно и как он сам себя оценивает и насколько удовлетворен изменениями;
большой объем полученной качественными инструментами информации усложняет анализ;
интерпретации полученного результата должны подтверждаться дополнительными исследованиями, а не быть «удобными» для организации.
30 ноября 2021 года состоялся онлайн-семинар «Итоги верификации практик тематической группы «Социализация подростков / выпускников учреждений для детей-сирот». В работе семинара приняли участие 24 специалиста сферы детства.
В первой части встречи Ирина Бобылева, главный специалист-эксперт БФ «Расправь крылья!», представила типичные ошибки при описании практик в доказательном ключе во всех разделах доказательного анализа. Подробнее в презентации.
Во второй части встречи были представлены:
1) опыт Благотворительного фонда «Рауль», связанный с описанием в русле Стандарта доказательности практики «Все получится!» и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко «Реестр доказательных практик» (Евгения Канцыпко, руководитель Ресурсного центра «Все получится!»). Презентация доступна по ссылке;
2) опыт повышения доказанности практики «Значимый взрослый» – направление проекта «Право выбора» (длительное наставничество) Санкт-петербургского регионального общественного движения помощи детям, оставшимся без попечения родителей «Петербургские родители» (Анастасия Куркина, руководитель практики). Презентация доступна по ссылке;
3) опыт повышения доказанности практики «Социальная технология «Наставничество» для воспитанников и выпускников организаций для детей-сирот» (длительное и краткосрочное наставничество) Тамбовского областного государственного бюджетного учреждения «Центр по развитию семейных форм устройства детей-сирот и детей, оставшихся без попечения родителей, «Ради будущего» (Вахрушева Анна Александровна, ведущий психолог Центра). Презентация доступна по ссылке;
В третьей части семинара прошла публичная верификация практики «Подготовка выпускников организаций для детей-сирот к смене условий (к выходу из детского дома) и поддержка при адаптации к самостоятельной жизни «Навстречу взрослой жизни» бюджетного учреждения Омской области «Центр поддержки семьи».
Основные выводы спикеров и участников семинара:
описание практики в русле Стандарта доказательности и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко дает организации возможность развивать как систему МиО, так и саму практику;
наличие типичных ошибок в описании создает вектор развития доказательности практики;
организации, вставшие на путь доказательности, «путь поиска ответов на сложные вопросы» получают новый импульс развития сообщества организаций, реализующих социальные практики.
По результатам публичной верификации специалисты Центра дали следующие комментарии:
мнение коллег было полезным, взгляд со стороны позволяет по-другому посмотреть на практику (на результат ее описания), выявить более объемно проблемные места описания (точки развития);
в целом мнения экспертов-верификаторов и участников нашей встречи совпали, нам кажется, коллеги очень старались смотреть на описание нашей практики объективно;
комментарии коллег позволили нам определить приоритет в повышении доказанности – начать работу с повышения регламентированности, собрать все наработанные материалы воедино.
в результате обсуждения кейсов и публичной верификации, мы поняли, что подобной (даже если очень отдаленно) практики среди коллег никто не реализует и это показалось нам интересным достижением.
6 октября 2021 года состоялась онлайн-встреча тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений».
Во встрече участвовало 38 специалистов из 15 регионов Российской Федерации, представляющие государственные и некоммерческие организации, работающие с детьми и молодыми людьми с опытом сиротства. 70% участников ранее были участниками встреч тематической группы.
В первой части встречи Ирина Бобылева, куратор группы, эксперт БФ «Расправь крылья!», представила результаты работы по построению Теории изменений для практик социализации и адаптации подростков и молодых взрослых, участников онлайн-курса «Оценка программ в сфере детства».
А выпускники курса рассказали о том, как обучение и участие в верификации практики повлияло на изменение систем мониторинга и оценки их практик: разработаны деревья результатов и логические модели, сделаны шаги для включения воспитанников и выпускников в процесс разработки дизайна исследования и сбора данных. Подробнее в презентации.
Во второй части встречи Марина Ушакова, директор Центра помощи детям, оставшимся без попечения родителей, «Акварель» города Челябинска представила практику «Взлет» и элементы ее системы мониторинга и оценки. Практика направлена на подготовку воспитанников организации для детей-сирот и детей, оставшихся без попечения родителей, к самостоятельной жизни. Активности практики направлены на две целевые группы: предвыпускники (за 2-1 года до выхода из детского дома) и выпускники. Презентация М. Ушаковой доступна по ссылке.
При помощи интерактивной доски Jamboard участники встречи: практиковались выстраивать цепочку социальных результатов и связей между ними, а также подбирать показатели к социальным результатам представленной практики «Взлет».
В ходе групповой работы участники встречи пришли к заключениям:
выстраивая дерево результатов важно: не расширять, «выдерживать» границы практики, проверять связи на необходимость и достаточность;
при подборе показателей к социальным результатам важно держать в фокусе динамику самостоятельности выпускника, которую можно увидеть в уменьшении помощи со стороны специалистов, а также в усложнении решаемых выпускником задач;
предпочтителен выбор методики «360» , которая включает в источники данных все окружение выпускника: специалистов (длительно сопровождающих и оказывающих кратковременные услуги), его самого и других выпускников;
выбирать оценочные инструменты, уменьшающие субъективное влияние специалиста, а также привлекать к оценке самих воспитанников и выпускников.
В третьей части встречи Галина Семья, сопредседатель экспертного совета Комитета Госдумы Российской Федерации по вопросам семьи, женщин и детей, международный эксперт представила основные тренды в изучении благополучия, примеры международных моделей исследования благополучия, методику оценки субъективного благополучия воспитанников детского дома.
Основные тезисы выступления:
В настоящее время при изучении благополучия происходит переход от удовлетворения базовых нужд к обеспечению качества жизни, от негативной направленности к позитивной, от обеспечения счастливого будущего к благополучию в настоящем. Концепция благополучия шире защиты прав.
Субъективное благополучие воспитанников организаций для детей-сирот – это удовлетворенность ребенка (подростка) системой своих отношений:
к себе – считает себя привлекательным внешне и по характеру, считает, что другие его положительно оценивают; положительно оценивает свои умения и навыки, образовательные достижения;
к другим – имеет взрослых, с которыми можно построить доверительные отношения в самой организации, и вне ее; имеет удовлетворяющие его отношения с детьми (сверстниками) в организации и вне ее;
со средой – живет в условиях физической и психологической безопасности, имеет возможность вести такую же жизнь, как и другие дети («нормализация жизни»), его мнение учитывается при решении вопросов, связанных с его жизнью, будущим и т.д., знает свои права и умеет ими пользоваться;
к своему хронотопу (истории жизни).
Модель, ставшая основой для разработки опросников (в соответствии с возрастными группами: «дошкольники», дети с 7 до 12 лет, старшие подростки) включает 11 содержательных блоков: «Удовлетворенность своими умениями и навыками, общей эффективностью», «Личностный потенциал». «Общее самочувствие», «Поддерживающая сеть», «Безопасность», «Права», «Учет мнения ребенка», «Самочувствие ребенка в организации», «Нормализация жизни», «Будущее». «Социально – демографический».
23 июля 2021 года состоялась онлайн-встреча тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений», в которой приняли участие 47 человек.
В начале мероприятия Ирина Бобылева, куратор группы, эксперт БФ «Расправь крылья!», обозначила основные содержательные вопросы встречи, а также напомнила участникам ключевые итоги первого семинара: основные выявленные проблемы в МиО практик, работающих в данной социальной сфере, а также возможные решения данных проблем (точки роста). Подробнее в презентации.
Далее Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», рассказала о проекте «Оценка в сфере детства: развитие сообществ практиков», в рамках которого проходила тематическая группа. Были анонсированы возможности проекта для развития МиО: прохождение онлайн курса «Оценка проектов и программ в сфере детства», работа четырех тематических площадок, кастомизированная поддержка (набор НКО по конкурсу).
Была представлена методическая база для системы МиО:
Онлайн-база «Слушай с пользой!»: Инструменты сбора обратной связи от благополучателей: https://base.socialvalue.ru/
Реестр (банк) доказательных практик: Практики, описанные в соответствии с методологией Стандарта доказательности практик в сфере детства: http://deti.timchenkofoundation.org/praktiki/
Ольга подчеркнула: «В настоящий момент уже собрана большая методическая база и повышение ее востребованности – это задача, которую мы видим перед собой». Презентация О. Евдокимовой по ссылке.
Перед выступлением следующего спикера всем участникам было предложено ответить на три вопроса. Большинство ответивших отметили, что в их организации нет IT системы для мониторинга и оценки, но, по их мнению, ее наличие обязательно, а основными информантами в системе МиО являются и подростки/выпускники и специалисты.
В основной части встречи были представлены практические кейсы.
Натан Гельман, руководитель программ развития и подготовки кадров израильской некоммерческой организации «Ламерхав» представил систему мониторинга практики менторинга молодых людей, не имеющих семейной поддержки.
Причины появления системы мониторинга: большой объем поступающей информации, в которой стало сложно ориентироваться; поиск ответа на вопросы: как оценить происходящие изменения, куда стоит вкладывать ресурсы, как более эффективно планировать деятельность.
Основные характеристики системы мониторинга в Ламерхав:
построена через призму ментора как основного заказчика: заложена информация, необходимая ему для планирования (отражает реальную ситуацию его подопечных) и для оценки своей работы;
включает внутренний и внешний мониторинг. Внутренний мониторинг отражает повседневную деятельность ментора и является базовым ресурсом для руководства проектом. Внешний мониторинг включает анкетирование ментора и сопровождаемого один раз в полгода. При этом в анкеты включены одинаковые вопросы о положении молодого человека, участника программы;
в ее разработке принимали участие и менторы и молодые люди, что повысило их мотивацию проведения;
является IT системой, что позволяет автоматизировать работу и показать наглядный результат.
Роль мониторинга в том, что он дает возможность увидеть общую картину и основные тенденции изменений. Менторы и участники программы получают возможность остановиться и подвести итоги. А это очень важно, особенно для длительного процесса сопровождения, как в программе Ламерхав. Подробнее в презентации.
В следующем выступлении Наталья Потапова, педагог-психолог Центра содействия семейному воспитанию и постинтернатного сопровождения Владимирской области рассказала об инструменте для измерения готовности к самостоятельной жизни выпускников организаций для детей-сирот (пакет диагностических методик) и результаты его применения.
Инструмент направлен на оценку социально-психологических особенностей воспитанников, которые могут быть рассмотрены как важные внутренние ресурсы для преодоления социального кризиса при переходе к самостоятельной жизни. Он применяется организацией более 3 лет. Результаты оценки используются на индивидуальном уровне (для разработки индивидуального плана подготовки к выпуску и анализа его реализации) и на групповом уровне (для внесения изменений в работу одного или нескольких учреждений для сирот). Презентация Н. Потаповой по ссылке.
В конце встречи участники поделились последними новостями, связанными с МиО, в том числе изменениями в системах МиО своих организаций, задачами их развития, а также обратной связью на особо затронувшие вопросы встречи.
Татьяна Подушкина, заведующий сектором «Центр доказательного социального проектирования» Центра прикладных психолого-педагогических исследований рассказала о результатах ряда методологических семинаров по поиску форм изучения эффектов от реализации программ, в том числе серии семинаров по оценке социально-экономических эффектов программ поддержки трудоустройства молодых людей с низкими стартовыми возможностями. Обозначена задача партнерства академической науки и программной оценки с использованием мягкого исследовательского дизайна.
Роман Лебедев, заместитель руководителя ресурсного центра «Большая Переменена» сообщил, что в прошлом году их практика вошла в реестр доказательных практик, и в настоящее время идет доработка ЛМП, стоят задачи оценки экономического эффекта, разработки инструментов для сбора данных.
Катерина Селенина, БФ «Надежда», рассказала историю движения фонда в развитии системы МиО. В настоящий момент фонд проводит лонгитюдные исследования и разрабатывает чувствительные измерительные инструменты, позволяющие решать задачи профилактики.
Вероника Тардова, психолог-куратор МОО «Старшие Братья Старшие Сестры», обозначила задачу доработки системы МиО, в ответ на расширение целевой группы практики наставничества выпускниками.
Юлия Богданова, старший менеджер КСО компании КПМГ, оценила возможности и ограничения применения зарубежного опыта в российской практике.
