31 марта состоялась встреча тематической группы «МиО практик социализации подростков и выпускников»

Во встрече приняли участие 35 специалистов из 9 регионов России.

В первой части встречи Ирина Бобылева, куратор площадки, напомнила об основных итогах работы группы в 2021 году и о собранных инструментах для использования в системах мониторинга и оценки. Инструменты собирались в онлайн-сервисе ПИОН и на сайте «Слушай с пользой!». Всего было собрано 11 инструментов. Часть из которых была представлена организациями», активными участниками проекта «Оценка в сфере детства: развитие сообществ практиков».

Инструменты в ПИОНе (доступно только зарегистрировавшимся пользователям):

Анна Хегай, БФ «Бюро добрых дел», представила методику «Трехсторонняя оценка изменений»

Анна Лыщенко, Бюджетное учреждение Омской области «Центр поддержки семьи» представила экспресс-методику «Уровень адаптивности студентов».

Людмила Шевцова, МКУ Центр «Созвездие», рассказала об Анкете социализированности учащихся.

Инструменты из онлайн-базы «Слушай с Пользой!»:

Анна Кочинева, БФ «Хранители детства» представила «Опросник для специалистов детских домов, принимающих участие в программах корпоративного наставничества».

Татьяна Илясова, АНО «Центр социальных проектов», рассказала о «Гайд интервью молодых матерей из числа сирот».

Затем участники обменялись новостями и обсудили темы и форматы для дальнейшей работы.

В частности, были озвучены следующие запросы:

  • распространение системы МиО на все программы
  • применение IT-технологий
  • верификация практик
  • обучение проведению интервью и фокус-групп

Презентация Ирины Бобылевой доступна по ссылке.

Во второй практической части встречи приглашенные эксперты, активисты площадки и просто желающие, знакомые с методологией создания Теории изменений, разделились на 3 мини-группы, где работали над созданием  Теории изменений Центра Свт. Василия Великого. Практическая работа велась в мини-группах с модераторами на Джембордах.

Видеозапись встречи доступна по ссылке.

МиО практик «Социализация подростков / выпускников учреждений для детей-сирот» — итоги

28 января 2022 года состоялась онлайн-встреча тематической группы  «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений», подводящая итоги работы группы. Участниками встречи стали более 35 человек из 16 регионов.

Первая часть встречи была посвящена подведению итогов работы тематической группы в 2021 году.

Ирина Бобылева, куратор группы напомнила основные содержательные выводы и продукты, полученные в ходе  работы тематической группы. В четырех онлайн-встречах группы приняли участие 83 человека из 43 государственных и негосударственных некоммерческих организаций. Группа внесла вклад в развитие методической базы для систем МиО: онлайн-база «Слушай с пользой» пополнена новыми инструментами,  а Реестр (банк) доказательных практик – новыми практиками, описанными в формате Стандарта доказательности и прошедшими независимую верификацию. Подробнее – в презентации.

Ожидания членов тематической группы от участия в ней были связаны с повышением компетенций в области мониторинга и оценки, знакомством с опытом коллег, обсуждением актуальных задач для развития системы МиО организации.

Краткий опрос показал, что для большинства участников встречи тематической группы соответствовали их ожиданиям, полученная информация была новой и полезной, повлияла на решение актуальных задач мониторинга и оценки. Есть готовность к дальнейшему участию в работе тематической группы.

В ходе групповой работы участники обсуждали индивидуальные результаты  участия в сообществе, его возможности и барьеры обращения за его  ресурсами, темы и формы интересные для дальнейшей работы.

В качестве личных результатов участники отмечали:

  • изменилось отношение к системе МиО, появилось понимание необходимости  ее перестройки и разработки инструментария;
  • рост уверенности в своих силах, связанный с повышением компетенций и как следствие расширение участия в грантовых конкурсах, в том числе международных;
  • разработка новых инструментов, которые получилось логично встроить в практику;
  • сбор большого массива данных.

Причинами не обращения за ресурсами сообщества были названы:

  • сложности развития культуры организации и долговременность такого процесса;
  • отсутствие внутренней склонности к аналитической деятельности у некоторых сотрудников;
  • отсутствие общих подходов и договоренностей в поле близких практик.

Некоторые участники отмечали  необходимость дифференциации «продуктового предложения»  площадки. Для новых участников, только знакомящихся с МиО, — вводные, ознакомительные возможности; для руководителей – должно быть отдельное предложение; для  специалистов, которые уже прошли определенный путь – возможность профессионального роста и обмена опытом с коллегами.

В качестве ресурса сообщества для лоббирования интересов и способов повышения устойчивости отмечена важность развития культуры донорских организаций, имеющих запрос оценки воздействия поддерживаемых практик.

Участникам было бы интересно включить в повестку новых встреч:

  • сравнение близких практик, критерии такого сравнения;
  • международный опыт стран с условиями близкими к российским условиям;
  • оценка измерительных инструментов;
  • возможность разработки универсальных практик;
  • влияние исполнителя на достижение социальных результатов практики;
  • конструктор работающих решений в области мониторинга и оценки;

Потребность в освоении базовых подходов к МиО остается очень высокой у региональных организаций.

Участники предложили попробовать формат междисциплинарных встреч, привлечение социологов, попробовать встречи только для близких практик или для участников с одинаковым уровнем компетенций.

Была отмечена польза коллективной работы, увеличивающей личные ресурсы, атмосфера доверия и безопасности в группе.

 Во второй части встречи были представлены кейсы организаций, иллюстрирующие решение актуальных задач развития систем мониторинга и оценки, сделанные при поддержке индивидуального консультанта.

Опытом развития систем мониторинга и оценки поделились:

1) Автономная некоммерческая организация «Центр социальных проектов» (Татьяна Илясова). Кейс иллюстрировал опыт рефлексии практики сопровождения родителей – выпускников организаций  для детей–сирот на основе обратной связи от благополучателей. Презентация доступна по ссылке;

2) Благотворительный фонд «Большая перемена» (Роман Лебедев). Кейс раскрывал опыт разработки модели оценки социального эффекта реализации программной деятельности. Презентация доступна по ссылке;

3) Благотвори­тельный фонд помощи детям-отказникам и детям-сиротам­ «Бюро добрый дел» (Анна Хегай). Кейс показал изменения процедуры подсчета показателя на основе триангуляции данных. Презентация доступна по ссылке.

Консультанты, оказавшие поддержку организациям, отметили, что для них это был интересный и не всегда простой опыт и поделились выводами:

  • встроить серьезную исследовательскую работу в текущую деятельность организации – процесс довольно сложный, требующий отдельных усилий;
  • происходила не только разработка конкретного инструмента, но в целом перестройка системы МиО, выработка общих подходов;
  • особенности целевой группы практики задают требования к разрабатываемым инструментам, которые с одной стороны должны отслеживать сложные социальные результаты практики, а с другой стороны быть понятными и доступными для благополучателей;
  • важен вопрос осознанного выбора внутреннего интервьюера для обеспечения тесного контакта с благополучателем на основе уже сложившихся доверительных отношений;
  • решающим в достижении социальных результатов  практик тематической группы становится мнение самого подростка (исследование авторства в жизни), ориентация на то, что для него важно и как он сам себя оценивает и насколько удовлетворен изменениями;
  • большой объем полученной качественными инструментами информации усложняет анализ;
  • интерпретации полученного результата должны подтверждаться дополнительными исследованиями, а не быть «удобными» для организации.

Мероприятие проводится в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Благодарим всех спикеров и участников!

Видео-запись семинара доступна по ссылке.

Итоги верификации практик тематической группы «Социализация подростков / выпускников учреждений для детей-сирот»

30 ноября 2021 года состоялся онлайн-семинар «Итоги верификации практик тематической группы «Социализация подростков / выпускников учреждений для детей-сирот». В работе семинара приняли участие 24 специалиста сферы детства.

В первой части встречи Ирина Бобылева, главный специалист-эксперт БФ «Расправь крылья!», представила типичные ошибки при описании практик в доказательном ключе во всех разделах доказательного анализа. Подробнее в презентации.

Во второй части встречи были представлены:

1) опыт Благотворительного фонда «Рауль», связанный с описанием в русле Стандарта доказательности практики «Все получится!» и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко «Реестр доказательных практик» (Евгения Канцыпко, руководитель Ресурсного центра «Все получится!»). Презентация доступна по ссылке;

2)  опыт повышения доказанности практики «Значимый взрослый» – направление проекта «Право выбора» (длительное наставничество) Санкт-петербургского регионального общественного движения помощи детям, оставшимся без попечения родителей «Петербургские родители» (Анастасия Куркина, руководитель практики). Презентация доступна по ссылке;

3) опыт повышения доказанности практики «Социальная технология «Наставничество» для воспитанников и выпускников организаций для детей-сирот» (длительное и краткосрочное наставничество) Тамбовского областного государственного бюджетного учреждения «Центр по развитию семейных форм устройства детей-сирот и детей, оставшихся без попечения родителей, «Ради будущего» (Вахрушева Анна Александровна, ведущий психолог Центра). Презентация доступна по ссылке;  

В третьей части семинара прошла публичная верификация практики «Подготовка выпускников организаций для детей-сирот к смене условий (к выходу из детского дома) и поддержка при адаптации к самостоятельной жизни «Навстречу взрослой жизни» бюджетного учреждения Омской области «Центр поддержки семьи».

Основные выводы спикеров и участников семинара:

  • описание практики в русле Стандарта доказательности и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко дает организации возможность развивать как систему МиО, так и саму практику;
  • наличие типичных ошибок в описании создает вектор развития доказательности практики;
  • организации, вставшие на путь доказательности, «путь поиска ответов на сложные вопросы» получают новый импульс развития сообщества организаций, реализующих социальные практики.

По результатам публичной верификации специалисты Центра дали следующие комментарии:

  • мнение коллег было полезным, взгляд со стороны позволяет по-другому посмотреть на практику (на результат ее описания), выявить более объемно проблемные места описания (точки развития);
  • в целом мнения экспертов-верификаторов и участников нашей встречи совпали, нам кажется, коллеги очень старались смотреть на описание нашей практики объективно;
  • комментарии коллег позволили нам определить приоритет в повышении доказанности – начать работу с повышения регламентированности, собрать все наработанные материалы воедино.
  • в результате обсуждения кейсов и публичной верификации, мы поняли, что подобной (даже если очень отдаленно) практики среди коллег никто не реализует и это показалось нам интересным достижением.

Благодарим всех спикеров и участников!

Видео-запись семинара доступна по ссылке.

Итоги онлайн-встречи «Социализация подростков / выпускников учреждений для детей-сирот»: учимся доказательности на практике

6 октября 2021 года состоялась онлайн-встреча тематической группы  «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений».

Во встрече участвовало 38 специалистов из 15 регионов Российской Федерации, представляющие государственные и некоммерческие организации, работающие с детьми и молодыми людьми с опытом сиротства. 70% участников ранее были участниками встреч тематической группы.

В первой части встречи Ирина Бобылева, куратор группы, эксперт БФ «Расправь крылья!», представила результаты работы по построению Теории изменений для практик социализации и адаптации подростков и молодых взрослых,  участников онлайн-курса «Оценка программ в сфере детства».  

А выпускники курса рассказали о том, как обучение и участие в верификации практики повлияло на изменение систем мониторинга и оценки их практик: разработаны деревья результатов и логические модели, сделаны шаги для включения воспитанников и выпускников в процесс разработки дизайна исследования и сбора данных. Подробнее в презентации.

Во второй части встречи Марина Ушакова, директор Центра помощи детям, оставшимся без попечения родителей, «Акварель» города Челябинска представила практику «Взлет» и элементы ее системы мониторинга и оценки. Практика направлена на подготовку воспитанников организации для детей-сирот и детей, оставшихся без попечения родителей, к самостоятельной жизни. Активности практики направлены на две целевые группы: предвыпускники (за 2-1 года до выхода из детского дома) и выпускники. Презентация М. Ушаковой доступна по ссылке.

При помощи интерактивной доски Jamboard участники встречи:  практиковались выстраивать цепочку социальных результатов и связей между ними, а также подбирать показатели к социальным результатам представленной практики «Взлет».  

В ходе групповой работы участники встречи пришли к заключениям:

  • выстраивая дерево результатов важно: не расширять, «выдерживать» границы практики, проверять связи на необходимость и достаточность;
  • при подборе показателей к социальным результатам важно держать в фокусе динамику самостоятельности выпускника, которую можно увидеть в уменьшении помощи со стороны специалистов, а также в усложнении решаемых выпускником задач;
  • предпочтителен выбор методики «360» , которая включает в источники данных все окружение выпускника: специалистов (длительно сопровождающих и оказывающих кратковременные услуги), его самого и других выпускников;
  • выбирать оценочные инструменты, уменьшающие субъективное влияние специалиста, а также привлекать к оценке самих воспитанников и выпускников.

В третьей части встречи Галина Семья, сопредседатель экспертного совета Комитета Госдумы Российской Федерации по вопросам семьи, женщин и детей, международный эксперт представила основные тренды в изучении благополучия, примеры международных моделей исследования благополучия, методику оценки субъективного благополучия воспитанников детского дома.

Основные тезисы выступления:

  1. В настоящее время при изучении благополучия происходит переход от удовлетворения базовых нужд к обеспечению качества жизни, от негативной направленности к позитивной, от обеспечения счастливого будущего к благополучию в настоящем. Концепция благополучия шире защиты прав.
  2. Субъективное благополучие воспитанников организаций для детей-сирот – это удовлетворенность ребенка (подростка) системой своих  отношений:
  3. к себе – считает себя привлекательным внешне и по характеру, считает, что другие его положительно оценивают; положительно оценивает свои умения и навыки, образовательные достижения;
  4. к другим – имеет взрослых, с которыми можно построить доверительные отношения в самой организации, и вне ее; имеет удовлетворяющие его отношения с детьми (сверстниками) в организации и вне ее;
  5. со средой – живет в условиях физической и психологической  безопасности, имеет возможность вести такую же жизнь, как и другие дети («нормализация жизни»), его мнение учитывается при решении вопросов, связанных с его жизнью, будущим и т.д., знает свои права и умеет ими пользоваться;
  6. к своему хронотопу (истории жизни).
  7. Модель, ставшая основой для разработки опросников (в соответствии с возрастными группами: «дошкольники», дети с 7 до 12 лет, старшие подростки) включает 11 содержательных блоков: «Удовлетворенность своими умениями и навыками, общей эффективностью», «Личностный потенциал». «Общее самочувствие», «Поддерживающая сеть», «Безопасность», «Права», «Учет мнения ребенка», «Самочувствие ребенка в организации», «Нормализация жизни», «Будущее». «Социально – демографический».

Подробнее в презентации.

Мы хотим сделать работу группы максимально полезной для ее участников и просим ответить на небольшую анкету.

Мероприятие проводится в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Благодарим всех спикеров и участников!

Видео-запись семинара доступна по ссылке.

Итоги онлайн-встречи «Мониторинг и оценка практик социальной адаптации подростков и выпускников сиротских учреждений»

23 июля 2021 года состоялась онлайн-встреча тематической группы  «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений», в которой приняли участие 47 человек.

В начале мероприятия Ирина Бобылева, куратор группы, эксперт БФ «Расправь крылья!», обозначила основные содержательные вопросы встречи, а также напомнила участникам ключевые итоги первого семинара: основные выявленные проблемы в МиО практик, работающих в данной социальной сфере, а также возможные решения данных проблем (точки роста). Подробнее в презентации.

Далее Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», рассказала о проекте «Оценка в сфере детства: развитие сообществ практиков», в рамках которого проходила тематическая группа. Были анонсированы возможности проекта для развития МиО: прохождение онлайн курса «Оценка проектов и программ в сфере детства», работа четырех тематических площадок, кастомизированная поддержка (набор НКО по конкурсу).

Была представлена методическая база для системы МиО:

  1. Онлайн-сервис ПИОН: Планирование, измерение и оценка социальных результатов: https://pion.org.ru/newpion/select-library
  2. Онлайн-база «Слушай с пользой!»: Инструменты сбора обратной связи от благополучателей: https://base.socialvalue.ru/
  3. Реестр (банк) доказательных практик: Практики, описанные в соответствии с методологией Стандарта доказательности практик в сфере детства: http://deti.timchenkofoundation.org/praktiki/

Ольга подчеркнула: «В настоящий момент уже собрана большая методическая база и повышение ее востребованности – это задача, которую мы видим перед собой». Презентация О. Евдокимовой по ссылке.

Перед выступлением следующего спикера всем участникам было предложено ответить на три вопроса. Большинство ответивших отметили, что в их организации нет IT системы для мониторинга и оценки, но, по их мнению, ее наличие обязательно, а основными информантами в системе МиО являются и подростки/выпускники и специалисты.

В основной части встречи были представлены практические кейсы.

Натан Гельман, руководитель программ развития и подготовки кадров израильской некоммерческой организации «Ламерхав» представил систему мониторинга практики менторинга молодых людей, не имеющих семейной поддержки.

Причины появления системы мониторинга: большой объем поступающей информации, в которой стало сложно ориентироваться; поиск ответа на вопросы: как оценить происходящие изменения, куда стоит вкладывать ресурсы, как более эффективно планировать деятельность.

Основные характеристики системы мониторинга в Ламерхав:

  1. построена через призму ментора как основного заказчика: заложена информация, необходимая ему для планирования (отражает реальную ситуацию его подопечных) и для оценки своей работы;
  2. включает внутренний и внешний мониторинг.  Внутренний мониторинг отражает повседневную  деятельность ментора и является базовым ресурсом для руководства проектом. Внешний мониторинг включает анкетирование ментора и сопровождаемого один раз в полгода. При этом в анкеты включены одинаковые вопросы о положении молодого человека, участника программы;
  3. в ее разработке принимали участие и менторы и молодые люди, что повысило их мотивацию проведения; 
  4. является IT системой, что позволяет автоматизировать работу и показать наглядный результат.

Роль мониторинга в том, что он дает возможность увидеть общую картину и основные тенденции изменений. Менторы и участники программы получают возможность остановиться и подвести итоги. А это очень важно, особенно для длительного процесса сопровождения, как в программе Ламерхав. Подробнее в презентации.

В следующем выступлении Наталья Потапова, педагог-психолог Центра содействия семейному воспитанию и постинтернатного сопровождения Владимирской области рассказала об инструменте для измерения готовности к самостоятельной жизни выпускников организаций для детей-сирот (пакет диагностических методик) и результаты его применения.

Инструмент направлен на оценку социально-психологических особенностей воспитанников, которые могут быть рассмотрены как важные внутренние ресурсы для преодоления социального кризиса при переходе к самостоятельной жизни. Он применяется организацией более 3 лет. Результаты оценки используются на индивидуальном уровне (для разработки индивидуального плана подготовки к выпуску и анализа его реализации) и на групповом уровне (для внесения изменений в работу одного или нескольких учреждений для сирот). Презентация Н. Потаповой по ссылке.

В конце встречи участники поделились последними новостями, связанными с  МиО, в том числе изменениями в системах МиО своих организаций, задачами их развития, а также обратной связью на особо затронувшие вопросы встречи.

Татьяна Подушкина, заведующий сектором «Центр доказательного социального проектирования» Центра прикладных психолого-педагогических исследований рассказала о результатах ряда методологических семинаров  по поиску форм изучения эффектов от реализации программ, в том числе серии семинаров по оценке социально-экономических эффектов программ поддержки трудоустройства молодых людей с низкими стартовыми возможностями. Обозначена задача партнерства академической науки и программной оценки с использованием мягкого исследовательского дизайна.

Роман Лебедев, заместитель руководителя ресурсного центра «Большая Переменена» сообщил, что в прошлом году их практика вошла в реестр доказательных практик, и в настоящее время идет доработка ЛМП, стоят задачи оценки экономического эффекта, разработки инструментов для сбора данных.

Катерина Селенина, БФ «Надежда», рассказала историю движения фонда в развитии системы МиО. В настоящий момент фонд проводит лонгитюдные исследования и разрабатывает чувствительные измерительные инструменты, позволяющие решать задачи профилактики.

Вероника Тардова,  психолог-куратор МОО «Старшие Братья Старшие Сестры», обозначила задачу доработки системы МиО, в ответ на расширение целевой группы практики наставничества выпускниками.

Юлия Богданова, старший менеджер КСО компании КПМГ, оценила возможности и ограничения применения зарубежного опыта в российской практике.

Мероприятие проводится в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Благодарим всех спикеров и участников!

Видео-запись семинара доступна по ссылке.