Итоги встречи участников площадки «МиО практик по работе с замещающими семьями»

14 апреля состоялась встреча участников площадки «Мониторинг и оценка практик работы замещающих семей», на которой присутствовали 28 специалистов из 13 регионов РФ.

Ольга Евдокимова рассказала про те инструменты, которые группа собрала и положила в общую библиотеку инструментов онлайн-сервиса ПИОН и онлайн-базу «Слушай с пользой«. Ольга показала, как самостоятельно пользоваться библиотекой знаний, как дополнять ее. В сервисе есть много инструментов, которые можно использовать для оценки, мониторинга и повышения эффективности работы организации. См. презентацию.

Коротко своими наработками поделилась Вероника Кудрявцева, председатель Ассоциации приемных родителей: усыновителей, опекунов, попечителей города Санкт-Петербурга. Она рассказала об инструментах, которые использует в работе Дистанционной службы поддержки замещающих семей. 

Вопросы, которые сейчас стоят в планах работы площадки:

Инструменты, которые используются в практиках сопровождения для отражения результатов.
Вовлечение детей в тему МиО.
Проведение мониторинга практики, когда нет собственных компетенций.
«Для кого мы это делаем?» (МиО) Как заинтересовать регион?

Видео встречи доступно по ссылке.

Итоги встречи участников площадки «МиО для практик кризисных центров»

15 апреля состоялась очередная встреча (вторая в 2022 году) участников площадки, на которой обсуждаются различные аспекты мониторинга и оценки практик кризисных центров. На встрече присутствовали 32 специалиста из 20 регионов.

Встречу провела Елена Андреева, координатор проекта «Теплый дом» БФ «Волонтеры в помощь детям-сиротам», совместно с ведущей площадки в 2021 году Татьяной Арчаковой.

В первой части встречи Ольга Евдокимова представила последние инструменты тематической группы «МиО практик для кризисных центров», загруженные в базу знаний ПИОН и на сайт «Слушай с пользой». См. презентацию.

Участникам был представлен промо-ролик о возможностях сайта «Слушай с пользой» .

Участники встречи отметили, что необходимо продумать процессы валидации загружаемых инструментов МиО, а также пространство, где можно ознакомиться с результатами применения этих инструментов. Довольно часто организации начинают применять предлагаемый инструментарий, внося в него свои корректировки. В связи с чем также необходим сервис для удобной связи с разработчиком.

В ходе практической части встречи участники в малых группах обсудили планы по мониторингу и оценке на 2022. Благодаря чему были собраны следующие задачи участников на 2022 год:

  1. Работа с базами клиентов-благополучателей, в т. ч СRM ( как собираются, хранятся и анализируются данные)

2. Включение детей в оценку работы.

3. Расширение знаний для оценки работы в разных направлениях.

3. Анализ данных.

4. Усовершенствование теории изменения.

5. Анализ кейсов.

6. Совершенствование научной обоснованности практики.

7. Система мониторинга — как поверить в полезность нового инструмента.

8. Правильная последовательность внедрения системы МиО. Советы практиков.

9. Связь системы МиО с другими системами и процессами организаций.

Также участники обращали внимание на сложности связанные с тем, что разные типы доноров требуют разную систему отчетности о результатах одной и той же практики.

Видео запись встречи доступна по ссылке.

31 марта состоялась встреча тематической группы «МиО практик социализации подростков и выпускников»

Во встрече приняли участие 35 специалистов из 9 регионов России.

В первой части встречи Ирина Бобылева, куратор площадки, напомнила об основных итогах работы группы в 2021 году и о собранных инструментах для использования в системах мониторинга и оценки. Инструменты собирались в онлайн-сервисе ПИОН и на сайте «Слушай с пользой!». Всего было собрано 11 инструментов. Часть из которых была представлена организациями», активными участниками проекта «Оценка в сфере детства: развитие сообществ практиков».

Инструменты в ПИОНе (доступно только зарегистрировавшимся пользователям):

Анна Хегай, БФ «Бюро добрых дел», представила методику «Трехсторонняя оценка изменений»

Анна Лыщенко, Бюджетное учреждение Омской области «Центр поддержки семьи» представила экспресс-методику «Уровень адаптивности студентов».

Людмила Шевцова, МКУ Центр «Созвездие», рассказала об Анкете социализированности учащихся.

Инструменты из онлайн-базы «Слушай с Пользой!»:

Анна Кочинева, БФ «Хранители детства» представила «Опросник для специалистов детских домов, принимающих участие в программах корпоративного наставничества».

Татьяна Илясова, АНО «Центр социальных проектов», рассказала о «Гайд интервью молодых матерей из числа сирот».

Затем участники обменялись новостями и обсудили темы и форматы для дальнейшей работы.

В частности, были озвучены следующие запросы:

  • распространение системы МиО на все программы
  • применение IT-технологий
  • верификация практик
  • обучение проведению интервью и фокус-групп

Презентация Ирины Бобылевой доступна по ссылке.

Во второй практической части встречи приглашенные эксперты, активисты площадки и просто желающие, знакомые с методологией создания Теории изменений, разделились на 3 мини-группы, где работали над созданием  Теории изменений Центра Свт. Василия Великого. Практическая работа велась в мини-группах с модераторами на Джембордах.

Видеозапись встречи доступна по ссылке.

25 марта состоялась очередная встреча тематической площадки «Мониторинг и оценка практик поддержки семей с особыми детьми»

25 марта состоялась состоялась очередная ( 2-ая в 2022 году) встреча тематической площадки «Мониторинг и оценка практик поддержки семей с особыми детьми». Во встрече приняли участие 28 человек из 13 регионов.

В начале  встречи Ольга Заводилкина представила новый функционал онлайн-сервиса ПИОН: Библиотека кейсов и Библиотека инструментов. На данный момент в них размещено 5 кейсов и 8 инструментов, относящихся к тематической группе «Практики поддержки семей с особыми детьми». Ольга продемонстрировала новые возможности сервиса. От участников встречи поступили предложения по его доработке.

В продолжении темы Елена Яндуктина представила кейс РООРДИ «Дорогою добра» по итогам использования разработанного при поддержке АНО «Эволюция и филантропия» алгоритма доказательного анализа данных. Был представлен сам инструмент, результаты его применения и решения, которые были приняты на основе полученных результатов. См. презентацию.

По итогам дискуссии было принято решение предложить заинтересованным участникам тематической площадки объединится в небольшую группу и провести анализ своих данных с использованием представленного алгоритма при поддержке работы группы со стороны АНО «Эволюция и Филантропия». Работа группы будет проходить в дистанционном формате. Группа начнет работать 15.04.2022 года. Если Вы хотите присоединиться, напишите на почту info@ep.org.ru.

Также участникам встречи были представлены новые инструменты, которые были помещены в онлайн-базу «Слушай с пользой»! и ее промо-ролик.

В конце вебинара были анонсированы предварительные темы  встреч в 2022 году:

  • Как исследовать негативный эффект практики? – май 2022 года
  • Автоматизация  мониторинга и оценки, инструменты, которые используются в организациях, в которых уже внедрены  CRM – июль 2022 года
  • Границы практики и профиль благополучателя: как они связаны между собой – сентябрь 2022 года

Практикумы по построению теории изменений на основе дерева результатов и коллективному поиску решений задач построения или развития системы мониторинга и оценки практики – по запросу.

Если у вашей организации есть такой запрос, напишите на почту info@ep.org.ru или зайдите на сервис ПИОН и заполните там форму.

Познакомиться с записью встречи можно по ссылке.

7 февраля 2022 г. состоялась заключительная онлайн-встреча «Мониторинг и оценка практик сопровождения замещающих семей»

Встреча проводилась в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов

В первой части встречи подвели итоги работы тематической группы практик сопровождения замещающих семей в 2021 г. (презентация). После подведения итогов провели дискуссию с обсуждением результатов работы группы с точки зрения ее участников, поговорили о влиянии участия в тематической группе на развитие системы мониторинга и оценки практик участников группы.

Результаты участия в тематической группе, которые выделили специалисты для себя и своих практик, оказались разные и интересные:

  • В команде проще рассматривать сложные моменты МиО, много берешь себе в работу.
  • Возможность представления своей практики сообществу помогает увидеть ее со стороны, улучшить формулировки, сделать их доступными специалистам из вне.
  • Повышение мотивации и активности в работе с оценкой практики.
  • Повышение внутреннего ценза, понимание важности и нужности темы.
  • Пройденная верификация помогла победить во Всероссийском конкурсе «Лучшая практика в сфере социальной защиты»
  • Новый взгляд на практику, приходит понимание вектора дальнейшего развития.
  • Добавление новых компетенций к опыту практической деятельности.

Во время обсуждения определили барьеры, которые мешают пользоваться ресурсами сообщества: сложная логика Пиона; ограниченный тайминг на практическую часть во время встреч, много времени уходит на подведение итогов, статистику, опросы.

Для повышения эффективности взаимодействия в тематической группе участники предложили:

  • Создание Форума в Whatsapp или на платформах других мессенджеров.
  • Организацию стажировочных площадок.
  • Проведение супервизий по теме МиО.

Участники выделили темы, над которыми важно поработать на следующих встречах:

  • Инструменты, которые используются в практиках сопровождения для отражения результатов.
  • Вовлечение детей в тему МиО.
  • Проведение мониторинга практики, когда нет собственных компетенций.
  • «Для кого мы это делаем?» (МиО) Как заинтересовать регион?

Во второй части встречи Вероника Кудрявцева, председатель Ассоциации приемных родителей: усыновителей, опекунов, попечителей города Санкт-Петербурга познакомила участников площадки с результатами работы организации, получившей в рамках проекта индивидуальное сопровождение (презентация). Вероника поделилась, что было желание разработать систему МиО, результаты которой станут самостоятельным инструментом для развития программ практики и создать инструменты, позволяющие получить результат, отражающий реальность. Работа над улучшением системы МиО помогла команде Ассоциации выйти на новый мета – уровень. 

Надежда Рождественская, доцент кафедры отраслевой экономики и финансов института экономики и управления РГПУ им. А. И. Герцена (г. Санкт-Петербург), как консультант, оказывающий индивидуальную поддержку Ассоциации, поделилась впечатлениями, как складывалось взаимодействие с организацией. (видео).

Участники встречи отметили, что такой уникальный опыт индивидуальной поддержки эксперта –консультанта при доработке своей системы МиО, хотели бы получить многие организации.

В третьей части встречи планировалась практическая работа с инструментами системы мониторинга и оценки практик сопровождения приемных семей. В силу ограниченного тайминга, удалось познакомиться только с одним инструментом.  Уникальную, апробированную разработку отдела сопровождения замещающих семей Смоленского областного государственного бюджетного учреждения «Центр психолого-медико-социального сопровождения детей и семей» «Анкета определения комфортности проживания детей в замещающих семьях» представила Оксана Михайлова, руководитель отдела.

Видео встречи доступно по ссылке.

Итоги встречи «База знаний по МиО работы социальных приютов и кризисных центров»

27 января состоялась онлайн встреча тематической группы «Социальные приюты и кризисные центры для матерей с детьми» — «База знаний по МиО работы социальных приютов и кризисных центров».

Общее количество участников — 37 человек, из них представители 16-ти регионов РФ.

Встреча проводилась в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Модератором встречи выступила Ольга Евдокимова, директор АНО «Эволюция и филантропия».

В первой части Ольга Евдокимова представила обзор всего, что было сделано в рамках встреч тематической группы в 2021 г. (презентация).

Затем состоялись анкетирование и дискуссия с обсуждением результатов работы группы с точки зрения ее участников, а также барьеров на пути к обращению за поддержкой и ресурсами сообщества между встречами.

Среди результатов участия в тематической группе участники назвали вхождение в реестр практик с доказанной эффективностью; победу в конкурсе Президентских грантов (за счет грамотно прописанных социальных результатов, показателей и способов их измерения).

Некоторые отмечают, что в работу «пришла система»: знания о МиО внедряются в практику и распространяются внутри организации. Сложилось понимание важности МиО, которое воплощается в конкретных идеях («Должен быть человек, который отвечает за сбор данных – и это не руководитель организации») и управленческих решениях: так БФ «Родительский мост» включил в новый проект сразу двух методистов: ответственного за развитие и описание практики и ответственного за сбор и анализ данных. Еще один инсайт: понимание, что система МиО не статична, она требует изменений, поэтому требуется постоянное «методическое развитие» как организации в целом, так и компетенций сотрудников.

Ряд участников рассматривают группу как возможность получить знания и навыки: обсуждение реальных кейсов в сфере МиО дополняет учебу на онлайн курсе «Оценка проектов и программ в сфере детства». Использование новых IT-инструментов для фасилитации дискуссий группы для одной из участниц стало личным «IT-прорывом».

Участники группы также отметили, что за последний год у крупных фондов стало развиваться понимание того, что необходимо развивать МиО в организациях-грантополучателях, появились новые возможности для этого.

Основные барьеры, мешающие обращаться к ресурсам сообщества, – это сомнения в пригодности чужого опыта для своей организации («нет типовых решений») и коммуникативные барьеры. Участникам не всегда понятно, кому лучше написать с какими вопросами; некоторых останавливает отсутствие личного знакомства. Внутренние факторы, мешающие организациям обращаться к коллегам: нет внутреннего ресурса на развитие, много текущей работы, некоторые опасения излишней открытости.

Несмотря на выделенные барьеры, участники обращаются к ресурсам сообщества и помимо встреч тематической группы, например, знакомятся с кейсами коллег в сервисе ПИОН. Многие горизонтальные связи возникают, но остаются незаметными (обращение к материалам сайта, стажировки). У БФ «Волонтеры в помощь детям-сиротам» был опыт обращения к профессиональному сообществу за экспертизой теории изменений практики «Профилактика отказов от новорожденных»: они получили много важной информации и повысили уровень доказанности практики.

Для преодоления барьеров участники предложили:

  • Использовать возможности очных мероприятий для знакомства участников группы.
  • Создать две разных группы в Whatsapp или Telegram:
    • Группу для неформального общения, куда можно будет обращаться с конкретными вопросами (как удобный способ обратиться за поддержкой сообщества).
  • Группу без функции комментариев, куда выкладываются новости, дайджесты, полезные материалы.
  • Назначить регулярные дни и «приемные часы» (например, каждый первый понедельник месяца), в которые опытные участники группы «дежурят» и проводят супервизии или консультации по запросам.
  • Необходим диалог с научным сообществом, но пока «мы друг друга не понимаем».

Новые запросы, с которыми участники хотят работать в 2022 г.:

  • Доработка теории изменений.
  • Работа с инструментарием: получить больше новых инструментов или, наоборот, оптимизировать существующий пакет инструментария. Интересуют инструменты для оценки детско-родительских отношений и материнской мотивации; для сбора обратной связи на выходе из кризисных центров.
  • Анализ данных: принципы и инструменты анализа.
  • Как управленец может эффективно организовать систему МиО, чтобы избежать ошибок. С чего начать новичкам, каковы «точки опоры».
  • Оценочные исследования практик помощь семьям (профилактики социального сиротства), которые тесно связаны с социальными приютами и кризисными центрами. Например, провести анализ, чтобы понять почему семьи попадают в приюты и возможна ли ранняя профилактика, чтобы этого не происходило.
  • Включение детей в оценку и мониторинг

В анкетировании участвовали 25 специалистов; из них 56% — сотрудники НКО, 36% — сотрудники государственных учреждений и еще 8% — из иных организаций; 24% — руководители, 8% — программные менеджеры, 64% — специалисты. Во встречах тематической группы в 2021 г. 36% из них участвовали более 3 раз, 28% — 1 или 2 раза, 36% затруднились уточнить.

72% респондентов оценили содержание встреч тематической группы как совпадающее с ожидаемым, а 20% даже «несколько лучше ожидаемого»; в одном случае респондент предложил вариант «иногда совпадало» и еще в одном отметил, что далеко не все было понятно.

Рис 1. Ответы на вопрос «В какой мере встречи тематической группы соответствовали Вашим ожиданиям»

Новизну полученной информации 20% оценили на 5 баллов (как абсолютно новую), 52% — на 4 балла, 24% — на 3 балла и 4% — на 2 балла. Пользу полученной информации 44% оценили на 5 баллов (как максимально полезную), 52% на 4 балла и 4% — на 2 балла.

Рис 2. Ответы на вопрос «В какой мере полученная информация была для Вас новой?

Рис 3. Ответы на вопрос «В какой мере полученная информация была для Вас полезной?»

Респонденты оценили влияние участия в тематической группе на решение актуальных задач развития систем мониторинга и оценки в своей организации: 24% — на 5 баллов (максимально сильное влияние), 48% — на 4 балла, 20% — на 3 балла, 4% — на 2 и на 1 балл.

Рис 4. Ответы на вопрос «В какой мере участие в тематической группе повлияло на решение актуальных задач развития систем мониторинга и оценки в Вашей организации?»

Ответы на вопрос «Насколько вероятно, что Вы порекомендуете участие в работе тематической площадки своим коллегам?» распределились следующим образом: 56% оценили вероятность на 10 баллов, 16% — на 9 баллов, 20% — на 8 баллов и 8% — на 7 баллов. 76% участников планируют продолжить участие в работе группы в 2022 г., еще 24% пока не уверены.

Рис 5. Ответы на вопрос «Насколько вероятно, что Вы порекомендуете участие в работе тематической площадки своим коллегам?»

В целом, работа тематической группы представляется важной и полезной для развития организаций, но, возможно, непростой и требующей ресурсов.

Во второй части семинара был представлен опыт организаций по разработке и использованию инструментов сбора данных.

Марина Левина, президент БФ «Родительский мост» (Санкт-Петербург) рассказала об опыте разработки инструмента для наблюдения за детско-родительским взаимодействием в рамках сопровождения в процессе индивидуальной поддержки в рамках проекта «Оценка в сфере детства: развитие сообщества практиков» (презентация).

Уже существующие отечественные и зарубежные инструменты для оценки детско-родительского взаимодействия не удовлетворяли всем требованиям: понятности для сотрудников без психологического образования и самих женщин; простоты в использовании; учетом не только психологических характеристик взаимодействия, но и качества ухода в повседневных бытовых ситуациях. Также важно было согласовать инструмент с регламентирующим документом «Принципы организации работы «Центра временного проживания для женщин с малолетними детьми “Дом надежды” и “Дома для мам”». Этот документ был разработан с участием всех сотрудников и описывает «хорошее взаимодействие», к которому надо стремиться.

На встрече Марина Левина продемонстрировала видео с записью кормления ребенка в «Доме для мам», и участники попробовали применить критерии оценки к том, что увидели. Сейчас ведется апробация инструмента, которая включает в себя ответы на вопросы:

  • Видят ли женщины связь между содержанием опросника и их родительской компетентностью? Видят ли сотрудники центра связь между содержанием опросника и их работой по развитию родительских компетенций?
  • Меняются ли оценки по мере проживания женщины в центре? Насколько отличаются оценки у разных женщин?
  • Согласуются ли изменения оценок на основе наблюдения с экспертной оценкой психолога / с самооценкой женщин?
  • Как считать значения показателя «Доля женщин, улучшивших качество взаимодействия и отношений со своими детьми», для которого разработан инструмент? Прирост на сколько баллов и за какой период считать «улучшением»?

Татьяна Арчакова,привлеченный методист БФ «Волонтеры в помощь детям-сиротам», рассказала о применении интервью для сбора обратной связи о достигнутых социальных результатах в проекте «Выездной семейный лагерь» программы «Профилактика социального сиротства». На основе краткого интервью были внесены изменения в программу второй смены лагеря (презентация).

Результаты интервью с родителями легли в основу Дерева результатов «Семейного лагеря». Это помогло описать практику для трансляции коллегам, а также сформулировать аргументы для потенциальных доноров о том, что лагерь – это «катализатор изменений» в детско-родительских отношениях, а не просто вариант пассивного отдыха для благополучателей.

Видео встречи доступно по ссылке.

«Мониторинг и оценка практик поддержки семей с особыми детьми» — результаты и планы

31 января 2022 состоялась онлайн встреча тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми».  Во встрече приняли участие 28 человек из 11 регионов.

В первой части встречи подвели итоги работы тематической группы за 2021 год.

В 2021 году прошло 5 встреч, в которых приняли участие 185 человек из 125 организаций, 22% участников были больше, чем на одной встрече.  

Основные выводы по результатам обсуждения работы группы

  1.  работа над развитием системы мониторинга и оценки требует внешней поддержки, которая должна иметь как образовательную, так и экспертную составляющую
  2. сложности в развитии системы МиО связаны с совмещением позиций практика и оценщика практики, эти сложности касаются не только временных ресурсов, но и требует определенного уровня развития профессиональной рефлексии, гибкости мышления
  3. для организации важна фокусировка именно на ее задачах развития МиО, такую фокусировку может обеспечить индивидуальная работа с консультантами или встреча по принципу «один кейс за один раз»
  4. появилась готовность перейти от разработки деревьев результатов и логических моделей практик к построению теории изменений

Темы, предложенные к обсуждению в 2022 году:

  1. Автоматизация мониторинга и оценки, инструменты, которые используются в организациях, в которых уже внедрены CRM
  2. Практикумы по построению теории изменений на основе дерева результатов
  3. Профиль благополучателя практики и как это связано с ее границами.
  4. Как исследовать негативный эффект практики?
  5. Встречи для коллективного поиска решений задач МиО конкретной практики
  6. Как преодолеть сложности, связанные с совмещением разных ролей ключевыми сотрудниками организации, включая руководителей?
  7. Знакомство с зарубежным опытом

Очевидно, что участники приходят на площадку с разными запросами: кто-то «просто послушать пока» — и такие участники не готовы активно включаться в обсуждение, в отличите от более опытных участников, которые готовы формировать общую повестку. Кто-то приходит получить конкретный совет и тогда нужны несколько иные форматы. Кому-то важно быть в тренде и понимать, что в целом происходит в плане МиО у соответствующих практиков. Звучала тема необходимости повышения профессионализма в области МиО у донорских организаций. В этом ключе площадка являет собой способ фокусировки на профессиональных и этических стандартах.

Также звучали предложения о сокращении общего времени встречи, добавления образовательного контента, большей чувствительности встреч к индивидуальным запросам организаций.

Во второй части встречи Наталья Ульянова представила кейс АНО «Центр помощи семьям детей с ограниченными возможностями здоровья «Содействие» (г. Ростов-на-Дону). Она рассказала о результатах работы организации с индивидуальным консультантом, благодаря которой были разработаны дерево результатов и логическая модель программы, произведена сегментация социального воздействия, усовершенствована система измерения непосредственных и социальных результатов.

В третьей части встречи прошла панельная дискуссия с участием приглашенного эксперта Наталии Фреик.

Основные выводы по ключевым вопросам дискуссии.

Для определения актуальной задачи, решение которой позволит качественно улучшить систему мониторинга и оценки возможно:

1) провести встречу или встречи с широким кругом участников, в том числе и стейкхолдеров, результаты «проверить» в диалоге с экспертом

2) посмотреть, какие другие задачи, не связанные с мониторингом и оценкой, стоят перед организацией, и как внесение изменений в МиО может способствовать их решению

3) воспользоваться алгоритмами, которые предложены в онлайн курсе, разработанном АНО «Эволюция и Филантропия»

4) возможно, в будущем появится специальная методическая разработка

На вопрос, можно  ли «поставить точку» в развитии системы мониторинга и оценки, и если да, то в какой момент, отвечает, как правило, команда практики, при этом важно учитывать:

  1. цикл жизни практики, нужно дать время, чтобы успеть собрать данные для оценки
  2. преемственность инструментария, чтобы обеспечить данные для оценки динамики
  3. нет ли ограничений на внесение изменений со стороны донора или профессионального сообщества
  4. фокусы оценки со стороны доноров (экономическая и пиар составляющие)

Отвечая на вопрос, применима ли оценка рентабельности к «вложениям» в развитие системы мониторинга и оценки, высказали следующие мнения:

  1. можно посчитать сколько средств вложено в развитие системы МиО, но сложно посчитать сколько получено
  2. можно применить оценку вложений в компетенции сотрудников, которая используется в образовательных проектах, в т.ч. в проектах крупных компаний, например ПАО «Сбербанк России»   
  3. можно посчитать, сколько было затрачено на внешнюю оценку и сколько пожертвований было получено благодаря тому, что был представлен отчет
  4. можно говорить о появлении дополнительной уверенности при подаче грантов

Благодарим всех участников встречи!

Мероприятие прошло в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов. 

Видео-запись встречи.

МиО практик «Социализация подростков / выпускников учреждений для детей-сирот» — итоги

28 января 2022 года состоялась онлайн-встреча тематической группы  «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений», подводящая итоги работы группы. Участниками встречи стали более 35 человек из 16 регионов.

Первая часть встречи была посвящена подведению итогов работы тематической группы в 2021 году.

Ирина Бобылева, куратор группы напомнила основные содержательные выводы и продукты, полученные в ходе  работы тематической группы. В четырех онлайн-встречах группы приняли участие 83 человека из 43 государственных и негосударственных некоммерческих организаций. Группа внесла вклад в развитие методической базы для систем МиО: онлайн-база «Слушай с пользой» пополнена новыми инструментами,  а Реестр (банк) доказательных практик – новыми практиками, описанными в формате Стандарта доказательности и прошедшими независимую верификацию. Подробнее – в презентации.

Ожидания членов тематической группы от участия в ней были связаны с повышением компетенций в области мониторинга и оценки, знакомством с опытом коллег, обсуждением актуальных задач для развития системы МиО организации.

Краткий опрос показал, что для большинства участников встречи тематической группы соответствовали их ожиданиям, полученная информация была новой и полезной, повлияла на решение актуальных задач мониторинга и оценки. Есть готовность к дальнейшему участию в работе тематической группы.

В ходе групповой работы участники обсуждали индивидуальные результаты  участия в сообществе, его возможности и барьеры обращения за его  ресурсами, темы и формы интересные для дальнейшей работы.

В качестве личных результатов участники отмечали:

  • изменилось отношение к системе МиО, появилось понимание необходимости  ее перестройки и разработки инструментария;
  • рост уверенности в своих силах, связанный с повышением компетенций и как следствие расширение участия в грантовых конкурсах, в том числе международных;
  • разработка новых инструментов, которые получилось логично встроить в практику;
  • сбор большого массива данных.

Причинами не обращения за ресурсами сообщества были названы:

  • сложности развития культуры организации и долговременность такого процесса;
  • отсутствие внутренней склонности к аналитической деятельности у некоторых сотрудников;
  • отсутствие общих подходов и договоренностей в поле близких практик.

Некоторые участники отмечали  необходимость дифференциации «продуктового предложения»  площадки. Для новых участников, только знакомящихся с МиО, — вводные, ознакомительные возможности; для руководителей – должно быть отдельное предложение; для  специалистов, которые уже прошли определенный путь – возможность профессионального роста и обмена опытом с коллегами.

В качестве ресурса сообщества для лоббирования интересов и способов повышения устойчивости отмечена важность развития культуры донорских организаций, имеющих запрос оценки воздействия поддерживаемых практик.

Участникам было бы интересно включить в повестку новых встреч:

  • сравнение близких практик, критерии такого сравнения;
  • международный опыт стран с условиями близкими к российским условиям;
  • оценка измерительных инструментов;
  • возможность разработки универсальных практик;
  • влияние исполнителя на достижение социальных результатов практики;
  • конструктор работающих решений в области мониторинга и оценки;

Потребность в освоении базовых подходов к МиО остается очень высокой у региональных организаций.

Участники предложили попробовать формат междисциплинарных встреч, привлечение социологов, попробовать встречи только для близких практик или для участников с одинаковым уровнем компетенций.

Была отмечена польза коллективной работы, увеличивающей личные ресурсы, атмосфера доверия и безопасности в группе.

 Во второй части встречи были представлены кейсы организаций, иллюстрирующие решение актуальных задач развития систем мониторинга и оценки, сделанные при поддержке индивидуального консультанта.

Опытом развития систем мониторинга и оценки поделились:

1) Автономная некоммерческая организация «Центр социальных проектов» (Татьяна Илясова). Кейс иллюстрировал опыт рефлексии практики сопровождения родителей – выпускников организаций  для детей–сирот на основе обратной связи от благополучателей. Презентация доступна по ссылке;

2) Благотворительный фонд «Большая перемена» (Роман Лебедев). Кейс раскрывал опыт разработки модели оценки социального эффекта реализации программной деятельности. Презентация доступна по ссылке;

3) Благотвори­тельный фонд помощи детям-отказникам и детям-сиротам­ «Бюро добрый дел» (Анна Хегай). Кейс показал изменения процедуры подсчета показателя на основе триангуляции данных. Презентация доступна по ссылке.

Консультанты, оказавшие поддержку организациям, отметили, что для них это был интересный и не всегда простой опыт и поделились выводами:

  • встроить серьезную исследовательскую работу в текущую деятельность организации – процесс довольно сложный, требующий отдельных усилий;
  • происходила не только разработка конкретного инструмента, но в целом перестройка системы МиО, выработка общих подходов;
  • особенности целевой группы практики задают требования к разрабатываемым инструментам, которые с одной стороны должны отслеживать сложные социальные результаты практики, а с другой стороны быть понятными и доступными для благополучателей;
  • важен вопрос осознанного выбора внутреннего интервьюера для обеспечения тесного контакта с благополучателем на основе уже сложившихся доверительных отношений;
  • решающим в достижении социальных результатов  практик тематической группы становится мнение самого подростка (исследование авторства в жизни), ориентация на то, что для него важно и как он сам себя оценивает и насколько удовлетворен изменениями;
  • большой объем полученной качественными инструментами информации усложняет анализ;
  • интерпретации полученного результата должны подтверждаться дополнительными исследованиями, а не быть «удобными» для организации.

Мероприятие проводится в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Благодарим всех спикеров и участников!

Видео-запись семинара доступна по ссылке.

Верификация практик поддержки семей с особыми детьми

1 декабря 2021 прошел вебинар «Верификации социальных практик», на котором был представлен опыт прохождения независимой верификации организациями, которые оказывают поддержу семьям с особыми детьми. 

В самом начале вебинара слушатели получили уникальную возможность задать вопросы Инне Ширшовой (БФ «Вклад в будущее»), которая была в этом году экспертом-верификатором нескольких практик, и прояснить основания присвоения того или иного уровня доказанности, а также конкретизировать содержание полученных рекомендаций.

Больше всего слушателей интересовали вопросы валидности применяемых инструментов. Многие инструменты, которые советуют эксперты, не являются общедоступными, применение зарубежных методик должно предваряться адаптацией к культурно-социальному контексту нашей страны, инструменты, которые разрабатывают сами организации, как правило не проходят психометрическую проверку. В этой ситуации, по совету Инны, необходимо в описании провести аргументы, почему был выбран тот или иной инструмент, почему не были взяты другие инструменты, особенно, общеизвестные. И в целом, описывая практику, важно показывать не только конечные результаты ее рефлексивного анализа, как это есть сейчас, но и промежуточные. Это поможет экспертам понять контекст работы организации по сбору доказательств.

В диалоге родилась тема дискуссии следующей встречи, а именно: «Анализ допущений и оценка рисков негативного влияния практики».   

Во второй части вебинара результаты работы в рамках Конкурса Фонда Елены и Геннадия Тимченко «Реестр доказательных практик» представили:

  • АНО «Центр сопровождения детей и семей «Содействие», практика «Группа поддержки родителей детей с ограниченными возможностями здоровья и инвалидностью «Равновесие» (презентация);
  • АНО «Центр развития и реабилитации детей «Светлый город», практика «Развитие и социальная адаптация детей с особыми образовательными потребностями» (презентация);
  • АНО «Ресурсный центр помощи людям с ментальными нарушениями «Вера. Надежда. Любовь», практика «ЭМО» — мессенджер для детей и молодых людей с ментальными нарушениями» после реализации плана повышения доказательности (презентация).

Все организации поделились результатами верификации, полученными рекомендациями и тем, как рекомендации были ими трансформированы в задачи плана повышения доказанности.

В третьей части слушатели примерили на себя роль верификаторов практики «Непрерывное сопровождение детей с выраженными интеллектуальными нарушениями» (ГБУ ЦСПР «Семь-Я»). Надо отметить, что результаты коллективной публичной экспертизы по разделам «Регламентированность» и «Обоснованность практики» совпали с мнением экспертов, как по присвоенным уровням, так и по содержанию рекомендаций. 

В заключении слушатели обменялись своими впечатлениями о прошедшем вебинаре.  Многие отмечали, что на вебинаре ещё больше укрепились во мнении о необходимости специальных навыков для «упаковки » практики в описание в соответствии со Стандартом доказательности практик.

Видео встречи доступно по ссылке.

Верификация практик в сфере профилактики социального сиротства

3 декабря 2021 года состоялся онлайн-семинар «Верификация доказательных практик в сфере профилактики социального сиротства». В работе семинара приняли участие 24 специалиста сферы детства.

В начале встречи Татьяна Арчакова, психолог-методист БДФ «Виктория», представила типичные ошибки при описании практик в доказательном ключе во всех разделах доказательного анализа (презентация).

Во второй части встречи был представлен опыт БФ «Волонтеры в помощь детям-сиротам» (г. Москва). Елена Андреева рассказала о повышении уровня доказанности практики «Профилактика отказов от новорожденных», которая уже проходила верификацию в Реестр доказательных практик в 2020 г. Презентация доступна по ссылке.

Также участники обсудили свой опыт прохождения верификации. Они отметили, что одна из самых сложных задач – единообразное, согласованное представление всех данных; ведь система мониторинга периодически меняется и дополняется. Значимый фактор успеха – серьезное отношение к рекомендациям верификатора. Некоторые участники задавали верификаторам подробные уточняющие вопросы; некоторые – расставляли приоритеты в работе по принципу «светофора», выделяя те рекомендации, за воплощение которых берутся сразу («зеленый»), которые учтут во вторую очередь («желтый») или оставят «на вырост» («красный»).   

В третьей части семинара прошла публичная верификация практики «Технология семейного наставничества как форма социального сопровождения семьи, находящейся в трудной жизненной ситуации «Выход»» (АНО «Моя семья», Ярославская обл.). Участники обсудили раздел «Обоснованность практики» и сравнили оценки, получившиеся в двух малых группах – они получились вполне согласованными.

Основные выводы спикеров и участников семинара:

  • Описание практики в русле Стандарта доказательности и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко стимулирует не только повышение доказанности, но и в целом описанию и трансляции интересных практик
  • Опора на Стандарт доказательности позволяет добиться высокой согласованности оценок даже у неопытных верификаторов
  • Повышение уровня доказанности с начального до базового часто достижимо за счет более логичного и четкого описания; привлечения релевантных внешних источников (например, обоснованности с т.з. научных теорий и прикладных исследований); структурирования уже имеющихся данных мониторинга. Повышение уровня доказанности с базового до продвинутого уже требует активных действий, например, проведения собственных исследований или внешней оценки; сбора данных от более широкого круга стейкхолдеров.
  • Одним из самых сложных для заполнения оказывается п. 4.2 «Какие есть данные, подтверждающие обоснованность применения практики с точки зрения профессионального опыта и экспертизы?» Он поднимает вопросы: Сложилось ли профессиональное сообщество в этой тематике? Каковы форматы, время и место для экспертизы практик в сообществе? Как интерпретировать те или иные профессиональные награды за реализацию практики?

Благодарим всех спикеров и участников!

Видеозапись семинара доступна по ссылке.