6 октября 2021 года состоялась онлайн-встреча тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений».
Во встрече участвовало 38 специалистов из 15 регионов Российской Федерации, представляющие государственные и некоммерческие организации, работающие с детьми и молодыми людьми с опытом сиротства. 70% участников ранее были участниками встреч тематической группы.
В первой части встречи Ирина Бобылева, куратор группы, эксперт БФ «Расправь крылья!», представила результаты работы по построению Теории изменений для практик социализации и адаптации подростков и молодых взрослых, участников онлайн-курса «Оценка программ в сфере детства».
А выпускники курса рассказали о том, как обучение и участие в верификации практики повлияло на изменение систем мониторинга и оценки их практик: разработаны деревья результатов и логические модели, сделаны шаги для включения воспитанников и выпускников в процесс разработки дизайна исследования и сбора данных. Подробнее в презентации.
Во второй части встречи Марина Ушакова, директор Центра помощи детям, оставшимся без попечения родителей, «Акварель» города Челябинска представила практику «Взлет» и элементы ее системы мониторинга и оценки. Практика направлена на подготовку воспитанников организации для детей-сирот и детей, оставшихся без попечения родителей, к самостоятельной жизни. Активности практики направлены на две целевые группы: предвыпускники (за 2-1 года до выхода из детского дома) и выпускники. Презентация М. Ушаковой доступна по ссылке.
При помощи интерактивной доски Jamboard участники встречи: практиковались выстраивать цепочку социальных результатов и связей между ними, а также подбирать показатели к социальным результатам представленной практики «Взлет».
В ходе групповой работы участники встречи пришли к заключениям:
выстраивая дерево результатов важно: не расширять, «выдерживать» границы практики, проверять связи на необходимость и достаточность;
при подборе показателей к социальным результатам важно держать в фокусе динамику самостоятельности выпускника, которую можно увидеть в уменьшении помощи со стороны специалистов, а также в усложнении решаемых выпускником задач;
предпочтителен выбор методики «360» , которая включает в источники данных все окружение выпускника: специалистов (длительно сопровождающих и оказывающих кратковременные услуги), его самого и других выпускников;
выбирать оценочные инструменты, уменьшающие субъективное влияние специалиста, а также привлекать к оценке самих воспитанников и выпускников.
В третьей части встречи Галина Семья, сопредседатель экспертного совета Комитета Госдумы Российской Федерации по вопросам семьи, женщин и детей, международный эксперт представила основные тренды в изучении благополучия, примеры международных моделей исследования благополучия, методику оценки субъективного благополучия воспитанников детского дома.
Основные тезисы выступления:
В настоящее время при изучении благополучия происходит переход от удовлетворения базовых нужд к обеспечению качества жизни, от негативной направленности к позитивной, от обеспечения счастливого будущего к благополучию в настоящем. Концепция благополучия шире защиты прав.
Субъективное благополучие воспитанников организаций для детей-сирот – это удовлетворенность ребенка (подростка) системой своих отношений:
к себе – считает себя привлекательным внешне и по характеру, считает, что другие его положительно оценивают; положительно оценивает свои умения и навыки, образовательные достижения;
к другим – имеет взрослых, с которыми можно построить доверительные отношения в самой организации, и вне ее; имеет удовлетворяющие его отношения с детьми (сверстниками) в организации и вне ее;
со средой – живет в условиях физической и психологической безопасности, имеет возможность вести такую же жизнь, как и другие дети («нормализация жизни»), его мнение учитывается при решении вопросов, связанных с его жизнью, будущим и т.д., знает свои права и умеет ими пользоваться;
к своему хронотопу (истории жизни).
Модель, ставшая основой для разработки опросников (в соответствии с возрастными группами: «дошкольники», дети с 7 до 12 лет, старшие подростки) включает 11 содержательных блоков: «Удовлетворенность своими умениями и навыками, общей эффективностью», «Личностный потенциал». «Общее самочувствие», «Поддерживающая сеть», «Безопасность», «Права», «Учет мнения ребенка», «Самочувствие ребенка в организации», «Нормализация жизни», «Будущее». «Социально – демографический».
24 сентября прошла финальная встреча участников онлайн-курса «Оценка программ в сфере детства». Всего на курс записалось более 60 участников, из них сертификаты получили 54 человека. При этом 34 слушателя получили сертификат с отличием (80% от максимальной суммы баллов). Это представители 43 организаций сферы детства из 23 регионов РФ. 13 организаций учились командами от 2-х до 6-ти слушателей. «Мы благодарим всех слушателей курса за их вовлеченность, мотивацию в освоении не самого простого специализированного контента», — отметила Ольга Евдокимова.
Это был не самый короткий путь в 8 насыщенных недель, за которые слушателям пришлось освоить 7 модулей/ 23 урока; пройти 70 тестов; просмотреть 37 видео-роликов; выполнить 12 домашних заданий; принять участие в 6 рабочих обсуждениях.
«Отличный курс, высокая плотность материалов, много дополнительных. Информация представлена с разных сторон, достаточно комплексно. Получилось полное погружение в тему на пару месяцев. Вся работа в организации теперь воспринимается по-новому. Культура оценки у нас точно повысилась», — поделилась своим впечатлением о курсе Антонина Попова (БФ «Волонтеры в помощь детям-сиротам»)
«Курс очень сильный и насыщенный. Практически второе высшее образование в области оценки! Конечно, пройти его не просто: требуется большая аналитическая работа с данными, с опытом других. Еще нужна команда тех, кто заинтересован в такой оценке на уровне учреждения. Как бы то ни было — очень важный курс! Браво преподавателям и организаторам!» — считает Елена Корытова (Областное государственное бюджетное учреждение «Смоленский социально-реабилитационный центр для несовершеннолетних «Феникс»).
На основе сравнения входящего и финального теста, мы видим рост уровня знаний в среднем на 30% и это хороший результат, лучший из всех четырех потоков за период 2020-2021 год. Анализ анкет обратной связи, решения тестов и выполнения домашних заданий также позволяют нам делать вывод о росте компетенций слушателей курса.
«Весь материал, полученный в ходе изучения курса очень полезный, информативный и необходимый в дальнейшей работе, особенно мне, как молодому, начинающему специалисту», — Надежда Уланова (ОГБУСО «Социально-реабилитационный центр для несовершеннолетних Братского района»).
«Очень полезный курс в плане применения полученных знаний в работе, много взяла для реализации своей практики, начиная от разработки логической модели, теории изменений и заканчивая подбором инструментов» (из анонимной анкеты).
Индекс лояльности по итогам анонимной анкеты (приняло участие 28 человек по состоянию на 24 сентября) составил 71,4%, что является хорошим результатом.
«Отличный курс для повышения компетенций по теме оценки и мониторинга, содержащий обширный теоретический материал, предоставляющий возможность освоения практических навыков и инструментов для внедрения в деятельность организации сферы детства практик мониторинга и оценки. Материал достаточно сложный, но структура курса и наличие ссылок на дополнительные материалы способствуют овладению знаниями. Отдельное спасибо преподавателям курса за доступность изложения информации. Курс рекомендую», — Марина Ушакова (Муниципальное бюджетное учреждение города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель»).
Анализ планов внедрения знаний в практическую деятельность организаций позволяет сделать вывод о том, что большинство слушателей будут далее работать над системой показателей и методами их сбора, что является дополнительным подтверждением приоритетного развития внутренней оценки в организациях.
Основная сложность курса, которая была отмечена слушателями – это его продолжительность, и как следствие необходимость наличия большого временного ресурса, что может позволить себе далеко не каждая организация или специалист.
«Много полезной и практически применимой информации, и в тоже время сложно совмещать с работой».
«Курс очень насыщенный. Сложно встроить такой объем в свой рабочий режим».
«Курс ценный, но трудоемкий, трудно найти столько времени и сил».
Также участники отмечали следующие cложности или особенности курса:
«Не каждый специалист готов рассуждать об исследованиях в социальной сфере, многие просто практики».
«Лучший курс для погружения в тему от профессионалов, НКО важно осмысленное отношение. Не каждый из коллег осилит, поэтому 9.» (из анонимной анкеты. 9 – объяснение, почему не 10 баллов по индексу лояльности).
Некоторые слушатели отдельно отмечали пользу работы в онлайн-сервисе ПИОН.
«Также у меня произошло приятное знакомство с сервисом ПИОН, которое оказалось не таким страшным, как я думала раньше», — Татьяна Мохова (Челябинское региональное благотворительное общественное движение помощи онкобольным детям «Искорка Фонд»).
По итогам обратной связи о работе в онлайн-сервисе ПИОН, мы сделали выводы, что наибольшей ценностью для пользователей является возможность составить и скачать цепочку результатов в некоем приличном виде, а наименьшую ценность – это наличие личных библиотек результатов. Мы постараемся учесть все ваши замечания и предложения. Отдельное спасибо Ольге Заводилкиной за поддержку этого направления.
Отдельная благодарность всем ведущим курса – Татьяне Подушкиной, Екатерине Богомоловой, Ольге Заводилкиной, Наталье Кошелевой и кураторам тематических площадок, которые принимали самое активное участие в рабочих обсуждениях – Татьяне Арчаковой, Ирине Бобылевой, Инне Голеня, Ольге Заводилкиной.
«Мне понравился материал, домашние задания, встречи в маленьких группах и наш куратор там — Татьяна Арчакова» (из анонимной анкеты).
«Супер полезна была деятельность на орг встречах (обсуждение кейсов или домашних заданий), отдельное спасибо Ольге Заводилкиной!» — Татьяна Мохова (Челябинское региональное благотворительное общественное движение помощи онкобольным детям «Искорка Фонд»).
Более подробный разбор сильных и слабых сторон курса, его влияния на рост компетенций и культуры в области оценки программ будет сделан в отчете по итогам фокус-групп, которые провели внешние модераторы. Отчет будет доступен широкой аудитории.
11 августа состоялась встреча тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми».
Во встрече участвовало 62 специалиста из 22 регионов, представляющих государственные и некоммерческие организации, работающие с семьями с особыми детьми.
В начале встречи выступила Ольга Заводилкина, которая рассказала о фокусе работы площадки и поделилась с участниками информацией о возможностях онлайн-сервиса ПИОН. Презентация доступна по ссылке.
В первой части встречи участники обсудили особенности системы мониторинга и оценки практик поддержки семей с особыми детьми. С импульсным сообщением «Взгляд 360◦» выступила Елизавета Романова, директор Ресурсного центра помощи людям с ментальными нарушениями «Вера. Надежда. Любовь». Она рассказала о практическом воплощении принципа триангуляции в инструменте оценки готовности семьи с особым ребенком к участию в решении вопросов, связанных с его жизнеустройством после совершеннолетия. Презентация доступна по ссылке.
В ходе групповой работы и обсуждения с приглашенным экспертом Наталией Фреик были выделены особенности системы МиО, относящиеся к выбору методов и инструментов мониторинга и оценки, источников информации, определению процедур и графика сбора данных.
Вот некоторые из них:
При выборе метода необходимо убедиться, что метод линейно связан с параметром, который достоверно значим в клинической практике.
Так как работа с детьми длится продолжительное время, необходимо использовать сквозные инструменты, адекватные задачам практики в течении всего времени оказания поддержки.
Необходимо сочетать разные методы, не только статичные, но и динамичные. Например, использование ретроспективного видео, его кодирования и т.д.
Включать в качестве источников информации ближайшее окружение ребенка: родителей, других членов семьи, специалистов, которые работают с ребенком и семьей.
При составлении графика сбора данных учитывать общую длительность работы с семьей
Использовать гетерохронность в сборе данных (разные данные собираются в разное время)
Работа над выделением особенностей системы МиО практик поддержки семей с особыми детьми будет продолжена на следующих встречах тематической группы.
Во второй части встречи фокус внимания сместился на обсуждение системы МиО как динамической системы, которая может и должна меняться в соответствии с запросами практики.
Своим опытом внесения изменений в систему МиО с целью повышения уровня доказанности практики поделились Яна Зятикова ( Бюджетное учреждение социального обслуживания Вологодской области «Комплексный центр социального обслуживания населения города Череповца и Череповецкого района «Забота»), см. презентацию, и Елена Лянгузова (Региональная общественная организация родителей детей-инвалидов «Дорогою добра» Кировской области), см. презентацию.
Коллеги поделились, какие изменения они внесли в свои системы МиО после прохождения верификации своих практик в соответствие с доказательным подходом и переходе к реализации планов повышения доказанности, какие рекомендации экспертов они получили и как именно их учли. А также рассказали, что еще может быть стимулом для внесения изменений в инструменты мониторинга и оценки. Например, как обратная связь от родителей особых детей повлияла на инструмент сбора данных.
В заключении встречи участники поделились своими новостями в области мониторинга и оценки, а также внесли предложения по дальнейшей работе группы.
Мы хотим сделать работу группы максимально полезной для ее участников и просим ответить на небольшую анкету.
Итоги онлайн-встречи «Мониторинг и оценка практик работы с замещающими семьями»
5 августа 2021 года состоялась онлайн-встреча тематической группы «Мониторинг и оценка практик работы с замещающими семьями», в которой приняли участие 34 человека из 14 регионов РФ.
В начале мероприятия Светлана Строганова, куратор группы, эксперт БФ «Арифметика добра», обозначила основные содержательные вопросы встречи и заметила, что внедрение различных методов мониторинга и оценки важна не только для работы с донорами и заявками на грант, но и для оценки эффективности практики и ее улучшения.
Далее Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», рассказала о проекте «Оценка в сфере детства: развитие сообществ практиков», в рамках которого проходила тематическая группа. Ольга рассказала о задачах этой группы, сделала ретроспективу предыдущих встреч, обозначила основные зоны развития в области мониторинга и оценки организаций, работающих с замещающими семьями. Презентация О.Евдокимовой.
Дмитрий Савва, автор исследования «Зоны роста» Фонда «Друзья», ментор Московской школы профессиональной филантропии и операционный директор группы «Кашемир и шелк». Он рассказал об основных понятиях и формировании цепочки социальных результатов (ЦСР). Презентация Дмитрия Саввы.
Модель цепочки социальных результатов Клуба приемных семей БФ «Арифметика Добра» представила куратор группы Светлана Строганова. Светлана, в частности, рассказала о мониторинге работы клуба и социальных результатах. Презентация Светланы Строгановой.
Участники семинара также работали в группах и составляли различные цепочки результатов – от оценки эффективности отдельных услуг до оценки эффективности передачи технологий. С результатами групповой работы вы можете познакомиться здесь.
В конце встречи участники поделились последними новостями, в том числе с изменениями в системах МиО своих организаций, задачами их развития, а также обратной связью на особо затронувшие вопросы встречи.
27 июля состоялась онлайн встреча тематической группы «Социальные приюты и кризисные центры для матерей с детьми» — «Универсальная логическая модель проекта для социальных приютов и кризисных центров для матерей с детьми».
Участие в семинаре приняли руководители и специалисты НКО и государственных учреждений. Общее количество участников — 35 человек.
Задачи тематической группы:
Популяризация темы мониторинга и оценки социальных практик, использования доказательного подхода к оценке результативности.
Формирование базы знаний по мониторингу и оценке практик работы социальных приютов и кризисных центров для матерей с детьми – практические наработки, методические ресурсы и пр.
Организация площадки по обмену опытом и поиску решений в области мониторинга и оценки практик, программ, проектов, развитие компетенций.
Модератором встречи выступила Татьяна Арчакова, психолог-методист БДФ «Виктория».
Предварительное анкетирование участников встречи показало, что их ожидания были направлены на:
повышение компетенций в области мониторинга и оценки (32%) ;
на участие во встрече в целом, с одинаковой заинтересованностью во всех вопросах (33%);
знакомство с опытом коллег (16%);
обсуждение актуальных задач для развития системы МиО (11%) ;
нахождение конкретных решений для развития системы МиО в их организации (8%).
Большинство участников оценили уровень своих компетенций в сфере МиО как средний (57%) или низкий (40%).
80% зарегистрировавшихся на встречу ранее не принимали участия в работе тематической группы.
С учетом того, что на встречу пришло много начинающих с явным запросом на повышение компетенций, в первой части семинара Татьяна Арчакова кратко напомнила о структуре логических моделей: деятельности – ресурсов – непосредственных и социальных результатов – показателей. Презентация доступна по ссылке.
Участники встречи, у которых уже есть опыт работы по разработке логических моделей проектов (ЛМП) отметили пользу от их разработки:
Использование ЛМП для прикладных исследований (например, для разработки интервью с выпускницами)
возможность не просто структурировать свою деятельность, но и лучше понять ее границы – начать разработку дополнительных проектов (например, сопровождение выпускниц с ментальными нарушениями)
возможность сделать формулировки социальных результатов и подходы к их измерения более сфокусированными (например, переопределить все позитивные изменения у детей, женщин и семей в целом через призму именно благополучия ребенка)
Далее участники обсудили, в чем может быть ценность универсальной ЛМП (набора результатов и показателей) для социальных приютов и кризисных центров для матерей с детьми.
Организации, которые впервые вводят мониторинг, могут заимствовать и адаптировать для себя
Организации, имеющие систему мониторинга, могут дополнять ее, когда видят:
Свою «зону ближайшего развития»
Необходимость ввести новые / скорректировать имеющиеся социальные результаты и показатели, потому что изменились потребности целевой группы и специфика работы с ними
Возможность не «изобретать велосипед» с показателями для узких целевых подгрупп
Помогает выделять изменения, которые выходят за рамки запланированных
Помогает понять запрос на новые инструменты измерения
Возможность агрегировать данные о результатах работы многих организаций
Участники семинара отметили, что самостоятельная разработка ЛМП «с нуля» приносит много пользы команде, не всегда ее стоит заменять трансляцией опыта и готовыми «конструкторами». Также есть позитивный опыт заимствования некоторых элементов системы мониторинга (с последующей их адаптацией) одним кризисным центром у другого в ходе стажировок и дальнейшего регулярного сотрудничества (близкий по формату к индивидуальному коучингу).
Во второй части семинара при помощи интерактивной доски Jamboard обсуждались социальные результаты на выходе из социального приюта / кризисного центра и показатели к ним, взятые из описания практик:
Какие варианты социальных результатов и показателей кажутся вам полезными? (Какие вы хотели бы измерять у себя?) Почему?
Какие формулировки вызывают у вас вопросы или кажутся неточными? Почему?
Какие социальные результаты измеряете вы? Какими показателями при этом пользуетесь? Какие вы можете добавить из вашей практики?
Для обсуждения участники поделились на 2 группы, обсуждавшие социальные результаты и показатели, описывающие:
Самостоятельное проживание матери с ребенком
Безопасность ребенка и удовлетворение его потребностей
Усилением поддержки от социального окружения матерей (не обсуждались)
Ключевые выводы:
Полезно сформулировать социальные результаты и показатели для тех женщин, которые по объективным причинам не могут жить с ребенком самостоятельно после выхода из социального приюта или кризисного центра
Важно проанализировать деятельность по сопровождению матерей с детьми после выхода (передачу в другие проекты внутри организации или межведомственным партнерам) – отделить непосредственные результаты (например, рост информированности о доступных услугах) от социальных (например, мотивацию к развитию родительских навыков и приверженность занятиям в Клубе для мам)
Во многих существующих формулировках социальных результатов и показателей есть конструкты («имеющих место постоянного проживания», «улучшивших материальное положение», «регулярно удовлетворяющих потребности ребенка»…), которые можно конкретизировать, чтобы получить более точное представление о достижении результатов и их устойчивости.
Еще одна важная группа социальных результатов на выходе из социального приюта или кризисного центра – результаты, связанные с усилением поддержки от социального окружения женщин. Участники не успели обсудить их в ходе дискуссии, но эта тема возникала в связи и с самостоятельным проживанием семьи, и с безопасностью ребенка.
Потенциальные зоны развития, выделенные по итогам семинара:
Есть интерес к инструментам измерения, особенно для оценки благополучия ребенка и качества детско-родительских отношений. Таких инструментов довольно много в сфере профилактики сиротства, но важно учесть специфические возможности и вызовы, которые есть только в стационарной форме проживания (например, возможность длительного наблюдения за детско-родительским взаимодействием в разных контекстах разными сотрудниками и необходимость сделать обобщенные выводы из этих наблюдений, приведя ситуацию «к общему знаменателю»).
Отдельную сложность вызывает согласование измерений на уровне отдельного случая и на уровне практики в целом.
Наиболее опытных участников группы интересуют возможности для анализа и обобщения больших массивов данных, в том числе, цифровые.
23 июля 2021 года состоялась онлайн-встреча тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений», в которой приняли участие 47 человек.
В начале мероприятия Ирина Бобылева, куратор группы, эксперт БФ «Расправь крылья!», обозначила основные содержательные вопросы встречи, а также напомнила участникам ключевые итоги первого семинара: основные выявленные проблемы в МиО практик, работающих в данной социальной сфере, а также возможные решения данных проблем (точки роста). Подробнее в презентации.
Далее Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», рассказала о проекте «Оценка в сфере детства: развитие сообществ практиков», в рамках которого проходила тематическая группа. Были анонсированы возможности проекта для развития МиО: прохождение онлайн курса «Оценка проектов и программ в сфере детства», работа четырех тематических площадок, кастомизированная поддержка (набор НКО по конкурсу).
Была представлена методическая база для системы МиО:
Онлайн-база «Слушай с пользой!»: Инструменты сбора обратной связи от благополучателей: https://base.socialvalue.ru/
Реестр (банк) доказательных практик: Практики, описанные в соответствии с методологией Стандарта доказательности практик в сфере детства: http://deti.timchenkofoundation.org/praktiki/
Ольга подчеркнула: «В настоящий момент уже собрана большая методическая база и повышение ее востребованности – это задача, которую мы видим перед собой». Презентация О. Евдокимовой по ссылке.
Перед выступлением следующего спикера всем участникам было предложено ответить на три вопроса. Большинство ответивших отметили, что в их организации нет IT системы для мониторинга и оценки, но, по их мнению, ее наличие обязательно, а основными информантами в системе МиО являются и подростки/выпускники и специалисты.
В основной части встречи были представлены практические кейсы.
Натан Гельман, руководитель программ развития и подготовки кадров израильской некоммерческой организации «Ламерхав» представил систему мониторинга практики менторинга молодых людей, не имеющих семейной поддержки.
Причины появления системы мониторинга: большой объем поступающей информации, в которой стало сложно ориентироваться; поиск ответа на вопросы: как оценить происходящие изменения, куда стоит вкладывать ресурсы, как более эффективно планировать деятельность.
Основные характеристики системы мониторинга в Ламерхав:
построена через призму ментора как основного заказчика: заложена информация, необходимая ему для планирования (отражает реальную ситуацию его подопечных) и для оценки своей работы;
включает внутренний и внешний мониторинг. Внутренний мониторинг отражает повседневную деятельность ментора и является базовым ресурсом для руководства проектом. Внешний мониторинг включает анкетирование ментора и сопровождаемого один раз в полгода. При этом в анкеты включены одинаковые вопросы о положении молодого человека, участника программы;
в ее разработке принимали участие и менторы и молодые люди, что повысило их мотивацию проведения;
является IT системой, что позволяет автоматизировать работу и показать наглядный результат.
Роль мониторинга в том, что он дает возможность увидеть общую картину и основные тенденции изменений. Менторы и участники программы получают возможность остановиться и подвести итоги. А это очень важно, особенно для длительного процесса сопровождения, как в программе Ламерхав. Подробнее в презентации.
В следующем выступлении Наталья Потапова, педагог-психолог Центра содействия семейному воспитанию и постинтернатного сопровождения Владимирской области рассказала об инструменте для измерения готовности к самостоятельной жизни выпускников организаций для детей-сирот (пакет диагностических методик) и результаты его применения.
Инструмент направлен на оценку социально-психологических особенностей воспитанников, которые могут быть рассмотрены как важные внутренние ресурсы для преодоления социального кризиса при переходе к самостоятельной жизни. Он применяется организацией более 3 лет. Результаты оценки используются на индивидуальном уровне (для разработки индивидуального плана подготовки к выпуску и анализа его реализации) и на групповом уровне (для внесения изменений в работу одного или нескольких учреждений для сирот). Презентация Н. Потаповой по ссылке.
В конце встречи участники поделились последними новостями, связанными с МиО, в том числе изменениями в системах МиО своих организаций, задачами их развития, а также обратной связью на особо затронувшие вопросы встречи.
Татьяна Подушкина, заведующий сектором «Центр доказательного социального проектирования» Центра прикладных психолого-педагогических исследований рассказала о результатах ряда методологических семинаров по поиску форм изучения эффектов от реализации программ, в том числе серии семинаров по оценке социально-экономических эффектов программ поддержки трудоустройства молодых людей с низкими стартовыми возможностями. Обозначена задача партнерства академической науки и программной оценки с использованием мягкого исследовательского дизайна.
Роман Лебедев, заместитель руководителя ресурсного центра «Большая Переменена» сообщил, что в прошлом году их практика вошла в реестр доказательных практик, и в настоящее время идет доработка ЛМП, стоят задачи оценки экономического эффекта, разработки инструментов для сбора данных.
Катерина Селенина, БФ «Надежда», рассказала историю движения фонда в развитии системы МиО. В настоящий момент фонд проводит лонгитюдные исследования и разрабатывает чувствительные измерительные инструменты, позволяющие решать задачи профилактики.
Вероника Тардова, психолог-куратор МОО «Старшие Братья Старшие Сестры», обозначила задачу доработки системы МиО, в ответ на расширение целевой группы практики наставничества выпускниками.
Юлия Богданова, старший менеджер КСО компании КПМГ, оценила возможности и ограничения применения зарубежного опыта в российской практике.
С 7 июля по 20 июля открыт конкурсный набор на онлайн-курс «Оценка программ в сфере детства». Для участия в конкурсном отборе необходимо до 20 июля включительно заполнить анкету по ссылке.
Сроки прохождения курса — со 2 августа и по 25 сентября 2021 года.
Этот уникальный курс основан на передовом международном и российском опыте, дает обширную теоретическую базу знаний по оценке социальных программ, предлагает освоение практических навыков, инструментов для внедрения и развития в организациях сферы детства процессов и практик мониторинга и оценки. Он был разработан ведущими экспертами в области оценки программ и специалистами в сфере детства.
Прохождение курса подразумевает:
(1) Чтение всех материалов курса, прохождение коротких тестов;
(2) Просмотр дополнительных материалов, в том числе вебинаров (по желанию, но очень рекомендуем для более полного освоения тем);
(3) Выполнение домашних практических заданий; в том числе финального;
(4) Участие в вебинарах по итогам прохождения каждого модуля;
(5) Прохождение входного и выходного тестирования;
(6) Предоставление обратной связи по курсу (анонимное анкетирование по итогам похождения каждого модуля) и участие в финальной фокус-группе.
(7) Активное участие в работе тематических групп (вне рамок курса) по обсуждению практических вопросов доказательности практик.
Мы предполагаем, что в неделю в среднем вам надо будет высвободить не менее 4-х -5 ти часов на прохождения модуля. Курс будет вестись на онлайн-платформе Stepic. Всем успешно прошедшим курс будет выдан соответствующий сертификат.
Подробнее о том, что из себя представляет курс, можно на сайте. Прочитать детальные отчеты о результатах прохождения курса слушателями в 2020 году, можно по ссылке.
В этом году мы приглашаем, в основном, руководителей организаций и программ в сфере детства по следующим направлениям:
Поддержка замещающих семей
•Кризисные центры и социальные приюты для матерей с детьми
•Поддержка семей с особыми детьми
•Социализация подростков/выпускников учреждений для детей-сирот
Также приветствуются участники из одной организации, или из организаций, сотрудники которых принимали участие в этом курсе в 2020 году.
Курс рассчитан на руководителей и специалистов организаций сферы детства, имеющих хотя бы начальный уровень знаний в области мониторинга и оценки. Если Вы напрямую ранее никогда не занимались мониторингом и оценкой, но при этом имеете компетенции в области социального проектирования и опыт реализации социальных проектов, то Вы сможете освоить курс. Важно отметить, что если уровень знаний в области МиО совсем низкий, то потребуется больше усилий и времени для освоения материала.
Успешный кандидат должен продемонстрировать высокую мотивацию, быть готовым выделить временные ресурсы; иметь возможность принимать решения о внедрении новых элементов в области мониторинга и оценки в своей организации/программе.
Онлайн-курс проводится в рамках проекта » Оценка в сфере детства: развитие сообществ практиков», который реализуется АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов и при стратегической поддержке Фонда Тимченко.
20 мая в рамках конференции «Приюты для матерей с детьми. Новый этап профилактики социального сиротства в России». Конференция была организована Межрегиональной общественной организацией по содействию семьям с детьми в трудной жизненной ситуации «Аистенок» (Екатеринбург) и Благотворительным фондом «Волонтеры в помощь детям-сиротам» (Москва). 170 специалистов из 126 российских организаций, имеющих в своей структуре приюты для женщин с детьми, приехали в Екатеринбург.
Отдельная секция была посвящена теме доказательного подхода в повышении эффективности работы приютов для мам с детьми.
«Для того, чтобы произошли системные изменения многого не хватает. Как отличить реально работающую организацию от той, которая работает только на бумаге? Именно поэтому Фонд Тимченко поддерживает развитие доказательных практик этой деятельности», — отметила на открытии Конференции Ксения Франк, Председатель Наблюдательного совета Благотворительного фонда Елены и Геннадия Тимченко, член Совета при Президенте Российской Федерации по реализации государственной политики в сфере защиты семьи и детей.
В начале секции выступила Эльвира Гарифулина, канд. соц. наук, руководитель программы «Семья и дети» Фонда Тимченко, доцент МГППУ, г. Москва, с презентацией «Доказательный подход в повышении эффективности работы приютов для мам с детьми: от Стандарта к Реестру, возможности и перспективы». Эльвира рассказала о том, как Фонд Тимченко пришел к необходимости развивать доказательный подход, о том, какие результаты достигнуты за 4 года организациями, вовлеченными в эти процессы и в целом по сектору, какие ближайшие планы.
Ольга Евдокимова (АНО «Эволюция и Филантропия») подробно представила основные этапы создания системы измерения и оценки результатов. В частности,были затронуты следующие темы — Теория изменений ( что это и каково ее место в общей системе планирования и оценки); цепочка социальных результатов (отличие результатов разного уровня и трудности определения и оценки социального эффекта); анализ и вовлечение стейкхолдеров; методика выбора правильных показателей; подходы к сбору и анализу данных и отчетности. Теория была продемонстрирована на конкретных примерах и кейсах. В частности, АллаОсипова ( Аистенок) представила цепочку результатов; Татьяна Скрипка ( Смоленский Дом для мамы) — анализ стейкхолдеров; Елена Андреева рассказала об опыте подбора показателей и методов сбора данных. Презентация Ольга Евдокимовой здесь. Запись на видео-трансляцию по ссылке.
Во второй части семинара, последовательно были рассмотрены следующие кейсы.
«Результаты исследований об устойчивости социальных изменений, происходящих с выпускницами кризисных центров на примере проекта МОО «Аистенок». Презентация Аллы Осиповой.
Исследования социальных результатов: Сбор обратной связи от выпускниц проекта и сотрудников родильных домов; Расчет стоимости социальных результатов на примере проекта «Теплый дом». Презентация Елены Андреевой.
«Считаем быстро и красиво: Закрытый электронный реестр благополучателей Смоленского дома для мамы» . Презентация Татьяны Скрипка (Степановой).
5 марта состоялся онлайн-семинар «Как обеспечить рост уровня доказанности практик поддержки семей с особыми детьми», в котором приняли участие более 70 специалистов из более чем 30 регионов РФ.
«Семинар является продолжением практической работы тематической группы «Мониторинг и оценка при реализации практик работы с семьями с особыми детьми», созданной в 2020 году в рамках проекта «Онлайн-курс по оценке программ в сфере детства». Основные задачи группы – организация обмена опытом в области мониторинга и оценки между специалистами практиками, реализующими программы поддержки семей с особыми детьми; формирование cоответствующей базы знаний и популяризация доказательного подхода при проектировании и оценки социальных программ.
В начале мероприятия Ольга Евдокимова, директор АНО «Эволюция и Филантропия», напомнила участникам ключевые итоги первого семинара, основные выявленные проблемы и задачи.
«Мы видим все возрастающий интерес к теме мониторинга и оценки со стороны специалистов-практиков, мы наблюдаем высокий рост посещаемости наших мероприятий. В тоже время большинство участников сегодняшнего мероприятия считают, что у них начальный уровень компетенций по теме МиО. Поэтому особенно важно обеспечить доступ таким организациям и специалистам к уже накопленной методической базе, наладить обмен опытом» — отметила Ольга Евдокимова.
Далее спикеры представляли практический опыт своих организаций по развитию доказательного подхода.
(1) Образова Ирина Юрьевна, главный специалист по социально-бытовой реабилитации АНО «Марфо-Мариинский центр для детей с ОВЗ», рассказала об опыте верификации практики «Жизнь без боли» (группа дневного пребывания для детей с ДЦП). Говоря о мотивах развивать доказательный подход Ирина подчеркнула: « …Требования доноров, с которыми мы работаем, все больше внимания уделяется эффективности практик и данных, с которыми мы работаем». На момент описания практики в доказательном ключе, в организации были разработаны регламенты и запущены процессы сбора обратной связи от благополучателей и специалистов. Одна из ключевых сложностей была в определении границ комплексной практики и формулировании тех социальных результатов, которые должны были подаваться на верификацию. Так как организация работает с детьми с ДЦП, акцент был поставлен именно на медицинскую составляющую. «Нам было довольно сложно верифицировать эту практику, ведь по сути были представлены результаты, связанные с улучшением физического состояния. Это не совсем то, что предполагает Стандарт. Над этим нам надо еще поработать, если мы хотим, что такие практики проходили верификацию» — прокомментировала Ольга Евдокимова. Ольга Заводилкина считает, что в рамках описания практик и подготовки к верификации надо обязательно учитывать множество промежуточных результатов, без которых невозможно дальнейшее достижение благополучия ребенка и семьи. «Работа с консультантом помогла нам понять логику выстраивания программ, которую мы теперь будет применять для других программ» — отметила спикер. Логическая модель этой программы есть в библиотеке моделей онлайн-сервиса ПИОН. Так как Центр находится в начале пути по выстраиванию системы МиО, пока ее практика не была включена в Банк доказательных практик, однако организация будет продолжать двигаться в сторону доказательности. «Однозначно продолжать! Мы будем стараться закладывать средства на развитие МиО в грантовые заявки» — сказала Ирина Образова.
(2) Лянгузова Елена Владимировна, руководитель центра поддержки семей с детьми с особенностями развития РООРДИ «Дорогою добра» Кировской области, представила опыт вхождения в Банк доказательных практик своей организации. Представляя в самом начале спикера Ольга Евдокимова подчеркнула: « Дорогою Добра – наш давний партнер, организация прошла хороший пусть в развитии системы МиО, участвовала во многих наших проектах и это пока единственная практика, нацеленная на работу с семьями с особыми детьми, которая имеет высокий уровень доказанности по критерию «Обоснованность» в Банке доказательных практик». В начале своего выступления Елена отдельно остановилась на том, что было создано уже с точки зрения МиО и какие были мотивы пройти верификацию. Елена считает, что повышение доказательности практики способствует росту доверия к ней со стороны ключевых стейкхолдеров. Хотя этот путь очень непростой. Описывая трудности на пути развития системы мониторинга и оценки, Елена, помимо общих (нехватка времени, экспертизы, людей), выделила еще ряд специфических для практик поддержки семей с особыми детьми: сложность адаптации инструментов сбора данных под большое количество семей с разными детьми (по возрасту, по нозологии); фрустрация родителей детей с тяжелыми нарушениями во время опроса, анкетирования; особенности взросления таких детей и пр. Также организация пока испытывает затруднения при сопоставлении данных от родителей и специалистов. Елена подчеркнула: «Процесс описание практики был очень полезен для нашего осознания сильных и слабых сторон практики». Спикер подробно представила и прокомментировала рекомендации, которые были даны экспертами при прохождении верификации и отдельно отметила, что сейчас организации есть выделенные специалисты, которые занимаются сбором и анализом данных.
Заводилкина Ольга Владимировна, старший научный сотрудник ФГБНУ «Институт изучения детства, семьи и воспитания Российской академии образования «, специалист-эксперт БФ «Расправь крылья!», педагог-психолог ГБУ ЦСПР «Семь-Я» презентовала опыт применения кластерного анализа в целях повышения доказательности практики непрерывного сопровождения детей с ментальными нарушениями. Ольга немного коснулась теории кластерного анализа, объяснила, зачем он стал нужен, какие данные и в каком виде должны быть, какие результаты были получены и какие далее изменения можно внести в программу. «Результаты кластерного анализа будут включены в следующую подачу практики на верификацию, чтобы нам получить продвинутый уровень доказанности по критерию «Обоснованность данных»» — сказала Ольга Заводилкина. Ольга Евдокимова отдельно заметила важность сбора данных об объеме оказываемой помощи. «Только имея такие данные, мы сможем перейти к расчету стоимости социальных результатов и оценке социально-экономической эффективности» — сказала Ольга.
Кейс, описывающий процесс сбора и анализа обратной связи.
Перед перерывом всем участником было предложено ответить на следующие вопросы:
Насколько востребована в целом, на Ваш взгляд, идея формирования сообщества специалистов для развития мониторинга и оценки?
Насколько актуально для Вас лично участие в тематической группе по практикам мониторинга и оценки?
Подавляющее большинство (в опросе приняли участие 35 слушателей) отвечали утвердительно на оба вопроса.
Также был задан вопрос об уровне организационного потенциала в области мониторинга и оценки и про востребованность соответствующего онлайн-курса.
«Приятно видеть востребованность наших предложений – тематических площадок и онлайн-курса» — отметила, подводя итоги анкетирования, Ольга Евдокимова.
После перерыва выступила Ширшова Инна Владимировна, руководитель направления «Инклюзивная среда» БФ Сбербанка «Вклад в будущее», которая представила взгляд на верификацию практик с позиции донора. Инна поделилась своим видением, зачем донорским организациям доказательные практики, а также подтвердила необходимость более четкого определения, что такое практика и того, как определить тот набор результатов, который следует верифицировать. Спикер считает, что нужна рамка целей/ценностей, с которой необходимо сверяться в определении результатов практики. «Такая рамка позволит донорам, экспертам и проектным командам «смотреть в одну сторону», поможет четче формулировать цели и результаты, и, определенно, повысит качество практик» — заметила Инна. Отдельно Инна обратила внимание на необходимость опираться на научные методики с доказанной эффективностью, которые частично есть в доступе у российского профессионального сообщества.
После выступления спикеров, участники обсудили барьеры для развития МиО в программах поддержки семей с особыми детьми и роль сообщества практиков для развития мониторинга и оценки.
В частности, были выделены следующие темы:
партнерство с медицинским сообществом и включение в дискурс доказательности компонентов клинической работы . «Мы должны взять более широкую концептуальную рамку, объединяющую медицину, социальные науки … должен быть широкий экосистемный подход»
привлечение гос.учреждений к развитию доказательного подхода
«важна работа на формирование спроса со стороны заинтересованных сторон, прежде всего клиентов и заказчиков, буквально, чтобы стороны понимали, что работает и как это должно выглядеть»
больше кейсов о том, как результаты влияют на качество практик
активней привлекать донорское сообщество , в том числе и к финансированию доказательного подхода
В конце семинара выступила Ольга Евдокимова с презентацией формирующейся базы знаний в области МиО по практикам работы с семьями c особыми детьми. В частности, Ольга представила:
6)Пилотная анкета-конструктор для измерения субъективного благополучия родителей
Также Ольга отметила, что в конце марта откроется онлайн-курс «Оценка программ в сфере детства» и что все желающие могут записываться, оставив свои координаты в анкете. Этот курс может стать хорошим стартом для тех, кто в начале пути.
Представляем вам ключевые итоги партнерской инициативы по развитию доказательного подхода. Презентация