С начала этого года на постоянной основе заработал цикл семинаров для специалистов сферы детства, использующих технологию наставничества в работе с воспитанниками и выпускниками детских сиротских учреждений. Инициатива поддержана Центром доказательных социальных технологий и направлена на выработку единого подхода, обмен опытом и систематизацию представлений данной технологии.
Приглашенным экспертом выступила Вероника Ослон , профессор кафедры «Возрастная психология имени профессора Л.Ф. Обуховой» МГППУ. Она представила для обсуждения диагностический комплекс, разработанный в рамках ГЗ от Минпросвещения России , направленный на социально-психологическое обследование детей-сирот, работников и кандидатов в замещающие семьи. В него вошел целый спектр методик по работе с целым рядом блоков, посвященных темам:Влияние психологической травмы на поведение детей и подростковВыявление кризисных состояний, личностных расстройств у воспитанников, последствий психической депривацииСклонность к девиантному поведениюПереживаемое насилиеЛичностные характеристики воспитанниковЭмоционально-когнитивная сфераПсихологические ресурсы воспитанникаСоциальные навыки, компетенцииОтношение к школеДиагностика потребностей и готовности воспитанника к семейному жизнеустройствуСубъективное благополучие воспитанников
Вероника Нисоновна подчеркнула важность работы с травмой у воспитанников детских сиротских учреждений, глубокой социально-психологической реабилитации и применения комплекса готовности к самостоятельной жизни. Она также отметила, что не менее важна работа с сотрудниками организаций, находящихся в непосредственном контакте с детьми, а также лиц, готовящихся принять их в замещающую семью.
Переходя в обсуждению, специалисты-практики выразили интерес к тому, каким образом полученные данные могут быть использованы непосредственно в их деятельности. Возникли вопросы, прежде всего связанные с организацией доступа к данному диагностическому комплексу, а также основной вопрос, направленный на то, какие методики из этого комплекса соотносятся с конкретными социальными результатами технологий наставничества у разных фондов. Сообщество специалистов сферы детства активно включены в использование доказательного подхода в своей деятельности и возникшие вопросы служат наглядным примером того, как практики все больше видят свою работу в описательном ключе, где есть логические модели, теории изменений и социальные эффекты.
Следующая встреча состоится в конце марта и будет посвящена обсуждению двух главных тем: поиску повторяющихся элементов технологий наставничества у разных фондов и их соотнесению с конкретными социальными эффектами.
Тема: « Описание элементов технологий наставничество и цепочка социальных результатов ».
21 февраля состоялась первая в 2023 году встреча участников сообщества специалистов-практиков в области оценки программ в сфере детства. Мероприятие проводилось совместно с Точкой кипения МГППУ. Как отметила в самом начале модератор встречи Ольга Евдокимова (АНО «Эволюция и Филантропия») — «Наша задача на сегодня — познакомиться с ключевыми результатами и планами в области мониторинга и оценки (МиО) и сформировать общую тематическую повестку на 2023 год». На встрече присутствовало более 100 специалистов сферы детства (включая тех, кто смотрел трансляцию на Youtube и Вконтакте).
Первая тема была посвящена доказательному подходу. Доказательный подход — является трендом и драйвером для развития социальных практик, особенно в сфере детства, где уже сложилась разветвленная эко-система, состоящая из множества акторов, среди которых сейчас на первый план, как отметила Ольга, «должны выходить ВУЗы, что и происходит в случае с МГППУ».
И выступление Татьяны Подушкиной, руководителя центра доказательного социального проектирования МГППУ, было посвящено итогам сотрудничества Центра, Агентства стратегических инициатив и Министерства просвещения РФ по развитию в 2022 году доказательного подхода (презентация). Татьяна отметила, что в рамках полученного гос.задания от Министерства Просвещения будет продолжена работа по верификации практик в соответствие со Стандартом доказательности и последующее их размещение на Смартеке АСИ в Реестре доказательных практик, а также проведена серия обучающих мероприятий и для экспертов и для разработчиков практик.
В рамках методической работы будет продолжена серия встреч, в частности, 1 марта в 13:30 состоится онлайн-семинар «Диагностические инструменты в технологии наставничества», на котором Вероника Нисоновна Ослон, профессор кафедры «Возрастная психология имени профессора Л.Ф. Обуховой» МГППУ, представит разработанный в рамках гос.задания диагностический комплекс, который может применяться в работе технологии наставничества. Зарегистрироваться для участия в мероприятии можно будет перейдя по ссылке: https://mgppu.ru/news/12021. Мы приглашаем участников тематической площадки «Социализация подростков и выпускников сиротских учреждений» и всех заинтересованных принять участие во встрече.
Подробная презентация работы Центра и Точки Кипения МГППУ состоится в середине марта, о чем будут дополнительные анонсы.
Далее участники встречи обратились к практическому опыту лидеров-НКО, активных участников сообщества. «Я хочу напомнить, что планы по включению Агентства стратегических инициатив (АСИ) в экосистему доказательности и по созданию на платформе Смартека Реестра доказательных практик, были озвучены около года назад на проектной сессии «Доказательные социальные практики в сфере детства: финансирование и масштабирование» , организаторами которой выступили АСИ, МГППУ, Фонд Тимченко, АНО «Эволюция и Филантропия» и Форум доноров. На этой сессии были представлены практики, получившие по итогам верификаций в 2021 году, когда эту инициативу возглавлял Фонд Тимченко, продвинутый уровень доказательности. И сегодня представители этих НКО кратко поделятся результатами того, чего они достигли за прошедший период и какие у них планы», — отметила Ольга Евдокимова, предваряя выступление следующих спикеров.
Елена Андреева и Антонина Попова (БФ «Волонтеры в помощь детям сиротам», (презентация)) рассказали о результатах развития программ Фонда в области МиО. В частности, в рамках проекта «Теплый дом» проведено исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания. Кратко о предварительных результатах этого исследования коллеги уже рассказывали на встрече сообщества по анализу данных в августе 2022 года.
Для того, чтобы более подробно ознакомиться и с результатами и с методологией оценочного исследования, узнать про возможность бенчмаркинга похожих практик, мы приглашаем, особенно участников тематической площадки «Кризисные центры», на встречу 2 марта с 9.00 до 11.00. Регистрация по ссылке, более подробная программа будет в последующей рассылке.
Также среди результатов развития МиО в Фонде — автоматизация учета и хранения данных всех проектов программы «Профилактика социального сиротства»; развитие процессов и инструментария обратной связи от благополучателей. Коллеги являются еще одними из лидеров — поставщиков знаний в нашу базу «Слушай с Пользой!». Инструментарий и кейсы от них по ссылке.
Среди перспективных тем — мониторинг общественного мнения в отношении приемного родительства, его изменение в сторону более принимающего. Планирование и оценка адвокационных практик — будет одной из методологических тем на 2023 год.
Ирина Бобылева, аналитик Центра защиты прав и интересов детей и главный специалист-эксперт БФ «Расправь крылья!», рассказала о результатах и планах передачи практики «Технологии индивидуального сопровождения выпускников детских домов» вместе с разработанной системой МиО.
Елена Лянгузова (Региональная общественная организация родителей детей-инвалидов Кировской области «Дорогою добра») поделилась опытом настройки и поиска наиболее точного инструментария сбора данных от благополучателей.
После этого участники встречи ответили на вопрос о прогрессе в области МиО в своих организациях:
Опыт организаций лидеров — в области МиО подтверждает важность внешней методической поддержки, особенно на этапе становления системы, внутренней культуры, нацеленной на самосовершенствование и систематической многолетней командной работы над процессами МиО.
Далее повестка была посвящена доступности методической базы и экспертной поддержки для развития систем МиО. Тему представила Евдокимова Ольга, АНО «Эволюция и Филантропия» (презентация).
Ольга отметила, что основным фокусом внимания компании в 2023 году в рамках развития культуры и практик оценки в сфере детства явились: рост информированности, мотивации и компетенций специалистов-практиков за счет:
1)проведения онлайн-курса «Оценка программ в сфере детства», который в 2023 году закончило более 50 слушателей и который проводился при партнерстве с Благотворительным образовательным фондом Мархамат, что позволило выдать участникам удостоверения гос.образца о повышении квалификации в объеме 72 часов.
Ольга анонсировала открытие 6-го потока курса в начале апреля — «Пока мы не знаем окончательно всех деталей по поводу нового потока, но предварительную запись открыли». Запись и более подробная информация на сайте.
2) организации встреч сообщества практиков, в которых в 2023 году приняло участие более 200 участников;
Все записи и презентации встреч доступны по ссылке.
3) за счет наполнения методическим инструментарием и практическими кейсами онлайн-сервиса ПИОН(в библиотеках которого собрано около 50 логических моделей и деревьев результатов; более 20 социальных результатов и инструментов; более 60 кейсов; число пользователей — 80 человек) и сопряженной с ПИОНом по API базы знаний «Слушай с Пользой!», на которой предлагаются более 100 инструментов обратной связи от благополучателей сферы детства. Ольга отметила, что в 2023 году фокус внимания АНО «Эволюция и Филантропия» перейдет от роста доступности методической базы к росту ее востребованности. Также в 2022 году было сделано довольно много (28) информационных рассылок про различные анонсы и новации в области оценки, что способствовало росту информированности участников сообщества.
4) Экспертная поддержка в 2022 году проходила по запросам от участников, в частности, несколько раз, были проведены рабочие встречи по созданию проектов Теорий изменений; а также работала в пилотном режиме группа САД (статистический анализ данных).
Участникам встречи было предложено ответить на вопросы о доступности методической и экспертной поддержки:
«Результаты опросов, говорят, что задача с доступностью поддержки в целом решена» — отметила Ольга Евдокимова — «Для тех же, кто только начинает, напоминаю, на онлайн-сервисе ПИОН у нас есть форма записи на консультации (индивидуальные, групповые и пр.). В частности, сейчас проводятся консультации о включении расходов на МиО в бюджет грантовых заявок«.
Далее с краткой презентацией результатов и планов в области МиО выступили представители НКО, которые получили индивидуальную методическую поддержку от АНО «Эволюция и Филантропия» в рамках проекта «Оценка программ в сфере детства: развитие сообществ практиков».
Анна Хегай, БФ «Бюро добрых дел» (Москва) (кейс) выделила распространение системы МиО на другие программы Фонда и особо остановилась на исследовании стратегий трудоустройства выпускников детских домов. «У нас довольно интересная технология, сначала был качественный этап, в результате которого мы выявили несколько факторов, влияющих на успешное трудоустройство. Сейчас идет количественный этап, а на выходе мы надеемся в том числе получить конкретные психологические и социальные показатели, которыми будем измерять эффективность нашей программы.» Результаты исследования будут в конце мая презентованы заинтересованным коллегам.
Анна попросила коллег, кто работает с практиками трудоустройства, заполнить небольшую анкету: опрос
Людмила Нам, АНО «Центр помощи семьям детей с ограниченными возможностями здоровья «Содействие» (Ростовская обл.) (кейс) представляла систему МиО на Всероссийской конференции и рассказала, что «работа идет по плану, сделали 3-й замер. Сейчас приступили к разработке логической модели оценки для программы «Я в группе».»
Гульнара Данильченко , БФ «Звезда» (Казань) (кейс) выделила необходимость постоянных изменений в различных элементах МиО и полезность сбора обратной связи как от специалистов, так и от родителей. Основная задача на 2023 года — визуализация получающихся данных.
Продолжая встречу, Ольга Евдокимова отметила, что АНО «Эволюция и Филантропия» не перестает систематически изучать передовой международный опыт в области оценки и старается определять ключевые методологические аспекты, которые требуют развития на уровне сектора. «Так было и с Теорией изменений, которую мы привнесли в РФ в 2010 году, а сейчас уже это относительно известная практика. Теорией изменений мы продолжили заниматься и в 2022 году, углубляясь в тему «предположений и допущений», а также применяя нехитрые IT-инструменты для того, чтобы ТИ не оставалась просто картинкой, как это часто пока происходит». Также Ольга отметила такие важные методические аспекты как формулирование оценочных вопросов и составление технических заданий. Все эти вопросы требуют пристального внимания оценщиков и могут быть предметом обсуждения на самых различных экспертных площадках, которые в последнее время появляются как ответ на возрастающий спрос на оценку.
Одну из таких площадок представил Владимир Балакирев («Процесс-Консалтинг»), это Клуб PROОЦЕНКУ , в рамках которого обсуждаются различные методологические темы, связанные с оценкой программ, и проводится периодическое обучение.
Продолжая тему важности Теории изменений, выступила Анастасия Декина, БФ развития сопровождаемого трудоустройства Всё получится!», Санкт-Петербург, (презентация) и сразу пригласила всех заинтересованных лиц принять участие в обсуждении Теория изменений (ссылка) Фонда, которая пройдет 27 февраля. Приглашение на инфо-сессию (ссылка). Анализ пилотного интервью с благополучателями (ссылка). Анастасия поделилась планами развития МиО на 2023 год, среди которых , в частности, доработка инструментария для сбора обратной связи от благополучателей и разработка Положения о системе МиО. Всеми этими материалами Фонд планирует делиться с сообществом.
Далее выступили представители пилотной группы САД (Статистический анализ данных). Ольга Заводилкина, эксперт-консультант АНО «Эволюция и Филантропия», куратор группы, презентовала сводные итоги работы двух пилотных групп (презентация) и анонсировала набор на следующий поток, который начнется 10 марта. Анкета для участия в следующей группе САД (ссылка). Более подробно, как работает группа можно посмотреть в записи. Марина Ушакова, руководитель МБУ Центр «Акварель» г. Челябинска (презентация), кратко представила получившиеся в результате участия в группе выводы. В частности, Марина отметила, что участие в группе должно быть командным; участники группы должны владеть базовыми компетенциями в области МиО; группа должна оставаться немногочисленной для сохранения возможности индивидуальных консультаций. В заключении Марина сказала «Традиционно обучение в этой группе было очень сложным, но мы со всем справились в итоге».
Представление практического опыта НКО завершил Александр Боровых, директор отдела стратегий БФ «Даунсайд Ап» (Москва), который кратко рассказал о методологии и результатах оценки вклада фонда в достижение социальных результатов для благополучателей (презентация). Подробно об этом исследовании коллеги уже рассказывали на конференции АСОПП. «Это очень интересное оценочное исследование, с хорошей аналитикой и дизайном. Оно безусловно заслуживает того, что его отдельно обсудить. И методологию и результаты»- считает Ольга Евдокимова.
22 марта с 9.00 до 11.00 (мск) мы приглашаем участников тематической площадки «Семьи с особыми детьми» и всех заинтересованных принять участие в онлайн-встрече по обсуждению этого исследования. Регистрация по ссылке. Более подробный план будет разослан позднее.
Заключительной частью мероприятия стали выступления представителей донорских организаций.
Эльвира Гарифулина, программный директор фонда «Абсолют-Помощь», представила систему МиО Фонда, ее ключевые элементы, особенности сбора отчетности от грантополучателей (презентация). Эльвира заметила, что мониторинг и оценка — это обязательная часть и основа для формирования доверия к помогающим организациям со стороны благополучателей, доноров, государства.
Резюмируя итоги дискуссии, Ширшова Инна, руководитель направления “Инклюзивная среда» БФ Сбербанка «Вклад в будущее» отдельно отметила важность темы оценки рисков, в том числе и при реализации доказательного подхода. В 2022 году Фонд при участии АНО «Эволюция и Филантропия» и ряда независимых экспертов разработал Методику прогностической оценки решений с учетом социальной значимости, в которой было особое место уделено теме управления рисками.
Также Инна выделила ряд ключевых драйверов для развития доказательного подхода — должен быть запрос внутри организации на саморефлексию и развитие; должна быть сонастройка образа результата между донором и грантополучателем и путей его достижения. Реализация доказательного подхода требует определенных компетенций, которые надо приобретать и которым внутренняя организационная культура должна давать возможность применения. Еще одна точка роста — валидные и чувствительные инструменты сбора данных и научные исследования.
В заключении выступила Элина Илларионова (eillarionova@timchenkofoundation.org), руководитель аналитической службы Фонда Тимченко (презентация) с предложением по развитию Индекса детского благополучия. В частности, можно использовать разработанный инструментарий для опросов детей и родителей и в перспективе получать бенчмарки, о которых несколько раз говорили на встрече.
Участникам было предложено ответить на вопрос:
По этой теме предполагается отдельная рассылка от Фонда Тимченко.
Сообщество практиков по оценке программ в сфере детства существует около десяти лет. Какие сейчас есть достижения, тренды и практические возможности, чтобы развивать доказательный подход и культуру оценки? 18 октября роль сообщества практиков обсуждалась на VIII Конференции Ассоциации специалистов по оценке программ и политик.
Модератором встречи выступила Ольга Евдокимова, АНО «Эволюция и Филантропия». Ольга отметила, что именно сфера детства явилась драйвером развития оценки в последние 5 лет, и как результат — в этой сфере есть и развитая методическая база и онлайн-курс и сообщество практиков со специализированными площадками. В небольшой дискуссии на тему того, какие есть трудности и дефициты, приняли участие активные члены сообщества Анна Доменик, «Центр помощи детям, оставшимся без попечения родителей, Свердловского района г. Иркутска» и Ольга Андросова, Международный детский фонд «Дети Саха-Азия». В частности, они отметили:
Нехватку грантовых конкурсов, поддерживающих проекты, связанные с развитием мониторинга и оценки назвала
Трудности связанные с необходимостью обучения новых сотрудников.
В 2022 году сообщество практиков продолжило апробировать инновационные форматы поддержки специалистов. В частности, стартовала пилотная группа по внедрению в практику организаций приемов анализа количественных данных. Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», рассказала о том, как работает группа «САД» (статистический анализ данных). Ольга, отметила, что формат работы сложился опытным путем и он выражает актуальные тенденции в обучении взрослых: это «обучение членов сообщества» и «обучение действием». Встречи группы ориентированы на потребности участников и разбор актуальных кейсов и задач. Уже на старте строится содержательная гипотеза и предположения о том, какие решения могут быть приняты на основе анализа. Это позволяет выбрать наиболее релевантные методы статистического анализа и прийти к результатам, которые потом могут применяться на практике.
В заключение встречи, Андрей Некрасов, программный директор «Точки кипения МГППУ», рассказал о работе междисциплинарной площадки «Точка кипения МГППУ», которая открылась менее полугода назад. В частности о рассказал о серии вебинаров по теме оценки в сфере детства для представителей сообщества из разных регионов, которая проходит сейчас. В планах площадки — проведение методологических вебинаров для обмена опытом между академическим сообществом и сообществом практиков.
Презентация Ольги Евдокимовой, где собраны ресурсы, наработанные сообществом практиков.
Приглашаем Вас 17 августа 2022 с 9:00 до 11:00 (по Москве) на онлайн-встречу «Анализ данных для оценки результатов программ и проектов в сфере детства».
Программа онлайн-встречи состоит из двух блоков – экспертного и информационного.
Экспертный блок
«Подходы к анализу технологий работы в Программе «Уверенное начало». Екатерина Горина, психолог, АНО «Пространство общения», РБОО «Центр лечебной педагогики».
Участники пилотной группы под руководством эксперта АНО «Эволюция и Филантропия» Ольги Заводилкиной, прошедшие специальное обучение, поделятся опытом применения различных методов анализа количественных данных. Группа начала работу около двух месяцев назад и уже готова представить свои кейсы.
Свои кейсы представят:
Виктория Алейничек, Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов «ГАООРДИ»
Мария Егорова, Международный детский фонд «Дети Саха-Азия».
Информационный блок: новости по теме «Мониторинг и оценка».
«Исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания», Антонина Попова, БФ «Волонтеры в помощь детям-сиротам».
Исследование «Оценка эффективности медиапроектов», проведенного в рамках конкурса «Research Got Talent», Ольга Андросова, МДФ «Дети Саха-Азия».
Мероприятие проводится в рамках деятельности созданного АНО «Эволюция и Филантропия» сообщества специалистов практиков в области оценки программ в сфере детства.
Во встрече приняли участие 35 специалистов из 9 регионов России.
В первой части встречи Ирина Бобылева, куратор площадки, напомнила об основных итогах работы группы в 2021 году и о собранных инструментах для использования в системах мониторинга и оценки. Инструменты собирались в онлайн-сервисе ПИОН и на сайте «Слушай с пользой!». Всего было собрано 11 инструментов. Часть из которых была представлена организациями», активными участниками проекта «Оценка в сфере детства: развитие сообществ практиков».
Инструменты в ПИОНе (доступно только зарегистрировавшимся пользователям):
Во второй практической части встречи приглашенные эксперты, активисты площадки и просто желающие, знакомые с методологией создания Теории изменений, разделились на 3 мини-группы, где работали над созданием Теории изменений Центра Свт. Василия Великого. Практическая работа велась в мини-группах с модераторами на Джембордах.
