22 марта прошла встреча тематической группы «Оценка программ помощи семьям с детьми с ОВЗ», в которой приняли участие 34 специалиста из 17 регионов РФ.
Открыла встречу Ольга Евдокимова (АНО «Эволюция и Филантропия»), которая рассказала об итогах работы площадки в 2022 году и планах на 2023 год, а также об инструментах и материалах, накопленных за время работы группы, которые доступны в онлайн-сервисе ПИОН и онлайн-базе «Слушай с пользой!» (презентация).
Далее выступили активные участники площадки, которые поделились новостями в области МиО в своих организациях:
Мария Лукьянова и Оксана Матвеева, Региональная общественная организация «Красноярский центр лечебной педагогики», рассказали своем проведенном в конце 2022 года социологическом исследовании удовлетворенности родителей услугами ранней помощи детям до 3-х лет. Исследование было проведено совместно с центром социологических исследований «Мониторинг общественного мнения» (презентация).
Мария Полянская, БФ «Спина Бифида», рассказала о качественном исследовании, которое организация провела для создания нового онлайн-курса «Школа социального работника» (презентация).
В практической части встречи специалисты Благотворительного фонда «Даунсайд Ап» Александр Боровых, директор отдела стратегий, и Анна Хомякова, аналитик, рассказали методологии и результатах оценки вклада фонда в достижение социальных результатов. Александр рассказал о том, почему такие исследования проводит «Даунсайд Ап» и почему, по его мнению, исследования важны для любой организации: «Исследования и анализ своей деятельности, конечно, надо проводить. Вопрос только в масштабе этого исследования и наличии ресурсов. Это дает возможность рассказать о деятельности организации в простой и доступной форме. С помощью исследования можно получить мнение благополучателя, а не руководителя или специалиста. Часто специалисты знают о достигнутых результатах, но недостаточно, когда об этом знают 2-3 человека. А когда эти результаты появляются на основе проведенного опроса с хорошим уровнем достоверности информации, это уже совершенно другой уровень«. Александр подчеркнул, что полученные результаты опросов важно включать во внешние коммуникации организации (соц.сети, рассылки, презентации и пр.), и этому в БФ «Даунсайд Ап» уделяется специальное внимание (презентация: часть 1 и часть 2).
На встрече был проведен экспресс-опрос участников о прогрессе МиО в их организациях за 2022 год: 24% сообщили о значительном и 48% о небольшом 48% прогрессе в этой области, 8% ответили, что прогресса не было, 20% затруднились с ответом.
По итогам встречи были намечены следующие темы для дальнейших обсуждений:
Применение IT-технологий, в том числе, применение искусственного интеллекта для МиО.
Виды оценочных вопросов, их формулировка.
Методологические аспекты Оценки влияния (Impact Evaluation)
Подходы к оценке обучающих курсов, которые проводят НКО.
Сравнение результатов исследований, проводимых НКО по схожим тематикам.
С начала этого года на постоянной основе заработал цикл семинаров для специалистов сферы детства, использующих технологию наставничества в работе с воспитанниками и выпускниками детских сиротских учреждений. Инициатива поддержана Центром доказательных социальных технологий и направлена на выработку единого подхода, обмен опытом и систематизацию представлений данной технологии.
Приглашенным экспертом выступила Вероника Ослон , профессор кафедры «Возрастная психология имени профессора Л.Ф. Обуховой» МГППУ. Она представила для обсуждения диагностический комплекс, разработанный в рамках ГЗ от Минпросвещения России , направленный на социально-психологическое обследование детей-сирот, работников и кандидатов в замещающие семьи. В него вошел целый спектр методик по работе с целым рядом блоков, посвященных темам:Влияние психологической травмы на поведение детей и подростковВыявление кризисных состояний, личностных расстройств у воспитанников, последствий психической депривацииСклонность к девиантному поведениюПереживаемое насилиеЛичностные характеристики воспитанниковЭмоционально-когнитивная сфераПсихологические ресурсы воспитанникаСоциальные навыки, компетенцииОтношение к школеДиагностика потребностей и готовности воспитанника к семейному жизнеустройствуСубъективное благополучие воспитанников
Вероника Нисоновна подчеркнула важность работы с травмой у воспитанников детских сиротских учреждений, глубокой социально-психологической реабилитации и применения комплекса готовности к самостоятельной жизни. Она также отметила, что не менее важна работа с сотрудниками организаций, находящихся в непосредственном контакте с детьми, а также лиц, готовящихся принять их в замещающую семью.
Переходя в обсуждению, специалисты-практики выразили интерес к тому, каким образом полученные данные могут быть использованы непосредственно в их деятельности. Возникли вопросы, прежде всего связанные с организацией доступа к данному диагностическому комплексу, а также основной вопрос, направленный на то, какие методики из этого комплекса соотносятся с конкретными социальными результатами технологий наставничества у разных фондов. Сообщество специалистов сферы детства активно включены в использование доказательного подхода в своей деятельности и возникшие вопросы служат наглядным примером того, как практики все больше видят свою работу в описательном ключе, где есть логические модели, теории изменений и социальные эффекты.
Следующая встреча состоится в конце марта и будет посвящена обсуждению двух главных тем: поиску повторяющихся элементов технологий наставничества у разных фондов и их соотнесению с конкретными социальными эффектами.
Тема: « Описание элементов технологий наставничество и цепочка социальных результатов ».
Во встрече принял участие 31 специалист сферы детства из 21 региона РФ.
Встречу открыла Ольга Евдокимова, которая рассказала о работе площадки «Оценка программ для кризисных центров» в 2022 году и представила планы на 2023 год (презентация).
Елизавета Плотникова, Хабаровская краевая общественная организация замещающих семей «Чужих детей не бывает», рассказала о своем опыте участия в группе САД (статистический анализ данных) и как он был использован для работы над системой мониторинга и оценки в организации (презентация).
Антонина Попова и Елена Андреева, БФ «Волонтеры в помощь детям-сиротам» представляли результаты исследования факторов результативности работы с мамами и их детьми на базе центра временного пребывания «Теплый Дом» и ответили на вопросы участников встречи (презентация). Обобщенные и персонализированные данные программы «Теплый дом» см. по ссылке.
Был проведён опрос участников по теме МиО.
На вопрос о прогрессе в области МиО в 2022 году 36% респондентов сообщили о значительном прогрессе, 29% сказали, что прогресс был, но незначительный. 14% ответивших считают, что прогресса не было. 21% затруднились ответить.
Отвечая на опрос о доступности методической поддержки, 80% опрошенных сообщили, что считают ее доступной для себя, 7% сообщили, что поддержка скорее недоступна, 13% затруднились ответить.
Доступной экспертную поддержку считают 73% опрошенных, 13% ответили, что она скорее недоступна, 13% затруднились ответить.
21 февраля состоялась первая в 2023 году встреча участников сообщества специалистов-практиков в области оценки программ в сфере детства. Мероприятие проводилось совместно с Точкой кипения МГППУ. Как отметила в самом начале модератор встречи Ольга Евдокимова (АНО «Эволюция и Филантропия») — «Наша задача на сегодня — познакомиться с ключевыми результатами и планами в области мониторинга и оценки (МиО) и сформировать общую тематическую повестку на 2023 год». На встрече присутствовало более 100 специалистов сферы детства (включая тех, кто смотрел трансляцию на Youtube и Вконтакте).
Первая тема была посвящена доказательному подходу. Доказательный подход — является трендом и драйвером для развития социальных практик, особенно в сфере детства, где уже сложилась разветвленная эко-система, состоящая из множества акторов, среди которых сейчас на первый план, как отметила Ольга, «должны выходить ВУЗы, что и происходит в случае с МГППУ».
И выступление Татьяны Подушкиной, руководителя центра доказательного социального проектирования МГППУ, было посвящено итогам сотрудничества Центра, Агентства стратегических инициатив и Министерства просвещения РФ по развитию в 2022 году доказательного подхода (презентация). Татьяна отметила, что в рамках полученного гос.задания от Министерства Просвещения будет продолжена работа по верификации практик в соответствие со Стандартом доказательности и последующее их размещение на Смартеке АСИ в Реестре доказательных практик, а также проведена серия обучающих мероприятий и для экспертов и для разработчиков практик.
В рамках методической работы будет продолжена серия встреч, в частности, 1 марта в 13:30 состоится онлайн-семинар «Диагностические инструменты в технологии наставничества», на котором Вероника Нисоновна Ослон, профессор кафедры «Возрастная психология имени профессора Л.Ф. Обуховой» МГППУ, представит разработанный в рамках гос.задания диагностический комплекс, который может применяться в работе технологии наставничества. Зарегистрироваться для участия в мероприятии можно будет перейдя по ссылке: https://mgppu.ru/news/12021. Мы приглашаем участников тематической площадки «Социализация подростков и выпускников сиротских учреждений» и всех заинтересованных принять участие во встрече.
Подробная презентация работы Центра и Точки Кипения МГППУ состоится в середине марта, о чем будут дополнительные анонсы.
Далее участники встречи обратились к практическому опыту лидеров-НКО, активных участников сообщества. «Я хочу напомнить, что планы по включению Агентства стратегических инициатив (АСИ) в экосистему доказательности и по созданию на платформе Смартека Реестра доказательных практик, были озвучены около года назад на проектной сессии «Доказательные социальные практики в сфере детства: финансирование и масштабирование» , организаторами которой выступили АСИ, МГППУ, Фонд Тимченко, АНО «Эволюция и Филантропия» и Форум доноров. На этой сессии были представлены практики, получившие по итогам верификаций в 2021 году, когда эту инициативу возглавлял Фонд Тимченко, продвинутый уровень доказательности. И сегодня представители этих НКО кратко поделятся результатами того, чего они достигли за прошедший период и какие у них планы», — отметила Ольга Евдокимова, предваряя выступление следующих спикеров.
Елена Андреева и Антонина Попова (БФ «Волонтеры в помощь детям сиротам», (презентация)) рассказали о результатах развития программ Фонда в области МиО. В частности, в рамках проекта «Теплый дом» проведено исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания. Кратко о предварительных результатах этого исследования коллеги уже рассказывали на встрече сообщества по анализу данных в августе 2022 года.
Для того, чтобы более подробно ознакомиться и с результатами и с методологией оценочного исследования, узнать про возможность бенчмаркинга похожих практик, мы приглашаем, особенно участников тематической площадки «Кризисные центры», на встречу 2 марта с 9.00 до 11.00. Регистрация по ссылке, более подробная программа будет в последующей рассылке.
Также среди результатов развития МиО в Фонде — автоматизация учета и хранения данных всех проектов программы «Профилактика социального сиротства»; развитие процессов и инструментария обратной связи от благополучателей. Коллеги являются еще одними из лидеров — поставщиков знаний в нашу базу «Слушай с Пользой!». Инструментарий и кейсы от них по ссылке.
Среди перспективных тем — мониторинг общественного мнения в отношении приемного родительства, его изменение в сторону более принимающего. Планирование и оценка адвокационных практик — будет одной из методологических тем на 2023 год.
Ирина Бобылева, аналитик Центра защиты прав и интересов детей и главный специалист-эксперт БФ «Расправь крылья!», рассказала о результатах и планах передачи практики «Технологии индивидуального сопровождения выпускников детских домов» вместе с разработанной системой МиО.
Елена Лянгузова (Региональная общественная организация родителей детей-инвалидов Кировской области «Дорогою добра») поделилась опытом настройки и поиска наиболее точного инструментария сбора данных от благополучателей.
После этого участники встречи ответили на вопрос о прогрессе в области МиО в своих организациях:
Опыт организаций лидеров — в области МиО подтверждает важность внешней методической поддержки, особенно на этапе становления системы, внутренней культуры, нацеленной на самосовершенствование и систематической многолетней командной работы над процессами МиО.
Далее повестка была посвящена доступности методической базы и экспертной поддержки для развития систем МиО. Тему представила Евдокимова Ольга, АНО «Эволюция и Филантропия» (презентация).
Ольга отметила, что основным фокусом внимания компании в 2023 году в рамках развития культуры и практик оценки в сфере детства явились: рост информированности, мотивации и компетенций специалистов-практиков за счет:
1)проведения онлайн-курса «Оценка программ в сфере детства», который в 2023 году закончило более 50 слушателей и который проводился при партнерстве с Благотворительным образовательным фондом Мархамат, что позволило выдать участникам удостоверения гос.образца о повышении квалификации в объеме 72 часов.
Ольга анонсировала открытие 6-го потока курса в начале апреля — «Пока мы не знаем окончательно всех деталей по поводу нового потока, но предварительную запись открыли». Запись и более подробная информация на сайте.
2) организации встреч сообщества практиков, в которых в 2023 году приняло участие более 200 участников;
Все записи и презентации встреч доступны по ссылке.
3) за счет наполнения методическим инструментарием и практическими кейсами онлайн-сервиса ПИОН(в библиотеках которого собрано около 50 логических моделей и деревьев результатов; более 20 социальных результатов и инструментов; более 60 кейсов; число пользователей — 80 человек) и сопряженной с ПИОНом по API базы знаний «Слушай с Пользой!», на которой предлагаются более 100 инструментов обратной связи от благополучателей сферы детства. Ольга отметила, что в 2023 году фокус внимания АНО «Эволюция и Филантропия» перейдет от роста доступности методической базы к росту ее востребованности. Также в 2022 году было сделано довольно много (28) информационных рассылок про различные анонсы и новации в области оценки, что способствовало росту информированности участников сообщества.
4) Экспертная поддержка в 2022 году проходила по запросам от участников, в частности, несколько раз, были проведены рабочие встречи по созданию проектов Теорий изменений; а также работала в пилотном режиме группа САД (статистический анализ данных).
Участникам встречи было предложено ответить на вопросы о доступности методической и экспертной поддержки:
«Результаты опросов, говорят, что задача с доступностью поддержки в целом решена» — отметила Ольга Евдокимова — «Для тех же, кто только начинает, напоминаю, на онлайн-сервисе ПИОН у нас есть форма записи на консультации (индивидуальные, групповые и пр.). В частности, сейчас проводятся консультации о включении расходов на МиО в бюджет грантовых заявок«.
Далее с краткой презентацией результатов и планов в области МиО выступили представители НКО, которые получили индивидуальную методическую поддержку от АНО «Эволюция и Филантропия» в рамках проекта «Оценка программ в сфере детства: развитие сообществ практиков».
Анна Хегай, БФ «Бюро добрых дел» (Москва) (кейс) выделила распространение системы МиО на другие программы Фонда и особо остановилась на исследовании стратегий трудоустройства выпускников детских домов. «У нас довольно интересная технология, сначала был качественный этап, в результате которого мы выявили несколько факторов, влияющих на успешное трудоустройство. Сейчас идет количественный этап, а на выходе мы надеемся в том числе получить конкретные психологические и социальные показатели, которыми будем измерять эффективность нашей программы.» Результаты исследования будут в конце мая презентованы заинтересованным коллегам.
Анна попросила коллег, кто работает с практиками трудоустройства, заполнить небольшую анкету: опрос
Людмила Нам, АНО «Центр помощи семьям детей с ограниченными возможностями здоровья «Содействие» (Ростовская обл.) (кейс) представляла систему МиО на Всероссийской конференции и рассказала, что «работа идет по плану, сделали 3-й замер. Сейчас приступили к разработке логической модели оценки для программы «Я в группе».»
Гульнара Данильченко , БФ «Звезда» (Казань) (кейс) выделила необходимость постоянных изменений в различных элементах МиО и полезность сбора обратной связи как от специалистов, так и от родителей. Основная задача на 2023 года — визуализация получающихся данных.
Продолжая встречу, Ольга Евдокимова отметила, что АНО «Эволюция и Филантропия» не перестает систематически изучать передовой международный опыт в области оценки и старается определять ключевые методологические аспекты, которые требуют развития на уровне сектора. «Так было и с Теорией изменений, которую мы привнесли в РФ в 2010 году, а сейчас уже это относительно известная практика. Теорией изменений мы продолжили заниматься и в 2022 году, углубляясь в тему «предположений и допущений», а также применяя нехитрые IT-инструменты для того, чтобы ТИ не оставалась просто картинкой, как это часто пока происходит». Также Ольга отметила такие важные методические аспекты как формулирование оценочных вопросов и составление технических заданий. Все эти вопросы требуют пристального внимания оценщиков и могут быть предметом обсуждения на самых различных экспертных площадках, которые в последнее время появляются как ответ на возрастающий спрос на оценку.
Одну из таких площадок представил Владимир Балакирев («Процесс-Консалтинг»), это Клуб PROОЦЕНКУ , в рамках которого обсуждаются различные методологические темы, связанные с оценкой программ, и проводится периодическое обучение.
Продолжая тему важности Теории изменений, выступила Анастасия Декина, БФ развития сопровождаемого трудоустройства Всё получится!», Санкт-Петербург, (презентация) и сразу пригласила всех заинтересованных лиц принять участие в обсуждении Теория изменений (ссылка) Фонда, которая пройдет 27 февраля. Приглашение на инфо-сессию (ссылка). Анализ пилотного интервью с благополучателями (ссылка). Анастасия поделилась планами развития МиО на 2023 год, среди которых , в частности, доработка инструментария для сбора обратной связи от благополучателей и разработка Положения о системе МиО. Всеми этими материалами Фонд планирует делиться с сообществом.
Далее выступили представители пилотной группы САД (Статистический анализ данных). Ольга Заводилкина, эксперт-консультант АНО «Эволюция и Филантропия», куратор группы, презентовала сводные итоги работы двух пилотных групп (презентация) и анонсировала набор на следующий поток, который начнется 10 марта. Анкета для участия в следующей группе САД (ссылка). Более подробно, как работает группа можно посмотреть в записи. Марина Ушакова, руководитель МБУ Центр «Акварель» г. Челябинска (презентация), кратко представила получившиеся в результате участия в группе выводы. В частности, Марина отметила, что участие в группе должно быть командным; участники группы должны владеть базовыми компетенциями в области МиО; группа должна оставаться немногочисленной для сохранения возможности индивидуальных консультаций. В заключении Марина сказала «Традиционно обучение в этой группе было очень сложным, но мы со всем справились в итоге».
Представление практического опыта НКО завершил Александр Боровых, директор отдела стратегий БФ «Даунсайд Ап» (Москва), который кратко рассказал о методологии и результатах оценки вклада фонда в достижение социальных результатов для благополучателей (презентация). Подробно об этом исследовании коллеги уже рассказывали на конференции АСОПП. «Это очень интересное оценочное исследование, с хорошей аналитикой и дизайном. Оно безусловно заслуживает того, что его отдельно обсудить. И методологию и результаты»- считает Ольга Евдокимова.
22 марта с 9.00 до 11.00 (мск) мы приглашаем участников тематической площадки «Семьи с особыми детьми» и всех заинтересованных принять участие в онлайн-встрече по обсуждению этого исследования. Регистрация по ссылке. Более подробный план будет разослан позднее.
Заключительной частью мероприятия стали выступления представителей донорских организаций.
Эльвира Гарифулина, программный директор фонда «Абсолют-Помощь», представила систему МиО Фонда, ее ключевые элементы, особенности сбора отчетности от грантополучателей (презентация). Эльвира заметила, что мониторинг и оценка — это обязательная часть и основа для формирования доверия к помогающим организациям со стороны благополучателей, доноров, государства.
Резюмируя итоги дискуссии, Ширшова Инна, руководитель направления “Инклюзивная среда» БФ Сбербанка «Вклад в будущее» отдельно отметила важность темы оценки рисков, в том числе и при реализации доказательного подхода. В 2022 году Фонд при участии АНО «Эволюция и Филантропия» и ряда независимых экспертов разработал Методику прогностической оценки решений с учетом социальной значимости, в которой было особое место уделено теме управления рисками.
Также Инна выделила ряд ключевых драйверов для развития доказательного подхода — должен быть запрос внутри организации на саморефлексию и развитие; должна быть сонастройка образа результата между донором и грантополучателем и путей его достижения. Реализация доказательного подхода требует определенных компетенций, которые надо приобретать и которым внутренняя организационная культура должна давать возможность применения. Еще одна точка роста — валидные и чувствительные инструменты сбора данных и научные исследования.
В заключении выступила Элина Илларионова (eillarionova@timchenkofoundation.org), руководитель аналитической службы Фонда Тимченко (презентация) с предложением по развитию Индекса детского благополучия. В частности, можно использовать разработанный инструментарий для опросов детей и родителей и в перспективе получать бенчмарки, о которых несколько раз говорили на встрече.
Участникам было предложено ответить на вопрос:
По этой теме предполагается отдельная рассылка от Фонда Тимченко.
21 февраля с 9.00 до 11.00 (время московское) состоится открытая онлайн-встреча сообщества специалистов-практиков по оценке программ в сфере детства. Регистрация по ссылке.
На мероприятии будет представлены результаты работы организаций сферы детства, НКО, доноров по развитию культуры и процессов оценки социальных практик, обсужден полученный опыт, а также сформированы тематические планы работы сообщества на 2023 год.
На встрече, в частности, выступят:
Ольга Заводилкина, эксперт-консультант АНО «Эволюция и Филантропия» с презентацией результатов работы 2-ой пилотной группы «Статистический анализ данных».
Татьяна Подушкина, руководитель центра доказательного социального проектирования МГППУ, с обзором итогов сотрудничества Центра, Агентства стратегических инициатив и Министерства просвещения РФ по развитию в 2022 году доказательного подхода.
Александр Боровых, директор отдела стратегий БФ «Даунсайд Ап», c представлением проекта по оценке вклада фонда в достижение социальных результатов для благополучателей.
Эльвира Гарифулина, программный директор фонда «Абсолют-Помощь», расскажет о развитии в фонде культуры и практик оценки.
Ширшова Инна, руководитель направления “Инклюзивная среда» БФ Сбербанка «Вклад в будущее» поделится своим видением перспектив развития программной оценки в донорских организациях.
Элина Илларионова, старший аналитик Фонда Тимченко.
Также будут представлены кейсы от БФ «Рауль», БФ «Волонтеры в помощь детям-сиротам» и других активных участников сообщества.
Мероприятие проводит АНО «Эволюция и Филантропия» в сотрудничестве с «Точкой кипения МГГПУ».
После регистрации вы получите письмо-напоминание за сутки и за час до мероприятия — в письме будет ссылка на страницу мероприятия с кнопкой «присоединиться» для входа.
16 ноября прошла экспертная встреча сообщества практиков для разработки Теории изменений для программы «Социальный диалог на основе открытых данных» Ассоциации «Драйвер роста», Белгородская область.
Программу «Социальный диалог на основе открытых данных» (см. презентацию), а также наработки по Теории изменений сделанные в рамках обучения на онлайн-курсе «Оценка проектов и программ в сфере детства-2022» представил Сергей Назаров, исполнительный директор Ассоциации «Драйвер роста».
На встрече в формате группового обсуждения участники разобрали проект Дерева результатов программы и озвучили свои идеи по ее доработке. На встрече присутствовали: Сергей Назаров, Марина Ушакова, Центр «Акварель», Челябинск, Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», Владимир Тараненко, ВОРДИ, Анна Доменик, ОГКУСО «Центр помощи детям, оставшимся без попечения родителей, Свердловского района г. Иркутска», Эльвира Гарифулина, БФ «Абсолют-Помощь», Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия». Мы благодарим всех принявших участие в обсуждении.
Сообщество практиков по оценке программ в сфере детства существует около десяти лет. Какие сейчас есть достижения, тренды и практические возможности, чтобы развивать доказательный подход и культуру оценки? 18 октября роль сообщества практиков обсуждалась на VIII Конференции Ассоциации специалистов по оценке программ и политик.
Модератором встречи выступила Ольга Евдокимова, АНО «Эволюция и Филантропия». Ольга отметила, что именно сфера детства явилась драйвером развития оценки в последние 5 лет, и как результат — в этой сфере есть и развитая методическая база и онлайн-курс и сообщество практиков со специализированными площадками. В небольшой дискуссии на тему того, какие есть трудности и дефициты, приняли участие активные члены сообщества Анна Доменик, «Центр помощи детям, оставшимся без попечения родителей, Свердловского района г. Иркутска» и Ольга Андросова, Международный детский фонд «Дети Саха-Азия». В частности, они отметили:
Нехватку грантовых конкурсов, поддерживающих проекты, связанные с развитием мониторинга и оценки назвала
Трудности связанные с необходимостью обучения новых сотрудников.
В 2022 году сообщество практиков продолжило апробировать инновационные форматы поддержки специалистов. В частности, стартовала пилотная группа по внедрению в практику организаций приемов анализа количественных данных. Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», рассказала о том, как работает группа «САД» (статистический анализ данных). Ольга, отметила, что формат работы сложился опытным путем и он выражает актуальные тенденции в обучении взрослых: это «обучение членов сообщества» и «обучение действием». Встречи группы ориентированы на потребности участников и разбор актуальных кейсов и задач. Уже на старте строится содержательная гипотеза и предположения о том, какие решения могут быть приняты на основе анализа. Это позволяет выбрать наиболее релевантные методы статистического анализа и прийти к результатам, которые потом могут применяться на практике.
В заключение встречи, Андрей Некрасов, программный директор «Точки кипения МГППУ», рассказал о работе междисциплинарной площадки «Точка кипения МГППУ», которая открылась менее полугода назад. В частности о рассказал о серии вебинаров по теме оценки в сфере детства для представителей сообщества из разных регионов, которая проходит сейчас. В планах площадки — проведение методологических вебинаров для обмена опытом между академическим сообществом и сообществом практиков.
Презентация Ольги Евдокимовой, где собраны ресурсы, наработанные сообществом практиков.
17 августа состоялась онлайн-встреча «Анализ данных для оценки результатов программ и проектов в сфере детства», на которой присутствовало 42 специалиста из 21 региона РФ.
В начале встречи Ольга Евдокимова рассказала об итогах работы сообщества практиков по теме мониторинга и оценки в 2021-2022, о доступных ресурсах по теме мониторинга и оценки, в частности о новых опциях онлайн-сервиса ПИОН — библиотеках кейсов и инструментов, где представлены, в том числе кейсы и инструменты анализа данных. Ольга также отметила, что анализ данных подразумевает несколько этапов: Анализ данных, интерпретацию, суждение и рекомендации. И важно уделять должное внимание всем 4-м этапам (презентация).
В рамках экспертного блока выступили:
Екатерина Горина, психолог, АНО «Пространство общения», РБОО «Центр лечебной педагогики» представила доклад «Подходы к анализу технологий работы в Программе «Уверенное начало» (презентация).
Екатерина представила цели и мотивы исследования, обозначила исследовательские вопросы:
1) Определить, подходит ли для задач программы интервью и оценка СОРМ (Канадская оценка деятельности) (достигает ли рост баллов клинически значимого уровня? каково распределение заявленных проблем по доменам МКФ? какие задачи «решаются» лучше? какие изменения происходят со временем?)
2) Как «работают» SMART-цели? (сколько целей достигается?; почему одни цели достигаются, а другие нет?)
3) Действительно ли программа семейно-центрированная? Есть ли согласованность в оценках родителя и специалиста?
Екатерина представила результаты исследования, которые были опубликованы в научном журнале, что делает эту работу особо ценной. Екатерина отметила, что часть гипотез не подтверждается и поэтому не публикуется и это ограничивает формирование базы знаний.
Участники встречи выразили пожелание более подробно ознакомиться с результатами исследования.
Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», методический руководитель пилотной группы САД («Статистический анализ данных»), которая была сформирована из инициативных участников тематических площадок по оценке в сфере детства.
Ольга рассказала, как работала группа, представила алгоритм подхода к выбору инструментария, отдельно остановилась на выборе статистического критерия при проведении анализа, а также поделилась ссылками на доступные онлайн-калькуляторы и выводами по итогам работы группы. Ольга подчеркнула практический характер работы и то, что участники применяли либо фактические данные либо их проектировали. «Реальное обучение начинается при применении знаний» — сделала заключение Ольга Заводилкина. См. презентацию.
Свои кейсы представили участники группы «Статистический анализ данных»:
Виктория Анейчик, Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов «ГАООРДИ» (презентация).
Виктория обозначила свои мотивы и задачи участия в пилотной группе, представила логическую модель проекта «Как дома», инструментарий сбора данных о развитии навыков молодых взрослых с ТМНР, проживающих в центре Ассоциации и подробно раскрыла, как проводился анализ данных для проверки исследовательских гипотез и какие были сформулированы выводы и рекомендации для корректировки проекта. Виктория обозначила следующие основные трудности при освоении количественного анализа: 1) Формулировка содержательных и статистических гипотез; 2) Правильный выбор статистических методов для решения поставленных задач; 3) Интерпретация полученных результатов.
Мария Егорова, Международный детский фонд «Дети Саха-Азия» (презентация).
Мария представила разработанное Дерево результатов Программы «Временный приют для женщин с детьми, оказавшихся в трудной жизненной ситуации (ТЖС)», логическую модель Программы, а также пошаговый алгоритм анализа данных. Мария подчеркнула, что основными ограничениями при анализе данных было небольшое количество благополучателей, по которым собраны данные «до» и «после» для анализа, а также вовлеченность только одной группы благополучателей, т.е. принимается во внимание результаты опроса только мамы подростка. Для преодоления последнего ограничения, были введены предполагаемые данные, что снизило точность анализа. В планах у Фонда: 1) Внедрить опросник для подростков в онлайн-формате; 2) Продолжить собирать исходные данные по подросткам и родителям; 3) При сборе достаточного объема данных будет проведен анализ и по нему будет принято определенное управленческое решение.
Новостями по теме «Мониторинг и оценка» поделились:
Антонина Попова, БФ «Волонтеры в помощь детям-сиротам», представила «Исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания» (презентация).
Проект «Теплый дом» присутствует в Банке доказательных практик Фонда Тимченко и имеет продвинутый уровень доказанности по всем критериям в соответствие со Стандартом доказательности социальных практик в сфере детства. Исследование интересно тем, что оно включает в себя задачу по сравнению результатов аналогичной практики, которую реализует РОО «Аистенок». Мы планируем в сентябре в рамках тематической площадки «Кризисные центры» представить более подробно результаты исследования.
Ольга Андросова, МДФ «Дети Саха-Азия» рассказала об исследовании «Оценка эффективности медиапроектов», проведенного в рамках конкурса «Research Got Talent» (презентация).
Ольга рассказала, как был организован процесс взаимодействия с командой исследователей, какие были получены выводы и даны рекомендации. Участники встречи обсудили вопрос о том, какими компетенциями должен обладать внешний исполнитель, чтобы давать рекомендации по развитию социальных программ.Марина Ушакова, Муниципальное бюджетное учреждение города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель»
Марина рассказала, что сейчас организация активно использует для измерения социальных результатов продукты, разработанные при поддержке АНО «Эволюция и Филантропия», а также вовлекает воспитанников в мониторинг и оценку программы по подготовке к самостоятельной жизни с использованием инструментов, дружественных детям.
Основные выводы, которые можно сделать по итогам встречи:
Формулировка исследовательских гипотез вызывает затруднения и эту тему необходимо развивать.
Во всех кейсах звучала тема статистической значимости.
Качество инструментария сбора данных имеет первостепенное значение. Особая сложность , если инструментарий основан на суждениях разных акторов (например, специалисты и родители).
Способ организации данных — важнейший элемент для качества анализа.
Этап интерпретации и суждения — очень важные этапы, их нельзя пропускать. Но это все довольно субъективные этапы.
Анализ данных следует проводить в команде, при чем с разными компетенциями.
Важно, чтобы команда обладала критическим мышлением и была готова, что часть гипотез не подтвердится.
Необходим коучинг со стороны экспертов в области анализа данных для сохранения качества исследования.
Мероприятие проводится в рамках деятельности созданного АНО «Эволюция и Филантропия» сообщества специалистов практиков в области оценки программ в сфере детства.
5-7 августа 2022 прошел Форум для специалистов сферы детства, помогающих детям с социально значимыми заболеваниями, организованный Благотворительным Фондом «Дети+».
Ольга Евдокимова выступила с докладом «Доказательный подход при планировании и оценке социальных программ», где рассказала о развитии доказательного подхода в сфере детства, о деятельности АНО «Эволюция и Филантропия» по развитию сообщества практиков в сфере оценки, в частности о работе тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми», о доступных ресурсах по теме оценки — Реестре (Банке) доказательных практик, онлайн-сервисе ПИОН и онлайн-базе «Слушай с Пользой!, методических материалах по теме оценке, а также пригласила на онлайн-курс «Оценка проектов и программ в сфере детства». Презентация доступна по ссылке.
Приглашаем Вас 17 августа 2022 с 9:00 до 11:00 (по Москве) на онлайн-встречу «Анализ данных для оценки результатов программ и проектов в сфере детства».
Программа онлайн-встречи состоит из двух блоков – экспертного и информационного.
Экспертный блок
«Подходы к анализу технологий работы в Программе «Уверенное начало». Екатерина Горина, психолог, АНО «Пространство общения», РБОО «Центр лечебной педагогики».
Участники пилотной группы под руководством эксперта АНО «Эволюция и Филантропия» Ольги Заводилкиной, прошедшие специальное обучение, поделятся опытом применения различных методов анализа количественных данных. Группа начала работу около двух месяцев назад и уже готова представить свои кейсы.
Свои кейсы представят:
Виктория Алейничек, Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов «ГАООРДИ»
Мария Егорова, Международный детский фонд «Дети Саха-Азия».
Информационный блок: новости по теме «Мониторинг и оценка».
«Исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания», Антонина Попова, БФ «Волонтеры в помощь детям-сиротам».
Исследование «Оценка эффективности медиапроектов», проведенного в рамках конкурса «Research Got Talent», Ольга Андросова, МДФ «Дети Саха-Азия».
Мероприятие проводится в рамках деятельности созданного АНО «Эволюция и Филантропия» сообщества специалистов практиков в области оценки программ в сфере детства.
