20 мая в Москве прошла рабочая встреча руководителей и юристов организаций, имеющих в своем составе кризисные центры временного проживания для женщин с детьми, на которой Ольга Евдокимова рассказала о развитии общей базы знаний в области МиО для Кризисных центров. В частности, Ольга рассказала о наработках сообщества практиков в сфере оценки , которое развивалось в рамках проекта, реализованного АНО «Эволюция и Филантропия» в 2021- 2022 годах, представила онлайн-сервис «ПИОН» и продемонстрировала собранные там инструменты для кризисных центров. Также были представлены возможности обучения на онлайн-курсе «Оценка проектов и программ в сфере детства», очередной старт которого запланирован на лето 2024 года и сервисы проекта «Больше историй«, направленном на расширение применения практик вовлечения благополучателей в деятельность НКО сферы детства через использование сторителлинга для оценки программ (презентация).
Во время мероприятия участники встречи обсуждали вопросы оценки эффективности работы Кризисных центров. Был согласованы следующие ключевой показатель социальной эффективности: Количество решенных случаев (ребенок/cемья в безопасности, ребенок сохранен в семье и пр.) за определенный срок и за определенную сумму. При формулировании такого ключевого показателя сохраняется вариативность решаемой проблематики и учет сложности кейсов. При этом учитываются доступные для организации ресурсы. Что такое решенный случай организация может решить самостоятельно, определив необходимый минимум решенных задач с заданным качеством. Отдельно обсуждался вопрос — как оценить эффективность, если ребенок не смог остаться в семье. Было предложено оценивать качество работы и меру снижаемого вреда.
Критерием устойчивости может служить — количество семей, в которых результат сохраняется, например, в течение года или другого срока, определенным Кризисным центром. При этом важно обращать внимание и на устойчивость самой организации , на ее возможность быть эффективной в течение продолжительного времени. Для этого нужны показатели организационной и финансовой устойчивости. В разрезе этого обсуждался вопрос о роли информационной открытости в работе КЦ и об управлении «потоком клиентов». Было также отмечено, что для разных стейкхолдеров на разных этапах будут полезны разные наборы индикаторов
Какими инструментами можно пользоваться, чтобы измерять эти показатели?
Административная отчетность (планы развития, например)
Интервью на входе и выходе, сторителлинг через какое-то время, наблюдения администраторов и специалистов.
Самооценка Кризисного центра, экспертные оценки и бенчмаркинг.
Какие сложные вопросы озвучивали участники?
Границы подотчетности КЦ
Решенный кейс или субъективное благополучие женщины
Отсутствие бенчмарков, позволяющих сохранять ценность многообразия
Вклад женщины и вклад КЦ в решение проблемы
Как работать с негативной обратной связью
Влияние показателей эффективности на гос. задание
На встрече был также проведен опрос участников о состоянии МиО в кризисных центрах, в котором приняли участие 15 специалистов.
33% ответили, что у них в организации был значительный прогресс в области МиО за последний год, 47% — что прогресс был незначительным, 13% сообщили, что прогресса скорее не было.
53% респондентов сообщили, что им скорее актуальная задача по развитию МиО в организации, 40% — что очень актуальна.
31 мая Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», выступила с докладом «Доказательный подход в сфере детства – как основа для устойчивости и роста эффективности социальной сферы» на VII Всероссийской научно-практической конференции «Сохраним семью для ребенка!» .
Ольга рассказала о создании необходимой инфраструктуры и пилотирование доказательного подхода в период с 2016 по 2023 гг. Говоря о барьерах, с которыми сталкиваются организации, решившие работать в доказательном подходе, Ольга отметила такие факторы как организационная культура, методические сложности и недостаток компетенций в сфере МиО, затратность и отсутствие доступных и качественных данных. В докладе также освещались вопросы условий для развития доказательного подхода и уделялось внимание доступным ресурсам.
Организатор: Межрегиональная общественная организация по содействию семьям с детьми в трудной жизненной ситуации «Аистенок» ( МОО «Аистенок») основана в 2003 г.
Участники Конференции — руководители и специалисты государственных учреждений, социально ориентированных некоммерческих и религиозных организаций из регионов РФ, имеющих на базе организаций стационары (приюты, шелтеры, убежища и др.) для проживания женщин с детьми в трудной жизненной ситуации.
Конференция направлена на повышение эффективности деятельности в сфере профилактики социального сиротства и помощи семьям с детьми в кризисных ситуациях. Конференция проводится с использованием пожертвования Благотворительного фонда «Абсолют-Помощь».
Во встрече принял участие 31 специалист сферы детства из 21 региона РФ.
Встречу открыла Ольга Евдокимова, которая рассказала о работе площадки «Оценка программ для кризисных центров» в 2022 году и представила планы на 2023 год (презентация).
Елизавета Плотникова, Хабаровская краевая общественная организация замещающих семей «Чужих детей не бывает», рассказала о своем опыте участия в группе САД (статистический анализ данных) и как он был использован для работы над системой мониторинга и оценки в организации (презентация).
Антонина Попова и Елена Андреева, БФ «Волонтеры в помощь детям-сиротам» представляли результаты исследования факторов результативности работы с мамами и их детьми на базе центра временного пребывания «Теплый Дом» и ответили на вопросы участников встречи (презентация). Обобщенные и персонализированные данные программы «Теплый дом» см. по ссылке.
Был проведён опрос участников по теме МиО.
На вопрос о прогрессе в области МиО в 2022 году 36% респондентов сообщили о значительном прогрессе, 29% сказали, что прогресс был, но незначительный. 14% ответивших считают, что прогресса не было. 21% затруднились ответить.
Отвечая на опрос о доступности методической поддержки, 80% опрошенных сообщили, что считают ее доступной для себя, 7% сообщили, что поддержка скорее недоступна, 13% затруднились ответить.
Доступной экспертную поддержку считают 73% опрошенных, 13% ответили, что она скорее недоступна, 13% затруднились ответить.
21 февраля состоялась первая в 2023 году встреча участников сообщества специалистов-практиков в области оценки программ в сфере детства. Мероприятие проводилось совместно с Точкой кипения МГППУ. Как отметила в самом начале модератор встречи Ольга Евдокимова (АНО «Эволюция и Филантропия») — «Наша задача на сегодня — познакомиться с ключевыми результатами и планами в области мониторинга и оценки (МиО) и сформировать общую тематическую повестку на 2023 год». На встрече присутствовало более 100 специалистов сферы детства (включая тех, кто смотрел трансляцию на Youtube и Вконтакте).
Первая тема была посвящена доказательному подходу. Доказательный подход — является трендом и драйвером для развития социальных практик, особенно в сфере детства, где уже сложилась разветвленная эко-система, состоящая из множества акторов, среди которых сейчас на первый план, как отметила Ольга, «должны выходить ВУЗы, что и происходит в случае с МГППУ».
И выступление Татьяны Подушкиной, руководителя центра доказательного социального проектирования МГППУ, было посвящено итогам сотрудничества Центра, Агентства стратегических инициатив и Министерства просвещения РФ по развитию в 2022 году доказательного подхода (презентация). Татьяна отметила, что в рамках полученного гос.задания от Министерства Просвещения будет продолжена работа по верификации практик в соответствие со Стандартом доказательности и последующее их размещение на Смартеке АСИ в Реестре доказательных практик, а также проведена серия обучающих мероприятий и для экспертов и для разработчиков практик.
В рамках методической работы будет продолжена серия встреч, в частности, 1 марта в 13:30 состоится онлайн-семинар «Диагностические инструменты в технологии наставничества», на котором Вероника Нисоновна Ослон, профессор кафедры «Возрастная психология имени профессора Л.Ф. Обуховой» МГППУ, представит разработанный в рамках гос.задания диагностический комплекс, который может применяться в работе технологии наставничества. Зарегистрироваться для участия в мероприятии можно будет перейдя по ссылке: https://mgppu.ru/news/12021. Мы приглашаем участников тематической площадки «Социализация подростков и выпускников сиротских учреждений» и всех заинтересованных принять участие во встрече.
Подробная презентация работы Центра и Точки Кипения МГППУ состоится в середине марта, о чем будут дополнительные анонсы.
Далее участники встречи обратились к практическому опыту лидеров-НКО, активных участников сообщества. «Я хочу напомнить, что планы по включению Агентства стратегических инициатив (АСИ) в экосистему доказательности и по созданию на платформе Смартека Реестра доказательных практик, были озвучены около года назад на проектной сессии «Доказательные социальные практики в сфере детства: финансирование и масштабирование» , организаторами которой выступили АСИ, МГППУ, Фонд Тимченко, АНО «Эволюция и Филантропия» и Форум доноров. На этой сессии были представлены практики, получившие по итогам верификаций в 2021 году, когда эту инициативу возглавлял Фонд Тимченко, продвинутый уровень доказательности. И сегодня представители этих НКО кратко поделятся результатами того, чего они достигли за прошедший период и какие у них планы», — отметила Ольга Евдокимова, предваряя выступление следующих спикеров.
Елена Андреева и Антонина Попова (БФ «Волонтеры в помощь детям сиротам», (презентация)) рассказали о результатах развития программ Фонда в области МиО. В частности, в рамках проекта «Теплый дом» проведено исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания. Кратко о предварительных результатах этого исследования коллеги уже рассказывали на встрече сообщества по анализу данных в августе 2022 года.
Для того, чтобы более подробно ознакомиться и с результатами и с методологией оценочного исследования, узнать про возможность бенчмаркинга похожих практик, мы приглашаем, особенно участников тематической площадки «Кризисные центры», на встречу 2 марта с 9.00 до 11.00. Регистрация по ссылке, более подробная программа будет в последующей рассылке.
Также среди результатов развития МиО в Фонде — автоматизация учета и хранения данных всех проектов программы «Профилактика социального сиротства»; развитие процессов и инструментария обратной связи от благополучателей. Коллеги являются еще одними из лидеров — поставщиков знаний в нашу базу «Слушай с Пользой!». Инструментарий и кейсы от них по ссылке.
Среди перспективных тем — мониторинг общественного мнения в отношении приемного родительства, его изменение в сторону более принимающего. Планирование и оценка адвокационных практик — будет одной из методологических тем на 2023 год.
Ирина Бобылева, аналитик Центра защиты прав и интересов детей и главный специалист-эксперт БФ «Расправь крылья!», рассказала о результатах и планах передачи практики «Технологии индивидуального сопровождения выпускников детских домов» вместе с разработанной системой МиО.
Елена Лянгузова (Региональная общественная организация родителей детей-инвалидов Кировской области «Дорогою добра») поделилась опытом настройки и поиска наиболее точного инструментария сбора данных от благополучателей.
После этого участники встречи ответили на вопрос о прогрессе в области МиО в своих организациях:
Опыт организаций лидеров — в области МиО подтверждает важность внешней методической поддержки, особенно на этапе становления системы, внутренней культуры, нацеленной на самосовершенствование и систематической многолетней командной работы над процессами МиО.
Далее повестка была посвящена доступности методической базы и экспертной поддержки для развития систем МиО. Тему представила Евдокимова Ольга, АНО «Эволюция и Филантропия» (презентация).
Ольга отметила, что основным фокусом внимания компании в 2023 году в рамках развития культуры и практик оценки в сфере детства явились: рост информированности, мотивации и компетенций специалистов-практиков за счет:
1)проведения онлайн-курса «Оценка программ в сфере детства», который в 2023 году закончило более 50 слушателей и который проводился при партнерстве с Благотворительным образовательным фондом Мархамат, что позволило выдать участникам удостоверения гос.образца о повышении квалификации в объеме 72 часов.
Ольга анонсировала открытие 6-го потока курса в начале апреля — «Пока мы не знаем окончательно всех деталей по поводу нового потока, но предварительную запись открыли». Запись и более подробная информация на сайте.
2) организации встреч сообщества практиков, в которых в 2023 году приняло участие более 200 участников;
Все записи и презентации встреч доступны по ссылке.
3) за счет наполнения методическим инструментарием и практическими кейсами онлайн-сервиса ПИОН(в библиотеках которого собрано около 50 логических моделей и деревьев результатов; более 20 социальных результатов и инструментов; более 60 кейсов; число пользователей — 80 человек) и сопряженной с ПИОНом по API базы знаний «Слушай с Пользой!», на которой предлагаются более 100 инструментов обратной связи от благополучателей сферы детства. Ольга отметила, что в 2023 году фокус внимания АНО «Эволюция и Филантропия» перейдет от роста доступности методической базы к росту ее востребованности. Также в 2022 году было сделано довольно много (28) информационных рассылок про различные анонсы и новации в области оценки, что способствовало росту информированности участников сообщества.
4) Экспертная поддержка в 2022 году проходила по запросам от участников, в частности, несколько раз, были проведены рабочие встречи по созданию проектов Теорий изменений; а также работала в пилотном режиме группа САД (статистический анализ данных).
Участникам встречи было предложено ответить на вопросы о доступности методической и экспертной поддержки:
«Результаты опросов, говорят, что задача с доступностью поддержки в целом решена» — отметила Ольга Евдокимова — «Для тех же, кто только начинает, напоминаю, на онлайн-сервисе ПИОН у нас есть форма записи на консультации (индивидуальные, групповые и пр.). В частности, сейчас проводятся консультации о включении расходов на МиО в бюджет грантовых заявок«.
Далее с краткой презентацией результатов и планов в области МиО выступили представители НКО, которые получили индивидуальную методическую поддержку от АНО «Эволюция и Филантропия» в рамках проекта «Оценка программ в сфере детства: развитие сообществ практиков».
Анна Хегай, БФ «Бюро добрых дел» (Москва) (кейс) выделила распространение системы МиО на другие программы Фонда и особо остановилась на исследовании стратегий трудоустройства выпускников детских домов. «У нас довольно интересная технология, сначала был качественный этап, в результате которого мы выявили несколько факторов, влияющих на успешное трудоустройство. Сейчас идет количественный этап, а на выходе мы надеемся в том числе получить конкретные психологические и социальные показатели, которыми будем измерять эффективность нашей программы.» Результаты исследования будут в конце мая презентованы заинтересованным коллегам.
Анна попросила коллег, кто работает с практиками трудоустройства, заполнить небольшую анкету: опрос
Людмила Нам, АНО «Центр помощи семьям детей с ограниченными возможностями здоровья «Содействие» (Ростовская обл.) (кейс) представляла систему МиО на Всероссийской конференции и рассказала, что «работа идет по плану, сделали 3-й замер. Сейчас приступили к разработке логической модели оценки для программы «Я в группе».»
Гульнара Данильченко , БФ «Звезда» (Казань) (кейс) выделила необходимость постоянных изменений в различных элементах МиО и полезность сбора обратной связи как от специалистов, так и от родителей. Основная задача на 2023 года — визуализация получающихся данных.
Продолжая встречу, Ольга Евдокимова отметила, что АНО «Эволюция и Филантропия» не перестает систематически изучать передовой международный опыт в области оценки и старается определять ключевые методологические аспекты, которые требуют развития на уровне сектора. «Так было и с Теорией изменений, которую мы привнесли в РФ в 2010 году, а сейчас уже это относительно известная практика. Теорией изменений мы продолжили заниматься и в 2022 году, углубляясь в тему «предположений и допущений», а также применяя нехитрые IT-инструменты для того, чтобы ТИ не оставалась просто картинкой, как это часто пока происходит». Также Ольга отметила такие важные методические аспекты как формулирование оценочных вопросов и составление технических заданий. Все эти вопросы требуют пристального внимания оценщиков и могут быть предметом обсуждения на самых различных экспертных площадках, которые в последнее время появляются как ответ на возрастающий спрос на оценку.
Одну из таких площадок представил Владимир Балакирев («Процесс-Консалтинг»), это Клуб PROОЦЕНКУ , в рамках которого обсуждаются различные методологические темы, связанные с оценкой программ, и проводится периодическое обучение.
Продолжая тему важности Теории изменений, выступила Анастасия Декина, БФ развития сопровождаемого трудоустройства Всё получится!», Санкт-Петербург, (презентация) и сразу пригласила всех заинтересованных лиц принять участие в обсуждении Теория изменений (ссылка) Фонда, которая пройдет 27 февраля. Приглашение на инфо-сессию (ссылка). Анализ пилотного интервью с благополучателями (ссылка). Анастасия поделилась планами развития МиО на 2023 год, среди которых , в частности, доработка инструментария для сбора обратной связи от благополучателей и разработка Положения о системе МиО. Всеми этими материалами Фонд планирует делиться с сообществом.
Далее выступили представители пилотной группы САД (Статистический анализ данных). Ольга Заводилкина, эксперт-консультант АНО «Эволюция и Филантропия», куратор группы, презентовала сводные итоги работы двух пилотных групп (презентация) и анонсировала набор на следующий поток, который начнется 10 марта. Анкета для участия в следующей группе САД (ссылка). Более подробно, как работает группа можно посмотреть в записи. Марина Ушакова, руководитель МБУ Центр «Акварель» г. Челябинска (презентация), кратко представила получившиеся в результате участия в группе выводы. В частности, Марина отметила, что участие в группе должно быть командным; участники группы должны владеть базовыми компетенциями в области МиО; группа должна оставаться немногочисленной для сохранения возможности индивидуальных консультаций. В заключении Марина сказала «Традиционно обучение в этой группе было очень сложным, но мы со всем справились в итоге».
Представление практического опыта НКО завершил Александр Боровых, директор отдела стратегий БФ «Даунсайд Ап» (Москва), который кратко рассказал о методологии и результатах оценки вклада фонда в достижение социальных результатов для благополучателей (презентация). Подробно об этом исследовании коллеги уже рассказывали на конференции АСОПП. «Это очень интересное оценочное исследование, с хорошей аналитикой и дизайном. Оно безусловно заслуживает того, что его отдельно обсудить. И методологию и результаты»- считает Ольга Евдокимова.
22 марта с 9.00 до 11.00 (мск) мы приглашаем участников тематической площадки «Семьи с особыми детьми» и всех заинтересованных принять участие в онлайн-встрече по обсуждению этого исследования. Регистрация по ссылке. Более подробный план будет разослан позднее.
Заключительной частью мероприятия стали выступления представителей донорских организаций.
Эльвира Гарифулина, программный директор фонда «Абсолют-Помощь», представила систему МиО Фонда, ее ключевые элементы, особенности сбора отчетности от грантополучателей (презентация). Эльвира заметила, что мониторинг и оценка — это обязательная часть и основа для формирования доверия к помогающим организациям со стороны благополучателей, доноров, государства.
Резюмируя итоги дискуссии, Ширшова Инна, руководитель направления “Инклюзивная среда» БФ Сбербанка «Вклад в будущее» отдельно отметила важность темы оценки рисков, в том числе и при реализации доказательного подхода. В 2022 году Фонд при участии АНО «Эволюция и Филантропия» и ряда независимых экспертов разработал Методику прогностической оценки решений с учетом социальной значимости, в которой было особое место уделено теме управления рисками.
Также Инна выделила ряд ключевых драйверов для развития доказательного подхода — должен быть запрос внутри организации на саморефлексию и развитие; должна быть сонастройка образа результата между донором и грантополучателем и путей его достижения. Реализация доказательного подхода требует определенных компетенций, которые надо приобретать и которым внутренняя организационная культура должна давать возможность применения. Еще одна точка роста — валидные и чувствительные инструменты сбора данных и научные исследования.
В заключении выступила Элина Илларионова (eillarionova@timchenkofoundation.org), руководитель аналитической службы Фонда Тимченко (презентация) с предложением по развитию Индекса детского благополучия. В частности, можно использовать разработанный инструментарий для опросов детей и родителей и в перспективе получать бенчмарки, о которых несколько раз говорили на встрече.
Участникам было предложено ответить на вопрос:
По этой теме предполагается отдельная рассылка от Фонда Тимченко.
Сообщество практиков по оценке программ в сфере детства существует около десяти лет. Какие сейчас есть достижения, тренды и практические возможности, чтобы развивать доказательный подход и культуру оценки? 18 октября роль сообщества практиков обсуждалась на VIII Конференции Ассоциации специалистов по оценке программ и политик.
Модератором встречи выступила Ольга Евдокимова, АНО «Эволюция и Филантропия». Ольга отметила, что именно сфера детства явилась драйвером развития оценки в последние 5 лет, и как результат — в этой сфере есть и развитая методическая база и онлайн-курс и сообщество практиков со специализированными площадками. В небольшой дискуссии на тему того, какие есть трудности и дефициты, приняли участие активные члены сообщества Анна Доменик, «Центр помощи детям, оставшимся без попечения родителей, Свердловского района г. Иркутска» и Ольга Андросова, Международный детский фонд «Дети Саха-Азия». В частности, они отметили:
Нехватку грантовых конкурсов, поддерживающих проекты, связанные с развитием мониторинга и оценки назвала
Трудности связанные с необходимостью обучения новых сотрудников.
В 2022 году сообщество практиков продолжило апробировать инновационные форматы поддержки специалистов. В частности, стартовала пилотная группа по внедрению в практику организаций приемов анализа количественных данных. Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», рассказала о том, как работает группа «САД» (статистический анализ данных). Ольга, отметила, что формат работы сложился опытным путем и он выражает актуальные тенденции в обучении взрослых: это «обучение членов сообщества» и «обучение действием». Встречи группы ориентированы на потребности участников и разбор актуальных кейсов и задач. Уже на старте строится содержательная гипотеза и предположения о том, какие решения могут быть приняты на основе анализа. Это позволяет выбрать наиболее релевантные методы статистического анализа и прийти к результатам, которые потом могут применяться на практике.
В заключение встречи, Андрей Некрасов, программный директор «Точки кипения МГППУ», рассказал о работе междисциплинарной площадки «Точка кипения МГППУ», которая открылась менее полугода назад. В частности о рассказал о серии вебинаров по теме оценки в сфере детства для представителей сообщества из разных регионов, которая проходит сейчас. В планах площадки — проведение методологических вебинаров для обмена опытом между академическим сообществом и сообществом практиков.
Презентация Ольги Евдокимовой, где собраны ресурсы, наработанные сообществом практиков.
Приглашаем Вас 17 августа 2022 с 9:00 до 11:00 (по Москве) на онлайн-встречу «Анализ данных для оценки результатов программ и проектов в сфере детства».
Программа онлайн-встречи состоит из двух блоков – экспертного и информационного.
Экспертный блок
«Подходы к анализу технологий работы в Программе «Уверенное начало». Екатерина Горина, психолог, АНО «Пространство общения», РБОО «Центр лечебной педагогики».
Участники пилотной группы под руководством эксперта АНО «Эволюция и Филантропия» Ольги Заводилкиной, прошедшие специальное обучение, поделятся опытом применения различных методов анализа количественных данных. Группа начала работу около двух месяцев назад и уже готова представить свои кейсы.
Свои кейсы представят:
Виктория Алейничек, Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов «ГАООРДИ»
Мария Егорова, Международный детский фонд «Дети Саха-Азия».
Информационный блок: новости по теме «Мониторинг и оценка».
«Исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания», Антонина Попова, БФ «Волонтеры в помощь детям-сиротам».
Исследование «Оценка эффективности медиапроектов», проведенного в рамках конкурса «Research Got Talent», Ольга Андросова, МДФ «Дети Саха-Азия».
Мероприятие проводится в рамках деятельности созданного АНО «Эволюция и Филантропия» сообщества специалистов практиков в области оценки программ в сфере детства.
15 апреля состоялась очередная встреча (вторая в 2022 году) участников площадки, на которой обсуждаются различные аспекты мониторинга и оценки практик кризисных центров. На встрече присутствовали 32 специалиста из 20 регионов.
Встречу провела Елена Андреева, координатор проекта «Теплый дом» БФ «Волонтеры в помощь детям-сиротам», совместно с ведущей площадки в 2021 году Татьяной Арчаковой.
В первой части встречи Ольга Евдокимова представила последние инструменты тематической группы «МиО практик для кризисных центров», загруженные в базу знаний ПИОН и на сайт «Слушай с пользой». См. презентацию.
Участникам был представлен промо-ролик о возможностях сайта «Слушай с пользой» .
Участники встречи отметили, что необходимо продумать процессы валидации загружаемых инструментов МиО, а также пространство, где можно ознакомиться с результатами применения этих инструментов. Довольно часто организации начинают применять предлагаемый инструментарий, внося в него свои корректировки. В связи с чем также необходим сервис для удобной связи с разработчиком.
В ходе практической части встречи участники в малых группах обсудили планы по мониторингу и оценке на 2022. Благодаря чему были собраны следующие задачи участников на 2022 год:
Работа с базами клиентов-благополучателей, в т. ч СRM ( как собираются, хранятся и анализируются данные)
2. Включение детей в оценку работы.
3. Расширение знаний для оценки работы в разных направлениях.
3. Анализ данных.
4. Усовершенствование теории изменения.
5. Анализ кейсов.
6. Совершенствование научной обоснованности практики.
7. Система мониторинга — как поверить в полезность нового инструмента.
8. Правильная последовательность внедрения системы МиО. Советы практиков.
9. Связь системы МиО с другими системами и процессами организаций.
Также участники обращали внимание на сложности связанные с тем, что разные типы доноров требуют разную систему отчетности о результатах одной и той же практики.
27 января состоялась онлайн встреча тематической группы «Социальные приюты и кризисные центры для матерей с детьми» — «База знаний по МиО работы социальных приютов и кризисных центров».
Общее количество участников — 37 человек, из них представители 16-ти регионов РФ.
Модератором встречи выступила Ольга Евдокимова, директор АНО «Эволюция и филантропия».
В первой части Ольга Евдокимова представила обзор всего, что было сделано в рамках встреч тематической группы в 2021 г. (презентация).
Затем состоялись анкетирование и дискуссия с обсуждением результатов работы группы с точки зрения ее участников, а также барьеров на пути к обращению за поддержкой и ресурсами сообщества между встречами.
Среди результатов участия в тематической группе участники назвали вхождение в реестр практик с доказанной эффективностью; победу в конкурсе Президентских грантов (за счет грамотно прописанных социальных результатов, показателей и способов их измерения).
Некоторые отмечают, что в работу «пришла система»: знания о МиО внедряются в практику и распространяются внутри организации. Сложилось понимание важности МиО, которое воплощается в конкретных идеях («Должен быть человек, который отвечает за сбор данных – и это не руководитель организации») и управленческих решениях: так БФ «Родительский мост» включил в новый проект сразу двух методистов: ответственного за развитие и описание практики и ответственного за сбор и анализ данных. Еще один инсайт: понимание, что система МиО не статична, она требует изменений, поэтому требуется постоянное «методическое развитие» как организации в целом, так и компетенций сотрудников.
Ряд участников рассматривают группу как возможность получить знания и навыки: обсуждение реальных кейсов в сфере МиО дополняет учебу на онлайн курсе «Оценка проектов и программ в сфере детства». Использование новых IT-инструментов для фасилитации дискуссий группы для одной из участниц стало личным «IT-прорывом».
Участники группы также отметили, что за последний год у крупных фондов стало развиваться понимание того, что необходимо развивать МиО в организациях-грантополучателях, появились новые возможности для этого.
Основные барьеры, мешающие обращаться к ресурсам сообщества, – это сомнения в пригодности чужого опыта для своей организации («нет типовых решений») и коммуникативные барьеры. Участникам не всегда понятно, кому лучше написать с какими вопросами; некоторых останавливает отсутствие личного знакомства. Внутренние факторы, мешающие организациям обращаться к коллегам: нет внутреннего ресурса на развитие, много текущей работы, некоторые опасения излишней открытости.
Несмотря на выделенные барьеры, участники обращаются к ресурсам сообщества и помимо встреч тематической группы, например, знакомятся с кейсами коллег в сервисе ПИОН. Многие горизонтальные связи возникают, но остаются незаметными (обращение к материалам сайта, стажировки). У БФ «Волонтеры в помощь детям-сиротам» был опыт обращения к профессиональному сообществу за экспертизой теории изменений практики «Профилактика отказов от новорожденных»: они получили много важной информации и повысили уровень доказанности практики.
Для преодоления барьеров участники предложили:
Использовать возможности очных мероприятий для знакомства участников группы.
Создать две разных группы в Whatsapp или Telegram:
Группу для неформального общения, куда можно будет обращаться с конкретными вопросами (как удобный способ обратиться за поддержкой сообщества).
Группу без функции комментариев, куда выкладываются новости, дайджесты, полезные материалы.
Назначить регулярные дни и «приемные часы» (например, каждый первый понедельник месяца), в которые опытные участники группы «дежурят» и проводят супервизии или консультации по запросам.
Необходим диалог с научным сообществом, но пока «мы друг друга не понимаем».
Новые запросы, с которыми участники хотят работать в 2022 г.:
Доработка теории изменений.
Работа с инструментарием: получить больше новых инструментов или, наоборот, оптимизировать существующий пакет инструментария. Интересуют инструменты для оценки детско-родительских отношений и материнской мотивации; для сбора обратной связи на выходе из кризисных центров.
Анализ данных: принципы и инструменты анализа.
Как управленец может эффективно организовать систему МиО, чтобы избежать ошибок. С чего начать новичкам, каковы «точки опоры».
Оценочные исследования практик помощь семьям (профилактики социального сиротства), которые тесно связаны с социальными приютами и кризисными центрами. Например, провести анализ, чтобы понять почему семьи попадают в приюты и возможна ли ранняя профилактика, чтобы этого не происходило.
Включение детей в оценку и мониторинг
В анкетировании участвовали 25 специалистов; из них 56% — сотрудники НКО, 36% — сотрудники государственных учреждений и еще 8% — из иных организаций; 24% — руководители, 8% — программные менеджеры, 64% — специалисты. Во встречах тематической группы в 2021 г. 36% из них участвовали более 3 раз, 28% — 1 или 2 раза, 36% затруднились уточнить.
72% респондентов оценили содержание встреч тематической группы как совпадающее с ожидаемым, а 20% даже «несколько лучше ожидаемого»; в одном случае респондент предложил вариант «иногда совпадало» и еще в одном отметил, что далеко не все было понятно.
Рис 1. Ответы на вопрос «В какой мере встречи тематической группы соответствовали Вашим ожиданиям»
Новизну полученной информации 20% оценили на 5 баллов (как абсолютно новую), 52% — на 4 балла, 24% — на 3 балла и 4% — на 2 балла. Пользу полученной информации 44% оценили на 5 баллов (как максимально полезную), 52% на 4 балла и 4% — на 2 балла.
Рис 2. Ответы на вопрос «В какой мере полученная информация была для Вас новой?
Рис 3. Ответы на вопрос «В какой мере полученная информация была для Вас полезной?»
Респонденты оценили влияние участия в тематической группе на решение актуальных задач развития систем мониторинга и оценки в своей организации: 24% — на 5 баллов (максимально сильное влияние), 48% — на 4 балла, 20% — на 3 балла, 4% — на 2 и на 1 балл.
Рис 4. Ответы на вопрос «В какой мере участие в тематической группе повлияло на решение актуальных задач развития систем мониторинга и оценки в Вашей организации?»
Ответы на вопрос «Насколько вероятно, что Вы порекомендуете участие в работе тематической площадки своим коллегам?» распределились следующим образом: 56% оценили вероятность на 10 баллов, 16% — на 9 баллов, 20% — на 8 баллов и 8% — на 7 баллов. 76% участников планируют продолжить участие в работе группы в 2022 г., еще 24% пока не уверены.
Рис 5. Ответы на вопрос «Насколько вероятно, что Вы порекомендуете участие в работе тематической площадки своим коллегам?»
В целом, работа тематической группы представляется важной и полезной для развития организаций, но, возможно, непростой и требующей ресурсов.
Во второй части семинара был представлен опыт организаций по разработке и использованию инструментов сбора данных.
Марина Левина, президент БФ «Родительский мост» (Санкт-Петербург) рассказала об опыте разработки инструмента для наблюдения за детско-родительским взаимодействием в рамках сопровождения в процессе индивидуальной поддержки в рамках проекта «Оценка в сфере детства: развитие сообщества практиков» (презентация).
Уже существующие отечественные и зарубежные инструменты для оценки детско-родительского взаимодействия не удовлетворяли всем требованиям: понятности для сотрудников без психологического образования и самих женщин; простоты в использовании; учетом не только психологических характеристик взаимодействия, но и качества ухода в повседневных бытовых ситуациях. Также важно было согласовать инструмент с регламентирующим документом «Принципы организации работы «Центра временного проживания для женщин с малолетними детьми “Дом надежды” и “Дома для мам”». Этот документ был разработан с участием всех сотрудников и описывает «хорошее взаимодействие», к которому надо стремиться.
На встрече Марина Левина продемонстрировала видео с записью кормления ребенка в «Доме для мам», и участники попробовали применить критерии оценки к том, что увидели. Сейчас ведется апробация инструмента, которая включает в себя ответы на вопросы:
Видят ли женщины связь между содержанием опросника и их родительской компетентностью? Видят ли сотрудники центра связь между содержанием опросника и их работой по развитию родительских компетенций?
Меняются ли оценки по мере проживания женщины в центре? Насколько отличаются оценки у разных женщин?
Согласуются ли изменения оценок на основе наблюдения с экспертной оценкой психолога / с самооценкой женщин?
Как считать значения показателя «Доля женщин, улучшивших качество взаимодействия и отношений со своими детьми», для которого разработан инструмент? Прирост на сколько баллов и за какой период считать «улучшением»?
Татьяна Арчакова,привлеченный методист БФ «Волонтеры в помощь детям-сиротам», рассказала о применении интервью для сбора обратной связи о достигнутых социальных результатах в проекте «Выездной семейный лагерь» программы «Профилактика социального сиротства». На основе краткого интервью были внесены изменения в программу второй смены лагеря (презентация).
Результаты интервью с родителями легли в основу Дерева результатов «Семейного лагеря». Это помогло описать практику для трансляции коллегам, а также сформулировать аргументы для потенциальных доноров о том, что лагерь – это «катализатор изменений» в детско-родительских отношениях, а не просто вариант пассивного отдыха для благополучателей.
3 декабря 2021 года состоялся онлайн-семинар «Верификация доказательных практик в сфере профилактики социального сиротства». В работе семинара приняли участие 24 специалиста сферы детства.
В начале встречи Татьяна Арчакова, психолог-методист БДФ «Виктория», представила типичные ошибки при описании практик в доказательном ключе во всех разделах доказательного анализа (презентация).
Во второй части встречи был представлен опыт БФ «Волонтеры в помощь детям-сиротам» (г. Москва). Елена Андреева рассказала о повышении уровня доказанности практики «Профилактика отказов от новорожденных», которая уже проходила верификацию в Реестр доказательных практик в 2020 г. Презентация доступна по ссылке.
Также участники обсудили свой опыт прохождения верификации. Они отметили, что одна из самых сложных задач – единообразное, согласованное представление всех данных; ведь система мониторинга периодически меняется и дополняется. Значимый фактор успеха – серьезное отношение к рекомендациям верификатора. Некоторые участники задавали верификаторам подробные уточняющие вопросы; некоторые – расставляли приоритеты в работе по принципу «светофора», выделяя те рекомендации, за воплощение которых берутся сразу («зеленый»), которые учтут во вторую очередь («желтый») или оставят «на вырост» («красный»).
В третьей части семинара прошла публичная верификация практики «Технология семейного наставничества как форма социального сопровождения семьи, находящейся в трудной жизненной ситуации «Выход»» (АНО «Моя семья», Ярославская обл.). Участники обсудили раздел «Обоснованность практики» и сравнили оценки, получившиеся в двух малых группах – они получились вполне согласованными.
Основные выводы спикеров и участников семинара:
Описание практики в русле Стандарта доказательности и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко стимулирует не только повышение доказанности, но и в целом описанию и трансляции интересных практик
Опора на Стандарт доказательности позволяет добиться высокой согласованности оценок даже у неопытных верификаторов
Повышение уровня доказанности с начального до базового часто достижимо за счет более логичного и четкого описания; привлечения релевантных внешних источников (например, обоснованности с т.з. научных теорий и прикладных исследований); структурирования уже имеющихся данных мониторинга. Повышение уровня доказанности с базового до продвинутого уже требует активных действий, например, проведения собственных исследований или внешней оценки; сбора данных от более широкого круга стейкхолдеров.
Одним из самых сложных для заполнения оказывается п. 4.2 «Какие есть данные, подтверждающие обоснованность применения практики с точки зрения профессионального опыта и экспертизы?» Он поднимает вопросы: Сложилось ли профессиональное сообщество в этой тематике? Каковы форматы, время и место для экспертизы практик в сообществе? Как интерпретировать те или иные профессиональные награды за реализацию практики?
