В октябре был проведен опрос участников онлайн-курса «Оценка проектов и программ в сфере детства-2022». Основное темой опроса были потребности участников.
Было получено 53 ответа.
Большинство участников (77%) ответили утвердительно на вопрос, понадобится ли им дальнейшая поддержка после завершения курса.
«Хотим доработать практику до возможности войти в реестр практик с доказанной эффективностью. Сами не справимся».
«Уникальная возможность задать вопросы профессионалам».
На вопрос о том, какие форматы поддержки наиболее длявостребованы, респонденты назвали обязательной формой поддержки наличие постоянного доступа к базе знаний по релевантным практикам.
Более половины респондентов (64%) назвали желательными такие виды поддержки как «Обсуждение своих кейсов среди коллег-практиков». От 46% до 62% ответивших назвали желательными остальные виды поддержки: Индивидуальные разовые консультации экспертов, супервизии по наиболее сложным темам; Стажировка к коллегам; Фасилитация групповых обсуждений внутри организации; Методическое сопровождение по внедрению различных элементов МиО; Подготовка к верификации практики.
«Есть моменты в работе, когда консультация просто необходима или знакомство с кейсами».
На вопрос «Оцените, пожалуйста, уровень системы МиО в вашей организации» 57% ответивших оценили его как средний, 34% как начальный, 8% как довольно зрелый.
Среди ответивших 60% являются представителями НКО, 30% — госучреждений, 10% — иных организаций.
Сообщество практиков по оценке программ в сфере детства существует около десяти лет. Какие сейчас есть достижения, тренды и практические возможности, чтобы развивать доказательный подход и культуру оценки? 18 октября роль сообщества практиков обсуждалась на VIII Конференции Ассоциации специалистов по оценке программ и политик.
Модератором встречи выступила Ольга Евдокимова, АНО «Эволюция и Филантропия». Ольга отметила, что именно сфера детства явилась драйвером развития оценки в последние 5 лет, и как результат — в этой сфере есть и развитая методическая база и онлайн-курс и сообщество практиков со специализированными площадками. В небольшой дискуссии на тему того, какие есть трудности и дефициты, приняли участие активные члены сообщества Анна Доменик, «Центр помощи детям, оставшимся без попечения родителей, Свердловского района г. Иркутска» и Ольга Андросова, Международный детский фонд «Дети Саха-Азия». В частности, они отметили:
Нехватку грантовых конкурсов, поддерживающих проекты, связанные с развитием мониторинга и оценки назвала
Трудности связанные с необходимостью обучения новых сотрудников.
В 2022 году сообщество практиков продолжило апробировать инновационные форматы поддержки специалистов. В частности, стартовала пилотная группа по внедрению в практику организаций приемов анализа количественных данных. Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», рассказала о том, как работает группа «САД» (статистический анализ данных). Ольга, отметила, что формат работы сложился опытным путем и он выражает актуальные тенденции в обучении взрослых: это «обучение членов сообщества» и «обучение действием». Встречи группы ориентированы на потребности участников и разбор актуальных кейсов и задач. Уже на старте строится содержательная гипотеза и предположения о том, какие решения могут быть приняты на основе анализа. Это позволяет выбрать наиболее релевантные методы статистического анализа и прийти к результатам, которые потом могут применяться на практике.
В заключение встречи, Андрей Некрасов, программный директор «Точки кипения МГППУ», рассказал о работе междисциплинарной площадки «Точка кипения МГППУ», которая открылась менее полугода назад. В частности о рассказал о серии вебинаров по теме оценки в сфере детства для представителей сообщества из разных регионов, которая проходит сейчас. В планах площадки — проведение методологических вебинаров для обмена опытом между академическим сообществом и сообществом практиков.
Презентация Ольги Евдокимовой, где собраны ресурсы, наработанные сообществом практиков.
В рамках прохождения онлайн-курса «Оценка проектов и программ в сфере детства-2022», участники определяли, какие тренды развития мониторинга и оценки для них наиболее актуальные, а также формулировали задачи на 2023 год. Около 30 команд специалистов НКО и ГБУ сферы детства приняли участие в этой работе.
Среди трендов безусловно лидирует тренд на внутреннюю оценку и применение IT-технологий.
Также часто упоминался тренд — на развитие доказательного подхода.
«Развитию доказательного подхода в секторе, безусловно, способствует огромная просветительская работа в этом направлении. Если есть интерес к этой теме, специалисты НКО могут найти достаточное количество материалов для ознакомления и для обучения»
«Способствует развитию доказательных практик на мой взгляд запрос доноров, ведь для них важно использовать средства с максимальным социальным эффектом»
«Я думаю, что развитию доказательного подхода способствует в большей степени потребность самих организаций в представлении результатов своей работы таким образом, чтобы можно было объяснить внешней аудитории, как именно они получились»
Говоря о препятствиях для внедрения доказательного подхода, участники назвали следующие факторы: отсутствие навыков и умений в оценке у сотрудников организаций, недостаток внимания к этой теме со стороны руководства организаций и доноров, низкая осведомленность со стороны представителей детских учреждений (центров, детских домов и т.п.) о доказательном подходе в секторе в целом, трудоёмкость, большие временные и финансовые затраты, низкая осведомленность об исследованиях в сфере доказательных практик, заявительный характер использования доказательного подхода.
Какие же актуальные задачи по развитию мониторинга и оценки организации ставят в 2023 году?
Наиболее часто указывались следующие задачи: систематизация внутренней оценки и внедрение ее на регулярной основе, обучение команды сотрудников работе с МиО, улучшение доказательной базы практик, проведение исследований качества услуг, фокус-групп и глубинных интервью благополучателей, внедрение crm.
Завершился отбор участников на онлайн-курс «Оценка проектов и программ в сфере детства-2022».
На курс было подано около 164 заявок — принято 103 участника из 43-х организаций, среди которых 25 НКО. На курсе учатся представители организаций сферы детства из 19 регионов РФ.
28 из 43-х организаций будут учиться командами от 2-х человек. Руководителей организаций – 42; специалистов — 61.
Распределение участников по площадкам:
18 — работают с замещающими семьями; 20 – в кризисных центрах; 25 — с семьями с детьми с ОВЗ; 37 – с подростками и выпускниками сиротских учреждений.
11 НКО, сотрудники которых проходили курс ранее, отправили учиться новых сотрудников.
Так участники обозначили свой функционал в области МиО в регистрационных анкетах: 1) Мониторинг/ оценка – 13 2) Оценка эффективности — 14 3) Анализ и отчетность — 2 4) Разработка методологии и инструментов — 4 5) Напрямую не занимаюсь МиО – 21
Так выглядят основные запросы участников в этом году: Повышение уровня профессиональных знаний; cистематизация -55; Наработка практических навыков/инструменты — 6; Внедрение в деятельность организации, cистематизация; масштабирование — 15; Повышение эффективности и качества – 14; Развитие доказательного подхода -1.
7 октября состоялась установочная встреча для участников курса, на которой Ольга Евдокимова провела презентацию курса и рассказала о том, как устроено обучение. Особое внимание было уделено целям и мотивации участников, возможности соотнести цели и возможности, предлагаемые на курсе.
На встрече своим опытом прохождения курса, впечатлениями и советами поделились выпускники предыдущего курса:
Анна Доменик, ОГКУСО «Центр помощи детям, оставшимся без попечения родителей, Свердловского района г. Иркутска»; Евгения Канцыпко, Благотворительный фонд «Рауль»; Марина Ушакова, Муниципальное бюджетное учреждение города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель».
В 2022 году курс «Оценка программ в сфере детства» проводят совместно Благотворительный образовательный Фонд «Мархамат» и АНО «Эволюция и Филантропия».
Благотворительный образовательный Фонд «Мархамат» и АНО «Эволюция и Филантропия» объявляют конкурсный набор на бесплатный онлайн-курс «Оценка программ в сфере детства». Приглашаются руководители и ключевые программные сотрудники организаций сферы детства, перед которыми стоят задачи создания или развития системы мониторинга и оценки программ. Для участия в конкурсном отборе необходимо до 1 октября включительно заполнить анкету. Сроки прохождения курса — с 7 октября по 2 декабря 2022 года. Всем успешно закончившим курс выдается удостоверение о повышении квалификации в объеме 72 часа.
Этот уникальный онлайн-курс основан на передовом международном и российском опыте, дает обширную теоретическую базу знаний по оценке социальных программ, предлагает освоение практических навыков, инструментов для внедрения и развития в организациях сферы детства процессов и практик мониторинга и оценки. Он был разработан ведущими экспертами в области оценки программ и специалистами в сфере детства.
Успешный кандидат должен продемонстрировать высокую мотивацию; быть готовым выделить временные ресурсы; иметь возможность принимать решения о внедрении новых элементов в области мониторинга и оценки в своей организации/программе. Также приветствуются участники из одной организации, или из организаций, сотрудники которых принимали участие в этом курсе в 2020 и в 2021 году.
Приоритет будет отдаваться руководителям организаций и программ в сфере детства по следующим направлениям:
Поддержка замещающих семей;
Кризисные центры и социальные приюты для матерей с детьми;
Поддержка семей с особыми детьми;
Социализация подростков/выпускников учреждений для детей-сирот.
Чтение всех материалов курса, прохождение коротких тестов;
Просмотр дополнительных материалов, в том числе вебинаров (по желанию, но очень рекомендуем для более полного освоения тем);
Выполнение домашних практических заданий; в том числе финального;
Участие в вебинарах по итогам прохождения каждого модуля;
Прохождение входного и выходного тестирования;
Предоставление обратной связи по курсу (анонимное анкетирование по итогам похождения каждого модуля) и участие в финальной фокус-группе.
Активное участие в работе тематических групп (вне рамок курса) по обсуждению практических вопросов доказательности практик.
Мы предполагаем, что в неделю в среднем вам надо будет высвободить не менее 4-х -5 ти часов на прохождения модуля. Курс будет вестись на онлайн-платформе Stepic.
Курс рассчитан на руководителей и специалистов организаций сферы детства, имеющих хотя бы начальный уровень знаний в области мониторинга и оценки. Если Вы напрямую ранее никогда не занимались мониторингом и оценкой, но при этом имеете компетенции в области социального проектирования и опыт реализации социальных проектов, то Вы сможете освоить курс. Важно отметить, что если уровень знаний в области МиО совсем низкий, то потребуется больше усилий и времени для освоения материала.
Прочитать детальные отчеты о результатах прохождения курса предыдущими слушателями можно по ссылке.
17 августа состоялась онлайн-встреча «Анализ данных для оценки результатов программ и проектов в сфере детства», на которой присутствовало 42 специалиста из 21 региона РФ.
В начале встречи Ольга Евдокимова рассказала об итогах работы сообщества практиков по теме мониторинга и оценки в 2021-2022, о доступных ресурсах по теме мониторинга и оценки, в частности о новых опциях онлайн-сервиса ПИОН — библиотеках кейсов и инструментов, где представлены, в том числе кейсы и инструменты анализа данных. Ольга также отметила, что анализ данных подразумевает несколько этапов: Анализ данных, интерпретацию, суждение и рекомендации. И важно уделять должное внимание всем 4-м этапам (презентация).
В рамках экспертного блока выступили:
Екатерина Горина, психолог, АНО «Пространство общения», РБОО «Центр лечебной педагогики» представила доклад «Подходы к анализу технологий работы в Программе «Уверенное начало» (презентация).
Екатерина представила цели и мотивы исследования, обозначила исследовательские вопросы:
1) Определить, подходит ли для задач программы интервью и оценка СОРМ (Канадская оценка деятельности) (достигает ли рост баллов клинически значимого уровня? каково распределение заявленных проблем по доменам МКФ? какие задачи «решаются» лучше? какие изменения происходят со временем?)
2) Как «работают» SMART-цели? (сколько целей достигается?; почему одни цели достигаются, а другие нет?)
3) Действительно ли программа семейно-центрированная? Есть ли согласованность в оценках родителя и специалиста?
Екатерина представила результаты исследования, которые были опубликованы в научном журнале, что делает эту работу особо ценной. Екатерина отметила, что часть гипотез не подтверждается и поэтому не публикуется и это ограничивает формирование базы знаний.
Участники встречи выразили пожелание более подробно ознакомиться с результатами исследования.
Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», методический руководитель пилотной группы САД («Статистический анализ данных»), которая была сформирована из инициативных участников тематических площадок по оценке в сфере детства.
Ольга рассказала, как работала группа, представила алгоритм подхода к выбору инструментария, отдельно остановилась на выборе статистического критерия при проведении анализа, а также поделилась ссылками на доступные онлайн-калькуляторы и выводами по итогам работы группы. Ольга подчеркнула практический характер работы и то, что участники применяли либо фактические данные либо их проектировали. «Реальное обучение начинается при применении знаний» — сделала заключение Ольга Заводилкина. См. презентацию.
Свои кейсы представили участники группы «Статистический анализ данных»:
Виктория Анейчик, Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов «ГАООРДИ» (презентация).
Виктория обозначила свои мотивы и задачи участия в пилотной группе, представила логическую модель проекта «Как дома», инструментарий сбора данных о развитии навыков молодых взрослых с ТМНР, проживающих в центре Ассоциации и подробно раскрыла, как проводился анализ данных для проверки исследовательских гипотез и какие были сформулированы выводы и рекомендации для корректировки проекта. Виктория обозначила следующие основные трудности при освоении количественного анализа: 1) Формулировка содержательных и статистических гипотез; 2) Правильный выбор статистических методов для решения поставленных задач; 3) Интерпретация полученных результатов.
Мария Егорова, Международный детский фонд «Дети Саха-Азия» (презентация).
Мария представила разработанное Дерево результатов Программы «Временный приют для женщин с детьми, оказавшихся в трудной жизненной ситуации (ТЖС)», логическую модель Программы, а также пошаговый алгоритм анализа данных. Мария подчеркнула, что основными ограничениями при анализе данных было небольшое количество благополучателей, по которым собраны данные «до» и «после» для анализа, а также вовлеченность только одной группы благополучателей, т.е. принимается во внимание результаты опроса только мамы подростка. Для преодоления последнего ограничения, были введены предполагаемые данные, что снизило точность анализа. В планах у Фонда: 1) Внедрить опросник для подростков в онлайн-формате; 2) Продолжить собирать исходные данные по подросткам и родителям; 3) При сборе достаточного объема данных будет проведен анализ и по нему будет принято определенное управленческое решение.
Новостями по теме «Мониторинг и оценка» поделились:
Антонина Попова, БФ «Волонтеры в помощь детям-сиротам», представила «Исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания» (презентация).
Проект «Теплый дом» присутствует в Банке доказательных практик Фонда Тимченко и имеет продвинутый уровень доказанности по всем критериям в соответствие со Стандартом доказательности социальных практик в сфере детства. Исследование интересно тем, что оно включает в себя задачу по сравнению результатов аналогичной практики, которую реализует РОО «Аистенок». Мы планируем в сентябре в рамках тематической площадки «Кризисные центры» представить более подробно результаты исследования.
Ольга Андросова, МДФ «Дети Саха-Азия» рассказала об исследовании «Оценка эффективности медиапроектов», проведенного в рамках конкурса «Research Got Talent» (презентация).
Ольга рассказала, как был организован процесс взаимодействия с командой исследователей, какие были получены выводы и даны рекомендации. Участники встречи обсудили вопрос о том, какими компетенциями должен обладать внешний исполнитель, чтобы давать рекомендации по развитию социальных программ.Марина Ушакова, Муниципальное бюджетное учреждение города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель»
Марина рассказала, что сейчас организация активно использует для измерения социальных результатов продукты, разработанные при поддержке АНО «Эволюция и Филантропия», а также вовлекает воспитанников в мониторинг и оценку программы по подготовке к самостоятельной жизни с использованием инструментов, дружественных детям.
Основные выводы, которые можно сделать по итогам встречи:
Формулировка исследовательских гипотез вызывает затруднения и эту тему необходимо развивать.
Во всех кейсах звучала тема статистической значимости.
Качество инструментария сбора данных имеет первостепенное значение. Особая сложность , если инструментарий основан на суждениях разных акторов (например, специалисты и родители).
Способ организации данных — важнейший элемент для качества анализа.
Этап интерпретации и суждения — очень важные этапы, их нельзя пропускать. Но это все довольно субъективные этапы.
Анализ данных следует проводить в команде, при чем с разными компетенциями.
Важно, чтобы команда обладала критическим мышлением и была готова, что часть гипотез не подтвердится.
Необходим коучинг со стороны экспертов в области анализа данных для сохранения качества исследования.
Мероприятие проводится в рамках деятельности созданного АНО «Эволюция и Филантропия» сообщества специалистов практиков в области оценки программ в сфере детства.
5-7 августа 2022 прошел Форум для специалистов сферы детства, помогающих детям с социально значимыми заболеваниями, организованный Благотворительным Фондом «Дети+».
Ольга Евдокимова выступила с докладом «Доказательный подход при планировании и оценке социальных программ», где рассказала о развитии доказательного подхода в сфере детства, о деятельности АНО «Эволюция и Филантропия» по развитию сообщества практиков в сфере оценки, в частности о работе тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми», о доступных ресурсах по теме оценки — Реестре (Банке) доказательных практик, онлайн-сервисе ПИОН и онлайн-базе «Слушай с Пользой!, методических материалах по теме оценке, а также пригласила на онлайн-курс «Оценка проектов и программ в сфере детства». Презентация доступна по ссылке.
Приглашаем Вас 17 августа 2022 с 9:00 до 11:00 (по Москве) на онлайн-встречу «Анализ данных для оценки результатов программ и проектов в сфере детства».
Программа онлайн-встречи состоит из двух блоков – экспертного и информационного.
Экспертный блок
«Подходы к анализу технологий работы в Программе «Уверенное начало». Екатерина Горина, психолог, АНО «Пространство общения», РБОО «Центр лечебной педагогики».
Участники пилотной группы под руководством эксперта АНО «Эволюция и Филантропия» Ольги Заводилкиной, прошедшие специальное обучение, поделятся опытом применения различных методов анализа количественных данных. Группа начала работу около двух месяцев назад и уже готова представить свои кейсы.
Свои кейсы представят:
Виктория Алейничек, Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов «ГАООРДИ»
Мария Егорова, Международный детский фонд «Дети Саха-Азия».
Информационный блок: новости по теме «Мониторинг и оценка».
«Исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания», Антонина Попова, БФ «Волонтеры в помощь детям-сиротам».
Исследование «Оценка эффективности медиапроектов», проведенного в рамках конкурса «Research Got Talent», Ольга Андросова, МДФ «Дети Саха-Азия».
Мероприятие проводится в рамках деятельности созданного АНО «Эволюция и Филантропия» сообщества специалистов практиков в области оценки программ в сфере детства.
В рамках встречи «Родитель особого ребенка: тактики и стратегии вовлечения» состоялась информационная встреча тематической группы «МиО практик работы с семьями с детьми с ОВЗ».
Ольга Евдокимова представила материалы и анонсы ближайших мероприятий и событий по мониторингу и оценке. См. презентацию.
1) Состоялся вебинар, посвященный опыту победителей в номинации АСОПП «За лучшее представление результатов мониторинга и оценки» в рамках Всероссийского конкурса добровольных публичных годовых отчетов НКО «Точка отсчета» Форума Доноров.
АНО «Центр интегрального развития человека «Эпоха водолея» (см. запись).
А также:
— Региональная общественная организация родителей детей-инвалидов «Дорогою добра» Кировской области,
— Благотворительный фонд «Дорога к дому» (г. Череповец Вологодской области)
— АНО «Центр социальной помощи и адаптации для людей с диагнозом ДЦП и другими ограниченными возможностями здоровья «Лига мечты/Лыжи мечты» Сергея Белоголовцева
Запись этих выступлений можно посмотреть по ссылке.
2) 2-3 июня в Москве проходил Форум решения социальных задач. 2 июня в рамках Лаборатории «Школа для каждого» состоялась проектная сессия «Стандарт доказательности социальных практик в сфере детства», на которой обсуждались пути реализации доказательной социальной политики, ограничения и возможности развития доказательных социальных практик. Пресс-релиз по ссылке.
3) 3 июня прошел онлайн-форум «Послушай, я хочу сказать», приуроченный к Международному дню защиты детей, который провели эксперты благотворительной организации «Детские деревни SOS». Цель форума – развитие практики участия детей при проведении социальных преобразований, направленных на улучшение детского благополучия. Подробнее читайте по ссылке.
4) Для организаций в Реестре доказательных практик! До 23 июня идет прием заявок на Открытый конкурс по развитию практик помощи детям и молодым взрослым в уязвимой ситуации, который проводит БФ «Абсолют-помощь». Подробнее по ссылке.
5) 15 июня состоялось открытие Точки кипения МГППУ – АСИ. Подробнее здесь.
6) Работает пилотная группа САД (статистический анализ данных) — участники учатся использовать инструменты количественного анализа данных для оценки результатов своей практики. Через некоторое время участники представят результаты своей работы.
7) 3 июня прошел онлайн-форум «Послушай, я хочу сказать», приуроченный к Международному дню защиты детей, который провели эксперты благотворительной организации «Детские деревни SOS». Подробнее читайте по ссылке.
24 июня Ольга Евдокимова выступила с докладом о подходах к оценке эффективности на Международной научно-практической конференции «Ранняя помощь. Создание системного подхода в поддержке семьи». Ольга рассказала об общих принципах работы по оценке программ, о работе тематической группы «МиО практик работы с семьями с детьми с ОВЗ», дала ссылки на материалы по теме оценки, рассказала об онлайн-сервисе ПИОН.
С презентацией вы можете ознакомиться по ссылке. Видео доступно здесь.
