В октябре-декабре 2022 года был проведен опрос участников онлайн-курс «Оценка проектов и программ в сфере детства», которые прервали или не начали обучение. Всего было получено 20 ответов.
«Не получил(а) вовремя информацию о сроках регистрации» — об этой причине того, что они не начали обучение на курсе сообщили 35% респондентов. 15% ответили, что не смогли закончить курс из-за «слишком большого и сложного объема информации для изучения». 10% написали, что для них оказались «слишком короткими сроки для прохождения регистрации на Stepik». О трудности «совмещать работу и учебу, большой загруженности на работе» сообщили 20% респондентов. Из-за проблем со здоровьем прервали обучение 10% участников опроса. «Технические проблемы» и «короткий срок между модулями» назвали в качестве причин прекращения обучения по 5% ответивших.
Респонденты прокомментировали свои ответы и сформулировали пожелания.
Хочется на этапе заявки понимать примерную временную загрузку и сроки курса (периодичность, старт-окончание, время для самостоятельной и групповой работы в течение курса) в какой-то инфосправке, это позволит лучше оценить есть ли реальная возможность в том или иной моменте года принять активное и постоянное участие, прежде чем отправлять заявку.
Программа курса очень интересная и насыщенная, объем материалов действительно большой, но главная причина, почему я не закончила обучение в том, что я проходила одна, а не в составе команды от организации, а также неудачный выбор тематики проекта для выполнения ДЗ. Для успешного прохождения обучения нужно обязательно участвовать командой. Жалею, что не прислушались к вашим рекомендациям изначально.
Среди прервавших обучение на курсе респондентов 60% — сотрудники гос.учреждений, 40% — сотрудники НКО.
2 декабря состоялся завершающий круглый стол для участников онлайн-курса «Оценка проектов и программ в сфере детства-2022».
Курс завершили 57 человек из 29 организаций сферы детства, из них 20 организаций участвовали в курсе впервые. На курсе учились участники из 19 регионов РФ. На курсе было 14 команд из двух и более человек из одной организации. 45 участников получили сертификат с отличием. На основе анкеты финальной анонимной обратной связи был определен индекс лояльности — NPS, который составил 85,7%, что выше индекса прошлого потока (71,4%). На анкету ответили 49 участников курса. Индекс лояльности или NPS – это простой, общепризнанный стандартизированный инструмент сбора быстрой обратной связи о ценности своей деятельности. Сравнение результатов входного и финального тестирования участников показал, что в среднем рост уровня знаний составил 29% — этот результат почти повторяет показатель предыдущего потока (30%).
В завершающей встрече 2 декабря приняли участие 42 специалиста сферы детства (презентация).
Основную часть встречи шла работа в группах, где участники курса представили планы работы по развитию мониторинга и оценки в своих организациях в 2023 году и обменялись своими впечатлениями о курсе. Среди пожеланий по поводу улучшения курса в будущем участники назвали работу с наставником после завершения обучения, использование мультимодальных принципов в педагогическом дизайне курса, а также предложения по увеличению времени освоения курса или модуля «анализ данных».
Был проведен опрос участников об удовлетворенности обучением на курсе, в котором приняли участие 33 респондента. 67 и 27 процентов ответивших назвали курс полностью или скорее соответствовавшим их ожиданиям. 70% респондентов готовы рекомендовать курс коллегам.
Представляем вам цитаты слушателей о курсе:
Качественный и глубокий курс для проработки проектной деятельности организации. Я бы рекомендовала руководителю организации вводить как обязательный для прохождения проектным менеджерам.
Курс помог структурировать знания об оценке и научил создавать систему оценки и мониторинга результативности деятельности, а также позволил пообщаться с экспертами в оценке. К тому же очень много полезного теоретического и практического материала.
Курс полезен всем, кто вообще работает с благополучателями. Поможет проанализировать свою деятельность, заметить слепые пятна в оценке, если ранее она производилась. Советовать буду с оговоркой, что для прохождения курса необходимы хорошие ресурсы временные и лучше его проходить всей командой (отдела, программы) для лучшего понимания при внедрении изменений в деятельности и оценке программы/ проекта. Также прохождение курса командой позволяет рассмотреть собственную деятельность с разных сторон. Для состоявшихся программ полезно будет накопленные результаты деятельности преобразовать в инструмент изменений и фандрайзинга.
Надеюсь, будет ещё обучение, чтобы наша группа могла развиваться в данном направлении.
22 ноября 2022 года Ольга Евдокимова приняла участие в научно-практической конференции «Результаты и проблемы внедрения доказательного подхода в сферу детства в России». Конференция проводилась Центром доказательного социального проектирования МГППУ и была посвящена описанию опыта внедрения доказательного подхода в социальной сфере и образовании.
Первый день конференции был посвящен анализу прорывов и барьеров внедрения доказательного подхода социальной сферы РФ на федеральном уровне в контексте задач Десятилетия детства. Ольга Евдокимова приняла участие в стратегической сессии «От научных исследований к доказательному подходу в образовании и социальной сфере: мечта или реальность?». Модератором cессии выступила Гарифулина Эльвира Шамильевна, программный директор благотворительного фонда «Абсолют‑Помощь». На сессии обсуждались вопросы мотивации и барьеров в развития доказательного подхода со стороны разных акторов.
На круглом столе «Опыт разработки и проведения дистанционных образовательных программ в области доказательного подхода со специалистами сферы детства», который модерировала Коновалова Ирина Валентиновна, декан факультета повышения квалификации, член Ученого совета МГППУ, был представлен опыт и результаты проведения онлайн-курса «Оценка проектов и программ в сфере детства» (презентация) за 3 года.
Во второй день были презентации и разбор кейсов практик, описанных на основе Стандарта доказательности и размещенных в Реестре доказательных практик Десятилетия детства» на федеральной платформе обмена практиками «Смартека» Агентства стратегических инициатив.
В октябре был проведен опрос участников онлайн-курса «Оценка проектов и программ в сфере детства-2022». Основное темой опроса были потребности участников.
Было получено 53 ответа.
Большинство участников (77%) ответили утвердительно на вопрос, понадобится ли им дальнейшая поддержка после завершения курса.
«Хотим доработать практику до возможности войти в реестр практик с доказанной эффективностью. Сами не справимся».
«Уникальная возможность задать вопросы профессионалам».
На вопрос о том, какие форматы поддержки наиболее длявостребованы, респонденты назвали обязательной формой поддержки наличие постоянного доступа к базе знаний по релевантным практикам.
Более половины респондентов (64%) назвали желательными такие виды поддержки как «Обсуждение своих кейсов среди коллег-практиков». От 46% до 62% ответивших назвали желательными остальные виды поддержки: Индивидуальные разовые консультации экспертов, супервизии по наиболее сложным темам; Стажировка к коллегам; Фасилитация групповых обсуждений внутри организации; Методическое сопровождение по внедрению различных элементов МиО; Подготовка к верификации практики.
«Есть моменты в работе, когда консультация просто необходима или знакомство с кейсами».
На вопрос «Оцените, пожалуйста, уровень системы МиО в вашей организации» 57% ответивших оценили его как средний, 34% как начальный, 8% как довольно зрелый.
Среди ответивших 60% являются представителями НКО, 30% — госучреждений, 10% — иных организаций.
В рамках прохождения онлайн-курса «Оценка проектов и программ в сфере детства-2022», участники определяли, какие тренды развития мониторинга и оценки для них наиболее актуальные, а также формулировали задачи на 2023 год. Около 30 команд специалистов НКО и ГБУ сферы детства приняли участие в этой работе.
Среди трендов безусловно лидирует тренд на внутреннюю оценку и применение IT-технологий.
Также часто упоминался тренд — на развитие доказательного подхода.
«Развитию доказательного подхода в секторе, безусловно, способствует огромная просветительская работа в этом направлении. Если есть интерес к этой теме, специалисты НКО могут найти достаточное количество материалов для ознакомления и для обучения»
«Способствует развитию доказательных практик на мой взгляд запрос доноров, ведь для них важно использовать средства с максимальным социальным эффектом»
«Я думаю, что развитию доказательного подхода способствует в большей степени потребность самих организаций в представлении результатов своей работы таким образом, чтобы можно было объяснить внешней аудитории, как именно они получились»
Говоря о препятствиях для внедрения доказательного подхода, участники назвали следующие факторы: отсутствие навыков и умений в оценке у сотрудников организаций, недостаток внимания к этой теме со стороны руководства организаций и доноров, низкая осведомленность со стороны представителей детских учреждений (центров, детских домов и т.п.) о доказательном подходе в секторе в целом, трудоёмкость, большие временные и финансовые затраты, низкая осведомленность об исследованиях в сфере доказательных практик, заявительный характер использования доказательного подхода.
Какие же актуальные задачи по развитию мониторинга и оценки организации ставят в 2023 году?
Наиболее часто указывались следующие задачи: систематизация внутренней оценки и внедрение ее на регулярной основе, обучение команды сотрудников работе с МиО, улучшение доказательной базы практик, проведение исследований качества услуг, фокус-групп и глубинных интервью благополучателей, внедрение crm.
Завершился отбор участников на онлайн-курс «Оценка проектов и программ в сфере детства-2022».
На курс было подано около 164 заявок — принято 103 участника из 43-х организаций, среди которых 25 НКО. На курсе учатся представители организаций сферы детства из 19 регионов РФ.
28 из 43-х организаций будут учиться командами от 2-х человек. Руководителей организаций – 42; специалистов — 61.
Распределение участников по площадкам:
18 — работают с замещающими семьями; 20 – в кризисных центрах; 25 — с семьями с детьми с ОВЗ; 37 – с подростками и выпускниками сиротских учреждений.
11 НКО, сотрудники которых проходили курс ранее, отправили учиться новых сотрудников.
Так участники обозначили свой функционал в области МиО в регистрационных анкетах: 1) Мониторинг/ оценка – 13 2) Оценка эффективности — 14 3) Анализ и отчетность — 2 4) Разработка методологии и инструментов — 4 5) Напрямую не занимаюсь МиО – 21
Так выглядят основные запросы участников в этом году: Повышение уровня профессиональных знаний; cистематизация -55; Наработка практических навыков/инструменты — 6; Внедрение в деятельность организации, cистематизация; масштабирование — 15; Повышение эффективности и качества – 14; Развитие доказательного подхода -1.
7 октября состоялась установочная встреча для участников курса, на которой Ольга Евдокимова провела презентацию курса и рассказала о том, как устроено обучение. Особое внимание было уделено целям и мотивации участников, возможности соотнести цели и возможности, предлагаемые на курсе.
На встрече своим опытом прохождения курса, впечатлениями и советами поделились выпускники предыдущего курса:
Анна Доменик, ОГКУСО «Центр помощи детям, оставшимся без попечения родителей, Свердловского района г. Иркутска»; Евгения Канцыпко, Благотворительный фонд «Рауль»; Марина Ушакова, Муниципальное бюджетное учреждение города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель».
В 2022 году курс «Оценка программ в сфере детства» проводят совместно Благотворительный образовательный Фонд «Мархамат» и АНО «Эволюция и Филантропия».
Благотворительный образовательный Фонд «Мархамат» и АНО «Эволюция и Филантропия» объявляют конкурсный набор на бесплатный онлайн-курс «Оценка программ в сфере детства». Приглашаются руководители и ключевые программные сотрудники организаций сферы детства, перед которыми стоят задачи создания или развития системы мониторинга и оценки программ. Для участия в конкурсном отборе необходимо до 1 октября включительно заполнить анкету. Сроки прохождения курса — с 7 октября по 2 декабря 2022 года. Всем успешно закончившим курс выдается удостоверение о повышении квалификации в объеме 72 часа.
Этот уникальный онлайн-курс основан на передовом международном и российском опыте, дает обширную теоретическую базу знаний по оценке социальных программ, предлагает освоение практических навыков, инструментов для внедрения и развития в организациях сферы детства процессов и практик мониторинга и оценки. Он был разработан ведущими экспертами в области оценки программ и специалистами в сфере детства.
Успешный кандидат должен продемонстрировать высокую мотивацию; быть готовым выделить временные ресурсы; иметь возможность принимать решения о внедрении новых элементов в области мониторинга и оценки в своей организации/программе. Также приветствуются участники из одной организации, или из организаций, сотрудники которых принимали участие в этом курсе в 2020 и в 2021 году.
Приоритет будет отдаваться руководителям организаций и программ в сфере детства по следующим направлениям:
Поддержка замещающих семей;
Кризисные центры и социальные приюты для матерей с детьми;
Поддержка семей с особыми детьми;
Социализация подростков/выпускников учреждений для детей-сирот.
Чтение всех материалов курса, прохождение коротких тестов;
Просмотр дополнительных материалов, в том числе вебинаров (по желанию, но очень рекомендуем для более полного освоения тем);
Выполнение домашних практических заданий; в том числе финального;
Участие в вебинарах по итогам прохождения каждого модуля;
Прохождение входного и выходного тестирования;
Предоставление обратной связи по курсу (анонимное анкетирование по итогам похождения каждого модуля) и участие в финальной фокус-группе.
Активное участие в работе тематических групп (вне рамок курса) по обсуждению практических вопросов доказательности практик.
Мы предполагаем, что в неделю в среднем вам надо будет высвободить не менее 4-х -5 ти часов на прохождения модуля. Курс будет вестись на онлайн-платформе Stepic.
Курс рассчитан на руководителей и специалистов организаций сферы детства, имеющих хотя бы начальный уровень знаний в области мониторинга и оценки. Если Вы напрямую ранее никогда не занимались мониторингом и оценкой, но при этом имеете компетенции в области социального проектирования и опыт реализации социальных проектов, то Вы сможете освоить курс. Важно отметить, что если уровень знаний в области МиО совсем низкий, то потребуется больше усилий и времени для освоения материала.
Прочитать детальные отчеты о результатах прохождения курса предыдущими слушателями можно по ссылке.
Онлайн-курс «Оценка программ в сфере детства» за период 2020-2021 гг окончили более 150 выпускников . Сводные результаты оценки курса за 2021 год 22 февраля 2022 на Форуме «Оценка программ в сфере детства» представили Ольга Евдокимова и Светлана Сергеева (презентация).
Участникам Форума был задан вопрос по поводу возможности проходить обучение на платной основе. Количество ответивших ( 20 чел) было таково, что делать обобщающие выводы было бы неправильно, однако принять к сведению полученные результаты можно.
24 сентября 2021 были проведены фокус-группы по оценке онлайн-курса «Оценка проектов и программ в сфере детства».
Общее количество участников фокус-групп – 42 человек, по 14 в каждой фокус-группе. Онлайн-курс «Оценка проектов и программ в сфере детства» закончили 55 человек. Таким образом, в фокус-группах приняло участие большинство (84 %) завершивших обучение. На фокус-группах участники отвечали на вопросы полуструктурированного интервью. Проводили фокус-группы к.с.н. Сергеева Светлана Юрьевна, к.с.н. Полярна Наталья Геннадьевна, к.п.н. Асташина Екатерина Евгеньевна.
Целью оценки было определить направления повышения результативности онлайн-курса «Оценка программ и проектов в сфере детства».
Анализ материалов фокус-групп позволяет сделать следующие выводы:
Качество онлайн курса участники оценили как высокое, позволяющее создать после завершения курса основу для внедрения системы МиО программ и проектов в организациях. Было преодолено отношение к МиО как к чему-то чрезвычайно сложному. Слушатели курсов приобрели системные знания о мониторинге и оценивании, что позволяет использовать эти инструменты осознанно, с учетом особенностей каждой организации.
В ходе курса произошло формирование целостной картины процесса МиО. Этот результат внешне схож с предыдущим (формирование системных знаний о МиО), в то же время, в нем есть важный отличительный аспект. Формирование целостной картины процесса МиО означает, что слушатель курса воспринял этот процесс как четкий алгоритм, то есть строгую последовательность действий. Повысился уровень знаний по таким аспектам социального проектирования, которые тесно связаны с МиО. Среди них – знания о том, как правильно формулировать результаты проекта, выстраивать логические цепочки результатов пр.
Возросла готовность к взаимодействию с внешним специалистом по оцениванию.
Неожиданным эффектом курса стало улучшение взаимодействия внутри организации благодаря совместной работе микрогрупп из членов одной организации.
Система вышеназванных эффектов обеспечила такой результат, как повышение готовности разрабатывать и внедрять МиО в деятельность организации.
Слушатели курса оценили полезность групповых обсуждений как очень высокую, определив эти обсуждения как «изюминку курса». Групповые обсуждения позволили обменяться практическим экспертным опытом. Участники курсов, которые не имеют такого опыта, восприняли его от более компетентных коллег в доступной для понимания форме.
Формат домашних заданий был оценен в целом высоко. При этом некоторые участники курса заявили, что они не всегда понимали, чего именно от них хотят в домашнем задании, а обратная связь по поводу сделанных ошибок была недостаточно подробной.
Дальнейшая поддержка со стороны АНО «Эволюция и филантропия» внедрения систем МиО в организациях желательна в следующих формах:
Сопровождение команд сотрудников организаций, внедряющих системы МиО, мотивация этих команд и поддержка их командного потенциала.
Консультации экспертов АНО «Эволюция и филантропия» по практическим аспектам внедрения и использования систем МиО.
Продолжить сбор и обобщение конкретных практик/ситуаций использования МиО, распространение этой информации.
Анализ материалов фокус-групп убедительно свидетельствует о положительной динамике развития онлайн-курса.
Полный текст отчета по анализу материалов фокус-групп доступен по ссылке.
24 сентября прошла финальная встреча участников онлайн-курса «Оценка программ в сфере детства». Всего на курс записалось более 60 участников, из них сертификаты получили 54 человека. При этом 34 слушателя получили сертификат с отличием (80% от максимальной суммы баллов). Это представители 43 организаций сферы детства из 23 регионов РФ. 13 организаций учились командами от 2-х до 6-ти слушателей. «Мы благодарим всех слушателей курса за их вовлеченность, мотивацию в освоении не самого простого специализированного контента», — отметила Ольга Евдокимова.
Это был не самый короткий путь в 8 насыщенных недель, за которые слушателям пришлось освоить 7 модулей/ 23 урока; пройти 70 тестов; просмотреть 37 видео-роликов; выполнить 12 домашних заданий; принять участие в 6 рабочих обсуждениях.
«Отличный курс, высокая плотность материалов, много дополнительных. Информация представлена с разных сторон, достаточно комплексно. Получилось полное погружение в тему на пару месяцев. Вся работа в организации теперь воспринимается по-новому. Культура оценки у нас точно повысилась», — поделилась своим впечатлением о курсе Антонина Попова (БФ «Волонтеры в помощь детям-сиротам»)
«Курс очень сильный и насыщенный. Практически второе высшее образование в области оценки! Конечно, пройти его не просто: требуется большая аналитическая работа с данными, с опытом других. Еще нужна команда тех, кто заинтересован в такой оценке на уровне учреждения. Как бы то ни было — очень важный курс! Браво преподавателям и организаторам!» — считает Елена Корытова (Областное государственное бюджетное учреждение «Смоленский социально-реабилитационный центр для несовершеннолетних «Феникс»).
На основе сравнения входящего и финального теста, мы видим рост уровня знаний в среднем на 30% и это хороший результат, лучший из всех четырех потоков за период 2020-2021 год. Анализ анкет обратной связи, решения тестов и выполнения домашних заданий также позволяют нам делать вывод о росте компетенций слушателей курса.
«Весь материал, полученный в ходе изучения курса очень полезный, информативный и необходимый в дальнейшей работе, особенно мне, как молодому, начинающему специалисту», — Надежда Уланова (ОГБУСО «Социально-реабилитационный центр для несовершеннолетних Братского района»).
«Очень полезный курс в плане применения полученных знаний в работе, много взяла для реализации своей практики, начиная от разработки логической модели, теории изменений и заканчивая подбором инструментов» (из анонимной анкеты).
Индекс лояльности по итогам анонимной анкеты (приняло участие 28 человек по состоянию на 24 сентября) составил 71,4%, что является хорошим результатом.
«Отличный курс для повышения компетенций по теме оценки и мониторинга, содержащий обширный теоретический материал, предоставляющий возможность освоения практических навыков и инструментов для внедрения в деятельность организации сферы детства практик мониторинга и оценки. Материал достаточно сложный, но структура курса и наличие ссылок на дополнительные материалы способствуют овладению знаниями. Отдельное спасибо преподавателям курса за доступность изложения информации. Курс рекомендую», — Марина Ушакова (Муниципальное бюджетное учреждение города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель»).
Анализ планов внедрения знаний в практическую деятельность организаций позволяет сделать вывод о том, что большинство слушателей будут далее работать над системой показателей и методами их сбора, что является дополнительным подтверждением приоритетного развития внутренней оценки в организациях.
Основная сложность курса, которая была отмечена слушателями – это его продолжительность, и как следствие необходимость наличия большого временного ресурса, что может позволить себе далеко не каждая организация или специалист.
«Много полезной и практически применимой информации, и в тоже время сложно совмещать с работой».
«Курс очень насыщенный. Сложно встроить такой объем в свой рабочий режим».
«Курс ценный, но трудоемкий, трудно найти столько времени и сил».
Также участники отмечали следующие cложности или особенности курса:
«Не каждый специалист готов рассуждать об исследованиях в социальной сфере, многие просто практики».
«Лучший курс для погружения в тему от профессионалов, НКО важно осмысленное отношение. Не каждый из коллег осилит, поэтому 9.» (из анонимной анкеты. 9 – объяснение, почему не 10 баллов по индексу лояльности).
Некоторые слушатели отдельно отмечали пользу работы в онлайн-сервисе ПИОН.
«Также у меня произошло приятное знакомство с сервисом ПИОН, которое оказалось не таким страшным, как я думала раньше», — Татьяна Мохова (Челябинское региональное благотворительное общественное движение помощи онкобольным детям «Искорка Фонд»).
По итогам обратной связи о работе в онлайн-сервисе ПИОН, мы сделали выводы, что наибольшей ценностью для пользователей является возможность составить и скачать цепочку результатов в некоем приличном виде, а наименьшую ценность – это наличие личных библиотек результатов. Мы постараемся учесть все ваши замечания и предложения. Отдельное спасибо Ольге Заводилкиной за поддержку этого направления.
Отдельная благодарность всем ведущим курса – Татьяне Подушкиной, Екатерине Богомоловой, Ольге Заводилкиной, Наталье Кошелевой и кураторам тематических площадок, которые принимали самое активное участие в рабочих обсуждениях – Татьяне Арчаковой, Ирине Бобылевой, Инне Голеня, Ольге Заводилкиной.
«Мне понравился материал, домашние задания, встречи в маленьких группах и наш куратор там — Татьяна Арчакова» (из анонимной анкеты).
«Супер полезна была деятельность на орг встречах (обсуждение кейсов или домашних заданий), отдельное спасибо Ольге Заводилкиной!» — Татьяна Мохова (Челябинское региональное благотворительное общественное движение помощи онкобольным детям «Искорка Фонд»).
Более подробный разбор сильных и слабых сторон курса, его влияния на рост компетенций и культуры в области оценки программ будет сделан в отчете по итогам фокус-групп, которые провели внешние модераторы. Отчет будет доступен широкой аудитории.
