17 августа прошла встреча «Анализ данных для оценки результатов программ и проектов в сфере детства»

17 августа состоялась онлайн-встреча «Анализ данных для оценки результатов программ и проектов в сфере детства», на которой присутствовало 42 специалиста из 21 региона РФ.

В начале встречи Ольга Евдокимова рассказала об итогах работы сообщества практиков по теме мониторинга и оценки в 2021-2022, о доступных ресурсах по теме мониторинга и оценки, в частности о новых опциях онлайн-сервиса ПИОН — библиотеках кейсов и инструментов, где представлены, в том числе кейсы и инструменты анализа данных. Ольга также отметила, что анализ данных подразумевает несколько этапов: Анализ данных, интерпретацию, суждение и рекомендации. И важно уделять должное внимание всем 4-м этапам (презентация).

В рамках экспертного блока выступили:

  • Екатерина Горина, психолог, АНО «Пространство общения», РБОО «Центр лечебной педагогики» представила доклад «Подходы к анализу технологий работы в Программе «Уверенное начало» (презентация).

Екатерина представила цели и мотивы исследования, обозначила исследовательские вопросы:

1) Определить, подходит ли для задач программы интервью и оценка СОРМ (Канадская оценка деятельности) (достигает ли рост баллов клинически значимого уровня? каково распределение заявленных проблем по доменам МКФ? какие задачи «решаются» лучше? какие изменения происходят со временем?)

2) Как «работают» SMART-цели? (сколько целей достигается?; почему одни цели достигаются, а другие нет?)

3) Действительно ли программа семейно-центрированная? Есть ли согласованность в оценках родителя и специалиста?

Екатерина представила результаты исследования, которые были опубликованы в научном журнале, что делает эту работу особо ценной. Екатерина отметила, что часть гипотез не подтверждается и поэтому не публикуется и это ограничивает формирование базы знаний.

Участники встречи выразили пожелание более подробно ознакомиться с результатами исследования.

  • Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», методический руководитель пилотной группы САД («Статистический анализ данных»), которая была сформирована из инициативных участников тематических площадок по оценке в сфере детства.

Ольга рассказала, как работала группа, представила алгоритм подхода к выбору инструментария, отдельно остановилась на выборе статистического критерия при проведении анализа, а также поделилась ссылками на доступные онлайн-калькуляторы и выводами по итогам работы группы. Ольга подчеркнула практический характер работы и то, что участники применяли либо фактические данные либо их проектировали. «Реальное обучение начинается при применении знаний» — сделала заключение Ольга Заводилкина. См. презентацию.

Свои кейсы представили участники группы «Статистический анализ данных»:

  • Виктория Анейчик, Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов «ГАООРДИ» (презентация).

Виктория обозначила свои мотивы и задачи участия в пилотной группе, представила логическую модель проекта «Как дома», инструментарий сбора данных о развитии навыков молодых взрослых с ТМНР, проживающих в центре Ассоциации и подробно раскрыла, как проводился анализ данных для проверки исследовательских гипотез и какие были сформулированы выводы и рекомендации для корректировки проекта. Виктория обозначила следующие основные трудности при освоении количественного анализа: 1) Формулировка содержательных и статистических гипотез; 2) Правильный выбор статистических методов для решения поставленных задач; 3) Интерпретация полученных результатов.

  • Мария Егорова, Международный детский фонд «Дети Саха-Азия» (презентация).

Мария представила разработанное Дерево результатов Программы «Временный приют для женщин с детьми, оказавшихся в трудной жизненной ситуации (ТЖС)», логическую модель Программы, а также пошаговый алгоритм анализа данных. Мария подчеркнула, что основными ограничениями при анализе данных было небольшое количество благополучателей, по которым собраны данные «до» и «после»  для анализа, а также вовлеченность только одной группы благополучателей, т.е. принимается во внимание результаты опроса только мамы подростка. Для преодоления последнего ограничения, были введены предполагаемые данные, что снизило точность анализа. В планах у Фонда: 1) Внедрить опросник для подростков в онлайн-формате; 2) Продолжить собирать исходные данные по подросткам и родителям; 3) При сборе достаточного объема данных будет проведен анализ и по нему будет принято определенное управленческое решение.

Новостями по теме «Мониторинг и оценка» поделились:

  • Антонина Попова, БФ «Волонтеры в помощь детям-сиротам», представила «Исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания» (презентация).

Проект «Теплый дом» присутствует в Банке доказательных практик Фонда Тимченко и имеет продвинутый уровень доказанности по всем критериям в соответствие со Стандартом доказательности социальных практик в сфере детства. Исследование интересно тем, что оно включает в себя задачу по сравнению результатов аналогичной практики, которую реализует РОО «Аистенок». Мы планируем в сентябре в рамках тематической площадки «Кризисные центры» представить более подробно результаты исследования.

  • Ольга Андросова, МДФ «Дети Саха-Азия» рассказала об исследовании «Оценка эффективности медиапроектов», проведенного  в рамках конкурса «Research Got Talent» (презентация).

Ольга рассказала, как был организован процесс взаимодействия с командой исследователей, какие были получены выводы и даны рекомендации. Участники встречи обсудили вопрос о том, какими компетенциями должен обладать внешний исполнитель, чтобы давать рекомендации по развитию социальных программ.Марина Ушакова, Муниципальное бюджетное учреждение города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель»

Марина рассказала, что сейчас организация активно использует для измерения социальных результатов продукты, разработанные при поддержке АНО «Эволюция и Филантропия», а также вовлекает воспитанников в мониторинг и оценку программы по подготовке к самостоятельной жизни с использованием инструментов, дружественных детям.

Основные выводы, которые можно сделать по итогам встречи:

  1. Формулировка исследовательских гипотез вызывает затруднения и эту тему необходимо развивать.
  2. Во всех кейсах звучала тема статистической значимости.
  3. Качество инструментария сбора данных имеет первостепенное значение. Особая сложность , если инструментарий основан на суждениях разных акторов (например, специалисты и родители).
  4. Способ организации данных — важнейший элемент для качества анализа.
  5. Этап интерпретации и суждения — очень важные этапы, их нельзя пропускать. Но это все довольно субъективные этапы.
  6. Анализ данных следует проводить в команде, при чем с разными компетенциями.
  7. Важно, чтобы команда обладала критическим мышлением и была готова, что часть гипотез не подтвердится.
  8. Необходим коучинг со стороны экспертов в области анализа данных для сохранения качества исследования.

Видео-запись встречи доступна по ссылке.

Мероприятие проводится в рамках деятельности созданного АНО «Эволюция и Филантропия» сообщества специалистов практиков в области оценки программ в сфере детства.

Доказательный подход при планировании и оценке программ обсуждался на Форуме для специалистов сферы детства, помогающих детям с социально значимыми заболеваниями

5-7 августа 2022 прошел Форум для специалистов сферы детства, помогающих детям с социально значимыми заболеваниями, организованный Благотворительным Фондом «Дети+».

Ольга Евдокимова выступила с докладом «Доказательный подход при планировании и оценке социальных программ», где рассказала о развитии доказательного подхода в сфере детства, о деятельности АНО «Эволюция и Филантропия» по развитию сообщества практиков в сфере оценки, в частности о работе тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми», о доступных ресурсах по теме оценки — Реестре (Банке) доказательных практик, онлайн-сервисе ПИОН и онлайн-базе «Слушай с Пользой!, методических материалах по теме оценке, а также пригласила на онлайн-курс «Оценка проектов и программ в сфере детства». Презентация доступна по ссылке.

17 августа приглашаем на встречу «Анализ данных для оценки результатов программ и проектов в сфере детства»

Приглашаем Вас 17 августа 2022 с 9:00 до 11:00 (по Москве)  на онлайн-встречу «Анализ данных для оценки результатов программ и проектов в сфере детства».

Регистрация по ссылке

Программа онлайн-встречи состоит из двух блоков – экспертного и информационного.

Экспертный блок

  • «Подходы к анализу технологий работы в Программе «Уверенное начало». Екатерина Горина, психолог, АНО «Пространство общения», РБОО «Центр лечебной педагогики».
  • Участники пилотной группы под руководством эксперта АНО «Эволюция и Филантропия» Ольги Заводилкиной, прошедшие специальное обучение, поделятся опытом применения различных методов анализа количественных данных. Группа начала работу около двух месяцев назад и уже готова представить свои кейсы.

Свои кейсы представят:

  • Виктория Алейничек, Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов «ГАООРДИ» 
  • Мария Егорова, Международный детский фонд «Дети Саха-Азия».

Информационный блок: новости  по теме «Мониторинг и оценка».

  • «Исследование факторов результативности работы с мамами и их детьми на базе центра временного пребывания», Антонина Попова, БФ «Волонтеры в помощь детям-сиротам».
  • Исследование «Оценка эффективности медиапроектов», проведенного  в рамках конкурса «Research Got Talent», Ольга Андросова, МДФ «Дети Саха-Азия».

Мероприятие проводится в рамках деятельности созданного АНО «Эволюция и Филантропия» сообщества специалистов практиков в области оценки программ в сфере детства.

Прошла информационная встреча тематической группы «МиО практик работы с семьями с детьми с ОВЗ»

В рамках встречи «Родитель особого ребенка: тактики и стратегии вовлечения» состоялась информационная встреча тематической группы «МиО практик работы с семьями с детьми с ОВЗ».

Ольга Евдокимова представила материалы и анонсы ближайших мероприятий и событий по мониторингу и оценке. См. презентацию.

1) Состоялся  вебинар, посвященный опыту победителей в номинации АСОПП «За лучшее представление результатов мониторинга и оценки» в рамках Всероссийского конкурса добровольных публичных годовых отчетов НКО «Точка отсчета» Форума Доноров.

АНО «Центр интегрального развития человека «Эпоха водолея» (см. запись).

А также: 

 — Региональная общественная организация родителей детей-инвалидов «Дорогою добра» Кировской области, 

 — Благотворительный фонд «Дорога к дому» (г. Череповец Вологодской области) 

 — АНО «Центр социальной помощи и адаптации для людей с диагнозом ДЦП и другими ограниченными возможностями здоровья «Лига мечты/Лыжи мечты» Сергея Белоголовцева

Запись этих выступлений можно посмотреть по ссылке. 

2) 2-3 июня в Москве проходил Форум решения социальных задач. 2 июня в рамках Лаборатории «Школа для каждого» состоялась проектная сессия «Стандарт доказательности социальных практик в сфере детства», на которой обсуждались пути реализации доказательной социальной политики, ограничения и возможности развития доказательных социальных практик. Пресс-релиз по ссылке

3) 3 июня прошел онлайн-форум «Послушай, я хочу сказать», приуроченный к Международному дню защиты детей, который провели эксперты благотворительной организации «Детские деревни SOS». Цель форума – развитие практики участия детей при проведении социальных преобразований, направленных на улучшение детского благополучия. Подробнее читайте по ссылке.

4) Для организаций в Реестре доказательных практик! До 23 июня идет прием заявок на Открытый конкурс по развитию практик помощи детям и молодым взрослым в уязвимой ситуации, который проводит БФ «Абсолют-помощь». Подробнее по ссылке.

5) 15 июня состоялось открытие Точки кипения МГППУ – АСИ. Подробнее здесь.

6) Работает пилотная группа САД (статистический анализ данных) — участники учатся использовать инструменты количественного анализа данных для оценки результатов своей практики. Через некоторое время участники представят результаты своей работы.

7) 3 июня прошел онлайн-форум «Послушай, я хочу сказать», приуроченный к Международному дню защиты детей, который провели эксперты благотворительной организации «Детские деревни SOS».  Подробнее читайте по ссылке.

Запись встречи доступна по ссылке.

На Международной научно-практической конференции «Ранняя помощь. Создание системного подхода в поддержке семьи» были представлены подходы к оценке социально-экономической эффективности программ ранней помощи

24 июня Ольга Евдокимова выступила с докладом о подходах к оценке эффективности на Международной научно-практической конференции «Ранняя помощь. Создание системного подхода в поддержке семьи». Ольга рассказала об общих принципах работы по оценке программ, о работе тематической группы «МиО практик работы с семьями с детьми с ОВЗ», дала ссылки на материалы по теме оценки, рассказала об онлайн-сервисе ПИОН.

С презентацией вы можете ознакомиться по ссылке. Видео доступно здесь.

Прошла информационная встреча тематической группы «МиО практик работы с замещающими семьями»

В рамках встречи «Вовлечение родительских сообществ для развития практик работы с приемными семьями» состоялась информационная встреча тематической группы «МиО практик работы с приемными семьями».

Ольга Евдокимова представила материалы и анонсы ближайших мероприятий и событий по мониторингу и оценке. С презентацией вы можете ознакомиться здесь.

1) Состоялся вебинар, посвященный опыту победителей в номинации АСОПП «За лучшее представление результатов мониторинга и оценки» в рамках Всероссийского конкурса добровольных публичных годовых отчетов НКО «Точка отсчета» Форума Доноров. Свой опыт представили АНО ДПО Институт развития семейного устройства (ИРСУ) — см. запись вебинара.

2) 2-3 июня в Москве проходил Форум решения социальных задач. 2 июня в рамках Лаборатории «Школа для каждого» состоялась проектная сессия «Стандарт доказательности социальных практик в сфере детства», на которой обсуждались пути реализации доказательной социальной политики, ограничения и возможности развития доказательных социальных практик. Пресс-релиз по ссылке

3) 3 июня прошел онлайн-форум «Послушай, я хочу сказать», приуроченный к Международному дню защиты детей, который провели эксперты благотворительной организации «Детские деревни SOS». Цель форума – развитие практики участия детей при проведении социальных преобразований, направленных на улучшение детского благополучия. Подробнее читайте по ссылке.

4) Для организаций в Реестре доказательных практик! До 23 июня идет прием заявок на Открытый конкурс по развитию практик помощи детям и молодым взрослым в уязвимой ситуации, который проводит БФ «Абсолют-помощь». Подробнее по ссылке.

5) 15 июня состоялось открытие Точки кипения МГППУ – АСИ.

6) Вышла статья в Коммерсанте «Кто, как и для чего оценивает социальный эффект в России».

7)   Открыт прием заявок на выступления на конференции АСОПП-2022 «Отечественный опыт внедрения и применения оценки: уроки и эффективные практики» — 18–19 октября 2022 года. Срок подачи заявок на выступления – до 1 августа 2022 года. Информация о конференции и страница для подачи заявок на выступления находятся на сайте АСОПП.

8) Работает пилотная группа САД (статистический анализ данных) — участники учатся использовать инструменты количественного анализа данных для оценки результатов своей практики. Через некоторое время участники представят результаты своей работы.

Запись встречи доступна по ссылке.

Итоги встречи участников площадки «МиО практик по работе с замещающими семьями»

14 апреля состоялась встреча участников площадки «Мониторинг и оценка практик работы замещающих семей», на которой присутствовали 28 специалистов из 13 регионов РФ.

Ольга Евдокимова рассказала про те инструменты, которые группа собрала и положила в общую библиотеку инструментов онлайн-сервиса ПИОН и онлайн-базу «Слушай с пользой«. Ольга показала, как самостоятельно пользоваться библиотекой знаний, как дополнять ее. В сервисе есть много инструментов, которые можно использовать для оценки, мониторинга и повышения эффективности работы организации. См. презентацию.

Коротко своими наработками поделилась Вероника Кудрявцева, председатель Ассоциации приемных родителей: усыновителей, опекунов, попечителей города Санкт-Петербурга. Она рассказала об инструментах, которые использует в работе Дистанционной службы поддержки замещающих семей. 

Вопросы, которые сейчас стоят в планах работы площадки:

Инструменты, которые используются в практиках сопровождения для отражения результатов.
Вовлечение детей в тему МиО.
Проведение мониторинга практики, когда нет собственных компетенций.
«Для кого мы это делаем?» (МиО) Как заинтересовать регион?

Видео встречи доступно по ссылке.

Итоги встречи участников площадки «МиО для практик кризисных центров»

15 апреля состоялась очередная встреча (вторая в 2022 году) участников площадки, на которой обсуждаются различные аспекты мониторинга и оценки практик кризисных центров. На встрече присутствовали 32 специалиста из 20 регионов.

Встречу провела Елена Андреева, координатор проекта «Теплый дом» БФ «Волонтеры в помощь детям-сиротам», совместно с ведущей площадки в 2021 году Татьяной Арчаковой.

В первой части встречи Ольга Евдокимова представила последние инструменты тематической группы «МиО практик для кризисных центров», загруженные в базу знаний ПИОН и на сайт «Слушай с пользой». См. презентацию.

Участникам был представлен промо-ролик о возможностях сайта «Слушай с пользой» .

Участники встречи отметили, что необходимо продумать процессы валидации загружаемых инструментов МиО, а также пространство, где можно ознакомиться с результатами применения этих инструментов. Довольно часто организации начинают применять предлагаемый инструментарий, внося в него свои корректировки. В связи с чем также необходим сервис для удобной связи с разработчиком.

В ходе практической части встречи участники в малых группах обсудили планы по мониторингу и оценке на 2022. Благодаря чему были собраны следующие задачи участников на 2022 год:

  1. Работа с базами клиентов-благополучателей, в т. ч СRM ( как собираются, хранятся и анализируются данные)

2. Включение детей в оценку работы.

3. Расширение знаний для оценки работы в разных направлениях.

3. Анализ данных.

4. Усовершенствование теории изменения.

5. Анализ кейсов.

6. Совершенствование научной обоснованности практики.

7. Система мониторинга — как поверить в полезность нового инструмента.

8. Правильная последовательность внедрения системы МиО. Советы практиков.

9. Связь системы МиО с другими системами и процессами организаций.

Также участники обращали внимание на сложности связанные с тем, что разные типы доноров требуют разную систему отчетности о результатах одной и той же практики.

Видео запись встречи доступна по ссылке.

31 марта состоялась встреча тематической группы «МиО практик социализации подростков и выпускников»

Во встрече приняли участие 35 специалистов из 9 регионов России.

В первой части встречи Ирина Бобылева, куратор площадки, напомнила об основных итогах работы группы в 2021 году и о собранных инструментах для использования в системах мониторинга и оценки. Инструменты собирались в онлайн-сервисе ПИОН и на сайте «Слушай с пользой!». Всего было собрано 11 инструментов. Часть из которых была представлена организациями», активными участниками проекта «Оценка в сфере детства: развитие сообществ практиков».

Инструменты в ПИОНе (доступно только зарегистрировавшимся пользователям):

Анна Хегай, БФ «Бюро добрых дел», представила методику «Трехсторонняя оценка изменений»

Анна Лыщенко, Бюджетное учреждение Омской области «Центр поддержки семьи» представила экспресс-методику «Уровень адаптивности студентов».

Людмила Шевцова, МКУ Центр «Созвездие», рассказала об Анкете социализированности учащихся.

Инструменты из онлайн-базы «Слушай с Пользой!»:

Анна Кочинева, БФ «Хранители детства» представила «Опросник для специалистов детских домов, принимающих участие в программах корпоративного наставничества».

Татьяна Илясова, АНО «Центр социальных проектов», рассказала о «Гайд интервью молодых матерей из числа сирот».

Затем участники обменялись новостями и обсудили темы и форматы для дальнейшей работы.

В частности, были озвучены следующие запросы:

  • распространение системы МиО на все программы
  • применение IT-технологий
  • верификация практик
  • обучение проведению интервью и фокус-групп

Презентация Ирины Бобылевой доступна по ссылке.

Во второй практической части встречи приглашенные эксперты, активисты площадки и просто желающие, знакомые с методологией создания Теории изменений, разделились на 3 мини-группы, где работали над созданием  Теории изменений Центра Свт. Василия Великого. Практическая работа велась в мини-группах с модераторами на Джембордах.

Видеозапись встречи доступна по ссылке.

25 марта состоялась очередная встреча тематической площадки «Мониторинг и оценка практик поддержки семей с особыми детьми»

25 марта состоялась состоялась очередная ( 2-ая в 2022 году) встреча тематической площадки «Мониторинг и оценка практик поддержки семей с особыми детьми». Во встрече приняли участие 28 человек из 13 регионов.

В начале  встречи Ольга Заводилкина представила новый функционал онлайн-сервиса ПИОН: Библиотека кейсов и Библиотека инструментов. На данный момент в них размещено 5 кейсов и 8 инструментов, относящихся к тематической группе «Практики поддержки семей с особыми детьми». Ольга продемонстрировала новые возможности сервиса. От участников встречи поступили предложения по его доработке.

В продолжении темы Елена Яндуктина представила кейс РООРДИ «Дорогою добра» по итогам использования разработанного при поддержке АНО «Эволюция и филантропия» алгоритма доказательного анализа данных. Был представлен сам инструмент, результаты его применения и решения, которые были приняты на основе полученных результатов. См. презентацию.

По итогам дискуссии было принято решение предложить заинтересованным участникам тематической площадки объединится в небольшую группу и провести анализ своих данных с использованием представленного алгоритма при поддержке работы группы со стороны АНО «Эволюция и Филантропия». Работа группы будет проходить в дистанционном формате. Группа начнет работать 15.04.2022 года. Если Вы хотите присоединиться, напишите на почту info@ep.org.ru.

Также участникам встречи были представлены новые инструменты, которые были помещены в онлайн-базу «Слушай с пользой»! и ее промо-ролик.

В конце вебинара были анонсированы предварительные темы  встреч в 2022 году:

  • Как исследовать негативный эффект практики? – май 2022 года
  • Автоматизация  мониторинга и оценки, инструменты, которые используются в организациях, в которых уже внедрены  CRM – июль 2022 года
  • Границы практики и профиль благополучателя: как они связаны между собой – сентябрь 2022 года

Практикумы по построению теории изменений на основе дерева результатов и коллективному поиску решений задач построения или развития системы мониторинга и оценки практики – по запросу.

Если у вашей организации есть такой запрос, напишите на почту info@ep.org.ru или зайдите на сервис ПИОН и заполните там форму.

Познакомиться с записью встречи можно по ссылке.