Итоги встречи участников площадки «МиО для практик кризисных центров»

15 апреля состоялась очередная встреча (вторая в 2022 году) участников площадки, на которой обсуждаются различные аспекты мониторинга и оценки практик кризисных центров. На встрече присутствовали 32 специалиста из 20 регионов.

Встречу провела Елена Андреева, координатор проекта «Теплый дом» БФ «Волонтеры в помощь детям-сиротам», совместно с ведущей площадки в 2021 году Татьяной Арчаковой.

В первой части встречи Ольга Евдокимова представила последние инструменты тематической группы «МиО практик для кризисных центров», загруженные в базу знаний ПИОН и на сайт «Слушай с пользой». См. презентацию.

Участникам был представлен промо-ролик о возможностях сайта «Слушай с пользой» .

Участники встречи отметили, что необходимо продумать процессы валидации загружаемых инструментов МиО, а также пространство, где можно ознакомиться с результатами применения этих инструментов. Довольно часто организации начинают применять предлагаемый инструментарий, внося в него свои корректировки. В связи с чем также необходим сервис для удобной связи с разработчиком.

В ходе практической части встречи участники в малых группах обсудили планы по мониторингу и оценке на 2022. Благодаря чему были собраны следующие задачи участников на 2022 год:

  1. Работа с базами клиентов-благополучателей, в т. ч СRM ( как собираются, хранятся и анализируются данные)

2. Включение детей в оценку работы.

3. Расширение знаний для оценки работы в разных направлениях.

3. Анализ данных.

4. Усовершенствование теории изменения.

5. Анализ кейсов.

6. Совершенствование научной обоснованности практики.

7. Система мониторинга — как поверить в полезность нового инструмента.

8. Правильная последовательность внедрения системы МиО. Советы практиков.

9. Связь системы МиО с другими системами и процессами организаций.

Также участники обращали внимание на сложности связанные с тем, что разные типы доноров требуют разную систему отчетности о результатах одной и той же практики.

Видео запись встречи доступна по ссылке.

Итоги встречи «База знаний по МиО работы социальных приютов и кризисных центров»

27 января состоялась онлайн встреча тематической группы «Социальные приюты и кризисные центры для матерей с детьми» — «База знаний по МиО работы социальных приютов и кризисных центров».

Общее количество участников — 37 человек, из них представители 16-ти регионов РФ.

Встреча проводилась в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Модератором встречи выступила Ольга Евдокимова, директор АНО «Эволюция и филантропия».

В первой части Ольга Евдокимова представила обзор всего, что было сделано в рамках встреч тематической группы в 2021 г. (презентация).

Затем состоялись анкетирование и дискуссия с обсуждением результатов работы группы с точки зрения ее участников, а также барьеров на пути к обращению за поддержкой и ресурсами сообщества между встречами.

Среди результатов участия в тематической группе участники назвали вхождение в реестр практик с доказанной эффективностью; победу в конкурсе Президентских грантов (за счет грамотно прописанных социальных результатов, показателей и способов их измерения).

Некоторые отмечают, что в работу «пришла система»: знания о МиО внедряются в практику и распространяются внутри организации. Сложилось понимание важности МиО, которое воплощается в конкретных идеях («Должен быть человек, который отвечает за сбор данных – и это не руководитель организации») и управленческих решениях: так БФ «Родительский мост» включил в новый проект сразу двух методистов: ответственного за развитие и описание практики и ответственного за сбор и анализ данных. Еще один инсайт: понимание, что система МиО не статична, она требует изменений, поэтому требуется постоянное «методическое развитие» как организации в целом, так и компетенций сотрудников.

Ряд участников рассматривают группу как возможность получить знания и навыки: обсуждение реальных кейсов в сфере МиО дополняет учебу на онлайн курсе «Оценка проектов и программ в сфере детства». Использование новых IT-инструментов для фасилитации дискуссий группы для одной из участниц стало личным «IT-прорывом».

Участники группы также отметили, что за последний год у крупных фондов стало развиваться понимание того, что необходимо развивать МиО в организациях-грантополучателях, появились новые возможности для этого.

Основные барьеры, мешающие обращаться к ресурсам сообщества, – это сомнения в пригодности чужого опыта для своей организации («нет типовых решений») и коммуникативные барьеры. Участникам не всегда понятно, кому лучше написать с какими вопросами; некоторых останавливает отсутствие личного знакомства. Внутренние факторы, мешающие организациям обращаться к коллегам: нет внутреннего ресурса на развитие, много текущей работы, некоторые опасения излишней открытости.

Несмотря на выделенные барьеры, участники обращаются к ресурсам сообщества и помимо встреч тематической группы, например, знакомятся с кейсами коллег в сервисе ПИОН. Многие горизонтальные связи возникают, но остаются незаметными (обращение к материалам сайта, стажировки). У БФ «Волонтеры в помощь детям-сиротам» был опыт обращения к профессиональному сообществу за экспертизой теории изменений практики «Профилактика отказов от новорожденных»: они получили много важной информации и повысили уровень доказанности практики.

Для преодоления барьеров участники предложили:

  • Использовать возможности очных мероприятий для знакомства участников группы.
  • Создать две разных группы в Whatsapp или Telegram:
    • Группу для неформального общения, куда можно будет обращаться с конкретными вопросами (как удобный способ обратиться за поддержкой сообщества).
  • Группу без функции комментариев, куда выкладываются новости, дайджесты, полезные материалы.
  • Назначить регулярные дни и «приемные часы» (например, каждый первый понедельник месяца), в которые опытные участники группы «дежурят» и проводят супервизии или консультации по запросам.
  • Необходим диалог с научным сообществом, но пока «мы друг друга не понимаем».

Новые запросы, с которыми участники хотят работать в 2022 г.:

  • Доработка теории изменений.
  • Работа с инструментарием: получить больше новых инструментов или, наоборот, оптимизировать существующий пакет инструментария. Интересуют инструменты для оценки детско-родительских отношений и материнской мотивации; для сбора обратной связи на выходе из кризисных центров.
  • Анализ данных: принципы и инструменты анализа.
  • Как управленец может эффективно организовать систему МиО, чтобы избежать ошибок. С чего начать новичкам, каковы «точки опоры».
  • Оценочные исследования практик помощь семьям (профилактики социального сиротства), которые тесно связаны с социальными приютами и кризисными центрами. Например, провести анализ, чтобы понять почему семьи попадают в приюты и возможна ли ранняя профилактика, чтобы этого не происходило.
  • Включение детей в оценку и мониторинг

В анкетировании участвовали 25 специалистов; из них 56% — сотрудники НКО, 36% — сотрудники государственных учреждений и еще 8% — из иных организаций; 24% — руководители, 8% — программные менеджеры, 64% — специалисты. Во встречах тематической группы в 2021 г. 36% из них участвовали более 3 раз, 28% — 1 или 2 раза, 36% затруднились уточнить.

72% респондентов оценили содержание встреч тематической группы как совпадающее с ожидаемым, а 20% даже «несколько лучше ожидаемого»; в одном случае респондент предложил вариант «иногда совпадало» и еще в одном отметил, что далеко не все было понятно.

Рис 1. Ответы на вопрос «В какой мере встречи тематической группы соответствовали Вашим ожиданиям»

Новизну полученной информации 20% оценили на 5 баллов (как абсолютно новую), 52% — на 4 балла, 24% — на 3 балла и 4% — на 2 балла. Пользу полученной информации 44% оценили на 5 баллов (как максимально полезную), 52% на 4 балла и 4% — на 2 балла.

Рис 2. Ответы на вопрос «В какой мере полученная информация была для Вас новой?

Рис 3. Ответы на вопрос «В какой мере полученная информация была для Вас полезной?»

Респонденты оценили влияние участия в тематической группе на решение актуальных задач развития систем мониторинга и оценки в своей организации: 24% — на 5 баллов (максимально сильное влияние), 48% — на 4 балла, 20% — на 3 балла, 4% — на 2 и на 1 балл.

Рис 4. Ответы на вопрос «В какой мере участие в тематической группе повлияло на решение актуальных задач развития систем мониторинга и оценки в Вашей организации?»

Ответы на вопрос «Насколько вероятно, что Вы порекомендуете участие в работе тематической площадки своим коллегам?» распределились следующим образом: 56% оценили вероятность на 10 баллов, 16% — на 9 баллов, 20% — на 8 баллов и 8% — на 7 баллов. 76% участников планируют продолжить участие в работе группы в 2022 г., еще 24% пока не уверены.

Рис 5. Ответы на вопрос «Насколько вероятно, что Вы порекомендуете участие в работе тематической площадки своим коллегам?»

В целом, работа тематической группы представляется важной и полезной для развития организаций, но, возможно, непростой и требующей ресурсов.

Во второй части семинара был представлен опыт организаций по разработке и использованию инструментов сбора данных.

Марина Левина, президент БФ «Родительский мост» (Санкт-Петербург) рассказала об опыте разработки инструмента для наблюдения за детско-родительским взаимодействием в рамках сопровождения в процессе индивидуальной поддержки в рамках проекта «Оценка в сфере детства: развитие сообщества практиков» (презентация).

Уже существующие отечественные и зарубежные инструменты для оценки детско-родительского взаимодействия не удовлетворяли всем требованиям: понятности для сотрудников без психологического образования и самих женщин; простоты в использовании; учетом не только психологических характеристик взаимодействия, но и качества ухода в повседневных бытовых ситуациях. Также важно было согласовать инструмент с регламентирующим документом «Принципы организации работы «Центра временного проживания для женщин с малолетними детьми “Дом надежды” и “Дома для мам”». Этот документ был разработан с участием всех сотрудников и описывает «хорошее взаимодействие», к которому надо стремиться.

На встрече Марина Левина продемонстрировала видео с записью кормления ребенка в «Доме для мам», и участники попробовали применить критерии оценки к том, что увидели. Сейчас ведется апробация инструмента, которая включает в себя ответы на вопросы:

  • Видят ли женщины связь между содержанием опросника и их родительской компетентностью? Видят ли сотрудники центра связь между содержанием опросника и их работой по развитию родительских компетенций?
  • Меняются ли оценки по мере проживания женщины в центре? Насколько отличаются оценки у разных женщин?
  • Согласуются ли изменения оценок на основе наблюдения с экспертной оценкой психолога / с самооценкой женщин?
  • Как считать значения показателя «Доля женщин, улучшивших качество взаимодействия и отношений со своими детьми», для которого разработан инструмент? Прирост на сколько баллов и за какой период считать «улучшением»?

Татьяна Арчакова,привлеченный методист БФ «Волонтеры в помощь детям-сиротам», рассказала о применении интервью для сбора обратной связи о достигнутых социальных результатах в проекте «Выездной семейный лагерь» программы «Профилактика социального сиротства». На основе краткого интервью были внесены изменения в программу второй смены лагеря (презентация).

Результаты интервью с родителями легли в основу Дерева результатов «Семейного лагеря». Это помогло описать практику для трансляции коллегам, а также сформулировать аргументы для потенциальных доноров о том, что лагерь – это «катализатор изменений» в детско-родительских отношениях, а не просто вариант пассивного отдыха для благополучателей.

Видео встречи доступно по ссылке.

Верификация практик в сфере профилактики социального сиротства

3 декабря 2021 года состоялся онлайн-семинар «Верификация доказательных практик в сфере профилактики социального сиротства». В работе семинара приняли участие 24 специалиста сферы детства.

В начале встречи Татьяна Арчакова, психолог-методист БДФ «Виктория», представила типичные ошибки при описании практик в доказательном ключе во всех разделах доказательного анализа (презентация).

Во второй части встречи был представлен опыт БФ «Волонтеры в помощь детям-сиротам» (г. Москва). Елена Андреева рассказала о повышении уровня доказанности практики «Профилактика отказов от новорожденных», которая уже проходила верификацию в Реестр доказательных практик в 2020 г. Презентация доступна по ссылке.

Также участники обсудили свой опыт прохождения верификации. Они отметили, что одна из самых сложных задач – единообразное, согласованное представление всех данных; ведь система мониторинга периодически меняется и дополняется. Значимый фактор успеха – серьезное отношение к рекомендациям верификатора. Некоторые участники задавали верификаторам подробные уточняющие вопросы; некоторые – расставляли приоритеты в работе по принципу «светофора», выделяя те рекомендации, за воплощение которых берутся сразу («зеленый»), которые учтут во вторую очередь («желтый») или оставят «на вырост» («красный»).   

В третьей части семинара прошла публичная верификация практики «Технология семейного наставничества как форма социального сопровождения семьи, находящейся в трудной жизненной ситуации «Выход»» (АНО «Моя семья», Ярославская обл.). Участники обсудили раздел «Обоснованность практики» и сравнили оценки, получившиеся в двух малых группах – они получились вполне согласованными.

Основные выводы спикеров и участников семинара:

  • Описание практики в русле Стандарта доказательности и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко стимулирует не только повышение доказанности, но и в целом описанию и трансляции интересных практик
  • Опора на Стандарт доказательности позволяет добиться высокой согласованности оценок даже у неопытных верификаторов
  • Повышение уровня доказанности с начального до базового часто достижимо за счет более логичного и четкого описания; привлечения релевантных внешних источников (например, обоснованности с т.з. научных теорий и прикладных исследований); структурирования уже имеющихся данных мониторинга. Повышение уровня доказанности с базового до продвинутого уже требует активных действий, например, проведения собственных исследований или внешней оценки; сбора данных от более широкого круга стейкхолдеров.
  • Одним из самых сложных для заполнения оказывается п. 4.2 «Какие есть данные, подтверждающие обоснованность применения практики с точки зрения профессионального опыта и экспертизы?» Он поднимает вопросы: Сложилось ли профессиональное сообщество в этой тематике? Каковы форматы, время и место для экспертизы практик в сообществе? Как интерпретировать те или иные профессиональные награды за реализацию практики?

Благодарим всех спикеров и участников!

Видеозапись семинара доступна по ссылке.

Итоги семинара «Разработка инструмента для оценки детско-родительского взаимодействия»

10 ноября состоялся онлайн-семинар «Разработка инструмента для оценки детско-родительского взаимодействия», который провела Татьяна Шинина, к.пс.н., доцент Московского городского психолого-педагогического университета, эксперт АНО «Научно-практическая лаборатория “Психологические инструменты”». Семинар был дополнением к работе созданной в 2020 г. тематической группы «Оценка в социальных приютах и кризисных центрах для матерей с детьми». 

Участие в семинаре приняли руководители и специалисты НКО и государственных учреждений. Общее количество участников — 58 человек из 24 регионов. По данным предварительного анкетирования участников, около половины (46%) уже участвовали в предыдущих встречах. См. презентацию Татьяны Арчаковой.

Татьяна Шинина рассказала об опыте разработки методики «Оценка детско-родительского взаимодействия «ECPI» (https://www.lab-family.com/issledovaniya), которая используется в работе семьями, где растут дети младенческого и раннего возраста. Запрос на инструменты оценки детско-родительского взаимодействия возник в процессе реализации проекта «Социальный ТехноПарк “Долина семьи и детства”» в Москве (в рамках государственной программы поэтапного внедрения Профессионального стандарта «Специалист по работе с семьей»).

На основе анализа международного опыта и отечественных разработок (научной школы М.И. Лисиной) были разработаны две части инструмента: описывающее поведение родителя и ребенка в ходе взаимодействия. Наблюдение за ребенком включает в себя 5 маркеров, которые оцениваются во взаимодействии со взрослым и в игре с предметами: фокус внимания, инициативность, средства общения, эмоциональные переживания, а также чувствительность к взрослому или деятельность с предметом. Наблюдение за родителем сфокусировано на маркерах родительской отзывчивости на эмоциональном, физическом, познавательном и действенном уровнях.  

Проявления каждого маркера могут иметь позитивный и негативный полюс. Например, положительное проявление инициативы в адрес взрослого происходит, когда ребенок привлекает внимание взрослого к своим действиям, «тянет за платье»; а отрицательное – «сидит рядом за столом и ничего не делает». Для каждого маркера есть библиотека с примерами: как текстовыми описаниями, так и фрагментами видеосъемки. Их можно использовать для подготовки специалистов, чтобы оценивание было согласованным.

В целях исследования или мониторинга детско-родительское взаимодействие снимается на видео. Затем короткие (10-минутные) фрагменты совместной деятельности анализируются с помощью программы Observer. Альтернатива программному обеспечению – бланки наблюдения. Для поддержки родителей, развития их компетентности, проводится «родительский консилиум». На нем группа родителей смотрит видеофрагменты, снятые в их семьях, и с помощью специалиста отмечает удачные моменты и сильные стороны. Также «родительский консилиум» можно использовать для триангуляции оценок специалистов и родителей.

Освоить программу Observer и методику наблюдения за детско-родительским взаимодействием можно на курсе повышения квалификации в МГППУ (144 ч., дистанционно).

Видео-запись встречи доступна по ссылкеПрезентация Татьяны Шининой.

Дополнительные материалы:

  • Материалы проекта «Социальный ТехноПарк “Долина семьи и детства”» (описания практик работы с семьей, включая процессы мониторинга их результативности):
  • Подробное описание инструмента и его теоретических оснований: Детско-родительское взаимодействие и развитие ребенка раннего возраста / под ред. Л.В. Токарской : коллективная монография. – Екатеринбург, 2019. Доступно по ссылке.
  • Опыт экспертизы инструмента в профессиональном сообществе: Галасюк И. Н., Шинина Т. В., Иргашев Н. Р., Морозова И. Г., Пасечник О. Н. Открытая  профессиональная экспертиза методики детско-родительского взаимодействия: векторы развития психологического инструментария // Актуальные проблемы психологического знания. Теоретические и практические проблемы психологии № 3 (48) 2018. C. 5 – 24Ссылка на файл.
  • Культурная специфика ожиданий от ребенка и ухаживающих за ним взрослых: Галасюк И.Н., Шинина Т.В., Шведовская А.А., Морозова И.Г., Ефремова Е.В., Нгуен Т.Х., Нгуен Т.Л. Взаимодействие значимого взрослого с ребенком раннего возраста в России и Вьетнаме // Психологическая наука и образование. 2019. Том 24. № 6. С. 47–62. Ссылка.

Мероприятие проводилась в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Итоги встречи «Как мы разрабатывали систему мониторинга социальных приютов и кризисных центров для матерей с детьми»

4 октября состоялась онлайн встреча тематической группы «Социальные приюты и кризисные центры для матерей с детьми» — «Как мы разрабатывали систему мониторинга социальных приютов и кризисных центров для матерей с детьми».  

Задачи тематической группы:

  • Популяризация темы мониторинга и оценки социальных практик, использования доказательного подхода к оценке результативности.
  • Формирование базы знаний по мониторингу и оценке практик работы социальных приютов и кризисных центров для матерей с детьми – практические наработки, методические ресурсы и пр.
  • Организация площадки по обмену опытом и поиску решений в области мониторинга и оценки практик, программ, проектов, развитие компетенций.

Участие в семинаре приняли руководители и специалисты НКО и государственных учреждений. Общее количество участников — 34 человека. По данным предварительного анкетирования участников, две трети из них (68%) уже участвовали в предыдущих встречах.

Модератором встречи выступила Татьяна Арчакова, психолог-методист БДФ «Виктория». В начале встречи она напомнила о результатах работы группы на предыдущих встречах и ответила на запрос, озвученный в ходе анкетирования. Ольга Евдокимова представила первые результаты по разработке Теории изменений, сделанные тематической группой «Социальные приюты и кризисные центры для матерей с детьми» на семинаре 10.09.21. Презентация доступна по ссылке.

В основной части встречи специалисты, завершившие участие в онлайн-курсе «Оценка программ в сфере детства», поделились тем, что изменили или добавили в свои системы мониторинга с учетом знаний и навыков, полученных на курсе.

Мария Егорова, сотрудник Международного детского фонда «Дети Саха-Азия», представила рабочую версию теории изменений проекта «Временный приют для семей с детьми в городе Якутске». После этого участники встречи работали в 3 группах, предлагая обратную связь по логике, представленной в теории изменений, и обсуждая факторы, способствующие достижению социальных результатов. Они предложили:

  • Продумать отдельные «ветви» теории изменений для женщин, которые находятся в трудной жизненной ситуации по социально-экономическим причинам, и женщин, которые подверглись домашнему насилию.
  • Уточнить формулировки социальных результатов: некоторые стоит сделать позитивными (Если результат «Снятие нестабильности…», то какое именно состояние надо достичь вместо нестабильности?), некоторые – более конкретными.

Дискуссию вызвал результат «Матери знают и применяют алгоритмы решения проблем». Должны ли они справляться с этой задачей при любых условиях или в сложных кейсах все равно должны участвовать специалисты? Идеи про мотивацию и самостоятельность благополучателей, которые влияют на работу с семьями в кризисной ситуации, тоже нужно фиксировать в теории изменений. Убеждения и ценности команды можно рассматривать в качестве допущений: ведь это те основания, которые специалисты выбрали для себя и не планируют менять.

Еще один многогранный результат — «Восстановлены отношения с близким окружением». Чтобы он способствовал удовлетворению потребностей ребенка, как это указано в теории изменений проекта, важно иметь в окружении людей, которые и готовы, и могут (умеют, имеют ресурсы) для «правильной» помощи. А если мы тщательно исследуем их ресурсы и пытаемся на них повлиять, не становится ли близкое окружение матери и ребенка еще одной целевой группой проекта?

Ольга Лим, руководитель Хабаровской краевой общественной организации «Чужих детей не бывает» коротко представила результаты того, как вся команда дорабатывала системы мониторинга Службы помощи женщинам с детьми в трудной жизненной ситуации “Мама рядом”. Коллеги систематизировали целевые группы программы; разделили всю деятельность по программе на разные проекты и подпрограммы; тщательнее проработали социальные результаты и показатели – показали это на примере результата «Повышение уровня удовлетворения базовых потребностей ребенка». Презентация доступна по ссылке.

Ольга Лим и ее коллеги поделились опытом знакомства новых сотрудников со сферой мониторинга и оценки. После этого участники встреча работали в 3 группах над созданием чек-листа с простыми шагами для включения новичков в эту тему. Вот некоторые идеи из дискуссии:

  • Руководитель должен быть готов создать условия для обучения (выделить часть рабочего времени)
  • Нужен наставник в тематике МиО (методический работник / руководитель / куратор проекта / человек, который пишет отчетность)
  • Сначала достаточно познакомить нового сотрудника с его зоной ответственности по сбору данных
  • Затем важно познакомить его со всеми программами и проектами организации, чтобы он понял свое место в общей системе – и только тогда добавлять новую информацию о МиО
  • Теория изменений может служить наглядным материалом для нового сотрудника
  • Когда новых сотрудников много, нужен вводный курс
  • Обсуждение социального эффекта может работать как сонастройка ценностей с новым сотрудником (ради чего он пришел к нам работать)

Также участники выделили «болевые точки», с которыми руководители сталкиваются в процессе инструктирования новых сотрудников:

  • В организации может существовать много наработок по мониторингу, но они не описаны или описаны непонятно для внешнего читателя, не систематизированы в базу знаний
  • У сотрудников может возникать сопротивление обучению мониторингу, если мы предлагаем им повысить уровень компетенций «вообще». Решение этой проблемы – показывать связь МиО и пользы для практики: Какие выводы о причинах трудностей можно сделать из собранных данных? Какие «подсказки» по решению проблем в них можно найти?

Видео-запись встречи доступна по ссылке.

Мероприятие проводилась в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Итоги встречи «Универсальная логическая модель проекта для социальных приютов и кризисных центров для матерей с детьми»

27 июля состоялась онлайн встреча тематической группы «Социальные приюты и кризисные центры для матерей с детьми» — «Универсальная логическая модель проекта для социальных приютов и кризисных центров для матерей с детьми».

Участие в семинаре приняли руководители и специалисты НКО и государственных учреждений. Общее количество участников — 35 человек.

Задачи тематической группы:

  • Популяризация темы мониторинга и оценки социальных практик, использования доказательного подхода к оценке результативности.
  • Формирование базы знаний по мониторингу и оценке практик работы социальных приютов и кризисных центров для матерей с детьми – практические наработки, методические ресурсы и пр.
  • Организация площадки по обмену опытом и поиску решений в области мониторинга и оценки практик, программ, проектов, развитие компетенций.

Модератором встречи выступила Татьяна Арчакова, психолог-методист БДФ «Виктория».

Предварительное анкетирование участников встречи показало, что их ожидания были направлены на:

  • повышение компетенций в области мониторинга и оценки (32%) ;
  • на участие во встрече в целом, с одинаковой заинтересованностью во всех вопросах (33%);
  • знакомство с опытом коллег (16%);
  • обсуждение актуальных задач для развития системы МиО (11%) ;
  • нахождение конкретных решений для развития системы МиО в их организации (8%).

Большинство участников оценили уровень своих компетенций в сфере МиО как средний (57%) или низкий (40%).

80% зарегистрировавшихся на встречу ранее не принимали участия в работе тематической группы.

С учетом того, что на встречу пришло много начинающих с явным запросом на повышение компетенций, в первой части семинара Татьяна Арчакова кратко напомнила о структуре логических моделей: деятельности – ресурсов – непосредственных и социальных результатов – показателей. Презентация доступна по ссылке.

Участники встречи, у которых уже есть опыт работы по разработке логических моделей проектов (ЛМП) отметили пользу от их разработки:

  • Использование ЛМП для прикладных исследований (например, для разработки интервью с выпускницами)
  • возможность не просто структурировать свою деятельность, но и лучше понять ее границы – начать разработку дополнительных проектов (например, сопровождение выпускниц с ментальными нарушениями)
  • возможность сделать формулировки социальных результатов и подходы к их измерения более сфокусированными (например, переопределить все позитивные изменения у детей, женщин и семей в целом через призму именно благополучия ребенка)

Далее участники обсудили, в чем может быть ценность универсальной ЛМП (набора результатов и показателей) для социальных приютов и кризисных центров для матерей с детьми.

  • Организации, которые впервые вводят мониторинг, могут заимствовать и адаптировать для себя
  • Организации, имеющие систему мониторинга, могут дополнять ее, когда видят:
    • Свою «зону ближайшего развития»
    • Необходимость ввести новые / скорректировать имеющиеся социальные результаты и показатели, потому что изменились потребности целевой группы и специфика работы с ними
  • Возможность не «изобретать велосипед» с показателями для узких целевых подгрупп
  • Помогает выделять изменения, которые выходят за рамки запланированных
  • Помогает понять запрос на новые инструменты измерения
  • Возможность агрегировать данные о результатах работы многих организаций

Участники семинара отметили, что самостоятельная разработка ЛМП «с нуля» приносит много пользы команде, не всегда ее стоит заменять трансляцией опыта и готовыми «конструкторами». Также есть позитивный опыт заимствования некоторых элементов системы мониторинга (с последующей их адаптацией) одним кризисным центром у другого в ходе стажировок и дальнейшего регулярного сотрудничества (близкий по формату к индивидуальному коучингу).

Во второй части семинара при помощи интерактивной доски Jamboard обсуждались социальные результаты на выходе из социального приюта / кризисного центра и показатели к ним, взятые из описания практик:

Дискуссия строилась вокруг следующих вопросов:

  • Какие варианты социальных результатов и показателей кажутся вам полезными? (Какие вы хотели бы измерять у себя?) Почему?
  • Какие формулировки вызывают у вас вопросы или кажутся неточными? Почему?
  • Какие социальные результаты измеряете вы? Какими показателями при этом пользуетесь? Какие вы можете добавить из вашей практики?

Для обсуждения участники поделились на 2 группы, обсуждавшие социальные результаты и показатели, описывающие:

  1. Самостоятельное проживание матери с ребенком
  2. Безопасность ребенка и удовлетворение его потребностей
  3. Усилением поддержки от социального окружения матерей (не обсуждались)

Ключевые выводы:

  • Полезно сформулировать социальные результаты и показатели для тех женщин, которые по объективным причинам не могут жить с ребенком самостоятельно после выхода из социального приюта или кризисного центра
  • Важно проанализировать деятельность по сопровождению матерей с детьми после выхода (передачу в другие проекты внутри организации или межведомственным партнерам) – отделить непосредственные результаты (например, рост информированности о доступных услугах) от социальных (например, мотивацию к развитию родительских навыков и приверженность занятиям в Клубе для мам)
  • Во многих существующих формулировках социальных результатов и показателей есть конструкты («имеющих место постоянного проживания», «улучшивших материальное положение», «регулярно удовлетворяющих потребности ребенка»…), которые можно конкретизировать, чтобы получить более точное представление о достижении результатов и их устойчивости.
  • Еще одна важная группа социальных результатов на выходе из социального приюта или кризисного центра – результаты, связанные с усилением поддержки от социального окружения женщин. Участники не успели обсудить их в ходе дискуссии, но эта тема возникала в связи и с самостоятельным проживанием семьи, и с безопасностью ребенка.

Потенциальные зоны развития, выделенные по итогам семинара:

Есть интерес к инструментам измерения, особенно для оценки благополучия ребенка и качества детско-родительских отношений. Таких инструментов довольно много в сфере профилактики сиротства, но важно учесть специфические возможности и вызовы, которые есть только в стационарной форме проживания (например, возможность длительного наблюдения за детско-родительским взаимодействием в разных контекстах разными сотрудниками и необходимость сделать обобщенные выводы из этих наблюдений, приведя ситуацию «к общему знаменателю»).

Отдельную сложность вызывает согласование измерений на уровне отдельного случая и на уровне практики в целом.

Наиболее опытных участников группы интересуют возможности для анализа и обобщения больших массивов данных, в том числе, цифровые.

Видео-запись встречи доступна по ссылке.

Мероприятие проводилась в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Собранная по итогам предыдущих встреч база знаний представлена в презентации О.Евдокимовой.

Итоги сессии «Мониторинг и оценка, доказательность практик «Кризисные центры»

20 мая в рамках конференции «Приюты для матерей с детьми. Новый этап профилактики социального сиротства в России». Конференция была организована Межрегиональной общественной организацией по содействию семьям с детьми в трудной жизненной ситуации «Аистенок» (Екатеринбург) и Благотворительным фондом «Волонтеры в помощь детям-сиротам» (Москва). 170 специалистов из 126 российских организаций, имеющих в своей структуре приюты для женщин с детьми, приехали  в Екатеринбург.

Отдельная секция была посвящена теме доказательного подхода в повышении эффективности работы приютов для мам с детьми.

«Для того, чтобы произошли системные изменения многого не хватает. Как отличить реально работающую организацию от той, которая работает только на бумаге? Именно поэтому Фонд Тимченко поддерживает развитие доказательных практик этой деятельности», — отметила на открытии Конференции Ксения Франк, Председатель Наблюдательного совета Благотворительного фонда Елены и Геннадия Тимченко, член Совета при Президенте Российской Федерации по реализации государственной политики в сфере защиты семьи и детей.

В начале секции выступила Эльвира  Гарифулина,  канд. соц. наук, руководитель программы «Семья и дети» Фонда Тимченко, доцент МГППУ, г. Москва, с презентацией «Доказательный подход в повышении эффективности работы приютов для мам с детьми: от Стандарта к Реестру, возможности и перспективы». Эльвира рассказала о том, как Фонд Тимченко пришел к необходимости развивать доказательный подход, о том, какие результаты достигнуты за 4 года организациями, вовлеченными в эти процессы и в целом по сектору, какие ближайшие планы.

Ольга Евдокимова (АНО «Эволюция и Филантропия») подробно представила основные этапы создания системы измерения и оценки результатов. В частности,были затронуты следующие темы — Теория изменений ( что это и каково ее место в общей системе планирования и оценки); цепочка социальных результатов (отличие результатов разного уровня и трудности определения и оценки социального эффекта); анализ и вовлечение стейкхолдеров; методика выбора правильных показателей; подходы к сбору и анализу данных и отчетности. Теория была продемонстрирована на конкретных примерах и кейсах. В частности, АллаОсипова ( Аистенок) представила цепочку результатов; Татьяна Скрипка ( Смоленский Дом для мамы) — анализ стейкхолдеров; Елена Андреева рассказала об опыте подбора показателей и методов сбора данных. Презентация Ольга Евдокимовой здесь. Запись на видео-трансляцию по ссылке.

Во второй части семинара, последовательно были рассмотрены следующие кейсы.

  • «Результаты исследований об устойчивости социальных изменений, происходящих с выпускницами кризисных центров на примере проекта МОО «Аистенок». Презентация Аллы Осиповой.
  • Исследования социальных результатов: Сбор обратной связи от выпускниц проекта и сотрудников родильных домов; Расчет стоимости социальных результатов на примере проекта «Теплый дом». Презентация Елены Андреевой.
  • «Считаем быстро и красиво: Закрытый электронный реестр благополучателей Смоленского дома для мамы» . Презентация Татьяны Скрипка (Степановой).

О предыдущих мероприятиях по теме читайте здесь.

Итоги онлайн-семинара «Оценочные исследования практик работы социальных приютов и кризисных центров для матерей с детьми»

12 февраля состоялся онлайн-семинар «Оценочные исследования практик работы социальных приютов и кризисных центров для матерей с детьми».

В мероприятии приняли участие более 40 человек из более чем 20 регионов РФ.

«Семинар является продолжением практической работы тематической группы «Кризисные центры», созданной в 2020 году в рамках проекта «Онлайн-курс по оценке программ в сфере детства». Созданная  специализированная площадка помогает специалистам-практикам повышать компетенции в области мониторинга и оценки, способствует обмену опытом и накоплению  соответствующей базы знаний» — отметила в начале мероприятия Ольга Евдокимова, директор АНО «Эволюция и Филантропия». Ольга напомнила участникам ключевые итоги  первого семинара, которые были взяты за основу при планировании следующего.

Далее  были последовательно  представлены кейсы и опыт следующих организаций:

(1) Исследование долгосрочных результатов для «выпускниц» центра временного проживания: инструмент, процесс и результаты (на примере проекта «Теплый дом» Благотворительного фонда «Волонтеры в помощь детям-сиротам»). 

Т. Арчакова рассказала, почему  было решено проводить оценку устойчивости ключевых результатов практики, озвучила ключевые элементы  дизайна  исследования, обозначила полученные результаты и «выученные уроки». Например, представляя созданный для опроса гайд, Татьяна отметила, что в силу специфики практики,  не получилось использовать известный,  взятый из бизнеса  и  применяющийся также  в НКО инструмент, оценивающий лояльность клиентов (NPS). Часть вопросов оказались не информативными; также было довольно сложно сравнивать ответы бывших подопечных Центра об их текущем уровне благополучия вследствие субъективности  этого понятия. Относительно небольшое количество участников опроса также накладывает свои ограничения. Определенную сложность (большие временные затраты) вызвала обработка интервью, анализ текстов. Татьяна Арчакова особо отметила потенциальную ценность инструмента, который помог бы упростить этот процесс.

Были выделены точки роста практики (работа с окружением) и подтверждена ценность психологической поддержки.  Дополнительным, но довольно значимым результатом  проведенной оценки можно считать выделение значимости для клиенток профессиональной  работы администраторов. «Коммуникация этой ценности административному персоналу окажет положительное влияние на их восприятие собственной деятельности» — считает Е.Андреева. Этот тезис подтверждает и А. Осипова  (МРОО «Аистенок»): « Когда мы рассказывали о результатах нашего исследования команде, наши специалиcты просто расцвели … Этот момент профилактики профессионального выгорания  не менее важен, чем остальные результаты, которые мы получаем».

Используемый в рамках исследования инструментарий доступен в онлайн-базе «Слушай с Пользой!»:

https://base.socialvalue.ru/metody-sbora-obratnoy-svyazi/interv-yu/post-259/

https://base.socialvalue.ru/metody-sbora-obratnoy-svyazi/interv-yu/post-224/

С презентацией Т. Арчаковой можно ознакомиться по ссылке.

Отчет об исследовании будет опубликован в течение некоторого времени.

(2) Расчет стоимости социального результата проекта «Теплый дом» Благотворительного фонда «Волонтеры в помощь детям-сиротам» представила  Е. Андреева. «Это уникальный проект, который мы реализовали совместно с коллегами для повышения уровня доказанности  их практики. Методика расчета социально-экономической эффективности у нас разработана уже довольно давно, мы систематические проводим мероприятия на эту тему, включили эту тему в наш онлайн-курс «Оценка программ в сфере детства». Однако практического опыта пока накоплено совсем немного и мы очень благодарны коллегам за такое новаторство» — отметила Ольга Евдокимова.

Елена Андреева представила Цепочку непосредственных и социальных результатов и методику расчета стоимости каждого. А именно, какие данные были взяты для расчета, как они агрегировались и дезагрегировались, какие были предположения и допущения.

Методика была разработана консультантом АНО «Эволюция и Филантропия» и ее внедрение стало возможным благодаря тому, что все данные по каждому клиенту аккуратно учитывались в рамках проекта «Теплый Дом». Однако, ограничением применения этой методики стал тот факт, что в организации пока нет единой  автоматизированной системы  управления клиентами (CRM) и все данные хранятся в отдельных файлах по каждому клиенту. Сводить  все данные в единый Excel файл было довольно трудоемкое занятие. Также Елена отметила, что до этого проекта сотрудники организации не считали стоимость пожертвований в денежном выражении, соответственно эта работа заняла определенное время. При этом точность  такого перевода имеет свои ограничения.

Важным результатом исследования явился тот факт, что стоимостная оценка социального результата совпала с оценкой ценности изменений, озвученных самими благополучателями. То есть услуги/их результаты, которые требует максимальных  финансовых вложений считается максимально ценными клиентками Центра. Результаты этого проекта будут использованы в фандрайзинге и при коммуникациях с волонтерами.

Получившийся инструмент не самый простой в использовании, и он основан на некотором количестве специфичных для организации допущений. При этом сотрудники проекта вполне его освоили для самостоятельных дальнейших расчетов. Очевидно также, что необходимо дальнейшее накопление данных и соответствующее развитие инструментария. 

Презентация  Е. Андреевой.

Важно отметить, что проведенные оценки позволили нарастить уровень доказанности практики «Теплый Дом»  (в соответствие со Стандартом доказательности практик в сфере детства) до продвинутого. Это единственная на сегодняшний день практика  в Банке доказательных практик  (партнерская инициатива Фонда Тимченко),  имеющая продвинутый уровень по всем критериям. Подробно описание практики  в доказательном ключе можно посмотреть здесь.

(3) Еще одно исследование социальных результатов, достигнутых в ходе оказания помощи семьям с детьми, проживающих в кризисных отделениях представила  Алла Осипова,

МРОО «Аистенок». Оценочное исследование об устойчивости  получаемого эффекта  и отношении благополучателей к вкладу организации была проведено для повышения доказанности практики.  Алла подробно представила дизайн и результаты  исследования, которое было проведено независимым социологом.

Презентация А. Осиповой.

Ссылка на отчет о проведенном исследовании.

Используемый в рамках исследования инструментарий доступен в онлайн-базе «Слушай с Пользой!».

После обсуждения опыта коллег, спикерам и участникам встречи было предложено ответить на вопрос: Какие мотиваторы и барьеры вы видите для развития мониторинга и оценки? В частности, было означено, что специфика практики влияет на «силу внешнего запроса об оценке эффективности». Кризисные центры, с одной стороны,  довольно дорогие практики  (учитывая, что в них проживает небольшое количество женщин в единицу времени) и у доноров  есть потребность понимать социально-экономический эффект от своих социальных инвестиций. При этом оценка устойчивости получаемых результатов и вклад таких инвестиций в дальнейшее благополучие женщины очень важна для доноров. С другой стороны, важно определить границу подотчетности практики и уровень результатов, за которые практика может и должна отвечать, а за которые  — нет.

Дополнительным внутренним мотиватором может служить, как было продемонстрировано в кейсах коллег,  возможность повышения удовлетворенности персонала за счет обсуждения результатов обратной связи от клиенток.

Естественным барьером для развития практик МиО является нехватка компетенций и  времени у специалистов-практиков. Построение системы мониторинга и оценки – длительный процесс, организация должна осознанно подойти к этому процессу и у организации должны быть  хотя бы минимальные ресурсы.  Олеся Деснянская, («Волонтеры в помощь детям-сиротам») считает, что мониторинг и оценка нужны «чтобы не застояться в своей красоте и исключительности», чтобы практика развивалась. 

После обсуждения этого вопроса участникам было предложено заполнить короткую анкету.  Всего было получено 19 ответов. Подавляющее большинство участников опроса ( 15 человек) отметили, что у них начальный или средний уровень компетенций в области мониторинга и оценки. Практически все ответили, что идея формирования сообщества специалистов кризисных центров для развития в них мониторинга и оценки в целом востребована  (19 ответов) и для них лично тоже (14 ответов).

Далее выступила Ольга Евдокимова с презентацией формирующейся базы знаний в области МиО по практикам Кризисные центры. В частности, Ольга представила:

1) Библиотеку Деревьев результатов и Логических моделей: https://pion.org.ru/newpion/library

2) Инструменты сбора обратной связи от благополучателей: https://base.socialvalue.ru/instrumenty—sbora/nayti—instrument/

3) Практики, описанные в соответствии с методологией Стандарта доказательности практик в сфере детстваhttp://deti.timchenkofoundation.org/praktiki/

Также Ольга отметила, что в конце марта откроется онлайн-курс «Оценка программ в сфере детства» и что все желающие могут записываться, оставив свои координаты в анкете. Этот курс может стать хорошим стартом для тех, кто в начале пути.

Презентация О.Евдокимовой.

И в заключении, участники встречи обсудили, в  чем может быть роль сообщества практиков для развития систем МиО в кризисных центрах? Некоторые участники  отметили, что примеры и опыт передовых организаций является мотиватором для остальных специалистов, менее опытных в плане мониторинга и оценки. Было принято решение  дополнительно собрать потребности участников площадки.

Анкета потребностей доступна по ссылке.

Видео-запись семинара доступна по ссылке.

Благодарим за сотрудничество всех спикеров и участников  и ждем вас на  следующем семинаре!

Итоги семинара «Мониторинг и оценка практик работы социальных приютов и кризисных центров для матерей с детьми»

30 сентября состоялся семинар «Мониторинг и оценка практик работы социальных приютов и кризисных центров для матерей с детьми».

Семинар проведен в рамках тематической группы, объединяющей организации и практики, работающие в данной социальной проблематике.

В семинаре приняли участие 32 человека.

Цель тематической группы:

  • популяризация темы мониторинга и оценки социальных практик, использования доказательного подхода к оценке результативности,
  • формирование базы знаний по мониторингу и оценке практик работы кризисных центров/приютов для женщин с детьми – практические наработки, методические ресурсы и пр.,
  • организация площадки для специалистов сферы детства по обмену опытом и поиску решений в области мониторинга и оценки программ, развитие компетенций.

С практической точки зрения семинар дал возможность познакомиться с подходами к измерению результативности практик работы кризисных центров и социальных приютов для матерей с детьми, обсудить типичные сложности, возникающие в процессе мониторинга и оценки проектов.

На семинаре были представлены:

— Типовые результаты и показатели практик работы социальных приютов и кризисных центров – базовые основы системы мониторинга и оценки, на которые можно опираться при разработке собственной системы измерения результатов (А. Горячева, эксперт-координатор АНО «Эволюция и Филантропия». Презентация доступна по ссылке.

— Практические кейсы организаций:

  • Опыт Центра временного пребывания для мам с детьми «Теплый дом» в построении и использовании системы мониторинга и оценки (Т. Арчакова, психолог-методист, БФ «Волонтеры в помощь детям-сиротам») – как складывалась и развивалась система МиО, какие возможности открывает перед организацией. Подробнее смотрите в презентации.
  • Карта результатов Центра временного пребывания для мам с детьми «Теплый дом».

Карта результатов представляет собой подход к планированию и измерению социальных результатов практики, который помогает структурировать всю комплексную работу Центра в единую картину. Подход отражает возникающие у благополучателей проблемы, воздействия практики, ожидаемые изменения (результаты) и стратегии, которые используются для их достижения. Презентация по ссылке.

  • А.Осипова (психолог МОО «Аистенок») представила систему МиО кризисного отделения временного проживания для женщин с детьми в трудной жизненной ситуации. 

И в частности, рассказала о том, как организация подходит к сбору данных, какие инструменты использует, как сопоставляет оценки от трех вовлеченных сторон: проживающих женщин, их близкого окружения и работающих с ними специалистов, а также о границах применимости такого подхода. Подробнее можно ознакомиться в презентации.

В завершении участники прошли короткий опрос на предмет того, несколько материал семинара применим на практике. Большая часть участников достаточно высоко оценили практическую применимость. Также среди участников были организации, которые отметили готовность поделиться своими наработками в области мониторинга и оценки с участниками группы.

Запись семинара доступна по ссылке.

Аналитический отчет по семинару доступен по ссылке.

Семинар проведен в рамках проекта «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется АНО «Эволюция и Филантропия» на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проекта осуществляет также Фонд Тимченко.