Развитие сообщества практиков

10 ноября состоялся онлайн-семинар «Разработка инструмента для оценки детско-родительского взаимодействия», который провела Татьяна Шинина, к.пс.н., доцент Московского городского психолого-педагогического университета, эксперт АНО «Научно-практическая лаборатория “Психологические инструменты”». Семинар был дополнением к работе созданной в 2020 г. тематической группы «Оценка в социальных приютах и кризисных центрах для матерей с детьми». 

Участие в семинаре приняли руководители и специалисты НКО и государственных учреждений. Общее количество участников — 58 человек из 24 регионов. По данным предварительного анкетирования участников, около половины (46%) уже участвовали в предыдущих встречах. См. презентацию Татьяны Арчаковой.

Татьяна Шинина рассказала об опыте разработки методики «Оценка детско-родительского взаимодействия «ECPI» (https://www.lab-family.com/issledovaniya), которая используется в работе семьями, где растут дети младенческого и раннего возраста. Запрос на инструменты оценки детско-родительского взаимодействия возник в процессе реализации проекта «Социальный ТехноПарк “Долина семьи и детства”» в Москве (в рамках государственной программы поэтапного внедрения Профессионального стандарта «Специалист по работе с семьей»).

На основе анализа международного опыта и отечественных разработок (научной школы М.И. Лисиной) были разработаны две части инструмента: описывающее поведение родителя и ребенка в ходе взаимодействия. Наблюдение за ребенком включает в себя 5 маркеров, которые оцениваются во взаимодействии со взрослым и в игре с предметами: фокус внимания, инициативность, средства общения, эмоциональные переживания, а также чувствительность к взрослому или деятельность с предметом. Наблюдение за родителем сфокусировано на маркерах родительской отзывчивости на эмоциональном, физическом, познавательном и действенном уровнях.  

Проявления каждого маркера могут иметь позитивный и негативный полюс. Например, положительное проявление инициативы в адрес взрослого происходит, когда ребенок привлекает внимание взрослого к своим действиям, «тянет за платье»; а отрицательное – «сидит рядом за столом и ничего не делает». Для каждого маркера есть библиотека с примерами: как текстовыми описаниями, так и фрагментами видеосъемки. Их можно использовать для подготовки специалистов, чтобы оценивание было согласованным.

В целях исследования или мониторинга детско-родительское взаимодействие снимается на видео. Затем короткие (10-минутные) фрагменты совместной деятельности анализируются с помощью программы Observer. Альтернатива программному обеспечению – бланки наблюдения. Для поддержки родителей, развития их компетентности, проводится «родительский консилиум». На нем группа родителей смотрит видеофрагменты, снятые в их семьях, и с помощью специалиста отмечает удачные моменты и сильные стороны. Также «родительский консилиум» можно использовать для триангуляции оценок специалистов и родителей.

Освоить программу Observer и методику наблюдения за детско-родительским взаимодействием можно на курсе повышения квалификации в МГППУ (144 ч., дистанционно).

Видео-запись встречи доступна по ссылке. Презентация Татьяны Шининой.

Дополнительные материалы:

• Материалы проекта «Социальный ТехноПарк “Долина семьи и детства”» (описания практик работы с семьей, включая процессы мониторинга их результативности):
  • Портфель специалиста по работе с семьей 1.0
  • Портфель специалиста по работе с семьей 2.0
• Подробное описание инструмента и его теоретических оснований: Детско-родительское взаимодействие и развитие ребенка раннего возраста / под ред. Л.В. Токарской : коллективная монография. – Екатеринбург, 2019. Доступно по ссылке.
• Опыт экспертизы инструмента в профессиональном сообществе: Галасюк И. Н., Шинина Т. В., Иргашев Н. Р., Морозова И. Г., Пасечник О. Н. Открытая  профессиональная экспертиза методики детско-родительского взаимодействия: векторы развития психологического инструментария // Актуальные проблемы психологического знания. Теоретические и практические проблемы психологии № 3 (48) 2018. C. 5 – 24. Ссылка на файл.
• Культурная специфика ожиданий от ребенка и ухаживающих за ним взрослых: Галасюк И.Н., Шинина Т.В., Шведовская А.А., Морозова И.Г., Ефремова Е.В., Нгуен Т.Х., Нгуен Т.Л. Взаимодействие значимого взрослого с ребенком раннего возраста в России и Вьетнаме // Психологическая наука и образование. 2019. Том 24. № 6. С. 47–62. Ссылка.

Мероприятие проводилась в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

13 октября 2021 года состоялась онлайн-встреча тематической группы  «Мониторинг и оценка практик работы с замещающими семьями».

Во встрече участвовал 41 специалист из 20 регионов Российской Федерации, представляющие государственные и некоммерческие организации, работающие с замещающими семьями, 66% уже участвовали в предыдущих встречах.

В первой части встречи Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия» и Наталья Рождественская, доцент кафедры отраслевой экономики и финансов института экономики и управления РГПУ им. А. И. Герцена (г. Санкт-Петербург) рассказали о результатах разработки Теории изменений для практик сопровождения замещающих семей, которые были получены на вебинаре 10.09.2021 г. (см. презентацию).

Любая Теория изменений невозможна без карты или Дерева результатов. Как работа с Деревом результатом влияет непосредственно на практику, изменение системы мониторинга и оценки поделились Вероника Кудрявцева, председатель Ассоциации приемных родителей: усыновителей, опекунов, попечителей г. Санкт – Петербурга (см. подробнее) и Ксения Егорова, юрист Новосибирской городской общественной организации усыновителей «День аиста» (см. подробнее).

Участникам встречи была предоставлена возможность приобрести или отработать навык работы с этим инструментом, используя интерактивные доски Jamboard. Оксана Михайлова, руководитель отдела сопровождения замещающих семей Смоленского областного государственного бюджетного учреждения «Центр психолого-медико-социального сопровождения детей и семей», представила практику подготовки потенциальных кандидатов в замещающие родители их учреждения. Участники встречи в группах, двигаясь от конечного долгосрочного социального результата к промежуточным, среднесрочным и краткосрочным результатам, выстраивали логику и причинно-следственные связи между результатами, определяли влияние активностей на результаты.

По результатам работы в группах участники поделились, какие дискуссии развернулись у них на площадках:

• Является ли долгосрочным результатом практики подготовки потенциальных кандидатов — стабильная семейная система или нужно оставить только снижение риска вторичных возвратов приемного ребенка? Семья приняла ребенка в семью – может этот эффект от школы приемных родителей считаться долгосрочным результатом или нет.
• Выстраивая связи от активностей практики, не всегда то, что раньше казалось очевидным подтверждалось. Например, действительно ли, после прохождения программы подготовки (цикла тренинговых занятий) основным результатом будет принятие ребенка в семью или все –таки важно, чтобы потенциальные кандидаты были готовы принять осознанное решение принять ребенка в семью или взвешивая свои ресурсы и риски, отказаться от данного решения.
• Обнаружили, выстраивая логику, что итоговый зачет по завершению курса подготовки, входящий как активность в данную практику, скорее всего, не является активностью, а должен рассматриваться в дальнейшем как инструмент для сбора данных.

Многие участники отметили, что сложно было двигаться от долгосрочного результата к среднесрочным и краткосрочным, а потом к активностям (обратная логика). Хотелось по привычке рисовать стрелки (устанавливать связи) от действий к результатам.

На встрече среди участников площадки были специалисты, завершившие участие в онлайн-курсе «Оценка программ в сфере детства», которые поделились, что соприкосновение с системой мониторинга и оценки в начале пути кажется очень сложным, но разбираясь, приобретая практический опыт при поддержке экспертов, приходит понимание, на сколько это важный инструмент для понимания влияния своей практики на изменения, происходящие у замещающих семей.

Надеемся, что на следующей встрече тематической группы в ноябре, у нас получится вместе подобрать показатели, которые отражают социальные результаты практики сопровождения замещающих семей и обсудить инструменты к ним.

Более подробно итоги встречи, видеозапись по ссылке.

Мероприятие проводится в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Благодарим всех спикеров и участников!

11 октября состоялась встреча тематической площадки «Мониторинг и оценка практик поддержки семей с особыми детьми», которая была посвящена вопросам отбора и экспертизы инструментов сбора и анализа данных.

Во встрече участвовало 34 специалиста из 21 региона, представляющих государственные и некоммерческие организации, работающие с семьями с особыми детьми.

В начале встречи были представлены ключевые выводы по итогам ранее проделанной работы, а именно выделенные особенности системы МиО практик поддержки семей с особыми детьми и пример разработки теории изменений для таких практик.

Работа продолжилась обзором инструментов, используемых в практиках поддержки семей с особыми детьми и представленных на сервисе ПИОН. О сервисе ПИОН рассказала куратор площадки — Заводилкина О.В.  Анализ представленных инструментов по их видам показал, что чаще всего в практиках используются анкеты и опросники, реже стандартизированные шкалы. При этом предпочтение отдается разработанным внутри практики инструментам.

Среди участников встречи был проведен опрос, который подтвердил представленные в обзоре выводы. Так 93% ответивших на вопрос указали на то, что чаще всего используют анкеты и опросники, разработанные в организации.

Во второй части встречи был представлен новый формат проведений обсуждения открытая блиц-экспертиза инструмента в диалоге с экспертом. Инструмент на экспертизу представила Жимаева Е.М. – руководитель просветительского проекта «Сфера инклюзии» АНО МИКС. В роли эксперта выступила куратор группы Заводилкина О.В.

Вводные данные об инструменте: в настоящий момент инструмент используется для составления индивидуальных планов работы с детьми с ОВЗ. Инструмент направлен на оценку сформированности представлений об окружающем мире.  

Запрос на экспертизу: можно ли использовать получаемые с его помощью данные для оценки социального результата, а именно для оценки повышения уровня сформированности представлений об окружающем мире.

Рекомендации по итогам экспертизы.

1. Адаптировать вопросы к современным условиям жизни ребенка.
2. Продумать систему дополнительных вопросов или использования визуальных помощников, которые дадут возможность оценить, насколько ребенок адекватно понимает содержание вопроса и потенциально имеет данные для ответа.
3. Разбить составные вопросы на отдельные вопросы.
4. Продумать систему перевода системы фиксации ответов   «+», «+/- », «-»  в числовые значения.
5. Определить уровень фиксируемых с помощью данного инструмента изменений в представлениях ребенка, которые могут быть определены как их расширение.

В третьей части встречи участники работали по группам.

Был составлен перечень вопросов к описанию инструмента, ответы на которые помогут организации принять решение, подходит данный инструмент для ее целей или нет.

1. На что направлен инструмент?
2. Какой социальной результат измеряет?
3. К какому методу относится?
4. Есть ли сведения о том, кто разработал, была ли психометрическая проверка, стандартизация, адаптация, модификация?
5. Для какой целевой группы?
6. Кто выступает источником информации?
7. Время заполнения?
8. Что входит в инструмент (бланки, инструкция и т.п.)?
9. Какие есть ограничения при использовании (как часто можно использовать, можно ли оценить динамику, какие условия при применении инструмента надо контролировать («контроль поля»), нужны ли дополнительные компетенции, нужно ли пройти дополнительное обучение и др.)?
10. В каком виде будут представлены индивидуальные результаты?
11. Как измеряется успех по социальному результату?
12. Есть ли примеры использования?
13. Прошел ли инструмент экспертизу и какую именно?

А также были определены: вопросы по инструменту, при ответе на которые организации может потребоваться помощь, удобные формы получения помощи, условия, обеспечивающие доступ к инструментам и их тиражирование, представлен разработанный одной из групп пример цепочки действий при желании получить помощь при выборе инструмента.

В продолжение работы площадки было решено:

1. Организовать сбор инструментов для общей базы инструментов практик поддержки семей с особыми детьми, которые могут быть использованы в целях мониторинга и оценки.

2. Составить чек-лист для самостоятельного принятия решения о том, подходит ли инструмент под задачи практики и обсудить его на следующей встрече.

3. Продолжить проведение экспертных встреч, как общих, так и индивидуальных.

Записаться на экспертизу можно по ссылке.

Смотрите видео-запись встречи.

Мероприятие проводится в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

4 октября состоялась онлайн встреча тематической группы «Социальные приюты и кризисные центры для матерей с детьми» — «Как мы разрабатывали систему мониторинга социальных приютов и кризисных центров для матерей с детьми».  

Задачи тематической группы:

• Популяризация темы мониторинга и оценки социальных практик, использования доказательного подхода к оценке результативности.
• Формирование базы знаний по мониторингу и оценке практик работы социальных приютов и кризисных центров для матерей с детьми – практические наработки, методические ресурсы и пр.
• Организация площадки по обмену опытом и поиску решений в области мониторинга и оценки практик, программ, проектов, развитие компетенций.

Участие в семинаре приняли руководители и специалисты НКО и государственных учреждений. Общее количество участников — 34 человека. По данным предварительного анкетирования участников, две трети из них (68%) уже участвовали в предыдущих встречах.

Модератором встречи выступила Татьяна Арчакова, психолог-методист БДФ «Виктория». В начале встречи она напомнила о результатах работы группы на предыдущих встречах и ответила на запрос, озвученный в ходе анкетирования. Ольга Евдокимова представила первые результаты по разработке Теории изменений, сделанные тематической группой «Социальные приюты и кризисные центры для матерей с детьми» на семинаре 10.09.21. Презентация доступна по ссылке.

В основной части встречи специалисты, завершившие участие в онлайн-курсе «Оценка программ в сфере детства», поделились тем, что изменили или добавили в свои системы мониторинга с учетом знаний и навыков, полученных на курсе.

Мария Егорова, сотрудник Международного детского фонда «Дети Саха-Азия», представила рабочую версию теории изменений проекта «Временный приют для семей с детьми в городе Якутске». После этого участники встречи работали в 3 группах, предлагая обратную связь по логике, представленной в теории изменений, и обсуждая факторы, способствующие достижению социальных результатов. Они предложили:

• Продумать отдельные «ветви» теории изменений для женщин, которые находятся в трудной жизненной ситуации по социально-экономическим причинам, и женщин, которые подверглись домашнему насилию.
• Уточнить формулировки социальных результатов: некоторые стоит сделать позитивными (Если результат «Снятие нестабильности…», то какое именно состояние надо достичь вместо нестабильности?), некоторые – более конкретными.

Дискуссию вызвал результат «Матери знают и применяют алгоритмы решения проблем». Должны ли они справляться с этой задачей при любых условиях или в сложных кейсах все равно должны участвовать специалисты? Идеи про мотивацию и самостоятельность благополучателей, которые влияют на работу с семьями в кризисной ситуации, тоже нужно фиксировать в теории изменений. Убеждения и ценности команды можно рассматривать в качестве допущений: ведь это те основания, которые специалисты выбрали для себя и не планируют менять.

Еще один многогранный результат — «Восстановлены отношения с близким окружением». Чтобы он способствовал удовлетворению потребностей ребенка, как это указано в теории изменений проекта, важно иметь в окружении людей, которые и готовы, и могут (умеют, имеют ресурсы) для «правильной» помощи. А если мы тщательно исследуем их ресурсы и пытаемся на них повлиять, не становится ли близкое окружение матери и ребенка еще одной целевой группой проекта?

Ольга Лим, руководитель Хабаровской краевой общественной организации «Чужих детей не бывает» коротко представила результаты того, как вся команда дорабатывала системы мониторинга Службы помощи женщинам с детьми в трудной жизненной ситуации “Мама рядом”. Коллеги систематизировали целевые группы программы; разделили всю деятельность по программе на разные проекты и подпрограммы; тщательнее проработали социальные результаты и показатели – показали это на примере результата «Повышение уровня удовлетворения базовых потребностей ребенка». Презентация доступна по ссылке.

Ольга Лим и ее коллеги поделились опытом знакомства новых сотрудников со сферой мониторинга и оценки. После этого участники встреча работали в 3 группах над созданием чек-листа с простыми шагами для включения новичков в эту тему. Вот некоторые идеи из дискуссии:

• Руководитель должен быть готов создать условия для обучения (выделить часть рабочего времени)
• Нужен наставник в тематике МиО (методический работник / руководитель / куратор проекта / человек, который пишет отчетность)
• Сначала достаточно познакомить нового сотрудника с его зоной ответственности по сбору данных
• Затем важно познакомить его со всеми программами и проектами организации, чтобы он понял свое место в общей системе – и только тогда добавлять новую информацию о МиО
• Теория изменений может служить наглядным материалом для нового сотрудника
• Когда новых сотрудников много, нужен вводный курс
• Обсуждение социального эффекта может работать как сонастройка ценностей с новым сотрудником (ради чего он пришел к нам работать)

Также участники выделили «болевые точки», с которыми руководители сталкиваются в процессе инструктирования новых сотрудников:

• В организации может существовать много наработок по мониторингу, но они не описаны или описаны непонятно для внешнего читателя, не систематизированы в базу знаний
• У сотрудников может возникать сопротивление обучению мониторингу, если мы предлагаем им повысить уровень компетенций «вообще». Решение этой проблемы – показывать связь МиО и пользы для практики: Какие выводы о причинах трудностей можно сделать из собранных данных? Какие «подсказки» по решению проблем в них можно найти?

Видео-запись встречи доступна по ссылке.

Мероприятие проводилась в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

6 октября 2021 года состоялась онлайн-встреча тематической группы  «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений».

Во встрече участвовало 38 специалистов из 15 регионов Российской Федерации, представляющие государственные и некоммерческие организации, работающие с детьми и молодыми людьми с опытом сиротства. 70% участников ранее были участниками встреч тематической группы.

В первой части встречи Ирина Бобылева, куратор группы, эксперт БФ «Расправь крылья!», представила результаты работы по построению Теории изменений для практик социализации и адаптации подростков и молодых взрослых,  участников онлайн-курса «Оценка программ в сфере детства».  

А выпускники курса рассказали о том, как обучение и участие в верификации практики повлияло на изменение систем мониторинга и оценки их практик: разработаны деревья результатов и логические модели, сделаны шаги для включения воспитанников и выпускников в процесс разработки дизайна исследования и сбора данных. Подробнее в презентации.

Во второй части встречи Марина Ушакова, директор Центра помощи детям, оставшимся без попечения родителей, «Акварель» города Челябинска представила практику «Взлет» и элементы ее системы мониторинга и оценки. Практика направлена на подготовку воспитанников организации для детей-сирот и детей, оставшихся без попечения родителей, к самостоятельной жизни. Активности практики направлены на две целевые группы: предвыпускники (за 2-1 года до выхода из детского дома) и выпускники. Презентация М. Ушаковой доступна по ссылке.

При помощи интерактивной доски Jamboard участники встречи:  практиковались выстраивать цепочку социальных результатов и связей между ними, а также подбирать показатели к социальным результатам представленной практики «Взлет».  

В ходе групповой работы участники встречи пришли к заключениям:

• выстраивая дерево результатов важно: не расширять, «выдерживать» границы практики, проверять связи на необходимость и достаточность;
• при подборе показателей к социальным результатам важно держать в фокусе динамику самостоятельности выпускника, которую можно увидеть в уменьшении помощи со стороны специалистов, а также в усложнении решаемых выпускником задач;
• предпочтителен выбор методики «360» , которая включает в источники данных все окружение выпускника: специалистов (длительно сопровождающих и оказывающих кратковременные услуги), его самого и других выпускников;
• выбирать оценочные инструменты, уменьшающие субъективное влияние специалиста, а также привлекать к оценке самих воспитанников и выпускников.

В третьей части встречи Галина Семья, сопредседатель экспертного совета Комитета Госдумы Российской Федерации по вопросам семьи, женщин и детей, международный эксперт представила основные тренды в изучении благополучия, примеры международных моделей исследования благополучия, методику оценки субъективного благополучия воспитанников детского дома.

Основные тезисы выступления:

1. В настоящее время при изучении благополучия происходит переход от удовлетворения базовых нужд к обеспечению качества жизни, от негативной направленности к позитивной, от обеспечения счастливого будущего к благополучию в настоящем. Концепция благополучия шире защиты прав.
2. Субъективное благополучие воспитанников организаций для детей-сирот – это удовлетворенность ребенка (подростка) системой своих  отношений:
3. к себе – считает себя привлекательным внешне и по характеру, считает, что другие его положительно оценивают; положительно оценивает свои умения и навыки, образовательные достижения;
4. к другим – имеет взрослых, с которыми можно построить доверительные отношения в самой организации, и вне ее; имеет удовлетворяющие его отношения с детьми (сверстниками) в организации и вне ее;
5. со средой – живет в условиях физической и психологической  безопасности, имеет возможность вести такую же жизнь, как и другие дети («нормализация жизни»), его мнение учитывается при решении вопросов, связанных с его жизнью, будущим и т.д., знает свои права и умеет ими пользоваться;
6. к своему хронотопу (истории жизни).
7. Модель, ставшая основой для разработки опросников (в соответствии с возрастными группами: «дошкольники», дети с 7 до 12 лет, старшие подростки) включает 11 содержательных блоков: «Удовлетворенность своими умениями и навыками, общей эффективностью», «Личностный потенциал». «Общее самочувствие», «Поддерживающая сеть», «Безопасность», «Права», «Учет мнения ребенка», «Самочувствие ребенка в организации», «Нормализация жизни», «Будущее». «Социально – демографический».

Подробнее в презентации.

Мы хотим сделать работу группы максимально полезной для ее участников и просим ответить на небольшую анкету.

Мероприятие проводится в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Благодарим всех спикеров и участников!

Видео-запись семинара доступна по ссылке.

11 августа состоялась встреча тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми».

Во встрече участвовало 62 специалиста из 22 регионов, представляющих государственные и некоммерческие организации, работающие с семьями с особыми детьми.

Запись встречи доступна по ссылке.

В начале встречи выступила Ольга Заводилкина, которая рассказала о фокусе работы площадки и поделилась с участниками информацией о возможностях онлайн-сервиса ПИОН. Презентация доступна по ссылке.

В первой части встречи участники обсудили особенности системы мониторинга и оценки практик поддержки семей с особыми детьми. С импульсным сообщением «Взгляд 360◦» выступила Елизавета Романова, директор Ресурсного центра помощи людям с ментальными нарушениями «Вера. Надежда. Любовь». Она рассказала о практическом воплощении принципа триангуляции в инструменте оценки готовности семьи с особым ребенком к участию в решении вопросов, связанных с его жизнеустройством после совершеннолетия. Презентация доступна по ссылке.

В ходе групповой работы и обсуждения с приглашенным экспертом Наталией Фреик были выделены особенности системы МиО, относящиеся к выбору методов и инструментов мониторинга и оценки, источников информации, определению процедур и графика сбора данных.

Вот некоторые из них:

• При выборе метода необходимо убедиться, что метод линейно связан с параметром, который достоверно значим в клинической практике.
• Так как работа с детьми длится продолжительное время, необходимо использовать сквозные инструменты, адекватные задачам практики в течении всего времени оказания поддержки.
• Необходимо  сочетать разные методы, не только статичные, но и динамичные. Например, использование ретроспективного видео, его кодирования и т.д.
• Включать в качестве источников информации ближайшее окружение ребенка: родителей, других членов семьи, специалистов, которые работают с ребенком и семьей.
• При составлении графика сбора данных учитывать общую длительность работы с семьей
• Использовать гетерохронность в сборе данных (разные данные собираются в разное время)

Работа над выделением особенностей системы МиО практик поддержки семей с особыми детьми будет продолжена на следующих встречах тематической группы.

Во второй части встречи фокус внимания сместился на обсуждение системы МиО   как динамической системы, которая может и должна меняться в соответствии с запросами практики.

Своим опытом внесения изменений в систему МиО с целью повышения уровня доказанности практики поделились Яна Зятикова  ( Бюджетное учреждение социального обслуживания Вологодской области «Комплексный центр социального обслуживания населения города Череповца и Череповецкого района «Забота»), см. презентацию, и Елена Лянгузова (Региональная общественная организация родителей детей-инвалидов «Дорогою добра» Кировской области), см. презентацию.

Коллеги поделились, какие изменения они внесли в свои системы МиО после прохождения верификации своих практик в соответствие с доказательным подходом и переходе к реализации планов повышения доказанности, какие рекомендации экспертов они получили и как именно их учли.  А также рассказали, что еще может быть стимулом для внесения изменений в инструменты мониторинга и оценки. Например, как обратная связь от родителей особых детей повлияла на инструмент сбора данных.

В заключении встречи участники поделились своими новостями в области мониторинга и оценки, а также внесли предложения по дальнейшей работе группы.

Мы хотим сделать работу группы максимально полезной для ее участников и просим ответить на небольшую анкету.

Итоги онлайн-встречи «Мониторинг и оценка практик работы с замещающими семьями»

5 августа 2021 года состоялась онлайн-встреча тематической группы  «Мониторинг и оценка практик работы с замещающими семьями», в которой приняли участие 34 человека из 14 регионов РФ.

В начале мероприятия Светлана Строганова, куратор группы, эксперт БФ «Арифметика добра», обозначила основные содержательные вопросы встречи и заметила, что внедрение различных методов мониторинга и оценки важна не только для работы с донорами и заявками на грант, но и для оценки эффективности практики и ее улучшения.

Далее Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», рассказала о проекте «Оценка в сфере детства: развитие сообществ практиков», в рамках которого проходила тематическая группа. Ольга рассказала о задачах этой группы, сделала ретроспективу предыдущих встреч, обозначила основные зоны развития в области мониторинга и оценки организаций, работающих с замещающими семьями. Презентация О.Евдокимовой.

Татьяна Дробышевская, эксперт благотворительного фонда «Найди семью», представила результаты оценки Федеральной дистанционной службы поддержки замещающих семей. Презентация Татьяны Дробышевской.

Дмитрий Савва, автор исследования «Зоны роста» Фонда «Друзья», ментор Московской школы профессиональной филантропии  и операционный директор группы «Кашемир и шелк». Он рассказал об основных понятиях и формировании цепочки социальных результатов  (ЦСР).  Презентация Дмитрия Саввы.

Модель цепочки социальных результатов Клуба приемных семей БФ «Арифметика Добра» представила куратор группы Светлана Строганова. Светлана, в частности, рассказала  о мониторинге работы клуба и социальных результатах. Презентация Светланы Строгановой.

Участники семинара также работали в группах и составляли различные цепочки результатов – от оценки эффективности отдельных услуг до оценки эффективности передачи технологий. С результатами групповой работы вы можете познакомиться здесь.

В конце встречи участники поделились последними новостями, в том числе  с изменениями в системах МиО своих организаций, задачами их развития, а также обратной связью на особо затронувшие вопросы встречи.

Видео-запись встречи.

Мероприятие проводилось в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Итоги  предыдущих встреч можно посмотреть здесь и здесь. 

27 июля состоялась онлайн встреча тематической группы «Социальные приюты и кризисные центры для матерей с детьми» — «Универсальная логическая модель проекта для социальных приютов и кризисных центров для матерей с детьми».

Участие в семинаре приняли руководители и специалисты НКО и государственных учреждений. Общее количество участников — 35 человек.

Задачи тематической группы:

• Популяризация темы мониторинга и оценки социальных практик, использования доказательного подхода к оценке результативности.
• Формирование базы знаний по мониторингу и оценке практик работы социальных приютов и кризисных центров для матерей с детьми – практические наработки, методические ресурсы и пр.
• Организация площадки по обмену опытом и поиску решений в области мониторинга и оценки практик, программ, проектов, развитие компетенций.

Модератором встречи выступила Татьяна Арчакова, психолог-методист БДФ «Виктория».

Предварительное анкетирование участников встречи показало, что их ожидания были направлены на:

• повышение компетенций в области мониторинга и оценки (32%) ;
• на участие во встрече в целом, с одинаковой заинтересованностью во всех вопросах (33%);
• знакомство с опытом коллег (16%);
• обсуждение актуальных задач для развития системы МиО (11%) ;
• нахождение конкретных решений для развития системы МиО в их организации (8%).

Большинство участников оценили уровень своих компетенций в сфере МиО как средний (57%) или низкий (40%).

80% зарегистрировавшихся на встречу ранее не принимали участия в работе тематической группы.

С учетом того, что на встречу пришло много начинающих с явным запросом на повышение компетенций, в первой части семинара Татьяна Арчакова кратко напомнила о структуре логических моделей: деятельности – ресурсов – непосредственных и социальных результатов – показателей. Презентация доступна по ссылке.

Участники встречи, у которых уже есть опыт работы по разработке логических моделей проектов (ЛМП) отметили пользу от их разработки:

• Использование ЛМП для прикладных исследований (например, для разработки интервью с выпускницами)
• возможность не просто структурировать свою деятельность, но и лучше понять ее границы – начать разработку дополнительных проектов (например, сопровождение выпускниц с ментальными нарушениями)
• возможность сделать формулировки социальных результатов и подходы к их измерения более сфокусированными (например, переопределить все позитивные изменения у детей, женщин и семей в целом через призму именно благополучия ребенка)

Далее участники обсудили, в чем может быть ценность универсальной ЛМП (набора результатов и показателей) для социальных приютов и кризисных центров для матерей с детьми.

• Организации, которые впервые вводят мониторинг, могут заимствовать и адаптировать для себя
• Организации, имеющие систему мониторинга, могут дополнять ее, когда видят:
  • Свою «зону ближайшего развития»
  • Необходимость ввести новые / скорректировать имеющиеся социальные результаты и показатели, потому что изменились потребности целевой группы и специфика работы с ними
• Возможность не «изобретать велосипед» с показателями для узких целевых подгрупп
• Помогает выделять изменения, которые выходят за рамки запланированных
• Помогает понять запрос на новые инструменты измерения
• Возможность агрегировать данные о результатах работы многих организаций

Участники семинара отметили, что самостоятельная разработка ЛМП «с нуля» приносит много пользы команде, не всегда ее стоит заменять трансляцией опыта и готовыми «конструкторами». Также есть позитивный опыт заимствования некоторых элементов системы мониторинга (с последующей их адаптацией) одним кризисным центром у другого в ходе стажировок и дальнейшего регулярного сотрудничества (близкий по формату к индивидуальному коучингу).

Во второй части семинара при помощи интерактивной доски Jamboard обсуждались социальные результаты на выходе из социального приюта / кризисного центра и показатели к ним, взятые из описания практик:

• Хабаровская краевая общественная организация «Чужих детей не бывает», «Мама рядом» https://pion.org.ru/static/files/sbornik.pdf
• БФ «Волонтеры в помощь детям-сиротам», Центр временного проживания для матерей с детьми «Теплый дом» (Москва) https://deti.timchenkofoundation.org/2021/01/28/centr-vremennogo-prozhivanija-dlja-materej-s-detmi-teplyj-dom https://deti.timchenkofoundation.org/2021/01/28/centr-vremennogo-prozhivanija-dlja-materej-s-detmi-teplyj-dom
• ОГКУСО «Социально-реабилитационный центр для несовершеннолетних «Причал надежды» в г. Ульяновске, «Останься со мной» https://deti.timchenkofoundation.org/2021/02/09/ostansja-so-mnoj 
• МОО по содействию семьям с детьми в трудной жизненной ситуации «Аистенок» (Свердловская область), «Сохраним семью для ребенка» https://deti.timchenkofoundation.org/2020/04/07/sohranim-semju-dlja-rebenka

Дискуссия строилась вокруг следующих вопросов:

• Какие варианты социальных результатов и показателей кажутся вам полезными? (Какие вы хотели бы измерять у себя?) Почему?
• Какие формулировки вызывают у вас вопросы или кажутся неточными? Почему?
• Какие социальные результаты измеряете вы? Какими показателями при этом пользуетесь? Какие вы можете добавить из вашей практики?

Для обсуждения участники поделились на 2 группы, обсуждавшие социальные результаты и показатели, описывающие:

1. Самостоятельное проживание матери с ребенком
2. Безопасность ребенка и удовлетворение его потребностей
3. Усилением поддержки от социального окружения матерей (не обсуждались)

Ключевые выводы:

• Полезно сформулировать социальные результаты и показатели для тех женщин, которые по объективным причинам не могут жить с ребенком самостоятельно после выхода из социального приюта или кризисного центра
• Важно проанализировать деятельность по сопровождению матерей с детьми после выхода (передачу в другие проекты внутри организации или межведомственным партнерам) – отделить непосредственные результаты (например, рост информированности о доступных услугах) от социальных (например, мотивацию к развитию родительских навыков и приверженность занятиям в Клубе для мам)
• Во многих существующих формулировках социальных результатов и показателей есть конструкты («имеющих место постоянного проживания», «улучшивших материальное положение», «регулярно удовлетворяющих потребности ребенка»…), которые можно конкретизировать, чтобы получить более точное представление о достижении результатов и их устойчивости.
• Еще одна важная группа социальных результатов на выходе из социального приюта или кризисного центра – результаты, связанные с усилением поддержки от социального окружения женщин. Участники не успели обсудить их в ходе дискуссии, но эта тема возникала в связи и с самостоятельным проживанием семьи, и с безопасностью ребенка.

Потенциальные зоны развития, выделенные по итогам семинара:

Есть интерес к инструментам измерения, особенно для оценки благополучия ребенка и качества детско-родительских отношений. Таких инструментов довольно много в сфере профилактики сиротства, но важно учесть специфические возможности и вызовы, которые есть только в стационарной форме проживания (например, возможность длительного наблюдения за детско-родительским взаимодействием в разных контекстах разными сотрудниками и необходимость сделать обобщенные выводы из этих наблюдений, приведя ситуацию «к общему знаменателю»).

Отдельную сложность вызывает согласование измерений на уровне отдельного случая и на уровне практики в целом.

Наиболее опытных участников группы интересуют возможности для анализа и обобщения больших массивов данных, в том числе, цифровые.

Видео-запись встречи доступна по ссылке.

Мероприятие проводилась в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Собранная по итогам предыдущих встреч база знаний представлена в презентации О.Евдокимовой.

23 июля 2021 года состоялась онлайн-встреча тематической группы  «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений», в которой приняли участие 47 человек.

В начале мероприятия Ирина Бобылева, куратор группы, эксперт БФ «Расправь крылья!», обозначила основные содержательные вопросы встречи, а также напомнила участникам ключевые итоги первого семинара: основные выявленные проблемы в МиО практик, работающих в данной социальной сфере, а также возможные решения данных проблем (точки роста). Подробнее в презентации.

Далее Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», рассказала о проекте «Оценка в сфере детства: развитие сообществ практиков», в рамках которого проходила тематическая группа. Были анонсированы возможности проекта для развития МиО: прохождение онлайн курса «Оценка проектов и программ в сфере детства», работа четырех тематических площадок, кастомизированная поддержка (набор НКО по конкурсу).

Была представлена методическая база для системы МиО:

1. Онлайн-сервис ПИОН: Планирование, измерение и оценка социальных результатов: https://pion.org.ru/newpion/select-library
2. Онлайн-база «Слушай с пользой!»: Инструменты сбора обратной связи от благополучателей: https://base.socialvalue.ru/
3. Реестр (банк) доказательных практик: Практики, описанные в соответствии с методологией Стандарта доказательности практик в сфере детства: http://deti.timchenkofoundation.org/praktiki/

Ольга подчеркнула: «В настоящий момент уже собрана большая методическая база и повышение ее востребованности – это задача, которую мы видим перед собой». Презентация О. Евдокимовой по ссылке.

Перед выступлением следующего спикера всем участникам было предложено ответить на три вопроса. Большинство ответивших отметили, что в их организации нет IT системы для мониторинга и оценки, но, по их мнению, ее наличие обязательно, а основными информантами в системе МиО являются и подростки/выпускники и специалисты.

В основной части встречи были представлены практические кейсы.

Натан Гельман, руководитель программ развития и подготовки кадров израильской некоммерческой организации «Ламерхав» представил систему мониторинга практики менторинга молодых людей, не имеющих семейной поддержки.

Причины появления системы мониторинга: большой объем поступающей информации, в которой стало сложно ориентироваться; поиск ответа на вопросы: как оценить происходящие изменения, куда стоит вкладывать ресурсы, как более эффективно планировать деятельность.

Основные характеристики системы мониторинга в Ламерхав:

1. построена через призму ментора как основного заказчика: заложена информация, необходимая ему для планирования (отражает реальную ситуацию его подопечных) и для оценки своей работы;
2. включает внутренний и внешний мониторинг.  Внутренний мониторинг отражает повседневную  деятельность ментора и является базовым ресурсом для руководства проектом. Внешний мониторинг включает анкетирование ментора и сопровождаемого один раз в полгода. При этом в анкеты включены одинаковые вопросы о положении молодого человека, участника программы;
3. в ее разработке принимали участие и менторы и молодые люди, что повысило их мотивацию проведения; 
4. является IT системой, что позволяет автоматизировать работу и показать наглядный результат.

Роль мониторинга в том, что он дает возможность увидеть общую картину и основные тенденции изменений. Менторы и участники программы получают возможность остановиться и подвести итоги. А это очень важно, особенно для длительного процесса сопровождения, как в программе Ламерхав. Подробнее в презентации.

В следующем выступлении Наталья Потапова, педагог-психолог Центра содействия семейному воспитанию и постинтернатного сопровождения Владимирской области рассказала об инструменте для измерения готовности к самостоятельной жизни выпускников организаций для детей-сирот (пакет диагностических методик) и результаты его применения.

Инструмент направлен на оценку социально-психологических особенностей воспитанников, которые могут быть рассмотрены как важные внутренние ресурсы для преодоления социального кризиса при переходе к самостоятельной жизни. Он применяется организацией более 3 лет. Результаты оценки используются на индивидуальном уровне (для разработки индивидуального плана подготовки к выпуску и анализа его реализации) и на групповом уровне (для внесения изменений в работу одного или нескольких учреждений для сирот). Презентация Н. Потаповой по ссылке.

В конце встречи участники поделились последними новостями, связанными с  МиО, в том числе изменениями в системах МиО своих организаций, задачами их развития, а также обратной связью на особо затронувшие вопросы встречи.

Татьяна Подушкина, заведующий сектором «Центр доказательного социального проектирования» Центра прикладных психолого-педагогических исследований рассказала о результатах ряда методологических семинаров  по поиску форм изучения эффектов от реализации программ, в том числе серии семинаров по оценке социально-экономических эффектов программ поддержки трудоустройства молодых людей с низкими стартовыми возможностями. Обозначена задача партнерства академической науки и программной оценки с использованием мягкого исследовательского дизайна.

Роман Лебедев, заместитель руководителя ресурсного центра «Большая Переменена» сообщил, что в прошлом году их практика вошла в реестр доказательных практик, и в настоящее время идет доработка ЛМП, стоят задачи оценки экономического эффекта, разработки инструментов для сбора данных.

Катерина Селенина, БФ «Надежда», рассказала историю движения фонда в развитии системы МиО. В настоящий момент фонд проводит лонгитюдные исследования и разрабатывает чувствительные измерительные инструменты, позволяющие решать задачи профилактики.

Вероника Тардова,  психолог-куратор МОО «Старшие Братья Старшие Сестры», обозначила задачу доработки системы МиО, в ответ на расширение целевой группы практики наставничества выпускниками.

Юлия Богданова, старший менеджер КСО компании КПМГ, оценила возможности и ограничения применения зарубежного опыта в российской практике.

Мероприятие проводится в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Благодарим всех спикеров и участников!

Видео-запись семинара доступна по ссылке.

20 мая в рамках конференции «Приюты для матерей с детьми. Новый этап профилактики социального сиротства в России». Конференция была организована Межрегиональной общественной организацией по содействию семьям с детьми в трудной жизненной ситуации «Аистенок» (Екатеринбург) и Благотворительным фондом «Волонтеры в помощь детям-сиротам» (Москва). 170 специалистов из 126 российских организаций, имеющих в своей структуре приюты для женщин с детьми, приехали  в Екатеринбург.

Отдельная секция была посвящена теме доказательного подхода в повышении эффективности работы приютов для мам с детьми.

«Для того, чтобы произошли системные изменения многого не хватает. Как отличить реально работающую организацию от той, которая работает только на бумаге? Именно поэтому Фонд Тимченко поддерживает развитие доказательных практик этой деятельности», — отметила на открытии Конференции Ксения Франк, Председатель Наблюдательного совета Благотворительного фонда Елены и Геннадия Тимченко, член Совета при Президенте Российской Федерации по реализации государственной политики в сфере защиты семьи и детей.

В начале секции выступила Эльвира  Гарифулина,  канд. соц. наук, руководитель программы «Семья и дети» Фонда Тимченко, доцент МГППУ, г. Москва, с презентацией «Доказательный подход в повышении эффективности работы приютов для мам с детьми: от Стандарта к Реестру, возможности и перспективы». Эльвира рассказала о том, как Фонд Тимченко пришел к необходимости развивать доказательный подход, о том, какие результаты достигнуты за 4 года организациями, вовлеченными в эти процессы и в целом по сектору, какие ближайшие планы.

Ольга Евдокимова (АНО «Эволюция и Филантропия») подробно представила основные этапы создания системы измерения и оценки результатов. В частности,были затронуты следующие темы — Теория изменений ( что это и каково ее место в общей системе планирования и оценки); цепочка социальных результатов (отличие результатов разного уровня и трудности определения и оценки социального эффекта); анализ и вовлечение стейкхолдеров; методика выбора правильных показателей; подходы к сбору и анализу данных и отчетности. Теория была продемонстрирована на конкретных примерах и кейсах. В частности, АллаОсипова ( Аистенок) представила цепочку результатов; Татьяна Скрипка ( Смоленский Дом для мамы) — анализ стейкхолдеров; Елена Андреева рассказала об опыте подбора показателей и методов сбора данных. Презентация Ольга Евдокимовой здесь. Запись на видео-трансляцию по ссылке.

Во второй части семинара, последовательно были рассмотрены следующие кейсы.

• «Результаты исследований об устойчивости социальных изменений, происходящих с выпускницами кризисных центров на примере проекта МОО «Аистенок». Презентация Аллы Осиповой.
• Исследования социальных результатов: Сбор обратной связи от выпускниц проекта и сотрудников родильных домов; Расчет стоимости социальных результатов на примере проекта «Теплый дом». Презентация Елены Андреевой.
• «Считаем быстро и красиво: Закрытый электронный реестр благополучателей Смоленского дома для мамы» . Презентация Татьяны Скрипка (Степановой).

О предыдущих мероприятиях по теме читайте здесь.