3 декабря 2021 года состоялся онлайн-семинар «Верификация доказательных практик в сфере профилактики социального сиротства». В работе семинара приняли участие 24 специалиста сферы детства.
В начале встречи Татьяна Арчакова, психолог-методист БДФ «Виктория», представила типичные ошибки при описании практик в доказательном ключе во всех разделах доказательного анализа (презентация).
Во второй части встречи был представлен опыт БФ «Волонтеры в помощь детям-сиротам» (г. Москва). Елена Андреева рассказала о повышении уровня доказанности практики «Профилактика отказов от новорожденных», которая уже проходила верификацию в Реестр доказательных практик в 2020 г. Презентация доступна по ссылке.
Также участники обсудили свой опыт прохождения верификации. Они отметили, что одна из самых сложных задач – единообразное, согласованное представление всех данных; ведь система мониторинга периодически меняется и дополняется. Значимый фактор успеха – серьезное отношение к рекомендациям верификатора. Некоторые участники задавали верификаторам подробные уточняющие вопросы; некоторые – расставляли приоритеты в работе по принципу «светофора», выделяя те рекомендации, за воплощение которых берутся сразу («зеленый»), которые учтут во вторую очередь («желтый») или оставят «на вырост» («красный»).
В третьей части семинара прошла публичная верификация практики «Технология семейного наставничества как форма социального сопровождения семьи, находящейся в трудной жизненной ситуации «Выход»» (АНО «Моя семья», Ярославская обл.). Участники обсудили раздел «Обоснованность практики» и сравнили оценки, получившиеся в двух малых группах – они получились вполне согласованными.
Основные выводы спикеров и участников семинара:
Описание практики в русле Стандарта доказательности и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко стимулирует не только повышение доказанности, но и в целом описанию и трансляции интересных практик
Опора на Стандарт доказательности позволяет добиться высокой согласованности оценок даже у неопытных верификаторов
Повышение уровня доказанности с начального до базового часто достижимо за счет более логичного и четкого описания; привлечения релевантных внешних источников (например, обоснованности с т.з. научных теорий и прикладных исследований); структурирования уже имеющихся данных мониторинга. Повышение уровня доказанности с базового до продвинутого уже требует активных действий, например, проведения собственных исследований или внешней оценки; сбора данных от более широкого круга стейкхолдеров.
Одним из самых сложных для заполнения оказывается п. 4.2 «Какие есть данные, подтверждающие обоснованность применения практики с точки зрения профессионального опыта и экспертизы?» Он поднимает вопросы: Сложилось ли профессиональное сообщество в этой тематике? Каковы форматы, время и место для экспертизы практик в сообществе? Как интерпретировать те или иные профессиональные награды за реализацию практики?
7 декабря 2021 года состоялась онлайн-встреча тематической группы «Практики работы с замещающими семьями». На встрече представили свои кейсы организации, которые прошли независимую верификацию в рамках Конкурса Фонда Тимченко «Реестр доказательных практик» в 2021 г. Презентация доступна по ссылке.
Надежда Шаповалова, заместитель руководителя ФДСППС Благотворительного фонда содействия семейному устройству «Найди семью» рассказала о практике Федеральной дистанционной службы поддержки приемных семей (презентация).
Елена Морева, методист Бюджетного учреждения социального обслуживания для детей-сирот и детей, оставшихся без попечения родителей, Вологодской области «Череповецкий центр помощи детям, оставшимся без попечения родителей, «Наши дети» поделилась практикой подготовки и сопровождения профессиональной приемной семьи для подростка (презентация).
Зинаида Шахурдина, руководитель проекта и Алия Жапарова, педагог — психолог Государственного бюджетного учреждения Республики Саха (Якутия) «Республиканский центр содействия семейному воспитанию» представили практику о ресурсной группе для замещающих семей (презентация).
Коллеги рассказали, как готовились к верификации, о полученных результатах — уровнях доказательности по разным компонентам, какие рекомендации от экспертов получили и поделились планами повышения уровня доказанности на 2022 г..
Все спикеры отметили, что участие в Конкурсе помогло систематизировать практику и структурировать доказательную базу.
Очень полезной, интересной была встреча с Ириной Меркуль, кандидатом психологических наук, доцентом кафедры Обуховой МГППУ. Ирина Анатольевна поделилась опытом эксперта – верификатора и рассказала, какие типичные ошибки практик сопровождения замещающих семей встречаются при верификации и дала очень важные рекомендации участникам мероприятия.
На мероприятии была предоставлена возможность попробовать себя в роли верификатора и самостоятельно оценить практику «Комплексное сопровождение приемной семьи в кризисной ситуации» Смоленского областного государственного бюджетного учреждения для детей-сирот и детей, оставшихся без попечения родителей, «Шаталовский детский дом», которую представила педагог –психолог Оксана Решетова. Участники, разбившись на малые группы, определяли уровни доказательности по критериям: обоснованность практики, достижение результатов и обоснованность данных о социальных результатах. Другими словами, заполняли экспертное заключение.
По результатам работы в группах специалисты представили свою экспертную оценку, которую основательно аргументировали. Отметили, что достаточно сложно было оценивать, но этот формат помог участникам Конкурса РДП взглянуть на свои практики с другой стороны, а организациям, которые только планируют свое участие в Конкурсе, увидеть какие акценты расставить при описании практики и предоставлении доказательной базы.
30 ноября 2021 года состоялся онлайн-семинар «Итоги верификации практик тематической группы «Социализация подростков / выпускников учреждений для детей-сирот». В работе семинара приняли участие 24 специалиста сферы детства.
В первой части встречи Ирина Бобылева, главный специалист-эксперт БФ «Расправь крылья!», представила типичные ошибки при описании практик в доказательном ключе во всех разделах доказательного анализа. Подробнее в презентации.
Во второй части встречи были представлены:
1) опыт Благотворительного фонда «Рауль», связанный с описанием в русле Стандарта доказательности практики «Все получится!» и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко «Реестр доказательных практик» (Евгения Канцыпко, руководитель Ресурсного центра «Все получится!»). Презентация доступна по ссылке;
2) опыт повышения доказанности практики «Значимый взрослый» – направление проекта «Право выбора» (длительное наставничество) Санкт-петербургского регионального общественного движения помощи детям, оставшимся без попечения родителей «Петербургские родители» (Анастасия Куркина, руководитель практики). Презентация доступна по ссылке;
3) опыт повышения доказанности практики «Социальная технология «Наставничество» для воспитанников и выпускников организаций для детей-сирот» (длительное и краткосрочное наставничество) Тамбовского областного государственного бюджетного учреждения «Центр по развитию семейных форм устройства детей-сирот и детей, оставшихся без попечения родителей, «Ради будущего» (Вахрушева Анна Александровна, ведущий психолог Центра). Презентация доступна по ссылке;
В третьей части семинара прошла публичная верификация практики «Подготовка выпускников организаций для детей-сирот к смене условий (к выходу из детского дома) и поддержка при адаптации к самостоятельной жизни «Навстречу взрослой жизни» бюджетного учреждения Омской области «Центр поддержки семьи».
Основные выводы спикеров и участников семинара:
описание практики в русле Стандарта доказательности и прохождения независимой верификации описанной практики в рамках Конкурса Фонда Тимченко дает организации возможность развивать как систему МиО, так и саму практику;
наличие типичных ошибок в описании создает вектор развития доказательности практики;
организации, вставшие на путь доказательности, «путь поиска ответов на сложные вопросы» получают новый импульс развития сообщества организаций, реализующих социальные практики.
По результатам публичной верификации специалисты Центра дали следующие комментарии:
мнение коллег было полезным, взгляд со стороны позволяет по-другому посмотреть на практику (на результат ее описания), выявить более объемно проблемные места описания (точки развития);
в целом мнения экспертов-верификаторов и участников нашей встречи совпали, нам кажется, коллеги очень старались смотреть на описание нашей практики объективно;
комментарии коллег позволили нам определить приоритет в повышении доказанности – начать работу с повышения регламентированности, собрать все наработанные материалы воедино.
в результате обсуждения кейсов и публичной верификации, мы поняли, что подобной (даже если очень отдаленно) практики среди коллег никто не реализует и это показалось нам интересным достижением.
24 сентября 2021 были проведены фокус-группы по оценке онлайн-курса «Оценка проектов и программ в сфере детства».
Общее количество участников фокус-групп – 42 человек, по 14 в каждой фокус-группе. Онлайн-курс «Оценка проектов и программ в сфере детства» закончили 55 человек. Таким образом, в фокус-группах приняло участие большинство (84 %) завершивших обучение. На фокус-группах участники отвечали на вопросы полуструктурированного интервью. Проводили фокус-группы к.с.н. Сергеева Светлана Юрьевна, к.с.н. Полярна Наталья Геннадьевна, к.п.н. Асташина Екатерина Евгеньевна.
Целью оценки было определить направления повышения результативности онлайн-курса «Оценка программ и проектов в сфере детства».
Анализ материалов фокус-групп позволяет сделать следующие выводы:
Качество онлайн курса участники оценили как высокое, позволяющее создать после завершения курса основу для внедрения системы МиО программ и проектов в организациях. Было преодолено отношение к МиО как к чему-то чрезвычайно сложному. Слушатели курсов приобрели системные знания о мониторинге и оценивании, что позволяет использовать эти инструменты осознанно, с учетом особенностей каждой организации.
В ходе курса произошло формирование целостной картины процесса МиО. Этот результат внешне схож с предыдущим (формирование системных знаний о МиО), в то же время, в нем есть важный отличительный аспект. Формирование целостной картины процесса МиО означает, что слушатель курса воспринял этот процесс как четкий алгоритм, то есть строгую последовательность действий. Повысился уровень знаний по таким аспектам социального проектирования, которые тесно связаны с МиО. Среди них – знания о том, как правильно формулировать результаты проекта, выстраивать логические цепочки результатов пр.
Возросла готовность к взаимодействию с внешним специалистом по оцениванию.
Неожиданным эффектом курса стало улучшение взаимодействия внутри организации благодаря совместной работе микрогрупп из членов одной организации.
Система вышеназванных эффектов обеспечила такой результат, как повышение готовности разрабатывать и внедрять МиО в деятельность организации.
Слушатели курса оценили полезность групповых обсуждений как очень высокую, определив эти обсуждения как «изюминку курса». Групповые обсуждения позволили обменяться практическим экспертным опытом. Участники курсов, которые не имеют такого опыта, восприняли его от более компетентных коллег в доступной для понимания форме.
Формат домашних заданий был оценен в целом высоко. При этом некоторые участники курса заявили, что они не всегда понимали, чего именно от них хотят в домашнем задании, а обратная связь по поводу сделанных ошибок была недостаточно подробной.
Дальнейшая поддержка со стороны АНО «Эволюция и филантропия» внедрения систем МиО в организациях желательна в следующих формах:
Сопровождение команд сотрудников организаций, внедряющих системы МиО, мотивация этих команд и поддержка их командного потенциала.
Консультации экспертов АНО «Эволюция и филантропия» по практическим аспектам внедрения и использования систем МиО.
Продолжить сбор и обобщение конкретных практик/ситуаций использования МиО, распространение этой информации.
Анализ материалов фокус-групп убедительно свидетельствует о положительной динамике развития онлайн-курса.
Полный текст отчета по анализу материалов фокус-групп доступен по ссылке.
10 ноября состоялся онлайн-семинар «Разработка инструмента для оценки детско-родительского взаимодействия», который провела Татьяна Шинина, к.пс.н., доцент Московского городского психолого-педагогического университета, эксперт АНО «Научно-практическая лаборатория “Психологические инструменты”». Семинар был дополнением к работе созданной в 2020 г. тематической группы «Оценка в социальных приютах и кризисных центрах для матерей с детьми».
Участие в семинаре приняли руководители и специалисты НКО и государственных учреждений. Общее количество участников — 58 человек из 24 регионов. По данным предварительного анкетирования участников, около половины (46%) уже участвовали в предыдущих встречах. См. презентацию Татьяны Арчаковой.
Татьяна Шинина рассказала об опыте разработки методики «Оценка детско-родительского взаимодействия «ECPI» (https://www.lab-family.com/issledovaniya), которая используется в работе семьями, где растут дети младенческого и раннего возраста. Запрос на инструменты оценки детско-родительского взаимодействия возник в процессе реализации проекта «Социальный ТехноПарк “Долина семьи и детства”» в Москве (в рамках государственной программы поэтапного внедрения Профессионального стандарта «Специалист по работе с семьей»).
На основе анализа международного опыта и отечественных разработок (научной школы М.И. Лисиной) были разработаны две части инструмента: описывающее поведение родителя и ребенка в ходе взаимодействия. Наблюдение за ребенком включает в себя 5 маркеров, которые оцениваются во взаимодействии со взрослым и в игре с предметами: фокус внимания, инициативность, средства общения, эмоциональные переживания, а также чувствительность к взрослому или деятельность с предметом. Наблюдение за родителем сфокусировано на маркерах родительской отзывчивости на эмоциональном, физическом, познавательном и действенном уровнях.
Проявления каждого маркера могут иметь позитивный и негативный полюс. Например, положительное проявление инициативы в адрес взрослого происходит, когда ребенок привлекает внимание взрослого к своим действиям, «тянет за платье»; а отрицательное – «сидит рядом за столом и ничего не делает». Для каждого маркера есть библиотека с примерами: как текстовыми описаниями, так и фрагментами видеосъемки. Их можно использовать для подготовки специалистов, чтобы оценивание было согласованным.
В целях исследования или мониторинга детско-родительское взаимодействие снимается на видео. Затем короткие (10-минутные) фрагменты совместной деятельности анализируются с помощью программы Observer. Альтернатива программному обеспечению – бланки наблюдения. Для поддержки родителей, развития их компетентности, проводится «родительский консилиум». На нем группа родителей смотрит видеофрагменты, снятые в их семьях, и с помощью специалиста отмечает удачные моменты и сильные стороны. Также «родительский консилиум» можно использовать для триангуляции оценок специалистов и родителей.
Освоить программу Observer и методику наблюдения за детско-родительским взаимодействием можно на курсе повышения квалификации в МГППУ (144 ч., дистанционно).
Материалы проекта «Социальный ТехноПарк “Долина семьи и детства”» (описания практик работы с семьей, включая процессы мониторинга их результативности):
Подробное описание инструмента и его теоретических оснований: Детско-родительское взаимодействие и развитие ребенка раннего возраста / под ред. Л.В. Токарской : коллективная монография. – Екатеринбург, 2019.Доступно по ссылке.
Опыт экспертизы инструмента в профессиональном сообществе: Галасюк И. Н., Шинина Т. В., Иргашев Н. Р., Морозова И. Г., Пасечник О. Н. Открытая профессиональная экспертиза методики детско-родительского взаимодействия: векторы развития психологического инструментария // Актуальные проблемы психологического знания. Теоретические и практические проблемы психологии № 3 (48) 2018. C. 5 – 24. Ссылка на файл.
Культурная специфика ожиданий от ребенка и ухаживающих за ним взрослых: Галасюк И.Н., Шинина Т.В., Шведовская А.А., Морозова И.Г., Ефремова Е.В., Нгуен Т.Х., Нгуен Т.Л. Взаимодействие значимого взрослого с ребенком раннего возраста в России и Вьетнаме // Психологическая наука и образование. 2019. Том 24. № 6. С. 47–62. Ссылка.
13 октября 2021 года состоялась онлайн-встреча тематической группы «Мониторинг и оценка практик работы с замещающими семьями».
Во встрече участвовал 41 специалист из 20 регионов Российской Федерации, представляющие государственные и некоммерческие организации, работающие с замещающими семьями, 66% уже участвовали в предыдущих встречах.
В первой части встречи Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия» и Наталья Рождественская, доцент кафедры отраслевой экономики и финансов института экономики и управления РГПУ им. А. И. Герцена (г. Санкт-Петербург) рассказали о результатах разработки Теории изменений для практик сопровождения замещающих семей, которые были получены на вебинаре 10.09.2021 г. (см. презентацию).
Любая Теория изменений невозможна без карты или Дерева результатов. Как работа с Деревом результатом влияет непосредственно на практику, изменение системы мониторинга и оценки поделились Вероника Кудрявцева, председатель Ассоциации приемных родителей: усыновителей, опекунов, попечителей г. Санкт – Петербурга (см. подробнее) и Ксения Егорова, юрист Новосибирской городской общественной организации усыновителей «День аиста» (см. подробнее).
Участникам встречи была предоставлена возможность приобрести или отработать навык работы с этим инструментом, используя интерактивные доски Jamboard. Оксана Михайлова, руководитель отдела сопровождения замещающих семей Смоленского областного государственного бюджетного учреждения «Центр психолого-медико-социального сопровождения детей и семей», представила практику подготовки потенциальных кандидатов в замещающие родители их учреждения. Участники встречи в группах, двигаясь от конечного долгосрочного социального результата к промежуточным, среднесрочным и краткосрочным результатам, выстраивали логику и причинно-следственные связи между результатами, определяли влияние активностей на результаты.
По результатам работы в группах участники поделились, какие дискуссии развернулись у них на площадках:
Является ли долгосрочным результатом практики подготовки потенциальных кандидатов — стабильная семейная система или нужно оставить только снижение риска вторичных возвратов приемного ребенка? Семья приняла ребенка в семью – может этот эффект от школы приемных родителей считаться долгосрочным результатом или нет.
Выстраивая связи от активностей практики, не всегда то, что раньше казалось очевидным подтверждалось. Например, действительно ли, после прохождения программы подготовки (цикла тренинговых занятий) основным результатом будет принятие ребенка в семью или все –таки важно, чтобы потенциальные кандидаты были готовы принять осознанное решение принять ребенка в семью или взвешивая свои ресурсы и риски, отказаться от данного решения.
Обнаружили, выстраивая логику, что итоговый зачет по завершению курса подготовки, входящий как активность в данную практику, скорее всего, не является активностью, а должен рассматриваться в дальнейшем как инструмент для сбора данных.
Многие участники отметили, что сложно было двигаться от долгосрочного результата к среднесрочным и краткосрочным, а потом к активностям (обратная логика). Хотелось по привычке рисовать стрелки (устанавливать связи) от действий к результатам.
На встрече среди участников площадки были специалисты, завершившие участие в онлайн-курсе «Оценка программ в сфере детства», которые поделились, что соприкосновение с системой мониторинга и оценки в начале пути кажется очень сложным, но разбираясь, приобретая практический опыт при поддержке экспертов, приходит понимание, на сколько это важный инструмент для понимания влияния своей практики на изменения, происходящие у замещающих семей.
Надеемся, что на следующей встрече тематической группы в ноябре, у нас получится вместе подобрать показатели, которые отражают социальные результаты практики сопровождения замещающих семей и обсудить инструменты к ним.
Более подробно итоги встречи, видеозапись по ссылке.
11 октября состоялась встреча тематической площадки «Мониторинг и оценка практик поддержки семей с особыми детьми», которая была посвящена вопросам отбора и экспертизы инструментов сбора и анализа данных.
Во встрече участвовало 34 специалиста из 21 региона, представляющих государственные и некоммерческие организации, работающие с семьями с особыми детьми.
В начале встречи были представлены ключевые выводы по итогам ранее проделанной работы, а именно выделенные особенности системы МиО практик поддержки семей с особыми детьми и пример разработки теории изменений для таких практик.
Работа продолжилась обзором инструментов, используемых в практиках поддержки семей с особыми детьми и представленных на сервисе ПИОН. О сервисе ПИОН рассказала куратор площадки — Заводилкина О.В. Анализ представленных инструментов по их видам показал, что чаще всего в практиках используются анкеты и опросники, реже стандартизированные шкалы. При этом предпочтение отдается разработанным внутри практики инструментам.
Среди участников встречи был проведен опрос, который подтвердил представленные в обзоре выводы. Так 93% ответивших на вопрос указали на то, что чаще всего используют анкеты и опросники, разработанные в организации.
Во второй части встречи был представлен новый формат проведений обсуждения открытая блиц-экспертиза инструмента в диалоге с экспертом. Инструмент на экспертизу представила Жимаева Е.М. – руководитель просветительского проекта «Сфера инклюзии» АНО МИКС. В роли эксперта выступила куратор группы Заводилкина О.В.
Вводные данные об инструменте: в настоящий момент инструмент используется для составления индивидуальных планов работы с детьми с ОВЗ. Инструмент направлен на оценку сформированности представлений об окружающем мире.
Запрос на экспертизу: можно ли использовать получаемые с его помощью данные для оценки социального результата, а именно для оценки повышения уровня сформированности представлений об окружающем мире.
Рекомендации по итогам экспертизы.
Адаптировать вопросы к современным условиям жизни ребенка.
Продумать систему дополнительных вопросов или использования визуальных помощников, которые дадут возможность оценить, насколько ребенок адекватно понимает содержание вопроса и потенциально имеет данные для ответа.
Разбить составные вопросы на отдельные вопросы.
Продумать систему перевода системы фиксации ответов «+», «+/- », «-» в числовые значения.
Определить уровень фиксируемых с помощью данного инструмента изменений в представлениях ребенка, которые могут быть определены как их расширение.
В третьей части встречи участники работали по группам.
Был составлен перечень вопросов к описанию инструмента, ответы на которые помогут организации принять решение, подходит данный инструмент для ее целей или нет.
На что направлен инструмент?
Какой социальной результат измеряет?
К какому методу относится?
Есть ли сведения о том, кто разработал, была ли психометрическая проверка, стандартизация, адаптация, модификация?
Для какой целевой группы?
Кто выступает источником информации?
Время заполнения?
Что входит в инструмент (бланки, инструкция и т.п.)?
Какие есть ограничения при использовании (как часто можно использовать, можно ли оценить динамику, какие условия при применении инструмента надо контролировать («контроль поля»), нужны ли дополнительные компетенции, нужно ли пройти дополнительное обучение и др.)?
В каком виде будут представлены индивидуальные результаты?
Как измеряется успех по социальному результату?
Есть ли примеры использования?
Прошел ли инструмент экспертизу и какую именно?
А также были определены: вопросы по инструменту, при ответе на которые организации может потребоваться помощь, удобные формы получения помощи, условия, обеспечивающие доступ к инструментам и их тиражирование, представлен разработанный одной из групп пример цепочки действий при желании получить помощь при выборе инструмента.
В продолжение работы площадки было решено:
Организовать сбор инструментов для общей базы инструментов практик поддержки семей с особыми детьми, которые могут быть использованы в целях мониторинга и оценки.
2. Составить чек-лист для самостоятельного принятия решения о том, подходит ли инструмент под задачи практики и обсудить его на следующей встрече.
3. Продолжить проведение экспертных встреч, как общих, так и индивидуальных.
4 октября состоялась онлайн встреча тематической группы «Социальные приюты и кризисные центры для матерей с детьми» — «Как мы разрабатывали систему мониторинга социальных приютов и кризисных центров для матерей с детьми».
Задачи тематической группы:
Популяризация темы мониторинга и оценки социальных практик, использования доказательного подхода к оценке результативности.
Формирование базы знаний по мониторингу и оценке практик работы социальных приютов и кризисных центров для матерей с детьми – практические наработки, методические ресурсы и пр.
Организация площадки по обмену опытом и поиску решений в области мониторинга и оценки практик, программ, проектов, развитие компетенций.
Участие в семинаре приняли руководители и специалисты НКО и государственных учреждений. Общее количество участников — 34 человека. По данным предварительного анкетирования участников, две трети из них (68%) уже участвовали в предыдущих встречах.
Модератором встречи выступила Татьяна Арчакова, психолог-методист БДФ «Виктория». В начале встречи она напомнила о результатах работы группы на предыдущих встречах и ответила на запрос, озвученный в ходе анкетирования. Ольга Евдокимова представила первые результаты по разработке Теории изменений, сделанные тематической группой «Социальные приюты и кризисные центры для матерей с детьми» на семинаре 10.09.21. Презентация доступна по ссылке.
В основной части встречи специалисты, завершившие участие в онлайн-курсе «Оценка программ в сфере детства», поделились тем, что изменили или добавили в свои системы мониторинга с учетом знаний и навыков, полученных на курсе.
Мария Егорова, сотрудник Международного детского фонда «Дети Саха-Азия», представила рабочую версию теории изменений проекта «Временный приют для семей с детьми в городе Якутске». После этого участники встречи работали в 3 группах, предлагая обратную связь по логике, представленной в теории изменений, и обсуждая факторы, способствующие достижению социальных результатов. Они предложили:
Продумать отдельные «ветви» теории изменений для женщин, которые находятся в трудной жизненной ситуации по социально-экономическим причинам, и женщин, которые подверглись домашнему насилию.
Уточнить формулировки социальных результатов: некоторые стоит сделать позитивными (Если результат «Снятие нестабильности…», то какое именно состояние надо достичь вместо нестабильности?), некоторые – более конкретными.
Дискуссию вызвал результат «Матери знают и применяют алгоритмы решения проблем». Должны ли они справляться с этой задачей при любых условиях или в сложных кейсах все равно должны участвовать специалисты? Идеи про мотивацию и самостоятельность благополучателей, которые влияют на работу с семьями в кризисной ситуации, тоже нужно фиксировать в теории изменений. Убеждения и ценности команды можно рассматривать в качестве допущений: ведь это те основания, которые специалисты выбрали для себя и не планируют менять.
Еще один многогранный результат — «Восстановлены отношения с близким окружением». Чтобы он способствовал удовлетворению потребностей ребенка, как это указано в теории изменений проекта, важно иметь в окружении людей, которые и готовы, и могут (умеют, имеют ресурсы) для «правильной» помощи. А если мы тщательно исследуем их ресурсы и пытаемся на них повлиять, не становится ли близкое окружение матери и ребенка еще одной целевой группой проекта?
Ольга Лим, руководитель Хабаровской краевой общественной организации «Чужих детей не бывает» коротко представила результаты того, как вся команда дорабатывала системы мониторинга Службы помощи женщинам с детьми в трудной жизненной ситуации “Мама рядом”. Коллеги систематизировали целевые группы программы; разделили всю деятельность по программе на разные проекты и подпрограммы; тщательнее проработали социальные результаты и показатели – показали это на примере результата «Повышение уровня удовлетворения базовых потребностей ребенка». Презентация доступна по ссылке.
Ольга Лим и ее коллеги поделились опытом знакомства новых сотрудников со сферой мониторинга и оценки. После этого участники встреча работали в 3 группах над созданием чек-листа с простыми шагами для включения новичков в эту тему. Вот некоторые идеи из дискуссии:
Руководитель должен быть готов создать условия для обучения (выделить часть рабочего времени)
Нужен наставник в тематике МиО (методический работник / руководитель / куратор проекта / человек, который пишет отчетность)
Сначала достаточно познакомить нового сотрудника с его зоной ответственности по сбору данных
Затем важно познакомить его со всеми программами и проектами организации, чтобы он понял свое место в общей системе – и только тогда добавлять новую информацию о МиО
Теория изменений может служить наглядным материалом для нового сотрудника
Когда новых сотрудников много, нужен вводный курс
Обсуждение социального эффекта может работать как сонастройка ценностей с новым сотрудником (ради чего он пришел к нам работать)
Также участники выделили «болевые точки», с которыми руководители сталкиваются в процессе инструктирования новых сотрудников:
В организации может существовать много наработок по мониторингу, но они не описаны или описаны непонятно для внешнего читателя, не систематизированы в базу знаний
У сотрудников может возникать сопротивление обучению мониторингу, если мы предлагаем им повысить уровень компетенций «вообще». Решение этой проблемы – показывать связь МиО и пользы для практики: Какие выводы о причинах трудностей можно сделать из собранных данных? Какие «подсказки» по решению проблем в них можно найти?
6 октября 2021 года состоялась онлайн-встреча тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений».
Во встрече участвовало 38 специалистов из 15 регионов Российской Федерации, представляющие государственные и некоммерческие организации, работающие с детьми и молодыми людьми с опытом сиротства. 70% участников ранее были участниками встреч тематической группы.
В первой части встречи Ирина Бобылева, куратор группы, эксперт БФ «Расправь крылья!», представила результаты работы по построению Теории изменений для практик социализации и адаптации подростков и молодых взрослых, участников онлайн-курса «Оценка программ в сфере детства».
А выпускники курса рассказали о том, как обучение и участие в верификации практики повлияло на изменение систем мониторинга и оценки их практик: разработаны деревья результатов и логические модели, сделаны шаги для включения воспитанников и выпускников в процесс разработки дизайна исследования и сбора данных. Подробнее в презентации.
Во второй части встречи Марина Ушакова, директор Центра помощи детям, оставшимся без попечения родителей, «Акварель» города Челябинска представила практику «Взлет» и элементы ее системы мониторинга и оценки. Практика направлена на подготовку воспитанников организации для детей-сирот и детей, оставшихся без попечения родителей, к самостоятельной жизни. Активности практики направлены на две целевые группы: предвыпускники (за 2-1 года до выхода из детского дома) и выпускники. Презентация М. Ушаковой доступна по ссылке.
При помощи интерактивной доски Jamboard участники встречи: практиковались выстраивать цепочку социальных результатов и связей между ними, а также подбирать показатели к социальным результатам представленной практики «Взлет».
В ходе групповой работы участники встречи пришли к заключениям:
выстраивая дерево результатов важно: не расширять, «выдерживать» границы практики, проверять связи на необходимость и достаточность;
при подборе показателей к социальным результатам важно держать в фокусе динамику самостоятельности выпускника, которую можно увидеть в уменьшении помощи со стороны специалистов, а также в усложнении решаемых выпускником задач;
предпочтителен выбор методики «360» , которая включает в источники данных все окружение выпускника: специалистов (длительно сопровождающих и оказывающих кратковременные услуги), его самого и других выпускников;
выбирать оценочные инструменты, уменьшающие субъективное влияние специалиста, а также привлекать к оценке самих воспитанников и выпускников.
В третьей части встречи Галина Семья, сопредседатель экспертного совета Комитета Госдумы Российской Федерации по вопросам семьи, женщин и детей, международный эксперт представила основные тренды в изучении благополучия, примеры международных моделей исследования благополучия, методику оценки субъективного благополучия воспитанников детского дома.
Основные тезисы выступления:
В настоящее время при изучении благополучия происходит переход от удовлетворения базовых нужд к обеспечению качества жизни, от негативной направленности к позитивной, от обеспечения счастливого будущего к благополучию в настоящем. Концепция благополучия шире защиты прав.
Субъективное благополучие воспитанников организаций для детей-сирот – это удовлетворенность ребенка (подростка) системой своих отношений:
к себе – считает себя привлекательным внешне и по характеру, считает, что другие его положительно оценивают; положительно оценивает свои умения и навыки, образовательные достижения;
к другим – имеет взрослых, с которыми можно построить доверительные отношения в самой организации, и вне ее; имеет удовлетворяющие его отношения с детьми (сверстниками) в организации и вне ее;
со средой – живет в условиях физической и психологической безопасности, имеет возможность вести такую же жизнь, как и другие дети («нормализация жизни»), его мнение учитывается при решении вопросов, связанных с его жизнью, будущим и т.д., знает свои права и умеет ими пользоваться;
к своему хронотопу (истории жизни).
Модель, ставшая основой для разработки опросников (в соответствии с возрастными группами: «дошкольники», дети с 7 до 12 лет, старшие подростки) включает 11 содержательных блоков: «Удовлетворенность своими умениями и навыками, общей эффективностью», «Личностный потенциал». «Общее самочувствие», «Поддерживающая сеть», «Безопасность», «Права», «Учет мнения ребенка», «Самочувствие ребенка в организации», «Нормализация жизни», «Будущее». «Социально – демографический».
24 сентября прошла финальная встреча участников онлайн-курса «Оценка программ в сфере детства». Всего на курс записалось более 60 участников, из них сертификаты получили 54 человека. При этом 34 слушателя получили сертификат с отличием (80% от максимальной суммы баллов). Это представители 43 организаций сферы детства из 23 регионов РФ. 13 организаций учились командами от 2-х до 6-ти слушателей. «Мы благодарим всех слушателей курса за их вовлеченность, мотивацию в освоении не самого простого специализированного контента», — отметила Ольга Евдокимова.
Это был не самый короткий путь в 8 насыщенных недель, за которые слушателям пришлось освоить 7 модулей/ 23 урока; пройти 70 тестов; просмотреть 37 видео-роликов; выполнить 12 домашних заданий; принять участие в 6 рабочих обсуждениях.
«Отличный курс, высокая плотность материалов, много дополнительных. Информация представлена с разных сторон, достаточно комплексно. Получилось полное погружение в тему на пару месяцев. Вся работа в организации теперь воспринимается по-новому. Культура оценки у нас точно повысилась», — поделилась своим впечатлением о курсе Антонина Попова (БФ «Волонтеры в помощь детям-сиротам»)
«Курс очень сильный и насыщенный. Практически второе высшее образование в области оценки! Конечно, пройти его не просто: требуется большая аналитическая работа с данными, с опытом других. Еще нужна команда тех, кто заинтересован в такой оценке на уровне учреждения. Как бы то ни было — очень важный курс! Браво преподавателям и организаторам!» — считает Елена Корытова (Областное государственное бюджетное учреждение «Смоленский социально-реабилитационный центр для несовершеннолетних «Феникс»).
На основе сравнения входящего и финального теста, мы видим рост уровня знаний в среднем на 30% и это хороший результат, лучший из всех четырех потоков за период 2020-2021 год. Анализ анкет обратной связи, решения тестов и выполнения домашних заданий также позволяют нам делать вывод о росте компетенций слушателей курса.
«Весь материал, полученный в ходе изучения курса очень полезный, информативный и необходимый в дальнейшей работе, особенно мне, как молодому, начинающему специалисту», — Надежда Уланова (ОГБУСО «Социально-реабилитационный центр для несовершеннолетних Братского района»).
«Очень полезный курс в плане применения полученных знаний в работе, много взяла для реализации своей практики, начиная от разработки логической модели, теории изменений и заканчивая подбором инструментов» (из анонимной анкеты).
Индекс лояльности по итогам анонимной анкеты (приняло участие 28 человек по состоянию на 24 сентября) составил 71,4%, что является хорошим результатом.
«Отличный курс для повышения компетенций по теме оценки и мониторинга, содержащий обширный теоретический материал, предоставляющий возможность освоения практических навыков и инструментов для внедрения в деятельность организации сферы детства практик мониторинга и оценки. Материал достаточно сложный, но структура курса и наличие ссылок на дополнительные материалы способствуют овладению знаниями. Отдельное спасибо преподавателям курса за доступность изложения информации. Курс рекомендую», — Марина Ушакова (Муниципальное бюджетное учреждение города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель»).
Анализ планов внедрения знаний в практическую деятельность организаций позволяет сделать вывод о том, что большинство слушателей будут далее работать над системой показателей и методами их сбора, что является дополнительным подтверждением приоритетного развития внутренней оценки в организациях.
Основная сложность курса, которая была отмечена слушателями – это его продолжительность, и как следствие необходимость наличия большого временного ресурса, что может позволить себе далеко не каждая организация или специалист.
«Много полезной и практически применимой информации, и в тоже время сложно совмещать с работой».
«Курс очень насыщенный. Сложно встроить такой объем в свой рабочий режим».
«Курс ценный, но трудоемкий, трудно найти столько времени и сил».
Также участники отмечали следующие cложности или особенности курса:
«Не каждый специалист готов рассуждать об исследованиях в социальной сфере, многие просто практики».
«Лучший курс для погружения в тему от профессионалов, НКО важно осмысленное отношение. Не каждый из коллег осилит, поэтому 9.» (из анонимной анкеты. 9 – объяснение, почему не 10 баллов по индексу лояльности).
Некоторые слушатели отдельно отмечали пользу работы в онлайн-сервисе ПИОН.
«Также у меня произошло приятное знакомство с сервисом ПИОН, которое оказалось не таким страшным, как я думала раньше», — Татьяна Мохова (Челябинское региональное благотворительное общественное движение помощи онкобольным детям «Искорка Фонд»).
По итогам обратной связи о работе в онлайн-сервисе ПИОН, мы сделали выводы, что наибольшей ценностью для пользователей является возможность составить и скачать цепочку результатов в некоем приличном виде, а наименьшую ценность – это наличие личных библиотек результатов. Мы постараемся учесть все ваши замечания и предложения. Отдельное спасибо Ольге Заводилкиной за поддержку этого направления.
Отдельная благодарность всем ведущим курса – Татьяне Подушкиной, Екатерине Богомоловой, Ольге Заводилкиной, Наталье Кошелевой и кураторам тематических площадок, которые принимали самое активное участие в рабочих обсуждениях – Татьяне Арчаковой, Ирине Бобылевой, Инне Голеня, Ольге Заводилкиной.
«Мне понравился материал, домашние задания, встречи в маленьких группах и наш куратор там — Татьяна Арчакова» (из анонимной анкеты).
«Супер полезна была деятельность на орг встречах (обсуждение кейсов или домашних заданий), отдельное спасибо Ольге Заводилкиной!» — Татьяна Мохова (Челябинское региональное благотворительное общественное движение помощи онкобольным детям «Искорка Фонд»).
Более подробный разбор сильных и слабых сторон курса, его влияния на рост компетенций и культуры в области оценки программ будет сделан в отчете по итогам фокус-групп, которые провели внешние модераторы. Отчет будет доступен широкой аудитории.
