19 февраля состоялся онлайн-семинар ««Практические аспекты повышения доказанности практик работы с приемными семьями». В мероприятии приняли участие более 70 специалистов из более чем 20 регионов РФ.
«Семинар является продолжением практической работы тематической группы «Мониторинг и оценка при реализации практик работы с приемными семьями», созданной в 2020 году в рамках проекта «Онлайн-курс по оценке программ в сфере детства». Созданная специализированная площадка помогает специалистам-практикам повышать компетенции в области мониторинга и оценки, способствует обмену опытом и накоплению соответствующей базы знаний» — отметила в начале мероприятия Ольга Евдокимова, директор АНО «Эволюция и Филантропия». Ольга напомнила участникам ключевые итоги первого семинара, которые были взяты за основу при планировании следующего.
Светлана Строганова, со-модератор мероприятия, руководитель Клуба приемных семей Благотворительного фонда «Арифметика добра» отметила все возрастающий запрос доноров на доказательность социальных практик и высказала мнение, что « … чем больше организаций будут становиться на доказательные рельсы, развивать мониторинг и оценку, тем больше шансов воздействовать на систему целиком…».
Далее спикеры представляли практический опыт своих организаций по развитию доказательного подхода.
Прокаева Татьяна, заместитель директора областного государственного казенного учреждения социального обслуживания «Центр социальной помощи семье и детям Нижнеилимского района» подробно рассказала о том, какой путь прошла их организация по выстраиванию системы мониторинга и оценки, представила некоторые элементы этой системы (Дерево результатов, используемые инструменты), обозначила проблемы и риски, а также возможные решения. Спикер, среди прочего, отметила важность участия Центра в проектах АНО «Эволюция и Филантропия» «ПИОН-Регион», «Стандарт 2.0»; практическую ценность обучения на онлайн-курсе «Оценка программ в сфере детства». При этом, как подчеркнула Татьяна, следует закреплять функционал в области МиО за несколькими сотрудниками и соответственно важно передавать внутри организации соответствующие знания. В результате проделанной работы, практика «Мы вместе» прошла верификацию и представлена в Банке доказательных практик (партнерская инициатива Фонда Тимченко). Татьяна поделилась рекомендациями экспертов и планом повышения доказанности практики. С презентацией Татьяны Прокаевой можно ознакомиться здесь.
Щеглова Мария, руководитель Центра семейной адаптации БФ “Дети ждут” (Санкт-Петербург) представила опыт описания практики «Школа приемных родителей» для конкурса Реестр (банк) доказательных практик Фонда Тимченко: «Нам было важно изучить, действительно ли эффективна и успешна практика на тех ее участках, где специалисты действуют пока интуитивно, опираясь пока исключительно на свой профессиональный опыт». Мария особо подчеркнула важность структурированного подхода для описания практики, который предлагается Стандартом доказательности практик в сфере детства, а также возможность получения внешней экспертной оценки и рекомендаций от экспертов по росту доказательности. При этом спикер обратила внимание на встретившиеся трудности и выявленные риски, среди которых, небольшое количество аналогичных практик, описанных в соответствие с доказательным подходом, из-за чего пока не возможен бенмаркинг собственной эффективности (то есть нельзя сравнить свои показатели с показателями аналогичных школ). Также было заметно некоторое сопротивление полевых сотрудников, которые опасались, что с внедрением новых процедур сбора и анализа данных будет происходить излишняя бюрократизация, которая может приводить к поверхностным выводам и необдуманным решениям. «Школа приемных родителей» получила довольно высокие баллы по уровням доказанности и рекомендации экспертов, как продолжать совершенствовать систему мониторинга и оценки. В частности, следует обратить внимание на систему показателей, характеризующих разные аспекты результативности (например, количество отказов и пр). С презентацией Марии Щегловой можно ознакомиться здесь.
Андреева Наталья Викторовна, координатор программ АНО “Родительский центр “Подсолнух”, в своем выступлении сосредоточилась в основном на опыте проведения оценки программы «Территория радости». Проведение оценки с привлечением внешнего эксперта стало возможным благодаря полученному финансированию от Фонда президентских грантов. Наталья детально представила основные этапы проведения оценки, особо отметив важность формулирования ключевых оценочных вопросов, а также роль внешнего эксперта на каждом этапе. Результаты проведения оценки легли в дальнейшем в основу описания практики в доказательном формате. В 2020 году Организация приняла участие в конкурсе Фонда Тимченко «Реестр (Банк) доказательных практик)», описала практику в доказательном ключе, прошла верификацию и получила рекомендации экспертов по повышению уровня доказанности. Презентация Натальи Андреевой.
Перед выступлением следующих спикеров участникам мероприятия был предложен короткий опрос на тему актуальности и востребованности специализированной площадки для специалистов-практиков по обмену опытом в области мониторинга и оценки.
Были заданы вопросы:
- Насколько востребована в целом, на Ваш взгляд, идея формирования сообщества специалистов для развития мониторинга и оценки?
- Насколько актуально для Вас лично участие в тематической группе по практикам мониторинга и оценки?
Подавляющее большинство (в опросе приняли участие 57 слушателей) отвечали утвердительно на оба вопроса.
Также был задан вопрос об уровне организационного потенциала в области мониторинга и оценки и полученные ответы коррелируют с ответами участников семинара об их персональном уровне компетенций в области МиО. Половина участников считают, что у них начальный уровень.
Последним спикером, представляющим практический опыт организаций, была со-модератор мероприятия, руководитель Клуба приемных семей БФ «Арифметика добра», Светлана Строганова, которая рассказала о том, какой пусть проходили разные программы Фонда, выстраивая свои системы мониторинга и оценки. В частности, Светлана упомянула опыт прохождения внешней оценки программы «Шанс» (подробнее о том, как повлияли результаты внешней оценки на развитие фандрайзинга в Фонде можно прочитать по ссылке); запуск систем мониторинга во всех программах Фонда; представила ключевые продукты по мониторингу и оценке ( цепочки социальных результатов; карты изменений), которые были разработаны при поддержке эксперта в рамках проекта АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства». Особую сложность, как отметила Светлана, представляет собой низкая мотивация сотрудников к участию в теме, а также отсутствие единого информационного поля. Для того, чтобы справиться с этой проблемой, 3 сотрудника Фонда прошли обучение на онлайн-курсе «Оценка программ в сфере детства». Также был проведен вводный семинар по МиО для всех сотрудников Фонда. В дальнейших планах – подготовка к оценке программ «Наставники» и «Клуб приемных родителей», дальнейшая работа по привлечению сотрудников к процессам МиО. Особый акцент при построении системы мониторинга и оценки получил вопрос о зоне контроля как самой практики (до какой степени получаемые результаты можно отнести за счет практики, а какие в большей степени за счет иных факторов), так и практики передачи технологии Клуба приемных родителей в регионы. Что именно мониторить при передачи практики? «Мы готовы всем делиться, что наработали по системе мониторинга и оценки» — отметила Светлана. C презентацией Светланы Строгановой можно ознакомиться здесь.
В заключение спикеры ответили на вопросы:
- Какие мотиваторы и барьеры вы видите для развития МиО в практиках поддержки приемных семей?
- В чем, на ваш взгляд, может быть роль сообщества практиков для развития МиО?
Можно отметить следующие общие барьеры:
- Низкая мотивация и низкий уровень знаний персонала
- IT-технологии (от элементарного отсутствия интернета до отсутствия необходимых компетенций при использовании, например, Excel и прочее)
- Высокая загрузка полевого персонала.
- Отсутствие вовлеченных благополучателей.
Среди методологических сложностей была выделена, в очередной раз, сложность перехода от индивидуальной оценки семьи к обобщенным результатам по программе в целом, а также отсутствие лонгитюдных исследований, доказывающих эффективность работы с приемной семьей и как следствие влияние таких программ на успешную социализацию детей.
Cреди обсужденных мотиваторов можно особо отметить фактор повышения лояльности благополучателей при вовлечении их в мониторинг и оценку, а также определенную экономию издержек при вхождении в такую трудную тему. «Наличие поддержки в лице сопровождающего куратора значительно облегчает процесс…».
Что касается роли и задач сообщества было, в частности, отмечено:
- Обмен опытом по построению системы измерения и оценки (например, состав результатов, показателей, инструменты сбора данных и пр);
- Обмен опытом по описанию практик в доказательном ключе и прохождения верификации;
- Бенчмаркинг (создание общих баз показателей) для определения собственной эффективности
- Обмен или инициация исследований по доказанной эффективности
- Обмен валидными инструментами оценки благополучия семьи и ребенка
- Определение и обсуждение «что не работает»
- Осуждение подходов к оценке стоимости социальных результатов
Далее выступила Ольга Евдокимова с презентацией формирующейся базы знаний в области МиО по практикам работы с замещающими семьями. В частности, Ольга представила:
1) Библиотеку Деревьев результатов и Логических моделей: https://pion.org.ru/newpion/library
2) Инструменты сбора обратной связи от благополучателей: https://base.socialvalue.ru/instrumenty—sbora/nayti—instrument/
3) Практики, описанные в соответствии с методологией Стандарта доказательности практик в сфере детства: http://deti.timchenkofoundation.org/praktiki/
Для удобства пользования вышеперечисленными ресурсами следует выбирать тип практики!
4) Базу типовых результатов и показателей по практикам — в аналитическом отчете по 1-му семинару.
5) Пример системы мониторинга и оценки Общественной организации Шегарского района Томской области «Рука в руке».
6)Пилотную анкету-конструктор для измерения субъективного благополучия родителей.
Также Ольга отметила, что в апреле откроется онлайн-курс «Оценка программ в сфере детства» и что все желающие могут записываться, оставив свои координаты в анкете. Этот курс может стать хорошим стартом для тех, кто в начале пути.
Презентация О.Евдокимовой.
Видео-запись семинара доступна по ссылке.
Благодарим всех спикеров!
И уж совсем в заключение немного отзывов от участников:
Огромное спасибо за Ваш бесценный опыт! Непременно, что-то возьмём в работу.
Спасибо за встречу! Полезно и интересно. Всем спикерам особая благодарность за готовность делится опытом своих практик.
Мне, как новичку в данной профессиональной области ( работа по сопровождению замещающих семей) было крайне интересно расширить свои знания и послушать ВАШ опыт! Отдельно спасибо за полезные ссылки!Благодарю! Вам, не останавливаться на достигнутом)))
Спасибо за интересную и очень полезную информацию!огромная благодарность за ссылки!)
Спасибо большое за приглашение. Было очень интересно послушать опыт коллег. Информация для нас очень полезная и актуальная.
о ПИОНе -очень интересно, будем изучать. спасибо.
Спасибо за приглашение к участию. Так как работа с замещающими родителями и ШПР в перспективе, даже не думала о необходимости отслеживания динамики.
Благодарим за такие отзывы и за участие всех присутствующих!
Коллеги, помогите нам сделать работу нашей площадки наиболее полезной для вас! Ответьте, пожалуйста, на короткую анкету в срок до 3 марта
И ждем вас на следующем семинаре!