Итоги онлайн-семинара «Оценочные исследования практик работы социальных приютов и кризисных центров для матерей с детьми»

12 февраля состоялся онлайн-семинар «Оценочные исследования практик работы социальных приютов и кризисных центров для матерей с детьми».

В мероприятии приняли участие более 40 человек из более чем 20 регионов РФ.

«Семинар является продолжением практической работы тематической группы «Кризисные центры», созданной в 2020 году в рамках проекта «Онлайн-курс по оценке программ в сфере детства». Созданная  специализированная площадка помогает специалистам-практикам повышать компетенции в области мониторинга и оценки, способствует обмену опытом и накоплению  соответствующей базы знаний» — отметила в начале мероприятия Ольга Евдокимова, директор АНО «Эволюция и Филантропия». Ольга напомнила участникам ключевые итоги  первого семинара, которые были взяты за основу при планировании следующего.

Далее  были последовательно  представлены кейсы и опыт следующих организаций:

(1) Исследование долгосрочных результатов для «выпускниц» центра временного проживания: инструмент, процесс и результаты (на примере проекта «Теплый дом» Благотворительного фонда «Волонтеры в помощь детям-сиротам»). 

Т. Арчакова рассказала, почему  было решено проводить оценку устойчивости ключевых результатов практики, озвучила ключевые элементы  дизайна  исследования, обозначила полученные результаты и «выученные уроки». Например, представляя созданный для опроса гайд, Татьяна отметила, что в силу специфики практики,  не получилось использовать известный,  взятый из бизнеса  и  применяющийся также  в НКО инструмент, оценивающий лояльность клиентов (NPS). Часть вопросов оказались не информативными; также было довольно сложно сравнивать ответы бывших подопечных Центра об их текущем уровне благополучия вследствие субъективности  этого понятия. Относительно небольшое количество участников опроса также накладывает свои ограничения. Определенную сложность (большие временные затраты) вызвала обработка интервью, анализ текстов. Татьяна Арчакова особо отметила потенциальную ценность инструмента, который помог бы упростить этот процесс.

Были выделены точки роста практики (работа с окружением) и подтверждена ценность психологической поддержки.  Дополнительным, но довольно значимым результатом  проведенной оценки можно считать выделение значимости для клиенток профессиональной  работы администраторов. «Коммуникация этой ценности административному персоналу окажет положительное влияние на их восприятие собственной деятельности» — считает Е.Андреева. Этот тезис подтверждает и А. Осипова  (МРОО «Аистенок»): « Когда мы рассказывали о результатах нашего исследования команде, наши специалиcты просто расцвели … Этот момент профилактики профессионального выгорания  не менее важен, чем остальные результаты, которые мы получаем».

Используемый в рамках исследования инструментарий доступен в онлайн-базе «Слушай с Пользой!»:

https://base.socialvalue.ru/metody-sbora-obratnoy-svyazi/interv-yu/post-259/

https://base.socialvalue.ru/metody-sbora-obratnoy-svyazi/interv-yu/post-224/

С презентацией Т. Арчаковой можно ознакомиться по ссылке.

Отчет об исследовании будет опубликован в течение некоторого времени.

(2) Расчет стоимости социального результата проекта «Теплый дом» Благотворительного фонда «Волонтеры в помощь детям-сиротам» представила  Е. Андреева. «Это уникальный проект, который мы реализовали совместно с коллегами для повышения уровня доказанности  их практики. Методика расчета социально-экономической эффективности у нас разработана уже довольно давно, мы систематические проводим мероприятия на эту тему, включили эту тему в наш онлайн-курс «Оценка программ в сфере детства». Однако практического опыта пока накоплено совсем немного и мы очень благодарны коллегам за такое новаторство» — отметила Ольга Евдокимова.

Елена Андреева представила Цепочку непосредственных и социальных результатов и методику расчета стоимости каждого. А именно, какие данные были взяты для расчета, как они агрегировались и дезагрегировались, какие были предположения и допущения.

Методика была разработана консультантом АНО «Эволюция и Филантропия» и ее внедрение стало возможным благодаря тому, что все данные по каждому клиенту аккуратно учитывались в рамках проекта «Теплый Дом». Однако, ограничением применения этой методики стал тот факт, что в организации пока нет единой  автоматизированной системы  управления клиентами (CRM) и все данные хранятся в отдельных файлах по каждому клиенту. Сводить  все данные в единый Excel файл было довольно трудоемкое занятие. Также Елена отметила, что до этого проекта сотрудники организации не считали стоимость пожертвований в денежном выражении, соответственно эта работа заняла определенное время. При этом точность  такого перевода имеет свои ограничения.

Важным результатом исследования явился тот факт, что стоимостная оценка социального результата совпала с оценкой ценности изменений, озвученных самими благополучателями. То есть услуги/их результаты, которые требует максимальных  финансовых вложений считается максимально ценными клиентками Центра. Результаты этого проекта будут использованы в фандрайзинге и при коммуникациях с волонтерами.

Получившийся инструмент не самый простой в использовании, и он основан на некотором количестве специфичных для организации допущений. При этом сотрудники проекта вполне его освоили для самостоятельных дальнейших расчетов. Очевидно также, что необходимо дальнейшее накопление данных и соответствующее развитие инструментария. 

Презентация  Е. Андреевой.

Важно отметить, что проведенные оценки позволили нарастить уровень доказанности практики «Теплый Дом»  (в соответствие со Стандартом доказательности практик в сфере детства) до продвинутого. Это единственная на сегодняшний день практика  в Банке доказательных практик  (партнерская инициатива Фонда Тимченко),  имеющая продвинутый уровень по всем критериям. Подробно описание практики  в доказательном ключе можно посмотреть здесь.

(3) Еще одно исследование социальных результатов, достигнутых в ходе оказания помощи семьям с детьми, проживающих в кризисных отделениях представила  Алла Осипова,

МРОО «Аистенок». Оценочное исследование об устойчивости  получаемого эффекта  и отношении благополучателей к вкладу организации была проведено для повышения доказанности практики.  Алла подробно представила дизайн и результаты  исследования, которое было проведено независимым социологом.

Презентация А. Осиповой.

Ссылка на отчет о проведенном исследовании.

Используемый в рамках исследования инструментарий доступен в онлайн-базе «Слушай с Пользой!».

После обсуждения опыта коллег, спикерам и участникам встречи было предложено ответить на вопрос: Какие мотиваторы и барьеры вы видите для развития мониторинга и оценки? В частности, было означено, что специфика практики влияет на «силу внешнего запроса об оценке эффективности». Кризисные центры, с одной стороны,  довольно дорогие практики  (учитывая, что в них проживает небольшое количество женщин в единицу времени) и у доноров  есть потребность понимать социально-экономический эффект от своих социальных инвестиций. При этом оценка устойчивости получаемых результатов и вклад таких инвестиций в дальнейшее благополучие женщины очень важна для доноров. С другой стороны, важно определить границу подотчетности практики и уровень результатов, за которые практика может и должна отвечать, а за которые  — нет.

Дополнительным внутренним мотиватором может служить, как было продемонстрировано в кейсах коллег,  возможность повышения удовлетворенности персонала за счет обсуждения результатов обратной связи от клиенток.

Естественным барьером для развития практик МиО является нехватка компетенций и  времени у специалистов-практиков. Построение системы мониторинга и оценки – длительный процесс, организация должна осознанно подойти к этому процессу и у организации должны быть  хотя бы минимальные ресурсы.  Олеся Деснянская, («Волонтеры в помощь детям-сиротам») считает, что мониторинг и оценка нужны «чтобы не застояться в своей красоте и исключительности», чтобы практика развивалась. 

После обсуждения этого вопроса участникам было предложено заполнить короткую анкету.  Всего было получено 19 ответов. Подавляющее большинство участников опроса ( 15 человек) отметили, что у них начальный или средний уровень компетенций в области мониторинга и оценки. Практически все ответили, что идея формирования сообщества специалистов кризисных центров для развития в них мониторинга и оценки в целом востребована  (19 ответов) и для них лично тоже (14 ответов).

Далее выступила Ольга Евдокимова с презентацией формирующейся базы знаний в области МиО по практикам Кризисные центры. В частности, Ольга представила:

1) Библиотеку Деревьев результатов и Логических моделей: https://pion.org.ru/newpion/library

2) Инструменты сбора обратной связи от благополучателей: https://base.socialvalue.ru/instrumenty—sbora/nayti—instrument/

3) Практики, описанные в соответствии с методологией Стандарта доказательности практик в сфере детстваhttp://deti.timchenkofoundation.org/praktiki/

Также Ольга отметила, что в конце марта откроется онлайн-курс «Оценка программ в сфере детства» и что все желающие могут записываться, оставив свои координаты в анкете. Этот курс может стать хорошим стартом для тех, кто в начале пути.

Презентация О.Евдокимовой.

И в заключении, участники встречи обсудили, в  чем может быть роль сообщества практиков для развития систем МиО в кризисных центрах? Некоторые участники  отметили, что примеры и опыт передовых организаций является мотиватором для остальных специалистов, менее опытных в плане мониторинга и оценки. Было принято решение  дополнительно собрать потребности участников площадки.

Анкета потребностей доступна по ссылке.

Видео-запись семинара доступна по ссылке.

Благодарим за сотрудничество всех спикеров и участников  и ждем вас на  следующем семинаре!