Итоги онлайн-семинара «Практические аспекты повышения доказанности практик работы с приемными семьями»

19 февраля состоялся онлайн-семинар ««Практические аспекты повышения доказанности практик работы с приемными семьями». В мероприятии приняли участие более 70 специалистов  из более чем 20 регионов РФ.

«Семинар является продолжением практической работы тематической группы «Мониторинг и оценка при реализации практик работы с приемными семьями», созданной в 2020 году в рамках проекта «Онлайн-курс по оценке программ в сфере детства». Созданная  специализированная площадка помогает специалистам-практикам повышать компетенции в области мониторинга и оценки, способствует обмену опытом и накоплению  соответствующей базы знаний» — отметила в начале мероприятия Ольга Евдокимова, директор АНО «Эволюция и Филантропия».  Ольга напомнила участникам ключевые итоги  первого семинара, которые были взяты за основу при планировании следующего.

Светлана Строганова, со-модератор мероприятия,  руководитель Клуба приемных семей Благотворительного  фонда  «Арифметика добра» отметила все возрастающий запрос доноров на доказательность социальных практик и высказала мнение, что «  … чем больше организаций будут становиться на доказательные рельсы, развивать мониторинг и оценку, тем больше шансов воздействовать на систему целиком…».

Далее спикеры представляли практический опыт своих организаций по развитию доказательного подхода.

Прокаева Татьяна, заместитель директора областного государственного казенного  учреждения социального обслуживания «Центр социальной помощи семье и детям Нижнеилимского района» подробно рассказала о том, какой путь прошла их организация по выстраиванию системы мониторинга и оценки, представила некоторые элементы этой системы (Дерево результатов, используемые инструменты), обозначила проблемы  и риски, а также возможные решения. Спикер, среди прочего, отметила важность участия Центра в проектах АНО «Эволюция и Филантропия» «ПИОН-Регион», «Стандарт 2.0»;  практическую ценность обучения на онлайн-курсе «Оценка программ в сфере детства». При этом, как подчеркнула Татьяна, следует закреплять  функционал в области МиО  за несколькими сотрудниками и соответственно важно передавать внутри организации соответствующие знания. В результате проделанной работы, практика «Мы вместе» прошла верификацию и представлена в Банке доказательных практик (партнерская инициатива Фонда Тимченко). Татьяна поделилась рекомендациями экспертов и планом повышения доказанности практики. С презентацией Татьяны Прокаевой можно ознакомиться здесь.

Щеглова Мария, руководитель Центра семейной адаптации БФ “Дети ждут” (Санкт-Петербург) представила опыт описания практики «Школа приемных родителей» для конкурса Реестр (банк) доказательных практик Фонда Тимченко:  «Нам было важно изучить, действительно ли эффективна и успешна практика на тех ее участках, где специалисты действуют пока интуитивно, опираясь пока исключительно на свой профессиональный опыт». Мария особо подчеркнула важность структурированного подхода для описания практики, который предлагается Стандартом доказательности практик в сфере детства, а также возможность получения внешней экспертной оценки и рекомендаций от экспертов по росту доказательности. При этом спикер обратила внимание на встретившиеся трудности и выявленные риски, среди которых, небольшое количество аналогичных практик, описанных в соответствие с доказательным подходом, из-за чего пока не возможен бенмаркинг собственной эффективности (то есть нельзя сравнить свои показатели с показателями аналогичных школ). Также было заметно некоторое сопротивление полевых сотрудников, которые опасались, что с внедрением новых процедур сбора и анализа данных будет происходить излишняя бюрократизация, которая может приводить к поверхностным выводам и необдуманным решениям. «Школа приемных родителей» получила довольно высокие баллы по уровням доказанности и рекомендации экспертов, как продолжать совершенствовать систему мониторинга и оценки. В частности, следует обратить внимание на систему показателей, характеризующих разные аспекты результативности (например, количество отказов и пр). С презентацией Марии Щегловой можно ознакомиться здесь.

Андреева Наталья Викторовна, координатор программ АНО “Родительский центр “Подсолнух”,  в своем выступлении сосредоточилась в основном на опыте проведения оценки программы «Территория радости». Проведение оценки с привлечением внешнего эксперта стало возможным благодаря полученному финансированию от  Фонда президентских грантов. Наталья детально представила основные этапы проведения оценки, особо отметив важность  формулирования ключевых оценочных вопросов, а также роль внешнего эксперта на каждом этапе. Результаты проведения оценки легли в дальнейшем в основу описания практики в доказательном формате. В 2020 году Организация приняла участие в конкурсе Фонда Тимченко «Реестр (Банк) доказательных практик)», описала практику в доказательном ключе, прошла верификацию и получила рекомендации экспертов по повышению уровня доказанности. Презентация Натальи Андреевой.

Перед выступлением следующих спикеров участникам мероприятия был предложен короткий опрос на тему актуальности и востребованности специализированной площадки для специалистов-практиков по обмену опытом в области мониторинга и оценки.

Были заданы  вопросы:

  1. Насколько востребована в целом, на Ваш взгляд, идея формирования сообщества специалистов для развития  мониторинга и оценки?
  2. Насколько актуально для Вас лично участие в тематической группе по практикам мониторинга и оценки?

Подавляющее большинство (в опросе приняли участие 57 слушателей) отвечали утвердительно на оба вопроса.

Также был задан вопрос об уровне организационного потенциала в области мониторинга и оценки и полученные ответы коррелируют с ответами участников семинара об их персональном уровне компетенций в области МиО. Половина участников считают, что у них начальный уровень.

Последним спикером, представляющим практический опыт организаций, была со-модератор мероприятия, руководитель Клуба приемных семей БФ «Арифметика добра», Светлана Строганова, которая рассказала о том, какой пусть проходили разные программы  Фонда, выстраивая свои системы мониторинга и оценки. В частности, Светлана упомянула опыт прохождения внешней оценки программы «Шанс» (подробнее о том, как повлияли результаты внешней оценки на развитие фандрайзинга в Фонде можно прочитать по ссылке); запуск систем мониторинга во всех программах Фонда; представила ключевые продукты по мониторингу и оценке ( цепочки социальных результатов; карты изменений), которые были разработаны при поддержке эксперта в рамках проекта АНО «Эволюция и Филантропия» «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства». Особую сложность, как отметила Светлана, представляет собой низкая мотивация сотрудников к участию в теме, а также отсутствие единого информационного поля. Для того, чтобы справиться с этой проблемой, 3 сотрудника Фонда прошли обучение на онлайн-курсе «Оценка программ в сфере детства». Также был проведен вводный семинар по МиО для всех сотрудников Фонда. В дальнейших планах – подготовка к оценке программ «Наставники» и «Клуб приемных родителей», дальнейшая работа по привлечению сотрудников к процессам МиО. Особый акцент при построении системы мониторинга и оценки получил вопрос о зоне контроля как самой практики (до какой степени получаемые результаты можно отнести за  счет практики, а какие в большей степени за счет иных факторов), так и практики передачи технологии Клуба приемных родителей  в регионы. Что именно мониторить при передачи практики? «Мы готовы всем делиться, что наработали по системе мониторинга и оценки» — отметила Светлана. C презентацией  Светланы Строгановой можно ознакомиться здесь.

В заключение спикеры ответили на вопросы:

  • Какие мотиваторы и барьеры вы видите для развития МиО в практиках поддержки приемных семей?
  • В чем, на ваш взгляд, может быть роль сообщества практиков для развития МиО?

Можно отметить следующие общие барьеры:

  • Низкая мотивация и низкий уровень знаний персонала
  • IT-технологии (от элементарного отсутствия интернета до отсутствия необходимых компетенций при использовании, например, Excel и прочее)
  • Высокая загрузка полевого персонала.
  • Отсутствие вовлеченных благополучателей.

Среди методологических сложностей была выделена, в очередной раз, сложность перехода от индивидуальной оценки семьи к обобщенным результатам по программе в целом, а также отсутствие лонгитюдных исследований, доказывающих эффективность работы с приемной семьей и как следствие влияние таких программ на успешную социализацию детей.

Cреди обсужденных мотиваторов можно особо отметить фактор повышения лояльности благополучателей при вовлечении их в мониторинг и оценку, а также определенную экономию издержек при вхождении в такую трудную тему. «Наличие поддержки в лице сопровождающего куратора значительно облегчает процесс…».

Что касается роли и задач сообщества было, в частности,  отмечено:

  • Обмен опытом по построению системы измерения и оценки (например, состав результатов, показателей, инструменты  сбора данных и пр);
  • Обмен опытом по описанию практик в доказательном ключе и прохождения верификации;
  • Бенчмаркинг (создание общих баз показателей) для определения собственной эффективности
  • Обмен или инициация исследований по доказанной эффективности
  • Обмен валидными инструментами оценки  благополучия семьи и ребенка
  • Определение и обсуждение «что не работает»
  • Осуждение подходов к оценке стоимости социальных результатов

Далее выступила Ольга Евдокимова с презентацией формирующейся базы знаний в области МиО по практикам работы с замещающими семьями. В частности, Ольга представила:

1) Библиотеку Деревьев результатов и Логических моделей: https://pion.org.ru/newpion/library

2) Инструменты сбора обратной связи от благополучателей: https://base.socialvalue.ru/instrumenty—sbora/nayti—instrument/

3) Практики, описанные в соответствии с методологией Стандарта доказательности практик в сфере детства: http://deti.timchenkofoundation.org/praktiki/

Для удобства пользования вышеперечисленными ресурсами следует выбирать тип практики!

4) Базу типовых результатов и показателей по практикам — в аналитическом отчете по 1-му семинару.

5) Пример системы мониторинга и оценки Общественной организации Шегарского района Томской области  «Рука в руке».

6)Пилотную анкету-конструктор для измерения субъективного благополучия родителей.

Также Ольга отметила, что в апреле откроется онлайн-курс «Оценка программ в сфере детства» и что все желающие могут записываться, оставив свои координаты в анкете. Этот курс может стать хорошим стартом для тех, кто в начале пути.

Презентация О.Евдокимовой.

Видео-запись семинара доступна по ссылке.

Благодарим всех спикеров!

И уж совсем в заключение немного отзывов от участников:

Огромное спасибо  за Ваш бесценный опыт! Непременно, что-то возьмём в работу.

Спасибо за встречу! Полезно и интересно. Всем спикерам особая благодарность за готовность делится опытом своих практик.

Мне, как новичку в данной профессиональной области ( работа по сопровождению замещающих семей) было крайне интересно расширить свои знания и послушать ВАШ опыт! Отдельно спасибо за полезные ссылки!Благодарю!  Вам, не останавливаться на достигнутом)))

Спасибо за интересную и очень полезную информацию!огромная благодарность за ссылки!)

Спасибо большое за приглашение.  Было очень интересно послушать опыт коллег. Информация для нас очень полезная и актуальная.

о ПИОНе -очень интересно,  будем изучать.  спасибо.

Спасибо за приглашение к участию. Так как работа с замещающими родителями и ШПР в перспективе, даже не думала о необходимости отслеживания динамики.

Благодарим за такие отзывы и за участие всех присутствующих!

Коллеги, помогите нам сделать работу нашей площадки наиболее полезной для вас! Ответьте, пожалуйста, на короткую анкету в срок до 3 марта

И ждем вас на  следующем семинаре!

Итоги онлайн-семинара «Оценочные исследования практик работы социальных приютов и кризисных центров для матерей с детьми»

12 февраля состоялся онлайн-семинар «Оценочные исследования практик работы социальных приютов и кризисных центров для матерей с детьми».

В мероприятии приняли участие более 40 человек из более чем 20 регионов РФ.

«Семинар является продолжением практической работы тематической группы «Кризисные центры», созданной в 2020 году в рамках проекта «Онлайн-курс по оценке программ в сфере детства». Созданная  специализированная площадка помогает специалистам-практикам повышать компетенции в области мониторинга и оценки, способствует обмену опытом и накоплению  соответствующей базы знаний» — отметила в начале мероприятия Ольга Евдокимова, директор АНО «Эволюция и Филантропия». Ольга напомнила участникам ключевые итоги  первого семинара, которые были взяты за основу при планировании следующего.

Далее  были последовательно  представлены кейсы и опыт следующих организаций:

(1) Исследование долгосрочных результатов для «выпускниц» центра временного проживания: инструмент, процесс и результаты (на примере проекта «Теплый дом» Благотворительного фонда «Волонтеры в помощь детям-сиротам»). 

Т. Арчакова рассказала, почему  было решено проводить оценку устойчивости ключевых результатов практики, озвучила ключевые элементы  дизайна  исследования, обозначила полученные результаты и «выученные уроки». Например, представляя созданный для опроса гайд, Татьяна отметила, что в силу специфики практики,  не получилось использовать известный,  взятый из бизнеса  и  применяющийся также  в НКО инструмент, оценивающий лояльность клиентов (NPS). Часть вопросов оказались не информативными; также было довольно сложно сравнивать ответы бывших подопечных Центра об их текущем уровне благополучия вследствие субъективности  этого понятия. Относительно небольшое количество участников опроса также накладывает свои ограничения. Определенную сложность (большие временные затраты) вызвала обработка интервью, анализ текстов. Татьяна Арчакова особо отметила потенциальную ценность инструмента, который помог бы упростить этот процесс.

Были выделены точки роста практики (работа с окружением) и подтверждена ценность психологической поддержки.  Дополнительным, но довольно значимым результатом  проведенной оценки можно считать выделение значимости для клиенток профессиональной  работы администраторов. «Коммуникация этой ценности административному персоналу окажет положительное влияние на их восприятие собственной деятельности» — считает Е.Андреева. Этот тезис подтверждает и А. Осипова  (МРОО «Аистенок»): « Когда мы рассказывали о результатах нашего исследования команде, наши специалиcты просто расцвели … Этот момент профилактики профессионального выгорания  не менее важен, чем остальные результаты, которые мы получаем».

Используемый в рамках исследования инструментарий доступен в онлайн-базе «Слушай с Пользой!»:

https://base.socialvalue.ru/metody-sbora-obratnoy-svyazi/interv-yu/post-259/

https://base.socialvalue.ru/metody-sbora-obratnoy-svyazi/interv-yu/post-224/

С презентацией Т. Арчаковой можно ознакомиться по ссылке.

Отчет об исследовании будет опубликован в течение некоторого времени.

(2) Расчет стоимости социального результата проекта «Теплый дом» Благотворительного фонда «Волонтеры в помощь детям-сиротам» представила  Е. Андреева. «Это уникальный проект, который мы реализовали совместно с коллегами для повышения уровня доказанности  их практики. Методика расчета социально-экономической эффективности у нас разработана уже довольно давно, мы систематические проводим мероприятия на эту тему, включили эту тему в наш онлайн-курс «Оценка программ в сфере детства». Однако практического опыта пока накоплено совсем немного и мы очень благодарны коллегам за такое новаторство» — отметила Ольга Евдокимова.

Елена Андреева представила Цепочку непосредственных и социальных результатов и методику расчета стоимости каждого. А именно, какие данные были взяты для расчета, как они агрегировались и дезагрегировались, какие были предположения и допущения.

Методика была разработана консультантом АНО «Эволюция и Филантропия» и ее внедрение стало возможным благодаря тому, что все данные по каждому клиенту аккуратно учитывались в рамках проекта «Теплый Дом». Однако, ограничением применения этой методики стал тот факт, что в организации пока нет единой  автоматизированной системы  управления клиентами (CRM) и все данные хранятся в отдельных файлах по каждому клиенту. Сводить  все данные в единый Excel файл было довольно трудоемкое занятие. Также Елена отметила, что до этого проекта сотрудники организации не считали стоимость пожертвований в денежном выражении, соответственно эта работа заняла определенное время. При этом точность  такого перевода имеет свои ограничения.

Важным результатом исследования явился тот факт, что стоимостная оценка социального результата совпала с оценкой ценности изменений, озвученных самими благополучателями. То есть услуги/их результаты, которые требует максимальных  финансовых вложений считается максимально ценными клиентками Центра. Результаты этого проекта будут использованы в фандрайзинге и при коммуникациях с волонтерами.

Получившийся инструмент не самый простой в использовании, и он основан на некотором количестве специфичных для организации допущений. При этом сотрудники проекта вполне его освоили для самостоятельных дальнейших расчетов. Очевидно также, что необходимо дальнейшее накопление данных и соответствующее развитие инструментария. 

Презентация  Е. Андреевой.

Важно отметить, что проведенные оценки позволили нарастить уровень доказанности практики «Теплый Дом»  (в соответствие со Стандартом доказательности практик в сфере детства) до продвинутого. Это единственная на сегодняшний день практика  в Банке доказательных практик  (партнерская инициатива Фонда Тимченко),  имеющая продвинутый уровень по всем критериям. Подробно описание практики  в доказательном ключе можно посмотреть здесь.

(3) Еще одно исследование социальных результатов, достигнутых в ходе оказания помощи семьям с детьми, проживающих в кризисных отделениях представила  Алла Осипова,

МРОО «Аистенок». Оценочное исследование об устойчивости  получаемого эффекта  и отношении благополучателей к вкладу организации была проведено для повышения доказанности практики.  Алла подробно представила дизайн и результаты  исследования, которое было проведено независимым социологом.

Презентация А. Осиповой.

Ссылка на отчет о проведенном исследовании.

Используемый в рамках исследования инструментарий доступен в онлайн-базе «Слушай с Пользой!».

После обсуждения опыта коллег, спикерам и участникам встречи было предложено ответить на вопрос: Какие мотиваторы и барьеры вы видите для развития мониторинга и оценки? В частности, было означено, что специфика практики влияет на «силу внешнего запроса об оценке эффективности». Кризисные центры, с одной стороны,  довольно дорогие практики  (учитывая, что в них проживает небольшое количество женщин в единицу времени) и у доноров  есть потребность понимать социально-экономический эффект от своих социальных инвестиций. При этом оценка устойчивости получаемых результатов и вклад таких инвестиций в дальнейшее благополучие женщины очень важна для доноров. С другой стороны, важно определить границу подотчетности практики и уровень результатов, за которые практика может и должна отвечать, а за которые  — нет.

Дополнительным внутренним мотиватором может служить, как было продемонстрировано в кейсах коллег,  возможность повышения удовлетворенности персонала за счет обсуждения результатов обратной связи от клиенток.

Естественным барьером для развития практик МиО является нехватка компетенций и  времени у специалистов-практиков. Построение системы мониторинга и оценки – длительный процесс, организация должна осознанно подойти к этому процессу и у организации должны быть  хотя бы минимальные ресурсы.  Олеся Деснянская, («Волонтеры в помощь детям-сиротам») считает, что мониторинг и оценка нужны «чтобы не застояться в своей красоте и исключительности», чтобы практика развивалась. 

После обсуждения этого вопроса участникам было предложено заполнить короткую анкету.  Всего было получено 19 ответов. Подавляющее большинство участников опроса ( 15 человек) отметили, что у них начальный или средний уровень компетенций в области мониторинга и оценки. Практически все ответили, что идея формирования сообщества специалистов кризисных центров для развития в них мониторинга и оценки в целом востребована  (19 ответов) и для них лично тоже (14 ответов).

Далее выступила Ольга Евдокимова с презентацией формирующейся базы знаний в области МиО по практикам Кризисные центры. В частности, Ольга представила:

1) Библиотеку Деревьев результатов и Логических моделей: https://pion.org.ru/newpion/library

2) Инструменты сбора обратной связи от благополучателей: https://base.socialvalue.ru/instrumenty—sbora/nayti—instrument/

3) Практики, описанные в соответствии с методологией Стандарта доказательности практик в сфере детства: http://deti.timchenkofoundation.org/praktiki/

Также Ольга отметила, что в конце марта откроется онлайн-курс «Оценка программ в сфере детства» и что все желающие могут записываться, оставив свои координаты в анкете. Этот курс может стать хорошим стартом для тех, кто в начале пути.

Презентация О.Евдокимовой.

И в заключении, участники встречи обсудили, в  чем может быть роль сообщества практиков для развития систем МиО в кризисных центрах? Некоторые участники  отметили, что примеры и опыт передовых организаций является мотиватором для остальных специалистов, менее опытных в плане мониторинга и оценки. Было принято решение  дополнительно собрать потребности участников площадки.

Анкета потребностей доступна по ссылке.

Видео-запись семинара доступна по ссылке.

Благодарим за сотрудничество всех спикеров и участников  и ждем вас на  следующем семинаре!

Итоги семинара «Мониторинг и оценка практик работы с семьями с особыми детьми»

3 ноября состоялся онлайн-семинар «Мониторинг и оценка практик работы с семьями с особыми детьми».

Семинар проведен в рамках тематической группы, объединяющей организации и практики, работающие в данной социальной проблематике.

В семинаре приняли участие 16 человек – специалисты и руководители организаций сферы детства.

Цель тематической группы:

  • популяризация темы мониторинга и оценки социальных практик, использования доказательного подхода к оценке результативности,
  • формирование базы знаний по мониторингу и оценке практик работы с семьями с особыми детьми» – практические наработки, методические ресурсы и пр.,
  • организация площадки для специалистов сферы детства по обмену опытом и поиску решений в области мониторинга и оценки программ, развитие компетенций.

Семинар включал три содержательных части.

  1. Первая часть семинара была посвящена методической поддержке организаций в области мониторинга и оценки.

Ресурсы для разработки системы измерения результатов: библиотеку логических моделей, деревьев результатов действующих практик в области поддержки особого детства представила Александра Горячева  (АНО «Эволюция и Филантропия»). Также в выступлении были представлены возможности методического ресурса – онлайн-сервиса ПИОН. Презентация доступна по ссылке.

Типичные сложности, возникающие в процессе мониторинга и оценки практик работы с семьями с особыми детьми, как точки их роста охарактеризовала Ирина Бобылева (БФ «Расправь крылья!»).С презентацией можно ознакомиться по ссылке.

2. Вторая часть семинара освещала опыт создания системы мониторинга и оценки в государственных и некоммерческих организациях через представление практических кейсов: как складывалась и развивалась система, какие трудности и ресурсы были у организации, какие возможности открыла перед организацией система МиО и каковы перспективы ее развития.

  • Опыт комплексного центра социального обслуживания населения города Череповца и Череповецкого района «Забота» представила Яна Зятикова.  Спикер охарактеризовала практику «Социальное обслуживание на дому детей с ОВЗ» с точки зрения доказательного подхода, и рассказала, каким у организации был путь повышения доказательности практики. Подробнее смотрите в презентации.
  • Опыт региональной общественной организации «Красноярский центр лечебной педагогики» раскрыла Оксана Матвеева. И в частности, рассказала о том, какой путь в МиО прошла организация, какие задачи стоят перед ней в настоящее время, какие социальные результаты и показатели к ним в системе МиО практики «Ранняя помощь». Подробнее смотрите в презентации.

3. Третья часть семинара была направлена на практическое решение задачи доработки системы мониторинга и оценки конкретной практики с учетом информационных потребностей всех стейкхолдеров. Форматом стала групповая работа.

  • Систему МиО программы «Хочу. Могу. Делаю» Центра содействия семейному устройству города Москва «Вера. Надежда. Любовь» представила Ирина Бобылева (БФ «Расправь крылья!»). Презентация по ссылке.

Данный кейс лег в основу групповой работы, в ходе которой участники отвечали на вопросы о том, какая информация о программе необходима разным группам стейкхолдеров, а именно – родителям особых детей, специалистам и администрации Центра. Результатом работы трех групп стали оценочные вопросы / результаты, важные для обозначенных заинтересованных сторон.

Запись семинара доступна по ссылке.

Аналитический отчет по семинару доступен по ссылке.

Семинар проведен  в рамках тематической группы «Семьи с особыми детьми» проекта «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется АНО «Эволюция и Филантропия» на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проекта осуществляет также Фонд Тимченко.

Итоги семинара «Мониторинг и оценка практик работы социальных приютов и кризисных центров для матерей с детьми»

30 сентября состоялся семинар «Мониторинг и оценка практик работы социальных приютов и кризисных центров для матерей с детьми».

Семинар проведен в рамках тематической группы, объединяющей организации и практики, работающие в данной социальной проблематике.

В семинаре приняли участие 32 человека.

Цель тематической группы:

  • популяризация темы мониторинга и оценки социальных практик, использования доказательного подхода к оценке результативности,
  • формирование базы знаний по мониторингу и оценке практик работы кризисных центров/приютов для женщин с детьми – практические наработки, методические ресурсы и пр.,
  • организация площадки для специалистов сферы детства по обмену опытом и поиску решений в области мониторинга и оценки программ, развитие компетенций.

С практической точки зрения семинар дал возможность познакомиться с подходами к измерению результативности практик работы кризисных центров и социальных приютов для матерей с детьми, обсудить типичные сложности, возникающие в процессе мониторинга и оценки проектов.

На семинаре были представлены:

— Типовые результаты и показатели практик работы социальных приютов и кризисных центров – базовые основы системы мониторинга и оценки, на которые можно опираться при разработке собственной системы измерения результатов (А. Горячева, эксперт-координатор АНО «Эволюция и Филантропия». Презентация доступна по ссылке.

— Практические кейсы организаций:

  • Опыт Центра временного пребывания для мам с детьми «Теплый дом» в построении и использовании системы мониторинга и оценки (Т. Арчакова, психолог-методист, БФ «Волонтеры в помощь детям-сиротам») – как складывалась и развивалась система МиО, какие возможности открывает перед организацией. Подробнее смотрите в презентации.
  • Карта результатов Центра временного пребывания для мам с детьми «Теплый дом».

Карта результатов представляет собой подход к планированию и измерению социальных результатов практики, который помогает структурировать всю комплексную работу Центра в единую картину. Подход отражает возникающие у благополучателей проблемы, воздействия практики, ожидаемые изменения (результаты) и стратегии, которые используются для их достижения. Презентация по ссылке.

  • А.Осипова (психолог МОО «Аистенок») представила систему МиО кризисного отделения временного проживания для женщин с детьми в трудной жизненной ситуации. 

И в частности, рассказала о том, как организация подходит к сбору данных, какие инструменты использует, как сопоставляет оценки от трех вовлеченных сторон: проживающих женщин, их близкого окружения и работающих с ними специалистов, а также о границах применимости такого подхода. Подробнее можно ознакомиться в презентации.

В завершении участники прошли короткий опрос на предмет того, несколько материал семинара применим на практике. Большая часть участников достаточно высоко оценили практическую применимость. Также среди участников были организации, которые отметили готовность поделиться своими наработками в области мониторинга и оценки с участниками группы.

Запись семинара доступна по ссылке.

Аналитический отчет по семинару доступен по ссылке.

Семинар проведен в рамках проекта «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется АНО «Эволюция и Филантропия» на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проекта осуществляет также Фонд Тимченко.

Итоги семинара «Мониторинг и оценка практик работы с замещающими семьями»

11 сентября прошел онлайн-семинар «Мониторинг и оценка практик работы с замещающими семьями».

В семинаре приняли участие руководители и специалисты НКО, ассоциаций замещающих родителей, государственных учреждений, работающих в области поддержки и сопровождения замещающих семей.Общее количество участников семинара — 40 человек, среди них представители 9-ти регионов.

В начале семинара модератор Светлана Строганова, руководитель Клуба «Азбука приемной семьи» БФ «Арифметика добра» представила общую повестку семинара и план предстоящей работы.

В первом выступлении, Александра Горячева, эксперт-координатор проектов АНО «Эволюция и филантропия», познакомила участников с типовыми результатами и показателями практик работы с замещающими семьями, методическими онлайн-ресурсами, которые могут быть полезны для специалистов в планировании системы мониторинга и оценки своих практик — онлайн-сервис «ПИОН: Планирование, измерение и оценка социальных результатов»; база методов и инструментов сбора данных от благополучателей «Слушай с пользой!». Также были отмечены возможные зоны роста с точки зрения планирования и выбора результатов и показателей, основанные на практическом опыте работы с организациями. Презентация доступна по ссылке.

Затем участники семинара в мини-группах обсудили задачи, которые перед ними стоят в области мониторинга и оценки, наиболее проблемные зоны. Среди них можно выделить следующие:

— поиск релевантных и валидных методов и инструментов сбора данных,

— определение ключевых результатов в случае оказания организацией комплекса услуг,

— определение того, когда и как проводить внутреннюю оценку,

— мотивация и вовлечение благополучателей в процесс МиО, поиск оптимальных инструментов сбора обратной связи и пр.

В основной части семинара несколько организаций представили свой опыт в области мониторинга и оценки, а также доказательности практик. Стоит отметить, что все организации находятся на разном этапе становления системы МиО – от начального  — когда система измерения и оценки результатов только складывается, до достаточно устоявшихся, реализуемых не один год систем МиО.

  1. Опыт двух организаций — БФ «Дети+», ЦССВ «Соколенок» представила Полина Гальцова, руководитель службы содействия семейному устройству, сопровождения кровных и замещающих семей, руководитель проектов Фонда.
  2. Как развивалась система мониторинга и оценки общественной организации Томской области (ООШРТО «Рука в руке»), рассказала в своем выступлении Горбунова Любовь, руководитель организации.
  3. Шевцова Людмила, начальник отдела подготовки семей и Харламова  Юлия, начальник отдела сопровождения семей представили опыт государственной организации — МКУ Центр «Созвездие», который заключался в описании практики в соответствии с методологией Стандарта доказательности социальных практик в сфере детства в рамках конкурса Фонда Тимченко,
  4. Опыт в мониторинге и оценке БФ «Солнечный город» представил Дмитрий Клочков, психолог Фонда. Данный кейс лег в основу группового практикума семинара.

После данного выступления, участники семинара разбились на группы, и обсуждали общую задачу, а именно – определяли подходы к оценке эффективности службы сопровождения замещающих семей через составление оценочных вопросов, необходимых для дальнейшей разработки дизайна системы мониторинга и оценки эффективности службы. Также в рамках групповой работы удалось подискутировать на тему того, что в целом закладывается в понятие «эффективность службы сопровождения».

Видеозапись семинара доступна по ссылке.

С Аналитическим отчетом по мероприятию можно познакомиться здесь.

Семинар проведен в рамках проекта «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется АНО «Эволюция и Филантропия» на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проекта осуществляет также Фонд Тимченко.

Итоги семинара «Мониторинг и оценка практик работы с замещающими семьями»

11 сентября прошел онлайн-семинар «Мониторинг и оценка практик работы с замещающими семьями».

В семинаре приняли участие руководители и специалисты НКО, ассоциаций замещающих родителей, государственных учреждений, работающих в области поддержки и сопровождения замещающих семей.Общее количество участников семинара — 40 человек, среди них представители 9-ти регионов.

В начале семинара модератор Светлана Строганова, руководитель Клуба «Азбука приемной семьи» БФ «Арифметика добра» представила общую повестку семинара и план предстоящей работы.

В первом выступлении, Александра Горячева, эксперт-координатор проектов АНО «Эволюция и филантропия», познакомила участников с типовыми результатами и показателями практик работы с замещающими семьями, методическими онлайн-ресурсами, которые могут быть полезны для специалистов в планировании системы мониторинга и оценки своих практик — онлайн-сервис «ПИОН: Планирование, измерение и оценка социальных результатов»; база методов и инструментов сбора данных от благополучателей «Слушай с пользой!». Также были отмечены возможные зоны роста с точки зрения планирования и выбора результатов и показателей, основанные на практическом опыте работы с организациями. Презентация доступна по ссылке.

Затем участники семинара в мини-группах обсудили задачи, которые перед ними стоят в области мониторинга и оценки, наиболее проблемные зоны. Среди них можно выделить следующие:

— поиск релевантных и валидных методов и инструментов сбора данных,

— определение ключевых результатов в случае оказания организацией комплекса услуг,

— определение того, когда и как проводить внутреннюю оценку,

— мотивация и вовлечение благополучателей в процесс МиО, поиск оптимальных инструментов сбора обратной связи и пр.

В основной части семинара несколько организаций представили свой опыт в области мониторинга и оценки, а также доказательности практик. Стоит отметить, что все организации находятся на разном этапе становления системы МиО – от начального  — когда система измерения и оценки результатов только складывается, до достаточно устоявшихся, реализуемых не один год систем МиО.

  1. Опыт двух организаций — БФ «Дети+», ЦССВ «Соколенок» представила Полина Гальцова, руководитель службы содействия семейному устройству, сопровождения кровных и замещающих семей, руководитель проектов Фонда.
  2. Как развивалась система мониторинга и оценки общественной организации Томской области (ООШРТО «Рука в руке»), рассказала в своем выступлении Горбунова Любовь, руководитель организации.
  3. Шевцова Людмила, начальник отдела подготовки семей и Харламова  Юлия, начальник отдела сопровождения семей представили опыт государственной организации — МКУ Центр «Созвездие», который заключался в описании практики в соответствии с методологией Стандарта доказательности социальных практик в сфере детства в рамках конкурса Фонда Тимченко,
  4. Опыт в мониторинге и оценке БФ «Солнечный город» представил Дмитрий Клочков, психолог Фонда. Данный кейс лег в основу группового практикума семинара.

После данного выступления, участники семинара разбились на группы, и обсуждали общую задачу, а именно – определяли подходы к оценке эффективности службы сопровождения замещающих семей через составление оценочных вопросов, необходимых для дальнейшей разработки дизайна системы мониторинга и оценки эффективности службы. Также в рамках групповой работы удалось подискутировать на тему того, что в целом закладывается в понятие «эффективность службы сопровождения».

Видеозапись семинара доступна по ссылке.

С Аналитическим отчетом по мероприятию можно познакомиться здесь.

Семинар проведен в рамках проекта «Онлайн-курс по оценке проектов и программ в сфере детства», который реализуется АНО «Эволюция и Филантропия» на средства гранта Президента Российской Федерации на развитие гражданского общества. Стратегическую поддержку проекта осуществляет также Фонд Тимченко.

Сборник кейсов

В сборнике отражен опыт некоммерческих организаций сферы детства – участников Проекта «Слушай с пользой!», внедряющих в свою деятельность систематические практики сбора и анализа обратной связи от благополучателей на разных этапах реализации социальных проектов (программ).

Важно отметить, что фокусом  проекта «Слушай с пользой!»  является сбор обратной связи от взрослых благополучателей – специалистов, родителей,  волонтеров и др. Именно данный опыт и отражен в описанных примерах организаций.

В представленных кейсах участники Проекта анализируют процесс получения обратной связи, делятся полученными результатами и выводами, трудностями и открытиями. Также в сборнике представлены инструменты сбора обратной связи от благополучателей, которые организации разрабатывали в рамках проекта «Слушай с пользой!».

В работе с организациями принимали участие эксперты-консультанты Проекта, которые оказывали профессиональную консультационную и методическую поддержку участникам на разных этапах цикла получения обратной связи. Комментарии экспертов находят отражение в представленном материале.

В сборнике представлены кейсы следующих московских и региональных некоммерческих организаций:

  • Благотворительный фонд социальной помощи детям «Расправь крылья!»
  • Автономная некоммерческая организация помощи людям с ментальными нарушениями «Ресурсный центр «Вера. Надежда. Любовь»
  • Общественная организация Шегарского района Томской области помощи детям и семьям группы риска по социальному сиротству «Рука в руке»
  • Региональная общественная организация родителей детей-инвалидов «Дорогою добра» Кировской области
  • Региональный православный центр защиты семьи, материнства и детства «Смоленский дом для мамы»
  • Межрегиональная общественная организация содействия программе воспитания подрастающего поколения «Старшие Братья Старшие Сестры»
  • Автономная некоммерческая организация Центр сопровождения детей и семей «Содействие»
  • Санкт-Петербургская благотворительная общественная организация «ПЕРСПЕКТИВЫ»
  • Фонд социального развития «Полдень»
  • Благотворительный фонд «Волонтеры в помощь детям-сиротам»

Представленные в сборнике примеры будут полезны некоммерческим организациям, которые только задумываются о внедрении практики получения обратной связи от благополучателей в свою деятельность, а также уже опытным в этой области организациям.

Сборник можно скачать здесь.

 Проект «Слушай с пользой!» реализовывался АНО «Эволюция и Филантропия» при поддержке Комитета общественных связей и молодежной политики города Москвы и с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществлял Фонд Тимченко.

Представляем вам 10 номер нашей периодической информационной рассылки за октябрь – ноябрь 2019 года

Мероприятия проекта:

6 ноября 2019 года состоялся вебинар «Вовлечение благополучателей  в оценку результатов деятельности.  Инструментарий и практический опыт НКО, работающих с семьями с детьми с ОВЗ». Выступали: Ольга Евдокимова с презентацией итогов реализации проекта «Слушай с пользой!»; Наталья Кошелева (АСОПП) «Карты изменений: метод вовлечения конечных благополучателей в процесс сбора и интерпретации данных в процессе оценки»; Елена Лянгузова (РООРДИ «Дорогою добра»)  и  Ирина Шелпакова («Содействие»)  с рассказом об опыте своих организации в выстраивании процессов  обратной связи с родителями детей с ОВЗ; Дарья Шамрова, PhD, Директор лаборатории оценки социальных программ при Школе социальной работы Государственного университета Вичиты (Канзас, США) по теме «Особенности проведения анализа данных, полученных от благополучателей». Презентации и видео-запись по  ссылке

11 ноября  2019 года в рамках II Всероссийской конференции «Опыт и роль НКО в сфере защиты и благополучия детства: объединяем усилия» (организованной Фондом президентских грантов) состоялся Практикум «Сбор и анализ обратной связи от благополучателей сферы детства. Рекомендации, инструменты, кейсы». Представляли результаты проекта и кейс РООРДИ «Дорогою Добра».  Подробности в  заметке.

14 ноября 2019 года на конференции Фонда Тимченко «Акватория Партнерства» мы представляли кратко результаты и продукты проекта «Слушай с Пользой!». Присутствовало более  60 представителей различных организаций сферы детства из более чем 30 регионов РФ. 

ИНДИВИДУАЛЬНАЯ РАБОТА С ПИЛОТНЫМИ УЧАСТНИКАМИ

Завершается этап индивидуальной работы с пилотными участниками: АНО “Ресурсый центр профилактики социального сиротства” (Рязанская обл.), БФ фонд «Волонтеры в помощь детям-сиротам», АНО «Марфо-Мариинский центр для детей с ограниченными возможностями здоровья».

 ОНЛАЙН БАЗА «СЛУШАЙ С ПОЛЬЗОЙ!»

Продолжаем совершенствовать онлайн базу,  делать интерфейс более дружественным, наполнять новыми материалами и функционалом.

Так, значительно обновился раздел –  Зарубежный опыт:  мы добавили новые инструменты, выложили все обзоры международного опыта и сформировали библиотеку полезных материалов (на английском языке).

Выложены кейсы пилотных организаций:

АНО «Вера.Надежда.Любовь»

БФ «Расправь Крылья!»

Чтобы быть всегда в курсе, подписывайтесь на обновления подпишитесь!  

ОЦЕНКА РЕЗУЛЬТАТОВ ПРОЕКТА

Завершено анкетирование участников «Слушай с Пользой»  на предмет оценки влияния проекта на рост информированности, мотивации и компетенций специалистов – участников проекта  при сборе и анализе обратной связи от благополучателей. Спасибо всем ответившим.

14 ноября  мы провели  заключительную фокус-группу среди пилотных региональных участников  с целью подведения итогов проекта. Подробности читайте в  заметке.

Спасибо всем принявшим участие!

И еще раз поздравляем!

Мы уже писали в прошлом выпуске о победителях премии в области оценки среди НКО. А недавно в журнале «ФИЛАНТРОП» опубликована статья «11 смелых организаций»: в Москве наградили победителей премии в области оценки среди НКО. Статью можно прочитать здесь. Как же приятно и радостно читать про достижения своих партнеров, тем более, что они еще и  активные участники проекта «Слушай с Пользой!».

 Еще раз поздравляем Благотворительный фонд «Расправь крылья!» из Москвы (в т. ч. Ольгу Заводилкину); Общественную организацию з Шегарского района Томской области Рука в Руке (Любовь Горбунову); Аистенок — Межрегиональную общественную организацию  из Екатеринбурга (в том числе, Аллу Осипову);  РООРДИ «Дорогою добра» из Кировской области ( в т. ч. Елену Лянгузову; Яндуткину Елену); АНО «Вера. Надежда. Любовь « ( в т.ч. Елизавету  Романову).

И большинство из них — грантополучатели Фонда Тимченко, который со своей стороны проделывает огромную работу по развитию оценочного потенциала своих партнеров по программе «Семья и Дети», за что ему также огромное большое спасибо!

ПРЕДЫДУЩИЕ РАССЫЛКИ МОЖНО ПРОЧИТАТЬ ЗДЕСЬ.

ВСЯ ИНФОРМАЦИЯ ПО ПРОЕКТУ ЗДЕСЬ.

 Проект «Слушай с пользой!» реализуется АНО «Эволюция и Филантропия» при поддержке Комитета общественных связей и молодежной политики города Москвы и с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществляет Фонд Тимченко.

С уважением, команда АНО «Эволюция и Филантропия».

Проект «Слушай с пользой!»

info@ep.org.ru

Представляем результаты проекта «Слушай с Пользой!» на Акватории Партнерства

14 ноября 2019 года в г.Рязани мы представляли кратко результаты и продукты проекта «Слушай с Пользой!», реализуемого АНО «Эволюция и Филантропия» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов, при стратегической поддержке Фонда Тимченко.

Присутствовало не менее 60 человек из более, чем 30 регионов РФ.

С докладом о результатах Проекта выступила Ольга Евдокимова (АНО «Эволюция и Филантропия).

Презентацию можно скачать здесь: здесь

Проект «Слушай с пользой!» реализуется АНО «Эволюция и Филантропия» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществляет Фонд Тимченко.

Отчет о проведении фокус-группы по оценке результатов проекта«Слушай с пользой!»

14 ноября в рамках Акватории партнерства мы провели итоговую фокус-группу с целью подведения итогов проекта, сбора обратной связи от участников.
Участники фокус-группы – представители пилотных региональных НКО – участников проекта. В рамках фокус-группы обсуждались следующие вопросы:

1. Что для участников представляло наибольшую/наименьшую ценность в проекте «Слушай с пользой!»?
2. Рекомендации участников по изменению проекта (что можно было бы изменить, чтобы проект более соответствовал ожиданиям, потребностям участников);
3. Как можно повысить востребованность продуктов проекта?

По первому вопросу участники отметили следующее:

(1) Большую ценность для пилотных организаций представляла работа с экспертами-консультантами. Помимо профессиональной экспертизы консультантов, связанной с разработкой инструментария и анализом полученных данных, что в первую очередь отметили участники проекта, участники также упомянули такие важные аспекты как:

  • возможность очного дистанционного консультирования по скайпу;
  • поддержка и мотивация (в том числе к соблюдению сроков проекта).

(2) Тематические скайп-встречи, на которых проводились промежуточные итоги, проходил обмен опытом между организациями – участниками проекта. Пользу данных мероприятий участники также отмечают в том, что в них всегда обсуждалось практическое применение вопросов, инструментов сбора обратной связи, полученных результатов.

(3) Методические рекомендации – многие участники отмечают, что в процессе работы над проектом неоднократно обращались к разработанным методическим рекомендациям по сбор обратной связи от благополучателей.

С точки зрения результатов проекта, открытий, представляющих наибольшую практическую ценность для организаций, участники отметили следующее:

  • научное обоснование инструментов сбора обратной связи.
  • важность апробирования инструмента, поскольку на этом этапе происходит понимание необходимости его доработки, и кроме того, можно сверить, насколько практически можно использовать полученные данные;
  • проведение анализа собранных данных – при чем не только с точки зрения профессиональной экспертизы, но и развития собственных компетенций в данной области, а также возможности качественно представить данные в публичном пространстве;
  • обсуждение, диалоги с благополучателями по полученным результатам сбора обратной связи.
  • Для многих организаций данный этап цикла сбора обратной связи принес неожиданные открытия, такие как:
  • благополучатели давали свои рекомендации по внесению корректировок в инструмент;
  • для самих благополучателей оказалось крайне важным признание значимости их мнения – дополнительным эффектом к этому в одной из организаций стало желание бывших клиенток центра стать волонтерами организации.

Наименее значимым элементом проекта участники назвали проводимые обучающие вебинары. Во многом это связано с тем, что организациям не всегда удавалось принять в них участие, и в этом случае практической пользы в данном ресурсе для участников было меньше по сравнению с другими ресурсами.

По второму вопросу: рекомендации по изменению проекта, чтобы он больше соответствовал ожиданиям, потребностям участников:

(1) —замена дистанционных форм обучения очными мероприятиями;

(2) более четкое формулирование конечного результата и ожиданий от участников со стороны организаторов проекта. Некоторые присутствующие на фокус-группе отметили, что у многих в начале участия в проекте не было полного понимания содержания проекта, что, возможно, помешало им активно включиться в проект с самого начала и правильно сфокусироваться, сформулировать цели, задачи. И наоборот, часть организаций, которая двигалась в более быстром темпе в процессе реализации проекта, столкнулась с непониманием того, что делать, если основные циклы сбора обратной связи уже пройдены;

(3) важность гармонизации с самого начала проектных циклов пилотных участников и плана-графика реализации проекта «Слушай с Пользой!»

(4) поддержка обмена опытом в вопросах диалога и обсуждений с благополучателями результатов обратной связи (с содержательной, а также технической стороны).

(5) Отдельно стоит отметить, что участники выразили потребность в методической поддержке и после окончания проекта, а также озвучили запрос от новых целевых аудиторий, например, государственных учреждений, которые узнают о проекте от организаций-участников и проявляют интерес.

По 3 вопросу: рекомендации организаций для повышения востребованности продуктов проекта «Слушай с пользой!»

В рамках данного обсуждения организации-участники высказывались в основном об онлайн-базе как ключевом продукте проекта, в том числе с точки зрения технических усовершенствований ресурса для обеспечения удобства пользования и повышения востребованности:

(1) важность продвижения онлайн-базы для повышения осведомленности профессионального сообщества о существовании данного ресурса;

(2) соблюдение качества инструментов в онлайн-базе – отбор инструментов, обратная связь организациям по загружаемым инструментам;

(3) возможность использования в конструкторе инструментов функции добавления и исключения вопросов;

(4) добавить в онлайн-базу инструкции, рекомендации по анализу инструментов.

Мы благодарим всех участников фокус-группы и учтем все полученные предложения!