Автор: Редакция

Кейс АНО «Центр помощи семьям детей с ограниченными возможностями здоровья «Содействие» (Ростовская обл.) вошел в Сборник кейсов, выпущенный в рамках проекта «Оценка программ в сфере детства: развитие сообществ практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Рады представить вашему внимаю Сборник кейсов «Оценка в сфере детства», в котором 12 организаций, получавших индивидуальную методическую поддержку, рассказывают о своей работе и достигнутых результатах.

Скачать Сборник кейсов можно по ссылке.

В сборник вошли кейсы 12 организаций:

АНО «Центр помощи семьям детей с ограниченными возможностями здоровья «Содействие» (Ростовская обл.)
АНО «Центр социальных проектов»
Ассоциация приемных родителей: усыновителей, опекунов, попечителей города Санкт-Петербурга
Благотворительное движение «Искорка Фонд»
Благотворительный фонд «Звезда»
Благотворительный фонд «Бюро добрых дел»
Благотворительный фонд «Гольфстрим»
Благотворительный фонд «Родительский мост»
БФ «Большая перемена»
РООРДИ «Дорогою добра»
Санкт-Петербургская ассоциация общественных объединений родителей детей-инвалидов «ГАООРДИ»
Фонд поддержки семьи и детей «Хранители детства»

Сборник выпущен в рамках проекта «Оценка программ в сфере детства: развитие сообществ практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Онлайн-курс «Оценка программ в сфере детства» за период 2020-2021 гг окончили более 150 выпускников . Сводные результаты оценки курса за 2021 год 22 февраля 2022 на Форуме «Оценка программ в сфере детства» представили Ольга Евдокимова и Светлана Сергеева (презентация).

Участникам Форума был задан вопрос по поводу возможности проходить обучение на платной основе. Количество ответивших ( 20 чел) было таково, что делать обобщающие выводы было бы неправильно, однако принять к сведению полученные результаты можно.

Отчет по результатам оценки проекта «Оценка в сфере детства: развитие сообществ практиков»

Подготовлен отчет по проекту «Оценка в сфере детства: развитие сообществ практиков», реализуемого на средства гранта Президента Российской Федерации на развитие гражданского общества.

Сроки реализации проекта (исследуемый период): 01.07.2021-28.02.2022

Ключевые направления проекта

1. Работа 4 тематических площадок (сетевых сообществ);
2. Онлайн-курс «Оценка проектов и программ в сфере детства»;
3. Индивидуальное сопровождение НКО по внедрению системы мониторинга и оценки (МиО);
4. Работа с донорским сообществом;
5. Формирование «базы знаний» по оценке в сфере детства.

Благополучатели проекта

1. НКО и специалисты сферы детства;
2. Донорское сообщество.

Методы

1. Анализ внутренней документов по проекту, включая аналитические отчеты кураторов площадок, отзывы и обратная связь от участников проекта, отчеты по результатам итоговой встречи и групповых встреч кураторов;
2. Количественные методы: онлайн-опросы (анкетирование), тестирование участников проекта (до и после);
3. Качественные методы: интервью с ключевыми участниками проекта, фокус-группы, анализ кейсов.

Результаты проекта

Степень достижения социальных результатов для благополучателей проекта напрямую зависит от типа мероприятий, в которые они были вовлечены. В более интенсивных по воздействию мероприятиях (онлайн-курс, индивидуальное сопровождение) степень достижения ожидаемых результатов выше, чем в менее интенсивных мероприятиях (участие в онлайн-встречах тематических сообществ, в т.ч. их просмотр в записи, получение писем-рассылок и изучение материалов проекта).

Среди целевых групп проекта в большей степени достигнуты социальные результаты для НКО и специалистов сферы детства – непосредственных участников мероприятий проекта.

Среди ожидаемых социальных результатов проекта в наибольшей степени достигнуты:
1) рост информированности, мотивации внедрять в своей организации / программе практики МиО (для НКО и специалистов сферы детства)
2) повышение компетенций по теме оценки (для НКО сферы детства – слушателей онлайн-курса)
3) рост доступности методической базы в области оценки по конкретным тематическим направлениям
4) доработка / внедрение системы оценки программ (для НКО сферы детства, получивших индивидуальное сопровождение)
5) усиление горизонтальных связей (для НКО и специалистов сферы детства)
6) повышение информированности об активных и ресурсных НКО, мотивированных и внедряющих практики оценки в своей деятельности (для донорских организаций)
Менее значимые достижения в период реализации проекта наблюдаются для средне- и долгосрочных результатов:
● PR-эффект и укрепление устойчивости (для НКО сферы детства, получивших индивидуальное сопровождение).
● рост оценочного потенциала (для донорского сообщества)

Незапланированные результаты проекта

1) Наиболее часто упоминаемый позитивный результат, который изначально не планировался в проекте – улучшение внутреннего взаимодействия и коммуникаций в организациях-участниках, командообразование. Совместная работа над системой МиО стала таким объединяющим фактором. В первую очередь речь идет об интенсификации коммуникаций относительно того, на какие цели и результаты для благополучателей направлена деятельность организации, о необходимости их планирования и измерения, совместная выработка оптимальных инструментов. Данный результат в большей степени представлен у участников мероприятий проекта с интенсивным форматом (индивидуальное сопровождение, работа в мини-группах в рамках онлайн-курса).
2) Среди иных непреднамеренных позитивных результатов, которые высказывают участники проекта:
● Использование новых IT-инструментов для фасилитации групповых онлайн-дискуссий (в частности, доски JamBoard);
● Запуск организацией активностей в области МиО, которые до участия в проекте постоянно откладывались;
● Повышение уровня доказанности практики, включенной в Реестр доказательных практик в сфере детства. К такому результату приводило как индивидуальное сопровождение (ООРДИ «Дорогою добра»); так и участие в работе тематической площадки – помощь узкопрофильного профессионального сообщества в экспертизе теории изменений программы организации (БФ «Волонтеры в помощь детям-сиротам»).
3) Единственный непреднамеренный негативный результат, который отмечают участники проекта – выгорание непосредственных участников и иных сотрудников организации, вовлеченных в реализацию проекта, из-за значимой ресурсоемкости проекта, фрустрация и страх перед объемом работы по внедрению системы МиО в организации.

Недостатки, выявленные в ходе реализации проекта

Участники проекта обозначили ряд сложностей и/или недостатков проекта
1) Высокая трудозатратность / ресурсоемкость проекта для участников / организации
2) Обеспечение командной работы
3) Коммуникационные сложности, непонимание «правил игры»
4) Сроки, продолжительность мероприятий проекта
5) Ряд слушателей онлайн-курса отдельно отмечали сложность его прохождения без достаточной предварительной подготовки, что во многом связано со сложностью терминологии и отдельных тем. Другие – наоборот, считали его «базовым», неподходящим для глубокого погружения в нюансы.
6) Участники мероприятий тематических сетевых сообществ среди сложностей и недостатков проекта отмечают его излишнюю «теоретизированность» и недостаток «живости»; участникам регулярных встреч в меньшей степени интересны «теоретические», «методологические» разговоры по теме оценки и мониторинга.
7) Недостаточный уровень базовых знаний в сфере оценки НКО, получающих индивидуальное сопровождение.
Со стороны организации , которая реализовывала проект выявлены следующие сложности :
1) Поиск достаточно большого количества мотивированных и ресурсных НКО, чтобы проводить качественный отбор
2) Поддержание мотивации участников тематических площадок быть вовлеченными в проект на всем его протяжении
3) Развитие цифрового сервиса ПИОН, который написан на сложном и дорогом языке.

Читайте подробный отчет по ссылке.

Кейс Санкт-Петербургской ассоциации общественных объединений родителей детей-инвалидов «ГАООРДИ» вошел в Сборник кейсов, выпущенный в рамках проекта «Оценка программ в сфере детства: развитие сообществ практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

ПРЕСС-РЕЛИЗ

22 февраля 2022 участники форума «Оценка программ в сфере детства» подвели итоги проекта «Оценка программ в сфере детства: развитие сообществ практиков». В числе основных результатов — развитие сообщества практиков в сфере оценки и повышение интереса НКО к применению трудоемкой, но важной для точной постановки целей и понимания достигнутых результатов системы мониторинга и оценки. А кейсы участников проекта подтвердили, что оценка помогает улучшать проекты организации и ясно видеть, как они влияют на жизнь общества. Форум организован АНО «Эволюция и Филантропия» совместно с Ассоциацией специалистов по оценке программ и политик (АСОПП). В форуме приняли участие более 90 человек из 27 регионов.

Переход на проектную работу и применение системы мониторинга и оценки стали неотъемлемой частью профессионализации некоммерческого сектора. В равной мере это справедливо и для донорских организаций, которым важно понимать результативность социальных инвестиций, и для наиболее крупных НКО, которые стремятся к долгосрочному развитию и убедительной демонстрации эффективности своих программ и проектов. Интерес к оценке вырос с принятием плана Десятилетия детства, в котором заложены новые подходы к социальным проектам, включая развитие доказательного подхода, инфраструктуры учета мнения детей и других, инновационных для России практик. Одним из барьеров для более активного использования в деятельности НКО инструментов мониторинга и оценки остается дефицит специалистов в области оценки социальных проектов и поддерживающей инфраструктуры. Проект «Оценка программ в сфере детства», реализованный АНО «Эволюция и Филантропия», предоставил возможность некоммерческим организациям, работающим в сфере детства, обучиться основам оценки, развить систему мониторинга и оценки, а также включиться в сообщество коллег, решающих сходные задачи.

Как отметила исполнительный директор АНО «Эволюция и Филантропия» Ольга Евдокимова, проект включает четыре основных направления: формирование сообщества практиков, применяющих оценку в деятельности своих организаций, индивидуальная методическая поддержка НКО, уникальный обучающий онлайн-курс, а также пополнение и развитие базы знаний, включающей кейсы, инструменты и другие материалы, посвященные теме оценки. Результаты работы в каждом из этих направлений на Форуме представили участники и партнеры проекта. Презентация Ольги Евдокимовой по ссылке.

О работе тематических площадок рассказали их кураторы — Татьяна Арчакова (презентация), Ирина Бобылева (презентация), Инна Голеня (презентация) и Ольга Заводилкина (презентация) . Четыре тематические площадки были сформированы в зависимости от направления, в котором работают организации – приюты или кризисные центры для мам с детьми, социализация подростков и выпускников сиротских учреждений, сопровождение замещающих семей и сопровождение семей с особыми детьми. Тематические площадки объединили более 550 специалистов и более 110 организаций, которые во время онлайн встреч обменивались опытом, изучали практики, создавали и обменивались инструментами мониторинга и оценки. Отдельной темой каждой площадки стало обсуждение опыта применения организациями своих практик в доказательном ключе и их верификация для включения в Реестр доказательных практик. Кроме того, участники смогли получить практический опыт развития того или иного элемента системы мониторинга и оценки. Особенный практический интерес у участников вызвало построение Теории изменений.

Можно говорить и о том, что главная цель проекта – создание сообщества практиков оценки – достигнута: по результатам опроса более 80% специалистов отметили, что их участие в проекте стало полезным, более 70% готовы продолжать работу в проекте в 2022 году, чтобы продолжить обсуждение более сложных вопросов мониторинга и оценки или получить экспертизу специфических инструментов.

О создании совместно с Агентством стратегических инициатив в МГППУ «Точки кипения» рассказала Татьяна Подушкина, заведующая сектором «Центр доказательного социального проектирования» МГППУ. Она отметила, что «Точка кипения» — пространство, где представители профессионального сообщества сферы детства и ученые могут обсуждать темы оценки, знакомиться и транслировать передовой опыт, эффективные практики, презентовать инновации, актуальные тренды, искать новые решения и технологии.

Отдельное внимание организаторы Форума уделили представлению опыта развития системы мониторинга и оценки в НКО. Всего в рамках проекта на конкурсной основе было выбрано 12 НКО сферы детства, с которыми работали консультанты-кураторы. Подробнее об этой работе можно прочитать в опубликованном Сборнике кейсов «Оценка программ в сфере детства». Большинство НКО представляли результаты своей работы на тематических площадках. На Форуме был презентован опыт Фонда поддержки семьи и детей «Хранители детства», Благотворительного общественного движения помощи онкобольным детям «ИСКОРКА ФОНД» из Челябинска, Санкт-Петербургской ассоциации общественных объединений «ГАООРДИ», Региональной общественной организации родителей детей-инвалидов Кировской области «Дорогою добра».

Участники форума (68%) приняли участие в опросе, в ходе которого ответили на два вопроса. В качестве наиболее полезного для своей организации формата поддержки опрошенные назвали индивидуальную поддержку со стороны экспертов-оценщиков (73%), обсуждение кейса коллегами-практиками в формате мини-группы (61%) , стажировку в другой организации со схожей практикой (51%), обучение основам МиО (41%) — ответ на вопрос предполагал множественный выбор. Отвечая на второй вопрос о возможности выделить средства на привлечение консультанта по развитию системы МиО, 18% опрошенных сказали, что скорее готовы выделить средства на консультанта, 48% ответили «скорее нет», 34% ответили, что не знают.

Ключевой фактор успеха для развития в НКО систем мониторинга и оценки – это командная работа и общее информационно-понятийное поле. Очень важно, чтобы члены команды владели базовыми теоретическими знаниями в области мониторинга и оценки. Для этого был разработан уникальный онлайн-курс «Оценка программ в сфере детства», который за период 2020-2021 гг окончили более 150 выпускников . Сводные результаты оценки курса за 2021 год представили Ольга Евдокимова и Светлана Сергеева (презентация).

Участникам Форума был задан вопрос по поводу возможности проходить обучение на платной основе. Количество ответивших ( 20 чел) было таково, что делать обобщающие выводы было бы неправильно, однако принять к сведению полученные результаты можно.

По окончанию онлайн-курса  организаторы отобрали пять наиболее активных организаций сферы детства, которые получили методическую поддержку Ресурсно-методического центра Благотворительного фонда «Дорога к дому». Социолог и методист центра помогали разрабатывать перечень показателей, инструментарий для мониторинга, анализировать и совершенствовать логические модели практик, внедрять оценку в работу Центра помощи детям, оставшимся без попечения родителей, Свердловского района г. Иркутска, Международного детского фонда «Дети Саха – Азия», ОГБУСО СРЦ для несовершеннолетних Братского района, Санкт-Петербургской общественной благотворительной организация «Общество свт. Иоасафа», челябинского Центра помощи детям, оставшимся без попечения родителей «Акварель».

Руководитель центра БФ «Дорога к дому» Алена Богомолова обратила внимание на необходимость быть более уверенными в своей экспертизе, потому что именно специалисты «внутри проекта» лучше понимают особенности и потенциал практики. Консультанты не могут дать универсальных решений – они помогают команде искать нужное решение.

Важный результат проекта – распределенная база знаний, поддерживаемая на платформе ПИОН и на платформе Слушай с Пользой!. Ольга Заводилкина, эксперт-консультант проекта, представила важные изменения и доработки, в результате который в базы знаний были загружены апробированные инструменты МиО: кейсы, анкеты оценки и обратной связи от благополучателей, гайды интервью, логические модели и др. См. презентацию о новациях и видео-ролик «Слушай с Пользой!», а также видео-ролик онлайн-сервиса ПИОН.

И, конечно, проект, направленный на развитие оценки в сфере детства, не мог обойтись без оценки собственных результатов. Ее провела независимый эксперт, оценщик Наталья Фреик. Она отметила в числе значимых результатов проекта рост информированности НКО по теме мониторинга и оценки, повышение мотивации представителей некоммерческого сектора использовать оценку в своей практике. Участники проекта смогли повысить компетенции своих специалистов, получили доступ к методической базе и в целом выполнили свои задачи по доработке и внедрению оценки в своих организациях. А для устойчивости культуры оценки большое значение имеет еще и развитие горизонтальных связей НКО – именно они помогут организациям расти профессионально.

Свои подходы к оценке, а также применяемые методы и инструменты мониторинга и оценки представили донорские и грантодающие организации – победители премии «За содействие развитию культуры оценки социальных программ в России» в номинации «За достижения в развитии культуры оценки в донорских организациях» (учреждена АСОПП и Форумом доноров). Наталья Канальцева, БФ «Добрый город Петербург», Екатерина Молокова, БФ компании Amway «В ответе за будущее», София Шагинян, Фонд поддержки социальных инициатив в сфере детства «Навстречу переменам», говорили о том, что одновременно с развитием внутренней оценки они стремятся поддерживать и стимулировать систему мониторинга и оценки в своих партнерских организациях. Для грантодающих организаций развитие культуры оценки, с одной стороны, возможность видеть эффективность поддерживаемых проектов, понимать свой вклад в изменение жизни общества и, конечно, работу свою и благополучателей еще более профессиональной: всегда есть возможность делать что-то еще лучше.

Видеозапись Форума «Оценка программ в сфере детства» 22 февраля 2022 г. доступна каналах  YouTube и Rutube.

Форум организован в рамках проекта «Оценка программ в сфере детства: развитие сообществ практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Контакты организаторов:

АНО «Эволюция и Филантропия

Тел.: +7 (965) 437 87 59, Электронная почта: info@ep.org.ru

Среди трендов, которые отмечают российские эксперты в сфере оценки, — это специализация оценки по направлениям программной деятельности. Лидирует направление «Семья и дети», и именно здесь в последнее время стали формироваться тематические сообщества специалистов, которые поддерживают друг друга, обмениваются знаниями, информацией, участвуют в дискуссиях. Как работают сообщества практиков и как они помогают развивать систему мониторинга и оценки практик участников сообщества – в материале «Филантропа».

Профессиональные сообщества 

Сообщества практиков существуют во многих сферах деятельности и распространены по всему миру. Группы людей с общими интересами объединяются, чтобы решить схожие проблемы. Термин community of practice — «сообщество практики» или «сообщество обмена знаниями» — впервые было упомянуто в 1991 г, а одно из первых сообществ возникло в исследовательском центре Xerox в Калифорнии. Операторы, отвечающие за ремонт принтеров, использовали перерывы в работе и паузы, чтобы обсудить со своими коллегами различные инциденты и сбои. Во многих случаях они не пользовались техническими руководствами, а предпочитали искать решение вопроса в сообществе. Таким образом, каждый технический специалист мог поделиться своим опытом и извлечь пользу из практических примеров, которые были у других коллег. 

В настоящее время сообществам практиков можно найти такое определение: «это сеть людей с общими интересами в определенной области знания или одного уровня компетентности, желающих совместно работать и обучаться в течение некоторого времени, а также совместно использовать знания, т.е. обмениваться опытом».

В более узком смысле сообщества практиков можно рассматривать как инструмент управления знаниями. Экспертные разработки, участие в дискуссиях, совместная работа – все это приводит к появлению новых способов работы, решению проблем, новым знаниям.

Все сообщества базируются на трех элементах: сфера деятельности, члены сообщества и практика (сама деятельность организации). 

Главное — идея

Для развития сообщества практиков необходима идея, в сфере мониторинга и оценки – это идея доказательности практик, поиска аргументов, доказывающих, что действия организации приводят к запланированному результату. Эксперты отмечают, что у НКО сферы детства есть запрос на оценку своей деятельности и результатов. Организации, уделяющие особое внимание доказательности практик в сфере детства, привлекают крупные пожертвования, масштабируют работу, получают новые инструменты для общения с донорами, побеждают в грантовых конкурсах. Однако часть НКО сталкивается с рядом барьеров на пути внедрения процессов оценки, чаще всего это недостаток соответствующих компетенций и ресурсов. Помочь НКО сферы детства преодолеть эти барьеры как раз и призваны тематические профсообщества.

АНО «Эволюция и филантропия» взяла на себя роль модератора деятельности четырех тематических профсообществ НКО сферы детства – «Семьи с особыми детьми»; «Замещающие семьи»; «Социализация подростков / выпускников сиротских учреждений»; «Социальные приюты/кризисные центры для матерей с детьми». Участниками проекта «Оценка в сфере детства: развитие сообществ практиков», получившего грант Фонда президентских грантов, стали группы специалистов, готовые делиться своим опытом и экспертизой по вопросам оценки социальных программ.

Как это работает 

У каждой тематической группы есть координатор, задача которого — понять актуальные запросы сообщества и постараться максимально на них ответить, планируя повестки встреч сообщества. Есть три формата встреч: регулярные Zoom-конференции, узкая рабочая группа, которая прорабатывает один конкретный запрос и индивидуальная поддержка по вопросам выстраивания в НКО системы оценки. Кроме того, участники профсообщества могли пройти интерактивный онлайн-курс по теме оценки в сфере детства, а также использовать онлайн-сервис «ПИОН», который позволяет планировать логику программ с акцентом на социальный эффект, измерять и оценивать результаты программ и проектов в соответствии с доказательным подходом. 

Регулярные встречи участников в Zoom-конференциях стали безопасным пространством и экспертной площадкой по обсуждению вопросов оценки, самообучению, консультированию и эффективному обмену опытом и ресурсами.

Ролик о ПИОН см. по ссылке.

Что обсуждали 

Тематическая группа «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений» внесла вклад в развитие методической базы для систем мониторинга и оценки: онлайн-база «Слушай с пользой» пополнена новыми инструментами, а Реестр (банк) доказательных практик – новыми практиками, описанными в формате Стандарта доказательности и прошедшими независимую верификацию. В пяти онлайн-встречах группы приняли участие 90 человек из 34 государственных и негосударственных некоммерческих организаций.

«Организации, только встающие на путь оценки, слушая опытных коллег, начинают движение в сторону развития мониторинга и оценки в своей НКО. Организации, уже имеющие опыт, развивают свои системы мониторинга и оценки, сравнивая их с системами близких практик. Мы рассматривали международный опыт, делали содержательные выводы, усиливающие собственную позицию и представления в области оценки. Учились на чужих ошибках, рассматривая их как направления для развития, анализировали типичные трудности и проблемы в области мониторинга и оценки, пути их решения, создали чек-лист ошибок», — рассказывает Ирина Бобылева, координатор тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений»

Фокус другой тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми» — какой должна быть система мониторинга и оценки, чтобы отвечать запросам практик поддержки семей с особыми детьми, социальные результаты, инструменты, показатели, методы анализа, как готовиться к верификации практики, как ее проходить.

«Наша группа – единое пространство доверительной экспертизы, когда появляются общие смыслы. Например, что и как считать успехом? Как об этом рассказать другому, чтобы поняли? Сообщество практиков помогает организациям преодолеть страхи, повысить готовность заниматься мониторингом и оценкой», — говорит Ольга Заводилкина, координатор тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми». 

В 2021 году прошло пять встреч этой тематической группы, в которых приняли участие 184 человека из 119 организаций.

189 участников группы «Мониторинг и оценка практик сопровождения замещающих семей» из 81 организации составляли различные цепочки результатов – от оценки эффективности отдельных услуг до оценки эффективности передачи технологий, работали над деревом результатов практики, знакомились с кейсами организаций, прошедших независимую верификацию в рамках Конкурса «Реестр доказательных практик» в 2021 г.

«Даже те организации, у кого уже есть опыт мониторинга и оценки, когда начинали рассказывать про свои практики, находили для себя что-то новое», — отмечает Инна Голеня, координатор тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений».

Участники тематической группы «Социальные приюты и кризисные центры для матерей с детьми» , в которой приняли участие 157 сотрудников из 96 организаций, делились результатами исследований долгосрочных социальных результатов, методикой расчета экономической эффективности, обсуждали социальные результаты и показатели практик друг друга. 

Среди результатов участия в тематической группе — вхождение в реестр практик с доказанной эффективностью; победа в конкурсе Президентских грантов (за счет грамотно прописанных социальных результатов, показателей и способов их измерения).

Преимущества работы сообща

Сообщество практиков помогает развивать культуру оценки в организациях и решать практические задачи. Например, специалисты бюджетного учреждения Омской области «Центр поддержки семьи» только встали на путь оценки, но за год успели многое: участвовали во всех встречах тематической группы, учились на онлайн-курсе «Оценка программ в сфере детства», предоставили свои инструменты в методическую базу, описывали свою практику по стандарту доказательности, прошли две верификации: экспертную и публичную.

«Комментарии коллег позволили нам определить приоритет в повышении доказанности – начать работу с повышения регламентированности, собрать все наработанные материалы воедино. В результате обсуждения кейсов и публичной верификации мы поняли, что подобной (даже если очень отдаленно) практики среди коллег никто не реализует и это показалось нам интересным достижением», — отмечают специалисты «Центра поддержки семьи». Их практика направлена на подготовку выпускников организаций для детей-сирот к смене условий (к выходу из детского дома) и поддержке при адаптации к самостоятельной жизни.

Участники тематических групп отмечали, что в работу «пришла система»: знания о мониторинге и оценке внедряются в практику и распространяются внутри организации. Часть организаций говорила о понимании важности мониторинга и оценки. Так, Благотворительный фонд «Родительский мост» понял, что важно иметь отдельного сотрудника, ответственного за мониторинг, и это не руководитель, потому что иначе он утонет под массой задач. Фонд принял управленческое решение — включил в новый проект сразу двух методистов: ответственного за развитие и описание практики и ответственного за сбор и анализ данных. Еще один инсайт: понимание, что система мониторинга и оценки не статична, она требует изменений, поэтому требуется постоянное «методическое развитие» как организации в целом, так и компетенций сотрудников.

Хабаровская краевая общественная организация «Чужих детей не бывает» последовательно внедряет мониторинг и оценку. Организация — участник проекта «ПИОН-регион», под руководством экспертов сотрудники «Чужих детей не бывает» разработали логическую модель (набор результатов и показателей) для социального приюта. Это позволило им не просто структурировать свою деятельность, но и лучше понять ее границы – начать разработку дополнительных проектов (например, сопровождение выпускниц с ментальными нарушениями). Практика «Чужих детей не бывает» вошла в Реестр доказательных практик Фонда Тимченко. Сейчас организация продолжает работу над повышением доказательности своей практики. 

«Кажется, что все это индивидуальные результаты, но они приводят к конструированию нормы сообщества, что заниматься мониторингом и оценкой – это норма. Даже если сейчас у кого-то не хватает мотивации или ресурсов, то все равно, побывав в сообществе практиков, ты живешь в парадигме, что оценка необходима в работе», — говорит Татьяна Арчакова, координатор тематической группы «Социальные приюты / кризисные центры для матерей с детьми», психолог-методист Благотворительного детского фонда «Виктория».

Как показал анализ обратной связи от участников сообществ, большинство отмечают рост уровня компетенций в сфере мониторинга и оценки, освоение новых методических ресурсов, появление новых возможностей для профессионального роста и планируют продолжать сотрудничество с экспертами и другими членами сообщества. Задача на перспективу, которая стоит перед АНО «Эволюция и филантропия», — увеличение числа активных членов и усиление горизонтальных связей между участниками. 

Автор: Юлия Вяткина. Оригинал статьи см. на сайте журнала Филантроп.

Встреча проводилась в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов

В первой части встречи подвели итоги работы тематической группы практик сопровождения замещающих семей в 2021 г. (презентация). После подведения итогов провели дискуссию с обсуждением результатов работы группы с точки зрения ее участников, поговорили о влиянии участия в тематической группе на развитие системы мониторинга и оценки практик участников группы.

Результаты участия в тематической группе, которые выделили специалисты для себя и своих практик, оказались разные и интересные:

• В команде проще рассматривать сложные моменты МиО, много берешь себе в работу.
• Возможность представления своей практики сообществу помогает увидеть ее со стороны, улучшить формулировки, сделать их доступными специалистам из вне.
• Повышение мотивации и активности в работе с оценкой практики.
• Повышение внутреннего ценза, понимание важности и нужности темы.
• Пройденная верификация помогла победить во Всероссийском конкурсе «Лучшая практика в сфере социальной защиты»
• Новый взгляд на практику, приходит понимание вектора дальнейшего развития.
• Добавление новых компетенций к опыту практической деятельности.

Во время обсуждения определили барьеры, которые мешают пользоваться ресурсами сообщества: сложная логика Пиона; ограниченный тайминг на практическую часть во время встреч, много времени уходит на подведение итогов, статистику, опросы.

Для повышения эффективности взаимодействия в тематической группе участники предложили:

• Создание Форума в Whatsapp или на платформах других мессенджеров.
• Организацию стажировочных площадок.
• Проведение супервизий по теме МиО.

Участники выделили темы, над которыми важно поработать на следующих встречах:

• Инструменты, которые используются в практиках сопровождения для отражения результатов.
• Вовлечение детей в тему МиО.
• Проведение мониторинга практики, когда нет собственных компетенций.
• «Для кого мы это делаем?» (МиО) Как заинтересовать регион?

Во второй части встречи Вероника Кудрявцева, председатель Ассоциации приемных родителей: усыновителей, опекунов, попечителей города Санкт-Петербурга познакомила участников площадки с результатами работы организации, получившей в рамках проекта индивидуальное сопровождение (презентация). Вероника поделилась, что было желание разработать систему МиО, результаты которой станут самостоятельным инструментом для развития программ практики и создать инструменты, позволяющие получить результат, отражающий реальность. Работа над улучшением системы МиО помогла команде Ассоциации выйти на новый мета – уровень. 

Надежда Рождественская, доцент кафедры отраслевой экономики и финансов института экономики и управления РГПУ им. А. И. Герцена (г. Санкт-Петербург), как консультант, оказывающий индивидуальную поддержку Ассоциации, поделилась впечатлениями, как складывалось взаимодействие с организацией. (видео).

Участники встречи отметили, что такой уникальный опыт индивидуальной поддержки эксперта –консультанта при доработке своей системы МиО, хотели бы получить многие организации.

В третьей части встречи планировалась практическая работа с инструментами системы мониторинга и оценки практик сопровождения приемных семей. В силу ограниченного тайминга, удалось познакомиться только с одним инструментом.  Уникальную, апробированную разработку отдела сопровождения замещающих семей Смоленского областного государственного бюджетного учреждения «Центр психолого-медико-социального сопровождения детей и семей» «Анкета определения комфортности проживания детей в замещающих семьях» представила Оксана Михайлова, руководитель отдела.

Видео встречи доступно по ссылке.

27 января состоялась онлайн встреча тематической группы «Социальные приюты и кризисные центры для матерей с детьми» — «База знаний по МиО работы социальных приютов и кризисных центров».

Общее количество участников — 37 человек, из них представители 16-ти регионов РФ.

Встреча проводилась в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

Модератором встречи выступила Ольга Евдокимова, директор АНО «Эволюция и филантропия».

В первой части Ольга Евдокимова представила обзор всего, что было сделано в рамках встреч тематической группы в 2021 г. (презентация).

Затем состоялись анкетирование и дискуссия с обсуждением результатов работы группы с точки зрения ее участников, а также барьеров на пути к обращению за поддержкой и ресурсами сообщества между встречами.

Среди результатов участия в тематической группе участники назвали вхождение в реестр практик с доказанной эффективностью; победу в конкурсе Президентских грантов (за счет грамотно прописанных социальных результатов, показателей и способов их измерения).

Некоторые отмечают, что в работу «пришла система»: знания о МиО внедряются в практику и распространяются внутри организации. Сложилось понимание важности МиО, которое воплощается в конкретных идеях («Должен быть человек, который отвечает за сбор данных – и это не руководитель организации») и управленческих решениях: так БФ «Родительский мост» включил в новый проект сразу двух методистов: ответственного за развитие и описание практики и ответственного за сбор и анализ данных. Еще один инсайт: понимание, что система МиО не статична, она требует изменений, поэтому требуется постоянное «методическое развитие» как организации в целом, так и компетенций сотрудников.

Ряд участников рассматривают группу как возможность получить знания и навыки: обсуждение реальных кейсов в сфере МиО дополняет учебу на онлайн курсе «Оценка проектов и программ в сфере детства». Использование новых IT-инструментов для фасилитации дискуссий группы для одной из участниц стало личным «IT-прорывом».

Участники группы также отметили, что за последний год у крупных фондов стало развиваться понимание того, что необходимо развивать МиО в организациях-грантополучателях, появились новые возможности для этого.

Основные барьеры, мешающие обращаться к ресурсам сообщества, – это сомнения в пригодности чужого опыта для своей организации («нет типовых решений») и коммуникативные барьеры. Участникам не всегда понятно, кому лучше написать с какими вопросами; некоторых останавливает отсутствие личного знакомства. Внутренние факторы, мешающие организациям обращаться к коллегам: нет внутреннего ресурса на развитие, много текущей работы, некоторые опасения излишней открытости.

Несмотря на выделенные барьеры, участники обращаются к ресурсам сообщества и помимо встреч тематической группы, например, знакомятся с кейсами коллег в сервисе ПИОН. Многие горизонтальные связи возникают, но остаются незаметными (обращение к материалам сайта, стажировки). У БФ «Волонтеры в помощь детям-сиротам» был опыт обращения к профессиональному сообществу за экспертизой теории изменений практики «Профилактика отказов от новорожденных»: они получили много важной информации и повысили уровень доказанности практики.

Для преодоления барьеров участники предложили:

• Использовать возможности очных мероприятий для знакомства участников группы.
• Создать две разных группы в Whatsapp или Telegram:
  • Группу для неформального общения, куда можно будет обращаться с конкретными вопросами (как удобный способ обратиться за поддержкой сообщества).
• Группу без функции комментариев, куда выкладываются новости, дайджесты, полезные материалы.
• Назначить регулярные дни и «приемные часы» (например, каждый первый понедельник месяца), в которые опытные участники группы «дежурят» и проводят супервизии или консультации по запросам.
• Необходим диалог с научным сообществом, но пока «мы друг друга не понимаем».

Новые запросы, с которыми участники хотят работать в 2022 г.:

• Доработка теории изменений.
• Работа с инструментарием: получить больше новых инструментов или, наоборот, оптимизировать существующий пакет инструментария. Интересуют инструменты для оценки детско-родительских отношений и материнской мотивации; для сбора обратной связи на выходе из кризисных центров.
• Анализ данных: принципы и инструменты анализа.
• Как управленец может эффективно организовать систему МиО, чтобы избежать ошибок. С чего начать новичкам, каковы «точки опоры».
• Оценочные исследования практик помощь семьям (профилактики социального сиротства), которые тесно связаны с социальными приютами и кризисными центрами. Например, провести анализ, чтобы понять почему семьи попадают в приюты и возможна ли ранняя профилактика, чтобы этого не происходило.
• Включение детей в оценку и мониторинг

В анкетировании участвовали 25 специалистов; из них 56% — сотрудники НКО, 36% — сотрудники государственных учреждений и еще 8% — из иных организаций; 24% — руководители, 8% — программные менеджеры, 64% — специалисты. Во встречах тематической группы в 2021 г. 36% из них участвовали более 3 раз, 28% — 1 или 2 раза, 36% затруднились уточнить.

72% респондентов оценили содержание встреч тематической группы как совпадающее с ожидаемым, а 20% даже «несколько лучше ожидаемого»; в одном случае респондент предложил вариант «иногда совпадало» и еще в одном отметил, что далеко не все было понятно.

Рис 1. Ответы на вопрос «В какой мере встречи тематической группы соответствовали Вашим ожиданиям»

Новизну полученной информации 20% оценили на 5 баллов (как абсолютно новую), 52% — на 4 балла, 24% — на 3 балла и 4% — на 2 балла. Пользу полученной информации 44% оценили на 5 баллов (как максимально полезную), 52% на 4 балла и 4% — на 2 балла.

Рис 2. Ответы на вопрос «В какой мере полученная информация была для Вас новой?

Рис 3. Ответы на вопрос «В какой мере полученная информация была для Вас полезной?»

Респонденты оценили влияние участия в тематической группе на решение актуальных задач развития систем мониторинга и оценки в своей организации: 24% — на 5 баллов (максимально сильное влияние), 48% — на 4 балла, 20% — на 3 балла, 4% — на 2 и на 1 балл.

Рис 4. Ответы на вопрос «В какой мере участие в тематической группе повлияло на решение актуальных задач развития систем мониторинга и оценки в Вашей организации?»

Ответы на вопрос «Насколько вероятно, что Вы порекомендуете участие в работе тематической площадки своим коллегам?» распределились следующим образом: 56% оценили вероятность на 10 баллов, 16% — на 9 баллов, 20% — на 8 баллов и 8% — на 7 баллов. 76% участников планируют продолжить участие в работе группы в 2022 г., еще 24% пока не уверены.

Рис 5. Ответы на вопрос «Насколько вероятно, что Вы порекомендуете участие в работе тематической площадки своим коллегам?»

В целом, работа тематической группы представляется важной и полезной для развития организаций, но, возможно, непростой и требующей ресурсов.

Во второй части семинара был представлен опыт организаций по разработке и использованию инструментов сбора данных.

Марина Левина, президент БФ «Родительский мост» (Санкт-Петербург) рассказала об опыте разработки инструмента для наблюдения за детско-родительским взаимодействием в рамках сопровождения в процессе индивидуальной поддержки в рамках проекта «Оценка в сфере детства: развитие сообщества практиков» (презентация).

Уже существующие отечественные и зарубежные инструменты для оценки детско-родительского взаимодействия не удовлетворяли всем требованиям: понятности для сотрудников без психологического образования и самих женщин; простоты в использовании; учетом не только психологических характеристик взаимодействия, но и качества ухода в повседневных бытовых ситуациях. Также важно было согласовать инструмент с регламентирующим документом «Принципы организации работы «Центра временного проживания для женщин с малолетними детьми “Дом надежды” и “Дома для мам”». Этот документ был разработан с участием всех сотрудников и описывает «хорошее взаимодействие», к которому надо стремиться.

На встрече Марина Левина продемонстрировала видео с записью кормления ребенка в «Доме для мам», и участники попробовали применить критерии оценки к том, что увидели. Сейчас ведется апробация инструмента, которая включает в себя ответы на вопросы:

• Видят ли женщины связь между содержанием опросника и их родительской компетентностью? Видят ли сотрудники центра связь между содержанием опросника и их работой по развитию родительских компетенций?
• Меняются ли оценки по мере проживания женщины в центре? Насколько отличаются оценки у разных женщин?
• Согласуются ли изменения оценок на основе наблюдения с экспертной оценкой психолога / с самооценкой женщин?
• Как считать значения показателя «Доля женщин, улучшивших качество взаимодействия и отношений со своими детьми», для которого разработан инструмент? Прирост на сколько баллов и за какой период считать «улучшением»?

Татьяна Арчакова,привлеченный методист БФ «Волонтеры в помощь детям-сиротам», рассказала о применении интервью для сбора обратной связи о достигнутых социальных результатах в проекте «Выездной семейный лагерь» программы «Профилактика социального сиротства». На основе краткого интервью были внесены изменения в программу второй смены лагеря (презентация).

Результаты интервью с родителями легли в основу Дерева результатов «Семейного лагеря». Это помогло описать практику для трансляции коллегам, а также сформулировать аргументы для потенциальных доноров о том, что лагерь – это «катализатор изменений» в детско-родительских отношениях, а не просто вариант пассивного отдыха для благополучателей.

Видео встречи доступно по ссылке.

31 января 2022 состоялась онлайн встреча тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми».  Во встрече приняли участие 28 человек из 11 регионов.

В первой части встречи подвели итоги работы тематической группы за 2021 год.

В 2021 году прошло 5 встреч, в которых приняли участие 185 человек из 125 организаций, 22% участников были больше, чем на одной встрече.  

Основные выводы по результатам обсуждения работы группы

1.  работа над развитием системы мониторинга и оценки требует внешней поддержки, которая должна иметь как образовательную, так и экспертную составляющую
2. сложности в развитии системы МиО связаны с совмещением позиций практика и оценщика практики, эти сложности касаются не только временных ресурсов, но и требует определенного уровня развития профессиональной рефлексии, гибкости мышления
3. для организации важна фокусировка именно на ее задачах развития МиО, такую фокусировку может обеспечить индивидуальная работа с консультантами или встреча по принципу «один кейс за один раз»
4. появилась готовность перейти от разработки деревьев результатов и логических моделей практик к построению теории изменений

Темы, предложенные к обсуждению в 2022 году:

1. Автоматизация мониторинга и оценки, инструменты, которые используются в организациях, в которых уже внедрены CRM
2. Практикумы по построению теории изменений на основе дерева результатов
3. Профиль благополучателя практики и как это связано с ее границами.
4. Как исследовать негативный эффект практики?
5. Встречи для коллективного поиска решений задач МиО конкретной практики
6. Как преодолеть сложности, связанные с совмещением разных ролей ключевыми сотрудниками организации, включая руководителей?
7. Знакомство с зарубежным опытом

Очевидно, что участники приходят на площадку с разными запросами: кто-то «просто послушать пока» — и такие участники не готовы активно включаться в обсуждение, в отличите от более опытных участников, которые готовы формировать общую повестку. Кто-то приходит получить конкретный совет и тогда нужны несколько иные форматы. Кому-то важно быть в тренде и понимать, что в целом происходит в плане МиО у соответствующих практиков. Звучала тема необходимости повышения профессионализма в области МиО у донорских организаций. В этом ключе площадка являет собой способ фокусировки на профессиональных и этических стандартах.

Также звучали предложения о сокращении общего времени встречи, добавления образовательного контента, большей чувствительности встреч к индивидуальным запросам организаций.

Во второй части встречи Наталья Ульянова представила кейс АНО «Центр помощи семьям детей с ограниченными возможностями здоровья «Содействие» (г. Ростов-на-Дону). Она рассказала о результатах работы организации с индивидуальным консультантом, благодаря которой были разработаны дерево результатов и логическая модель программы, произведена сегментация социального воздействия, усовершенствована система измерения непосредственных и социальных результатов.

В третьей части встречи прошла панельная дискуссия с участием приглашенного эксперта Наталии Фреик.

Основные выводы по ключевым вопросам дискуссии.

Для определения актуальной задачи, решение которой позволит качественно улучшить систему мониторинга и оценки возможно:

1) провести встречу или встречи с широким кругом участников, в том числе и стейкхолдеров, результаты «проверить» в диалоге с экспертом

2) посмотреть, какие другие задачи, не связанные с мониторингом и оценкой, стоят перед организацией, и как внесение изменений в МиО может способствовать их решению

3) воспользоваться алгоритмами, которые предложены в онлайн курсе, разработанном АНО «Эволюция и Филантропия»

4) возможно, в будущем появится специальная методическая разработка

На вопрос, можно  ли «поставить точку» в развитии системы мониторинга и оценки, и если да, то в какой момент, отвечает, как правило, команда практики, при этом важно учитывать:

1. цикл жизни практики, нужно дать время, чтобы успеть собрать данные для оценки
2. преемственность инструментария, чтобы обеспечить данные для оценки динамики
3. нет ли ограничений на внесение изменений со стороны донора или профессионального сообщества
4. фокусы оценки со стороны доноров (экономическая и пиар составляющие)

Отвечая на вопрос, применима ли оценка рентабельности к «вложениям» в развитие системы мониторинга и оценки, высказали следующие мнения:

1. можно посчитать сколько средств вложено в развитие системы МиО, но сложно посчитать сколько получено
2. можно применить оценку вложений в компетенции сотрудников, которая используется в образовательных проектах, в т.ч. в проектах крупных компаний, например ПАО «Сбербанк России»   
3. можно посчитать, сколько было затрачено на внешнюю оценку и сколько пожертвований было получено благодаря тому, что был представлен отчет
4. можно говорить о появлении дополнительной уверенности при подаче грантов

Благодарим всех участников встречи!

Мероприятие прошло в рамках проекта «Оценка в сфере детства: развитие сообщества практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов. 

Видео-запись встречи.