Онлайн-курс «Оценка программ в сфере детства» за период 2020-2021 гг окончили более 150 выпускников . Сводные результаты оценки курса за 2021 год 22 февраля 2022 на Форуме «Оценка программ в сфере детства» представили Ольга Евдокимова и Светлана Сергеева (презентация).
Участникам Форума был задан вопрос по поводу возможности проходить обучение на платной основе. Количество ответивших ( 20 чел) было таково, что делать обобщающие выводы было бы неправильно, однако принять к сведению полученные результаты можно.
Отчет по результатам оценки проекта «Оценка в сфере детства: развитие сообществ практиков»
Подготовлен отчет по проекту «Оценка в сфере детства: развитие сообществ практиков», реализуемого на средства гранта Президента Российской Федерации на развитие гражданского общества.
Сроки реализации проекта (исследуемый период): 01.07.2021-28.02.2022
Ключевые направления проекта
Работа 4 тематических площадок (сетевых сообществ);
Онлайн-курс «Оценка проектов и программ в сфере детства»;
Индивидуальное сопровождение НКО по внедрению системы мониторинга и оценки (МиО);
Работа с донорским сообществом;
Формирование «базы знаний» по оценке в сфере детства.
Благополучатели проекта
НКО и специалисты сферы детства;
Донорское сообщество.
Методы
Анализ внутренней документов по проекту, включая аналитические отчеты кураторов площадок, отзывы и обратная связь от участников проекта, отчеты по результатам итоговой встречи и групповых встреч кураторов;
Количественные методы: онлайн-опросы (анкетирование), тестирование участников проекта (до и после);
Качественные методы: интервью с ключевыми участниками проекта, фокус-группы, анализ кейсов.
Результаты проекта
Степень достижения социальных результатов для благополучателей проекта напрямую зависит от типа мероприятий, в которые они были вовлечены. В более интенсивных по воздействию мероприятиях (онлайн-курс, индивидуальное сопровождение) степень достижения ожидаемых результатов выше, чем в менее интенсивных мероприятиях (участие в онлайн-встречах тематических сообществ, в т.ч. их просмотр в записи, получение писем-рассылок и изучение материалов проекта).
Среди целевых групп проекта в большей степени достигнуты социальные результаты для НКО и специалистов сферы детства – непосредственных участников мероприятий проекта.
Среди ожидаемых социальных результатов проекта в наибольшей степени достигнуты: 1) рост информированности, мотивации внедрять в своей организации / программе практики МиО (для НКО и специалистов сферы детства) 2) повышение компетенций по теме оценки (для НКО сферы детства – слушателей онлайн-курса) 3) рост доступности методической базы в области оценки по конкретным тематическим направлениям 4) доработка / внедрение системы оценки программ (для НКО сферы детства, получивших индивидуальное сопровождение) 5) усиление горизонтальных связей (для НКО и специалистов сферы детства) 6) повышение информированности об активных и ресурсных НКО, мотивированных и внедряющих практики оценки в своей деятельности (для донорских организаций) Менее значимые достижения в период реализации проекта наблюдаются для средне- и долгосрочных результатов: ● PR-эффект и укрепление устойчивости (для НКО сферы детства, получивших индивидуальное сопровождение). ● рост оценочного потенциала (для донорского сообщества)
Незапланированные результаты проекта
1) Наиболее часто упоминаемый позитивный результат, который изначально не планировался в проекте – улучшение внутреннего взаимодействия и коммуникаций в организациях-участниках, командообразование. Совместная работа над системой МиО стала таким объединяющим фактором. В первую очередь речь идет об интенсификации коммуникаций относительно того, на какие цели и результаты для благополучателей направлена деятельность организации, о необходимости их планирования и измерения, совместная выработка оптимальных инструментов. Данный результат в большей степени представлен у участников мероприятий проекта с интенсивным форматом (индивидуальное сопровождение, работа в мини-группах в рамках онлайн-курса). 2) Среди иных непреднамеренных позитивных результатов, которые высказывают участники проекта: ● Использование новых IT-инструментов для фасилитации групповых онлайн-дискуссий (в частности, доски JamBoard); ● Запуск организацией активностей в области МиО, которые до участия в проекте постоянно откладывались; ● Повышение уровня доказанности практики, включенной в Реестр доказательных практик в сфере детства. К такому результату приводило как индивидуальное сопровождение (ООРДИ «Дорогою добра»); так и участие в работе тематической площадки – помощь узкопрофильного профессионального сообщества в экспертизе теории изменений программы организации (БФ «Волонтеры в помощь детям-сиротам»). 3) Единственный непреднамеренный негативный результат, который отмечают участники проекта – выгорание непосредственных участников и иных сотрудников организации, вовлеченных в реализацию проекта, из-за значимой ресурсоемкости проекта, фрустрация и страх перед объемом работы по внедрению системы МиО в организации.
Недостатки, выявленные в ходе реализации проекта
Участники проекта обозначили ряд сложностей и/или недостатков проекта 1) Высокая трудозатратность / ресурсоемкость проекта для участников / организации 2) Обеспечение командной работы 3) Коммуникационные сложности, непонимание «правил игры» 4) Сроки, продолжительность мероприятий проекта 5) Ряд слушателей онлайн-курса отдельно отмечали сложность его прохождения без достаточной предварительной подготовки, что во многом связано со сложностью терминологии и отдельных тем. Другие – наоборот, считали его «базовым», неподходящим для глубокого погружения в нюансы. 6) Участники мероприятий тематических сетевых сообществ среди сложностей и недостатков проекта отмечают его излишнюю «теоретизированность» и недостаток «живости»; участникам регулярных встреч в меньшей степени интересны «теоретические», «методологические» разговоры по теме оценки и мониторинга. 7) Недостаточный уровень базовых знаний в сфере оценки НКО, получающих индивидуальное сопровождение. Со стороны организации , которая реализовывала проект выявлены следующие сложности : 1) Поиск достаточно большого количества мотивированных и ресурсных НКО, чтобы проводить качественный отбор 2) Поддержание мотивации участников тематических площадок быть вовлеченными в проект на всем его протяжении 3) Развитие цифрового сервиса ПИОН, который написан на сложном и дорогом языке.
Кейс Санкт-Петербургской ассоциации общественных объединений родителей детей-инвалидов «ГАООРДИ» вошел в Сборник кейсов, выпущенный в рамках проекта «Оценка программ в сфере детства: развитие сообществ практиков», реализуемого АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.
22 февраля 2022 участники форума «Оценка программ в сфере детства» подвели итоги проекта «Оценка программ в сфере детства: развитие сообществ практиков». В числе основных результатов — развитие сообщества практиков в сфере оценки и повышение интереса НКО к применению трудоемкой, но важной для точной постановки целей и понимания достигнутых результатов системы мониторинга и оценки. А кейсы участников проекта подтвердили, что оценка помогает улучшать проекты организации и ясно видеть, как они влияют на жизнь общества. Форум организован АНО «Эволюция и Филантропия» совместно с Ассоциацией специалистов по оценке программ и политик (АСОПП). В форуме приняли участие более 90 человек из 27 регионов.
Переход на проектную работу и применение системы мониторинга и оценки стали неотъемлемой частью профессионализации некоммерческого сектора. В равной мере это справедливо и для донорских организаций, которым важно понимать результативность социальных инвестиций, и для наиболее крупных НКО, которые стремятся к долгосрочному развитию и убедительной демонстрации эффективности своих программ и проектов. Интерес к оценке вырос с принятием плана Десятилетия детства, в котором заложены новые подходы к социальным проектам, включая развитие доказательного подхода, инфраструктуры учета мнения детей и других, инновационных для России практик. Одним из барьеров для более активного использования в деятельности НКО инструментов мониторинга и оценки остается дефицит специалистов в области оценки социальных проектов и поддерживающей инфраструктуры. Проект «Оценка программ в сфере детства», реализованный АНО «Эволюция и Филантропия», предоставил возможность некоммерческим организациям, работающим в сфере детства, обучиться основам оценки, развить систему мониторинга и оценки, а также включиться в сообщество коллег, решающих сходные задачи.
Как отметила исполнительный директор АНО «Эволюция и Филантропия» Ольга Евдокимова, проект включает четыре основных направления: формирование сообщества практиков, применяющих оценку в деятельности своих организаций, индивидуальная методическая поддержка НКО, уникальный обучающий онлайн-курс, а также пополнение и развитие базы знаний, включающей кейсы, инструменты и другие материалы, посвященные теме оценки. Результаты работы в каждом из этих направлений на Форуме представили участники и партнеры проекта. Презентация Ольги Евдокимовой по ссылке.
О работе тематических площадок рассказали их кураторы — Татьяна Арчакова (презентация), Ирина Бобылева (презентация), Инна Голеня (презентация) и Ольга Заводилкина(презентация) . Четыре тематические площадки были сформированы в зависимости от направления, в котором работают организации – приюты или кризисные центры для мам с детьми, социализация подростков и выпускников сиротских учреждений, сопровождение замещающих семей и сопровождение семей с особыми детьми. Тематические площадки объединили более 550 специалистов и более 110 организаций, которые во время онлайн встреч обменивались опытом, изучали практики, создавали и обменивались инструментами мониторинга и оценки. Отдельной темой каждой площадки стало обсуждение опыта применения организациями своих практик в доказательном ключе и их верификация для включения в Реестр доказательных практик. Кроме того, участники смогли получить практический опыт развития того или иного элемента системы мониторинга и оценки. Особенный практический интерес у участников вызвало построение Теории изменений.
Можно говорить и о том, что главная цель проекта – создание сообщества практиков оценки – достигнута: по результатам опроса более 80% специалистов отметили, что их участие в проекте стало полезным, более 70% готовы продолжать работу в проекте в 2022 году, чтобы продолжить обсуждение более сложных вопросов мониторинга и оценки или получить экспертизу специфических инструментов.
О создании совместно с Агентством стратегических инициатив в МГППУ «Точки кипения» рассказала Татьяна Подушкина, заведующая сектором «Центр доказательного социального проектирования» МГППУ. Она отметила, что «Точка кипения» — пространство, где представители профессионального сообщества сферы детства и ученые могут обсуждать темы оценки, знакомиться и транслировать передовой опыт, эффективные практики, презентовать инновации, актуальные тренды, искать новые решения и технологии.
Отдельное внимание организаторы Форума уделили представлению опыта развития системы мониторинга и оценки в НКО. Всего в рамках проекта на конкурсной основе было выбрано 12 НКО сферы детства, с которыми работали консультанты-кураторы. Подробнее об этой работе можно прочитать в опубликованном Сборнике кейсов «Оценка программ в сфере детства». Большинство НКО представляли результаты своей работы на тематических площадках. На Форуме был презентован опытФонда поддержки семьи и детей «Хранители детства», Благотворительного общественного движения помощи онкобольным детям «ИСКОРКА ФОНД» из Челябинска, Санкт-Петербургской ассоциации общественных объединений «ГАООРДИ», Региональной общественной организации родителей детей-инвалидов Кировской области «Дорогою добра».
Участники форума (68%) приняли участие в опросе, в ходе которого ответили на два вопроса. В качестве наиболее полезного для своей организации формата поддержки опрошенные назвали индивидуальную поддержку со стороны экспертов-оценщиков (73%), обсуждение кейса коллегами-практиками в формате мини-группы (61%) , стажировку в другой организации со схожей практикой (51%), обучение основам МиО (41%) — ответ на вопрос предполагал множественный выбор. Отвечая на второй вопрос о возможности выделить средства на привлечение консультанта по развитию системы МиО, 18% опрошенных сказали, что скорее готовы выделить средства на консультанта, 48% ответили «скорее нет», 34% ответили, что не знают.
Ключевой фактор успеха для развития в НКО систем мониторинга и оценки – это командная работа и общее информационно-понятийное поле. Очень важно, чтобы члены команды владели базовыми теоретическими знаниями в области мониторинга и оценки. Для этого был разработан уникальный онлайн-курс «Оценка программ в сфере детства», который за период 2020-2021 гг окончили более 150 выпускников . Сводные результаты оценки курса за 2021 год представили Ольга Евдокимова и Светлана Сергеева (презентация).
Участникам Форума был задан вопрос по поводу возможности проходить обучение на платной основе. Количество ответивших ( 20 чел) было таково, что делать обобщающие выводы было бы неправильно, однако принять к сведению полученные результаты можно.
По окончанию онлайн-курса организаторы отобрали пять наиболее активных организаций сферы детства, которые получили методическую поддержку Ресурсно-методического центра Благотворительного фонда «Дорога к дому». Социолог и методист центра помогали разрабатывать перечень показателей, инструментарий для мониторинга, анализировать и совершенствовать логические модели практик, внедрять оценку в работу Центра помощи детям, оставшимся без попечения родителей, Свердловского района г. Иркутска, Международного детского фонда «Дети Саха – Азия», ОГБУСО СРЦ для несовершеннолетних Братского района, Санкт-Петербургской общественной благотворительной организация «Общество свт. Иоасафа», челябинского Центра помощи детям, оставшимся без попечения родителей «Акварель».
Руководитель центра БФ «Дорога к дому» Алена Богомолова обратила внимание на необходимость быть более уверенными в своей экспертизе, потому что именно специалисты «внутри проекта» лучше понимают особенности и потенциал практики. Консультанты не могут дать универсальных решений – они помогают команде искать нужное решение.
Важный результат проекта – распределенная база знаний, поддерживаемая на платформе ПИОН и на платформе Слушай с Пользой!. Ольга Заводилкина, эксперт-консультант проекта, представила важные изменения и доработки, в результате который в базы знаний были загружены апробированные инструменты МиО: кейсы, анкеты оценки и обратной связи от благополучателей, гайды интервью, логические модели и др. См. презентацию о новациях и видео-ролик «Слушай с Пользой!», а также видео-ролик онлайн-сервиса ПИОН.
И, конечно, проект, направленный на развитие оценки в сфере детства, не мог обойтись без оценки собственных результатов. Ее провела независимый эксперт, оценщик Наталья Фреик. Она отметила в числе значимых результатов проекта рост информированности НКО по теме мониторинга и оценки, повышение мотивации представителей некоммерческого сектора использовать оценку в своей практике. Участники проекта смогли повысить компетенции своих специалистов, получили доступ к методической базе и в целом выполнили свои задачи по доработке и внедрению оценки в своих организациях. А для устойчивости культуры оценки большое значение имеет еще и развитие горизонтальных связей НКО – именно они помогут организациям расти профессионально.
Свои подходы к оценке, а также применяемые методы и инструменты мониторинга и оценки представили донорские и грантодающие организации – победители премии «За содействие развитию культуры оценки социальных программ в России» в номинации «За достижения в развитии культуры оценки в донорских организациях» (учреждена АСОПП и Форумом доноров). Наталья Канальцева, БФ «Добрый город Петербург», Екатерина Молокова, БФ компании Amway «В ответе за будущее», София Шагинян, Фонд поддержки социальных инициатив в сфере детства «Навстречу переменам», говорили о том, что одновременно с развитием внутренней оценки они стремятся поддерживать и стимулировать систему мониторинга и оценки в своих партнерских организациях. Для грантодающих организаций развитие культуры оценки, с одной стороны, возможность видеть эффективность поддерживаемых проектов, понимать свой вклад в изменение жизни общества и, конечно, работу свою и благополучателей еще более профессиональной: всегда есть возможность делать что-то еще лучше.
Видеозапись Форума «Оценка программ в сфере детства» 22 февраля 2022 г. доступна на канале YouTube.
Среди трендов, которые отмечают российские эксперты в сфере оценки, — это специализация оценки по направлениям программной деятельности. Лидирует направление «Семья и дети», и именно здесь в последнее время стали формироваться тематические сообщества специалистов, которые поддерживают друг друга, обмениваются знаниями, информацией, участвуют в дискуссиях. Как работают сообщества практиков и как они помогают развивать систему мониторинга и оценки практик участников сообщества – в материале «Филантропа».
Профессиональные сообщества
Сообщества практиков существуют во многих сферах деятельности и распространены по всему миру. Группы людей с общими интересами объединяются, чтобы решить схожие проблемы. Термин community of practice — «сообщество практики» или «сообщество обмена знаниями» — впервые было упомянуто в 1991 г, а одно из первых сообществ возникло в исследовательском центре Xerox в Калифорнии. Операторы, отвечающие за ремонт принтеров, использовали перерывы в работе и паузы, чтобы обсудить со своими коллегами различные инциденты и сбои. Во многих случаях они не пользовались техническими руководствами, а предпочитали искать решение вопроса в сообществе. Таким образом, каждый технический специалист мог поделиться своим опытом и извлечь пользу из практических примеров, которые были у других коллег.
В настоящее время сообществам практиков можно найти такое определение: «это сеть людей с общими интересами в определенной области знания или одного уровня компетентности, желающих совместно работать и обучаться в течение некоторого времени, а также совместно использовать знания, т.е. обмениваться опытом».
В более узком смысле сообщества практиков можно рассматривать как инструмент управления знаниями. Экспертные разработки, участие в дискуссиях, совместная работа – все это приводит к появлению новых способов работы, решению проблем, новым знаниям.
Все сообщества базируются на трех элементах: сфера деятельности, члены сообщества и практика (сама деятельность организации).
Главное — идея
Для развития сообщества практиков необходима идея, в сфере мониторинга и оценки – это идея доказательности практик, поиска аргументов, доказывающих, что действия организации приводят к запланированному результату. Эксперты отмечают, что у НКО сферы детства есть запрос на оценку своей деятельности и результатов. Организации, уделяющие особое внимание доказательности практик в сфере детства, привлекают крупные пожертвования, масштабируют работу, получают новые инструменты для общения с донорами, побеждают в грантовых конкурсах. Однако часть НКО сталкивается с рядом барьеров на пути внедрения процессов оценки, чаще всего это недостаток соответствующих компетенций и ресурсов. Помочь НКО сферы детства преодолеть эти барьеры как раз и призваны тематические профсообщества.
АНО «Эволюция и филантропия» взяла на себя роль модератора деятельности четырех тематических профсообществ НКО сферы детства – «Семьи с особыми детьми»; «Замещающие семьи»; «Социализация подростков / выпускников сиротских учреждений»; «Социальные приюты/кризисные центры для матерей с детьми». Участниками проекта «Оценка в сфере детства: развитие сообществ практиков», получившего грант Фонда президентских грантов, стали группы специалистов, готовые делиться своим опытом и экспертизой по вопросам оценки социальных программ.
Как это работает
У каждой тематической группы есть координатор, задача которого — понять актуальные запросы сообщества и постараться максимально на них ответить, планируя повестки встреч сообщества. Есть три формата встреч: регулярные Zoom-конференции, узкая рабочая группа, которая прорабатывает один конкретный запрос и индивидуальная поддержка по вопросам выстраивания в НКО системы оценки. Кроме того, участники профсообщества могли пройти интерактивный онлайн-курс по теме оценки в сфере детства, а также использовать онлайн-сервис «ПИОН», который позволяет планировать логику программ с акцентом на социальный эффект, измерять и оценивать результаты программ и проектов в соответствии с доказательным подходом.
Регулярные встречи участников в Zoom-конференциях стали безопасным пространством и экспертной площадкой по обсуждению вопросов оценки, самообучению, консультированию и эффективному обмену опытом и ресурсами.
«Организации, только встающие на путь оценки, слушая опытных коллег, начинают движение в сторону развития мониторинга и оценки в своей НКО. Организации, уже имеющие опыт, развивают свои системы мониторинга и оценки, сравнивая их с системами близких практик. Мы рассматривали международный опыт, делали содержательные выводы, усиливающие собственную позицию и представления в области оценки. Учились на чужих ошибках, рассматривая их как направления для развития, анализировали типичные трудности и проблемы в области мониторинга и оценки, пути их решения, создали чек-лист ошибок», — рассказывает Ирина Бобылева, координатор тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений»
Фокус другой тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми» — какой должна быть система мониторинга и оценки, чтобы отвечать запросам практик поддержки семей с особыми детьми, социальные результаты, инструменты, показатели, методы анализа, как готовиться к верификации практики, как ее проходить.
«Наша группа – единое пространство доверительной экспертизы, когда появляются общие смыслы. Например, что и как считать успехом? Как об этом рассказать другому, чтобы поняли? Сообщество практиков помогает организациям преодолеть страхи, повысить готовность заниматься мониторингом и оценкой», — говорит Ольга Заводилкина, координатор тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми».
В 2021 году прошло пять встреч этой тематической группы, в которых приняли участие 184 человека из 119 организаций.
189 участников группы «Мониторинг и оценка практик сопровождения замещающих семей» из 81 организации составляли различные цепочки результатов – от оценки эффективности отдельных услуг до оценки эффективности передачи технологий, работали над деревом результатов практики, знакомились с кейсами организаций, прошедших независимую верификацию в рамках Конкурса «Реестр доказательных практик» в 2021 г.
«Даже те организации, у кого уже есть опыт мониторинга и оценки, когда начинали рассказывать про свои практики, находили для себя что-то новое», — отмечает Инна Голеня, координатор тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений».
Участники тематической группы «Социальные приюты и кризисные центры для матерей с детьми» , в которой приняли участие 157 сотрудников из 96 организаций, делились результатами исследований долгосрочных социальных результатов, методикой расчета экономической эффективности, обсуждали социальные результаты и показатели практик друг друга.
Среди результатов участия в тематической группе — вхождение в реестр практик с доказанной эффективностью; победа в конкурсе Президентских грантов (за счет грамотно прописанных социальных результатов, показателей и способов их измерения).
Преимущества работы сообща
Сообщество практиков помогает развивать культуру оценки в организациях и решать практические задачи. Например, специалисты бюджетного учреждения Омской области «Центр поддержки семьи» только встали на путь оценки, но за год успели многое: участвовали во всех встречах тематической группы, учились на онлайн-курсе «Оценка программ в сфере детства», предоставили свои инструменты в методическую базу, описывали свою практику по стандарту доказательности, прошли две верификации: экспертную и публичную.
«Комментарии коллег позволили нам определить приоритет в повышении доказанности – начать работу с повышения регламентированности, собрать все наработанные материалы воедино. В результате обсуждения кейсов и публичной верификации мы поняли, что подобной (даже если очень отдаленно) практики среди коллег никто не реализует и это показалось нам интересным достижением», — отмечают специалисты «Центра поддержки семьи». Их практика направлена на подготовку выпускников организаций для детей-сирот к смене условий (к выходу из детского дома) и поддержке при адаптации к самостоятельной жизни.
Участники тематических групп отмечали, что в работу «пришла система»: знания о мониторинге и оценке внедряются в практику и распространяются внутри организации. Часть организаций говорила о понимании важности мониторинга и оценки. Так, Благотворительный фонд «Родительский мост» понял, что важно иметь отдельного сотрудника, ответственного за мониторинг, и это не руководитель, потому что иначе он утонет под массой задач. Фонд принял управленческое решение — включил в новый проект сразу двух методистов: ответственного за развитие и описание практики и ответственного за сбор и анализ данных. Еще один инсайт: понимание, что система мониторинга и оценки не статична, она требует изменений, поэтому требуется постоянное «методическое развитие» как организации в целом, так и компетенций сотрудников.
Хабаровская краевая общественная организация «Чужих детей не бывает» последовательно внедряет мониторинг и оценку. Организация — участник проекта «ПИОН-регион», под руководством экспертов сотрудники «Чужих детей не бывает» разработали логическую модель (набор результатов и показателей) для социального приюта. Это позволило им не просто структурировать свою деятельность, но и лучше понять ее границы – начать разработку дополнительных проектов (например, сопровождение выпускниц с ментальными нарушениями). Практика «Чужих детей не бывает» вошла в Реестр доказательных практик Фонда Тимченко. Сейчас организация продолжает работу над повышением доказательности своей практики.
«Кажется, что все это индивидуальные результаты, но они приводят к конструированию нормы сообщества, что заниматься мониторингом и оценкой – это норма. Даже если сейчас у кого-то не хватает мотивации или ресурсов, то все равно, побывав в сообществе практиков, ты живешь в парадигме, что оценка необходима в работе», — говорит Татьяна Арчакова, координатор тематической группы «Социальные приюты / кризисные центры для матерей с детьми», психолог-методист Благотворительного детского фонда «Виктория».
Как показал анализ обратной связи от участников сообществ, большинство отмечают рост уровня компетенций в сфере мониторинга и оценки, освоение новых методических ресурсов, появление новых возможностей для профессионального роста и планируют продолжать сотрудничество с экспертами и другими членами сообщества. Задача на перспективу, которая стоит перед АНО «Эволюция и филантропия», — увеличение числа активных членов и усиление горизонтальных связей между участниками.
В первой части встречи подвели итоги работы тематической группы практик сопровождения замещающих семей в 2021 г. (презентация). После подведения итогов провели дискуссию с обсуждением результатов работы группы с точки зрения ее участников, поговорили о влиянии участия в тематической группе на развитие системы мониторинга и оценки практик участников группы.
Результаты участия в тематической группе, которые выделили специалисты для себя и своих практик, оказались разные и интересные:
В команде проще рассматривать сложные моменты МиО, много берешь себе в работу.
Возможность представления своей практики сообществу помогает увидеть ее со стороны, улучшить формулировки, сделать их доступными специалистам из вне.
Повышение мотивации и активности в работе с оценкой практики.
Повышение внутреннего ценза, понимание важности и нужности темы.
Пройденная верификация помогла победить во Всероссийском конкурсе «Лучшая практика в сфере социальной защиты»
Новый взгляд на практику, приходит понимание вектора дальнейшего развития.
Добавление новых компетенций к опыту практической деятельности.
Во время обсуждения определили барьеры, которые мешают пользоваться ресурсами сообщества: сложная логика Пиона; ограниченный тайминг на практическую часть во время встреч, много времени уходит на подведение итогов, статистику, опросы.
Для повышения эффективности взаимодействия в тематической группе участники предложили:
Создание Форума в Whatsapp или на платформах других мессенджеров.
Организацию стажировочных площадок.
Проведение супервизий по теме МиО.
Участники выделили темы, над которыми важно поработать на следующих встречах:
Инструменты, которые используются в практиках сопровождения для отражения результатов.
Вовлечение детей в тему МиО.
Проведение мониторинга практики, когда нет собственных компетенций.
«Для кого мы это делаем?» (МиО) Как заинтересовать регион?
Во второй части встречи Вероника Кудрявцева, председатель Ассоциации приемных родителей: усыновителей, опекунов, попечителей города Санкт-Петербурга познакомила участников площадки с результатами работы организации, получившей в рамках проекта индивидуальное сопровождение (презентация). Вероника поделилась, что было желание разработать систему МиО, результаты которой станут самостоятельным инструментом для развития программ практики и создать инструменты, позволяющие получить результат, отражающий реальность. Работа над улучшением системы МиО помогла команде Ассоциации выйти на новый мета – уровень.
Надежда Рождественская, доцент кафедры отраслевой экономики и финансов института экономики и управления РГПУ им. А. И. Герцена (г. Санкт-Петербург), как консультант, оказывающий индивидуальную поддержку Ассоциации, поделилась впечатлениями, как складывалось взаимодействие с организацией. (видео).
Участники встречи отметили, что такой уникальный опыт индивидуальной поддержки эксперта –консультанта при доработке своей системы МиО, хотели бы получить многие организации.
В третьей части встречи планировалась практическая работа с инструментами системы мониторинга и оценки практик сопровождения приемных семей. В силу ограниченного тайминга, удалось познакомиться только с одним инструментом. Уникальную, апробированную разработку отдела сопровождения замещающих семей Смоленского областного государственного бюджетного учреждения «Центр психолого-медико-социального сопровождения детей и семей» «Анкета определения комфортности проживания детей в замещающих семьях» представила Оксана Михайлова, руководитель отдела.
27 января состоялась онлайн встреча тематической группы «Социальные приюты и кризисные центры для матерей с детьми» — «База знаний по МиО работы социальных приютов и кризисных центров».
Общее количество участников — 37 человек, из них представители 16-ти регионов РФ.
Модератором встречи выступила Ольга Евдокимова, директор АНО «Эволюция и филантропия».
В первой части Ольга Евдокимова представила обзор всего, что было сделано в рамках встреч тематической группы в 2021 г. (презентация).
Затем состоялись анкетирование и дискуссия с обсуждением результатов работы группы с точки зрения ее участников, а также барьеров на пути к обращению за поддержкой и ресурсами сообщества между встречами.
Среди результатов участия в тематической группе участники назвали вхождение в реестр практик с доказанной эффективностью; победу в конкурсе Президентских грантов (за счет грамотно прописанных социальных результатов, показателей и способов их измерения).
Некоторые отмечают, что в работу «пришла система»: знания о МиО внедряются в практику и распространяются внутри организации. Сложилось понимание важности МиО, которое воплощается в конкретных идеях («Должен быть человек, который отвечает за сбор данных – и это не руководитель организации») и управленческих решениях: так БФ «Родительский мост» включил в новый проект сразу двух методистов: ответственного за развитие и описание практики и ответственного за сбор и анализ данных. Еще один инсайт: понимание, что система МиО не статична, она требует изменений, поэтому требуется постоянное «методическое развитие» как организации в целом, так и компетенций сотрудников.
Ряд участников рассматривают группу как возможность получить знания и навыки: обсуждение реальных кейсов в сфере МиО дополняет учебу на онлайн курсе «Оценка проектов и программ в сфере детства». Использование новых IT-инструментов для фасилитации дискуссий группы для одной из участниц стало личным «IT-прорывом».
Участники группы также отметили, что за последний год у крупных фондов стало развиваться понимание того, что необходимо развивать МиО в организациях-грантополучателях, появились новые возможности для этого.
Основные барьеры, мешающие обращаться к ресурсам сообщества, – это сомнения в пригодности чужого опыта для своей организации («нет типовых решений») и коммуникативные барьеры. Участникам не всегда понятно, кому лучше написать с какими вопросами; некоторых останавливает отсутствие личного знакомства. Внутренние факторы, мешающие организациям обращаться к коллегам: нет внутреннего ресурса на развитие, много текущей работы, некоторые опасения излишней открытости.
Несмотря на выделенные барьеры, участники обращаются к ресурсам сообщества и помимо встреч тематической группы, например, знакомятся с кейсами коллег в сервисе ПИОН. Многие горизонтальные связи возникают, но остаются незаметными (обращение к материалам сайта, стажировки). У БФ «Волонтеры в помощь детям-сиротам» был опыт обращения к профессиональному сообществу за экспертизой теории изменений практики «Профилактика отказов от новорожденных»: они получили много важной информации и повысили уровень доказанности практики.
Для преодоления барьеров участники предложили:
Использовать возможности очных мероприятий для знакомства участников группы.
Создать две разных группы в Whatsapp или Telegram:
Группу для неформального общения, куда можно будет обращаться с конкретными вопросами (как удобный способ обратиться за поддержкой сообщества).
Группу без функции комментариев, куда выкладываются новости, дайджесты, полезные материалы.
Назначить регулярные дни и «приемные часы» (например, каждый первый понедельник месяца), в которые опытные участники группы «дежурят» и проводят супервизии или консультации по запросам.
Необходим диалог с научным сообществом, но пока «мы друг друга не понимаем».
Новые запросы, с которыми участники хотят работать в 2022 г.:
Доработка теории изменений.
Работа с инструментарием: получить больше новых инструментов или, наоборот, оптимизировать существующий пакет инструментария. Интересуют инструменты для оценки детско-родительских отношений и материнской мотивации; для сбора обратной связи на выходе из кризисных центров.
Анализ данных: принципы и инструменты анализа.
Как управленец может эффективно организовать систему МиО, чтобы избежать ошибок. С чего начать новичкам, каковы «точки опоры».
Оценочные исследования практик помощь семьям (профилактики социального сиротства), которые тесно связаны с социальными приютами и кризисными центрами. Например, провести анализ, чтобы понять почему семьи попадают в приюты и возможна ли ранняя профилактика, чтобы этого не происходило.
Включение детей в оценку и мониторинг
В анкетировании участвовали 25 специалистов; из них 56% — сотрудники НКО, 36% — сотрудники государственных учреждений и еще 8% — из иных организаций; 24% — руководители, 8% — программные менеджеры, 64% — специалисты. Во встречах тематической группы в 2021 г. 36% из них участвовали более 3 раз, 28% — 1 или 2 раза, 36% затруднились уточнить.
72% респондентов оценили содержание встреч тематической группы как совпадающее с ожидаемым, а 20% даже «несколько лучше ожидаемого»; в одном случае респондент предложил вариант «иногда совпадало» и еще в одном отметил, что далеко не все было понятно.
Рис 1. Ответы на вопрос «В какой мере встречи тематической группы соответствовали Вашим ожиданиям»
Новизну полученной информации 20% оценили на 5 баллов (как абсолютно новую), 52% — на 4 балла, 24% — на 3 балла и 4% — на 2 балла. Пользу полученной информации 44% оценили на 5 баллов (как максимально полезную), 52% на 4 балла и 4% — на 2 балла.
Рис 2. Ответы на вопрос «В какой мере полученная информация была для Вас новой?
Рис 3. Ответы на вопрос «В какой мере полученная информация была для Вас полезной?»
Респонденты оценили влияние участия в тематической группе на решение актуальных задач развития систем мониторинга и оценки в своей организации: 24% — на 5 баллов (максимально сильное влияние), 48% — на 4 балла, 20% — на 3 балла, 4% — на 2 и на 1 балл.
Рис 4. Ответы на вопрос «В какой мере участие в тематической группе повлияло на решение актуальных задач развития систем мониторинга и оценки в Вашей организации?»
Ответы на вопрос «Насколько вероятно, что Вы порекомендуете участие в работе тематической площадки своим коллегам?» распределились следующим образом: 56% оценили вероятность на 10 баллов, 16% — на 9 баллов, 20% — на 8 баллов и 8% — на 7 баллов. 76% участников планируют продолжить участие в работе группы в 2022 г., еще 24% пока не уверены.
Рис 5. Ответы на вопрос «Насколько вероятно, что Вы порекомендуете участие в работе тематической площадки своим коллегам?»
В целом, работа тематической группы представляется важной и полезной для развития организаций, но, возможно, непростой и требующей ресурсов.
Во второй части семинара был представлен опыт организаций по разработке и использованию инструментов сбора данных.
Марина Левина, президент БФ «Родительский мост» (Санкт-Петербург) рассказала об опыте разработки инструмента для наблюдения за детско-родительским взаимодействием в рамках сопровождения в процессе индивидуальной поддержки в рамках проекта «Оценка в сфере детства: развитие сообщества практиков» (презентация).
Уже существующие отечественные и зарубежные инструменты для оценки детско-родительского взаимодействия не удовлетворяли всем требованиям: понятности для сотрудников без психологического образования и самих женщин; простоты в использовании; учетом не только психологических характеристик взаимодействия, но и качества ухода в повседневных бытовых ситуациях. Также важно было согласовать инструмент с регламентирующим документом «Принципы организации работы «Центра временного проживания для женщин с малолетними детьми “Дом надежды” и “Дома для мам”». Этот документ был разработан с участием всех сотрудников и описывает «хорошее взаимодействие», к которому надо стремиться.
На встрече Марина Левина продемонстрировала видео с записью кормления ребенка в «Доме для мам», и участники попробовали применить критерии оценки к том, что увидели. Сейчас ведется апробация инструмента, которая включает в себя ответы на вопросы:
Видят ли женщины связь между содержанием опросника и их родительской компетентностью? Видят ли сотрудники центра связь между содержанием опросника и их работой по развитию родительских компетенций?
Меняются ли оценки по мере проживания женщины в центре? Насколько отличаются оценки у разных женщин?
Согласуются ли изменения оценок на основе наблюдения с экспертной оценкой психолога / с самооценкой женщин?
Как считать значения показателя «Доля женщин, улучшивших качество взаимодействия и отношений со своими детьми», для которого разработан инструмент? Прирост на сколько баллов и за какой период считать «улучшением»?
Татьяна Арчакова,привлеченный методист БФ «Волонтеры в помощь детям-сиротам», рассказала о применении интервью для сбора обратной связи о достигнутых социальных результатах в проекте «Выездной семейный лагерь» программы «Профилактика социального сиротства». На основе краткого интервью были внесены изменения в программу второй смены лагеря (презентация).
Результаты интервью с родителями легли в основу Дерева результатов «Семейного лагеря». Это помогло описать практику для трансляции коллегам, а также сформулировать аргументы для потенциальных доноров о том, что лагерь – это «катализатор изменений» в детско-родительских отношениях, а не просто вариант пассивного отдыха для благополучателей.
31 января 2022 состоялась онлайн встреча тематической группы «Мониторинг и оценка практик поддержки семей с особыми детьми». Во встрече приняли участие 28 человек из 11 регионов.
В первой части встречи подвели итоги работы тематической группы за 2021 год.
В 2021 году прошло 5 встреч, в которых приняли участие 185 человек из 125 организаций, 22% участников были больше, чем на одной встрече.
Основные выводы по результатам обсуждения работы группы
работа над развитием системы мониторинга и оценки требует внешней поддержки, которая должна иметь как образовательную, так и экспертную составляющую
сложности в развитии системы МиО связаны с совмещением позиций практика и оценщика практики, эти сложности касаются не только временных ресурсов, но и требует определенного уровня развития профессиональной рефлексии, гибкости мышления
для организации важна фокусировка именно на ее задачах развития МиО, такую фокусировку может обеспечить индивидуальная работа с консультантами или встреча по принципу «один кейс за один раз»
появилась готовность перейти от разработки деревьев результатов и логических моделей практик к построению теории изменений
Темы, предложенные к обсуждению в 2022 году:
Автоматизация мониторинга и оценки, инструменты, которые используются в организациях, в которых уже внедрены CRM
Практикумы по построению теории изменений на основе дерева результатов
Профиль благополучателя практики и как это связано с ее границами.
Как исследовать негативный эффект практики?
Встречи для коллективного поиска решений задач МиО конкретной практики
Как преодолеть сложности, связанные с совмещением разных ролей ключевыми сотрудниками организации, включая руководителей?
Знакомство с зарубежным опытом
Очевидно, что участники приходят на площадку с разными запросами: кто-то «просто послушать пока» — и такие участники не готовы активно включаться в обсуждение, в отличите от более опытных участников, которые готовы формировать общую повестку. Кто-то приходит получить конкретный совет и тогда нужны несколько иные форматы. Кому-то важно быть в тренде и понимать, что в целом происходит в плане МиО у соответствующих практиков. Звучала тема необходимости повышения профессионализма в области МиО у донорских организаций. В этом ключе площадка являет собой способ фокусировки на профессиональных и этических стандартах.
Также звучали предложения о сокращении общего времени встречи, добавления образовательного контента, большей чувствительности встреч к индивидуальным запросам организаций.
Во второй части встречи Наталья Ульянова представила кейс АНО «Центр помощи семьям детей с ограниченными возможностями здоровья «Содействие» (г. Ростов-на-Дону). Она рассказала о результатах работы организации с индивидуальным консультантом, благодаря которой были разработаны дерево результатов и логическая модель программы, произведена сегментация социального воздействия, усовершенствована система измерения непосредственных и социальных результатов.
В третьей части встречи прошла панельная дискуссия с участием приглашенного эксперта Наталии Фреик.
Основные выводы по ключевым вопросам дискуссии.
Для определения актуальной задачи, решение которой позволит качественно улучшить систему мониторинга и оценки возможно:
1) провести встречу или встречи с широким кругом участников, в том числе и стейкхолдеров, результаты «проверить» в диалоге с экспертом
2) посмотреть, какие другие задачи, не связанные с мониторингом и оценкой, стоят перед организацией, и как внесение изменений в МиО может способствовать их решению
3) воспользоваться алгоритмами, которые предложены в онлайн курсе, разработанном АНО «Эволюция и Филантропия»
4) возможно, в будущем появится специальная методическая разработка
На вопрос, можно ли «поставить точку» в развитии системы мониторинга и оценки, и если да, то в какой момент, отвечает, как правило, команда практики, при этом важно учитывать:
цикл жизни практики, нужно дать время, чтобы успеть собрать данные для оценки
преемственность инструментария, чтобы обеспечить данные для оценки динамики
нет ли ограничений на внесение изменений со стороны донора или профессионального сообщества
фокусы оценки со стороны доноров (экономическая и пиар составляющие)
Отвечая на вопрос, применима ли оценка рентабельности к «вложениям» в развитие системы мониторинга и оценки, высказали следующие мнения:
можно посчитать сколько средств вложено в развитие системы МиО, но сложно посчитать сколько получено
можно применить оценку вложений в компетенции сотрудников, которая используется в образовательных проектах, в т.ч. в проектах крупных компаний, например ПАО «Сбербанк России»
можно посчитать, сколько было затрачено на внешнюю оценку и сколько пожертвований было получено благодаря тому, что был представлен отчет
можно говорить о появлении дополнительной уверенности при подаче грантов
28 января 2022 года состоялась онлайн-встреча тематической группы «Мониторинг и оценка практик работы по социальной адаптации (социализации) подростков и выпускников сиротских учреждений», подводящая итоги работы группы. Участниками встречи стали более 35 человек из 16 регионов.
Первая часть встречи была посвящена подведению итогов работы тематической группы в 2021 году.
Ирина Бобылева, куратор группы напомнила основные содержательные выводы и продукты, полученные в ходе работы тематической группы. В четырех онлайн-встречах группы приняли участие 83 человека из 43 государственных и негосударственных некоммерческих организаций. Группа внесла вклад в развитие методической базы для систем МиО: онлайн-база «Слушай с пользой» пополнена новыми инструментами, а Реестр (банк) доказательных практик – новыми практиками, описанными в формате Стандарта доказательности и прошедшими независимую верификацию. Подробнее – в презентации.
Ожидания членов тематической группы от участия в ней были связаны с повышением компетенций в области мониторинга и оценки, знакомством с опытом коллег, обсуждением актуальных задач для развития системы МиО организации.
Краткий опрос показал, что для большинства участников встречи тематической группы соответствовали их ожиданиям, полученная информация была новой и полезной, повлияла на решение актуальных задач мониторинга и оценки. Есть готовность к дальнейшему участию в работе тематической группы.
В ходе групповой работы участники обсуждали индивидуальные результаты участия в сообществе, его возможности и барьеры обращения за его ресурсами, темы и формы интересные для дальнейшей работы.
В качестве личных результатов участники отмечали:
изменилось отношение к системе МиО, появилось понимание необходимости ее перестройки и разработки инструментария;
рост уверенности в своих силах, связанный с повышением компетенций и как следствие расширение участия в грантовых конкурсах, в том числе международных;
разработка новых инструментов, которые получилось логично встроить в практику;
сбор большого массива данных.
Причинами не обращения за ресурсами сообщества были названы:
сложности развития культуры организации и долговременность такого процесса;
отсутствие внутренней склонности к аналитической деятельности у некоторых сотрудников;
отсутствие общих подходов и договоренностей в поле близких практик.
Некоторые участники отмечали необходимость дифференциации «продуктового предложения» площадки. Для новых участников, только знакомящихся с МиО, — вводные, ознакомительные возможности; для руководителей – должно быть отдельное предложение; для специалистов, которые уже прошли определенный путь – возможность профессионального роста и обмена опытом с коллегами.
В качестве ресурса сообщества для лоббирования интересов и способов повышения устойчивости отмечена важность развития культуры донорских организаций, имеющих запрос оценки воздействия поддерживаемых практик.
Участникам было бы интересно включить в повестку новых встреч:
сравнение близких практик, критерии такого сравнения;
международный опыт стран с условиями близкими к российским условиям;
оценка измерительных инструментов;
возможность разработки универсальных практик;
влияние исполнителя на достижение социальных результатов практики;
конструктор работающих решений в области мониторинга и оценки;
Потребность в освоении базовых подходов к МиО остается очень высокой у региональных организаций.
Участники предложили попробовать формат междисциплинарных встреч, привлечение социологов, попробовать встречи только для близких практик или для участников с одинаковым уровнем компетенций.
Была отмечена польза коллективной работы, увеличивающей личные ресурсы, атмосфера доверия и безопасности в группе.
Во второй части встречи были представлены кейсы организаций, иллюстрирующие решение актуальных задач развития систем мониторинга и оценки, сделанные при поддержке индивидуального консультанта.
Опытом развития систем мониторинга и оценки поделились:
1) Автономная некоммерческая организация «Центр социальных проектов» (Татьяна Илясова). Кейс иллюстрировал опыт рефлексии практики сопровождения родителей – выпускников организаций для детей–сирот на основе обратной связи от благополучателей. Презентация доступна по ссылке;
2) Благотворительный фонд «Большая перемена» (Роман Лебедев). Кейс раскрывал опыт разработки модели оценки социального эффекта реализации программной деятельности. Презентация доступна по ссылке;
3) Благотворительный фонд помощи детям-отказникам и детям-сиротам «Бюро добрый дел» (Анна Хегай). Кейс показал изменения процедуры подсчета показателя на основе триангуляции данных. Презентация доступна по ссылке.
Консультанты, оказавшие поддержку организациям, отметили, что для них это был интересный и не всегда простой опыт и поделились выводами:
встроить серьезную исследовательскую работу в текущую деятельность организации – процесс довольно сложный, требующий отдельных усилий;
происходила не только разработка конкретного инструмента, но в целом перестройка системы МиО, выработка общих подходов;
особенности целевой группы практики задают требования к разрабатываемым инструментам, которые с одной стороны должны отслеживать сложные социальные результаты практики, а с другой стороны быть понятными и доступными для благополучателей;
важен вопрос осознанного выбора внутреннего интервьюера для обеспечения тесного контакта с благополучателем на основе уже сложившихся доверительных отношений;
решающим в достижении социальных результатов практик тематической группы становится мнение самого подростка (исследование авторства в жизни), ориентация на то, что для него важно и как он сам себя оценивает и насколько удовлетворен изменениями;
большой объем полученной качественными инструментами информации усложняет анализ;
интерпретации полученного результата должны подтверждаться дополнительными исследованиями, а не быть «удобными» для организации.
1 декабря 2021 прошел вебинар «Верификации социальных практик», на котором был представлен опыт прохождения независимой верификации организациями, которые оказывают поддержу семьям с особыми детьми.
В самом начале вебинара слушатели получили уникальную возможность задать вопросы Инне Ширшовой (БФ «Вклад в будущее»), которая была в этом году экспертом-верификатором нескольких практик, и прояснить основания присвоения того или иного уровня доказанности, а также конкретизировать содержание полученных рекомендаций.
Больше всего слушателей интересовали вопросы валидности применяемых инструментов. Многие инструменты, которые советуют эксперты, не являются общедоступными, применение зарубежных методик должно предваряться адаптацией к культурно-социальному контексту нашей страны, инструменты, которые разрабатывают сами организации, как правило не проходят психометрическую проверку. В этой ситуации, по совету Инны, необходимо в описании провести аргументы, почему был выбран тот или иной инструмент, почему не были взяты другие инструменты, особенно, общеизвестные. И в целом, описывая практику, важно показывать не только конечные результаты ее рефлексивного анализа, как это есть сейчас, но и промежуточные. Это поможет экспертам понять контекст работы организации по сбору доказательств.
В диалоге родилась тема дискуссии следующей встречи, а именно: «Анализ допущений и оценка рисков негативного влияния практики».
Во второй части вебинара результаты работы в рамках Конкурса Фонда Елены и Геннадия Тимченко «Реестр доказательных практик» представили:
АНО «Центр сопровождения детей и семей «Содействие», практика «Группа поддержки родителей детей с ограниченными возможностями здоровья и инвалидностью «Равновесие» (презентация);
АНО «Центр развития и реабилитации детей «Светлый город», практика «Развитие и социальная адаптация детей с особыми образовательными потребностями» (презентация);
АНО «Ресурсный центр помощи людям с ментальными нарушениями «Вера. Надежда. Любовь», практика «ЭМО» — мессенджер для детей и молодых людей с ментальными нарушениями» после реализации плана повышения доказательности (презентация).
Все организации поделились результатами верификации, полученными рекомендациями и тем, как рекомендации были ими трансформированы в задачи плана повышения доказанности.
В третьей части слушатели примерили на себя роль верификаторов практики «Непрерывное сопровождение детей с выраженными интеллектуальными нарушениями» (ГБУ ЦСПР «Семь-Я»). Надо отметить, что результаты коллективной публичной экспертизы по разделам «Регламентированность» и «Обоснованность практики» совпали с мнением экспертов, как по присвоенным уровням, так и по содержанию рекомендаций.
В заключении слушатели обменялись своими впечатлениями о прошедшем вебинаре. Многие отмечали, что на вебинаре ещё больше укрепились во мнении о необходимости специальных навыков для «упаковки » практики в описание в соответствии со Стандартом доказательности практик.
