Социальные результаты и показатели

В первой части семинара планируется выступление приглашенного спикера — Альнура Эбрахима (Alnoor Ebrahim), профессора Школы права и дипломатии Флетчера, США (The Fletcher School of Law and Diplomacy).

В 2019 году вышла книга Альнура Эбрахима “Measuring Social Change: Performance & Accountability in a Complex World”, Stanford University Press («Измерение социальных изменений: эффективность и подотчетность в сложном мире»).

В этой книге А. Эбрахим представляет различные модели управления социальной эффективностью в зависимости от сложности социальных преобразований и операционной стратегии организации. А. Эбрахим в своей публикации предлагает 4 типовые стратегии осуществления социальных преобразований и соответствующие подходы к управлению эффективностью в рамках этих стратегий. 
Данная работа является развитием методологического подхода по определению границ влияния НКО на общественные преобразования. Подробнее можно прочитать здесь.​​​​

Во второй части семинара пройдет панельная дискуссия с участием экспертов в области оценки программ и проектов, руководителей и практиков сферы детства и представителей академического сообщества.

Ведущие семинара:

• Бусыгина Наталия Петровна – к.пс.н., доцент кафедры индивидуальной и групповой психотерапии факультета консультативной и клинической психологии МГППУ;
• Подушкина Татьяна Геннадиевна – руководитель Центра доказательного социального проектирования МГППУ.

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», Благотворительного фонда Елены и Геннадия Тимченко, а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов. 

К участию приглашается широкий круг заинтересованных специалистов. Семинар пройдет на онлайн-платформе Zoom, требуется предварительная регистрация на участие: ЗАРЕГИСТРИРОВАТЬСЯ НА ОНЛАЙН-СЕМИНАР ПО ССЫЛКЕ.

Ссылки на видео предыдущих семинаров:

• 12 декабря 2019 года;
• 30 января 2020 года;
• 19 февраля 2020 года;
• 10 марта 2020 года;
• 14 апреля 2020 года;
• 19 мая 2020 года.

Мероприятие было посвящено анализу оснований классификации социальных практик, позволяющих дифференцированно подходить к выбору дизайна и методов исследования их эффектов.

В начале семинара Алексей Кузьмин, международный консультант по оценке программ и организационному развитию, представил модель Кенэвин, помогающую учитывать характер ситуации в которой  реализуется социальная практика. В модели предлагается  4 типа ситуаций – простая, сложная, динамическая, хаотичная.  Эти типы отличаются между собой характером причинно-следственных связей, степенью предсказуемости событий и т.д. То, к какому типу ситуации относится проблема, во многом зависит от подготовленности, степени осведомленности людей, которые с ней имеют дело. Презентация доступна по ссылке.

Наталия Бусыгина в своем выступлении представила «Теорию оценки социальных изменений» А. Эбрахима.

Основные пункты теории:

• уровни эффектов социальных практик;
• логическая модель оценки;
• структурная рамка для принятия решений об оценке социальных эффектов (структурная рамках обстоятельств);
• методы и методологии оценки эффектов.

Более подробно в докладе была раскрыта тема структурной рамки обстоятельств, которая помогает классифицировать социальные практики и выбирать соответствующие методологические подходы к оценке их результатов. Презентацию смотрите тут.

Татьяна Подушкина рассказала о факторах, влияющих на выбор подходов к оценке эффективности социальных практик. Презентация по ссылке.

В докладе была представлена динамика развития ситуации в зоне социальных рисков: потенциал возникновения (норма) > возникновение риска (кризис) > реализация риска > необратимые последствия.

Как правило, организация/практика работает на одной из зон. Если на всех, то это, как правило, комплексные модели/программы помощи, которые требуют больших ресурсов. И в этом случае возрастают требования к квалификации специалистов, увеличивается длительность сопровождения.

Таким образом, ключевые факторы, которые влияют на определение типа практики — длительность сопровождения и комплексность подхода к оказанию помощи.

В соответствии с этими факторами можно выделить 4 типа практик – быстрая помощь (временное снижение остроты кризисной ситуации), помощь в решении проблемы (разрешение кризисной ситуации), помощь и сопровождение в ситуации, где проблема не может быть решена и профилактика возникновения проблемы.

Чем сложнее ситуация фокуса социально-психологической помощи, тем менее видимые изменения можно продемонстрировать. Последние 2 типа практик в предложенной классификации наиболее «уязвимы» с точки зрения представления доказательств, свидетельств результативности.

В завершении семинара прошла панельная дискуссия, в качестве дискутанта выступил Владимир Балакирев (специалист и консультант по оценке социальных программ), высказав свое видение относительно представленных моделей и возможностей их применения в области исследования эффектов социальных практик.  Общие выводы представлены ниже.

Основания для выбора методологии оценивания социальных практик:

• задача оценивания (зачем?);
• характеристики ситуаций, с которыми организация имеет дело (контекст применения практики, нечто внешнее, в том числе законодательство, мнение лиц, принимающих решения и т.д.);
• характеристики реализуемой практики, в том числе ее сложность (комплексность воздействия, долгосрочность и т.д.);
• типология результатов практики — краткосрочные результаты, либо более отложенные;
• с чем мы имеем дело? С практикой/проектом/программой? Важно понять, с каким типом воздействия имеем дело;
• стоимость оценки;
• компетенции специалистов, проводящих оценку.

Для учета всех факторов может быть составлена некая матрица для оценивания.

Вопросы, затронутые в процессе дискуссии участников:

• разделение понятий «практика/проект/программа» — стоит ли разделять понятия, четко очерчивать их границы. В том числе определение «практики», заложенное в Стандарте доказательности социальных практик сферы детства;
• изучение разных факторов воздействия  — поиск инструментов. Влияние практики – сложная задача, но такие методы есть. Есть подходы, позволяющие оценить влияние практики. Подбор инструментов – индивидуально стоит рассматривать в каждом конкретном случае;
• вопрос об объективной оценки результатов (Возможно ли это? Как сделать оценку объективной?);
• противоречие между требования доноров – ситуации, когда донор требует быстрых результатов (в перспективе года), но при том – ожидание, что это будут фундаментальные результаты, предполагающие системные изменения. Что не соответствует действительности, т.к. в случае системных изменений речь идет о более долгосрочных социальных результатах;
• важность диалога с донорами, постановка вопроса об ожиданиях социальных эффектов.

Видеозапись семинара по ссылке:

В мероприятии приняли участие 33 представителя организаций сферы детства, из них 12 участников из Москвы, 21 участник – из 10-ти регионов РФ.

Спикером выступила Ольга Евдокимов, директор АНО «Эволюция и Филантропия».

На вебинаре разбиралась структура описания практики в соответствии с методологией Стандарта, состоящая из 5-ти разделов:

1. Общая информация о практике,
2. Краткое описание практики,
3. Регламентированность практики,
4. Обоснованность практики,
5. Данные о достижении социальных результатов и влиянии практики.

Подробно были рассмотрены типичные вопросы, сложности, возникающие при подготовке описания практик, даны рекомендации по заполнению. Участникам также были обозначены разделы и вопросы формата, на которые особенно стоит обратить внимание при подготовке практики к профессиональной верификации. С презентацией можно ознакомиться тут.

Запись вебинара доступна по ссылке.

Мероприятие проведено в рамках проектов АНО «Эволюция и Филантропия»  — «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства», проект реализуется с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов, а также «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», проект реализуется при поддержке Комитета общественных связей и молодежной политики города Москвы. Поддержку проектов также осуществляет Фонд Тимченко.

1. Как проводятся Рандомизированные контролируемые исследования (РКИ), (NFER — The National Foundation for Educational Research; Великобритания).
2. Обзор результатов «Четырехгодичное рандомизированное контролируемое исследование (РКИ)», (WINGs helping kids soar).

В начале семинара Татьяна Подушкина, руководитель Центра доказательного социального проектирования МГППУ представила фокусы работы прошлых сессий семинаров.

Далее представители 2-х некоммерческих организаций сферы детства представили форматы описания практик в доказательном ключе в соответствии с методологией Стандарта доказательности социальных практик сферы детства.

1. БФ «Дети наши», практика «Не разлей вода» — восстановление кровных отношений воспитанников сиротских учреждений

Коллеги представили основные разделы описания практики – регламенты, теоретическое и исследовательские обоснования замысла практики, представили данные, свидетельства о достижении ключевых социальных результатов.

По итогам выступления было много вопросов от участников семинара о тонкостях практики — что имеется ввиду под «неудачными случаями», работа с проблематикой зависимостей  родителей и т.д. Также были вопросы и о том, как именно практическое использование Стандарта, методологического подхода, который в него заложен, повлияло на организацию. Было отмечено, что организация в настоящее время в таком же формате описывает другую свою практику – работу с кровными семьями, находящимися в трудной жизненной ситуации.

2. МОО «Аистенок», практика «Сохраним семью для ребенка» — профилактика отказов/изъятий детей из кровных семей.

Практика была аналогично представлена в соответствии основными разделам Стандарта, отмеченными в кейсе выше.

По итогам выступления коллег, сложилась интересная дискуссия:

• использование стандартизированных методик (всегда ли нужны?) – важно в этом случае учитывать фокус, направление работы практики;
• использование принципа триангуляции данных (что было показано в кейсах организаций);
• каким образом опора на теоретические концепты/обоснования  проявляется в социальных результатах?
• эмпирический дизайн исследования (РКИ) не всегда является идеальным и «обязательным» для обоснования доказательной базы практики.

Фокусы внимания дальнейших семинаров:

1. Обоснованность практики – может включать не просто теоретическое обоснование практики, раскрывающее опору практики на научные походы, но и описание модели практики;
2. Обоснованность данных о результатах – исследование эффектов практик.

И то, и другое может опираться на эмпирические данные.

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов и Фонда Тимченко.

Тема сессии: Доказательное обоснование  и описание социальных практик на основе базовых требований «Стандарта доказательности социальных практик»/ Анализ случаев (разбор кейсов социальных практик, описанных в доказательном ключе).

Ведущие семинара:

Бусыгина Наталия Петровна – кандидат психологических наук, доцент кафедры индивидуальной и групповой психотерапии факультета консультативной и клинической психологии МГППУ

Подушкина Татьяна Геннадиевна – руководитель Центра доказательного социального проектирования МГППУ

Встреча семинара будет посвящена анализу опыта доказательного обоснования социальных практик с опорой на Стандарт доказательности. В первой части семинара будут кратко представлены результаты работы предыдущих сессий: основные понятия и подходы в области доказательного обоснования практик, формат описания практики в доказательном ключе в соответствии со Стандартом, отечественный и зарубежный опыт организации реестров практик с доказанной эффективностью.

Во второй части семинара будут предложены к обсуждению 2 кейса социальных практик, описанных в доказательном ключе (в соответствии с требованиями Стандарта), на материале которых мы попытаемся проанализировать формат описания и рассмотреть алгоритм обоснования социальной практики в доказательном ключе. 

Свой опыт представят специалисты Благотворительного фонда «Дети наши»/ г.Москва (социальная практика «Не разлей вода») и  Межрегиональная общественная организация по содействию семьям с детьми в трудной жизненной ситуации «Аистенок»/ г. Екатеринбург (практика «Сохраним семью для ребенка»).

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

К участию приглашается широкий круг заинтересованных специалистов. Семинар пройдет на онлайн-платформе, требуется предварительная регистрация на участие: ЗАРЕГИСТРИРОВАТЬСЯ НА СЕМИНАР.

Ниже вы найдете ссылки на материалы, которые помогут вам подготовиться  к семинару:

Стандарт доказательности социальных практик в сфере детства

Описание практики «Сохраним семью для ребенка» (г. Екатеринбург)

Описание практики «Не разлей вода» (г. Москва)

Ссылки на видео предыдущих семинаров:

12 декабря 2019 года: https://youtu.be/yqs-PWhEHdM

30 января 2020 года: https://youtu.be/g_bR4cbXFR4

19 февраля 2020 года: https://youtu.be/4YKTb4WIiw0

10 марта 2020 года: https://youtu.be/_eD6-FMAbS0

Переведены новые материалы по проекту «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства».

1. Основы мониторинга и оценки для доноров и исполнителей. (A primer about monitoring and evaluation, for funders and implementers): выдержка. Кэролайн Файнс (Caroline Fiennes), Наталия Киритопулу (Natalia Kiryttopoulou), Марк Максмайстер (Marc Maxmeister). Октябрь 2018г.
2. Рандомизированные контролируемые исследования – золотой стандарт или иллюзия? Роль экспериментальных методов оценки социальной эффективности в некоммерческом секторе. Салли Капитт (Sally Cupitt), Глава Службы оценки для благотворительных организаций Национального совета добровольных объединений (The NCVO Charities Evaluation Services; Великобритания) Май 2015 г.
3. Разные грани доказательств, «произведенных» общими усилиями, Пиппа Куттс (Pippa Coutts), The many shades of co-produced evidence, 2019г.

В первой части семинара Бусыгина Наталия, к.пс.н., доцент кафедры индивидуальной и групповой психотерапии факультета «Консультативная и клиническая психология» МГППУ представила доказательный подход в медицине – той области, где он изначально появился, и остановилась на истории его перенесения в область исследований в социальной сфере. 

В рамках семинара обозначены и рассмотрены суть и различие таких понятий, используемых в  парадигме доказательного подхода в медицине как: Evidence-based practice (научно-обоснованная практика или практика с эмпирически подтвержденной эффективностью), Practice-based research (практико-ориентированные исследования) и Evidence-based process (процесс применения/реализации научно-обоснованной практики).

В контексте применения доказательного подхода в социальной сфере применяется понятие Evidence-Informed practice (практики, основанные на доказательствах).

В выступлении спикера также были представлены критерии научно-обоснованной практики, заложенные в доказательном подходе, среди которых:

• стандартизация практики и описание в соответствующих методических руководствах;
• эффективность практики продемонстрирована в контролируемых исследованиях;
• важные результаты подтверждены объективными измерениями;
• исследования проведены независимыми командами исследований.

Также на семинаре рассмотрена иерархия доказательств, основные дизайны практико-ориентированных исследований:

1. Рандомизированные контролируемые исследования,
2. Квази-экспериментальные контролируемые исследования,
3. Неконтролируемые клинические исследования,
4. Экспериментальные исследования с одним испытуемым
5. Корреляционные исследования
6. Качественные исследования отдельных случаев.

Чаще всего в социальной сфере используются квази-экспериментальные контролируемые исследования. Но важно принимать во внимание, что формирование доказательной базы практики начинается с более «простых» дизайнов исследования.

Во второй части семинара рассматривался кейс Центра содействия семейному воспитанию «Вера. Надежда. Любовь». Елизавета Романова, методист Центра, директор АНО «Ресурсный Центр «Вера. Надежда. Любовь» представила опыт описания социальной практики в доказательном ключе в соответствии со Стандартом доказательности социальных практик сферы детства. На примере данного кейса участники семин6ара обсуждали определение границ практики, а также подходы к определению результатов, дизайнам сбора эмпирических данных.

Видеозапись можно посмотреть здесь.

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

5-6  марта Агентство стратегических инициатив и Московский государственный психолого-педагогический университет провели проектный семинар «Новые подходы к оценке качества управленческих и социальных практик с доказанной эффективностью».

В работе семинара принимали участие региональные и муниципальные управленческие команды и региональные эксперты, прошедшие открытый конкурс региональных экспертов в сфере детства, проведенных Агентством стратегических инициатив в 2019 году.

На семинаре обсуждались требования к эффективным управленческим практикам и социальным практикам с доказанной эффективностью, принципы формирования федерального реестра региональных и муниципальных практик, а также вопросы внедрения доказательного подхода в деятельность организаций социальной сферы. 

В данной заметке мы хотели бы коротко обозначить вопросы, связанные с созданием модели распределенного реестра лучших социальных практик.

Идея создания реестра заложена в п. 129 Плана Десятилетия детства — «Создание реестра лучших практик, выявленных в ходе реализации мероприятий, проводимых в рамках Десятилетия детства, на основе выработанных единых критериев оценки».

Ранее конкурсный отбор социальных практик являлся основным механизмом оценивания социальных практик в сфере детства.

Затем были выработаны единые критерии оценки социальных практик, которые заложены в основу реестра:

• соответствие практики целям Десятилетия Детства;
• практика имеет подтвержденный социальный эффект;
• практика имеет потенциал к масштабированию и тиражированию.

В ходе в выступления В.В. Рубцова, Президента МГППУ были представлены этапы развития («пирамида») социальных практик:

• 1 ступень — лучшие региональные социальные практики — прошли конкурсный отбор на региональном уровне;
• 2 ступень — лидеры конкурсов социальных практик – так называемые «кандидатные технологии» — отобраны по результатам ведущих конкурсов для независимой оценки результатов;
• 3 ступень — практики с доказанной эффективностью — рекомендованы в распределенный реестр.

Обсуждалось создание и развитие инкубатора для перспективных социальных практик с целью «доращивания» их до уровня практик с доказанной эффективностью с возможностью размещения в реестре, а также была озвучена возможность отбора в Реестр социальных практик (на базе МГППУ)  по принципу «одного окна».

В ходе семинара были обозначены следующие критерии включения практики  в Реестр:

• Рекомендована к участию в конкурсе одним из ведущих операторов (которые должны быть определены);
• Описана в соответствии со Стандартом доказательности социальных практик;
• Обеспечивает устойчивые  позитивные изменения в ситуации детей и семей;
• Имеет научно подтвержденные данные относительно позитивного влияния.

Подчеркнута важность и необходимость создания инфраструктуры для отбора и верификации социальных практик для дальнейшего масштабирования и тиражирования в регионах.

Утвержден Отчет о деятельности по проекту «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства» за ноябрь 2019-февраль 2020 года.

За отчетный период был произведен набор участников проекта. Согласованы роли в проекте членов команды, экспертов и партнеров, решены организационные вопросы. Определены потребности участников проекта.

В январе был завершен набор участников в проект. Набор участников осуществлялся путем рассылок и публикаций на собственных ресурсах, в социальных сетях. В результате общее количество участников проекта составило 37 организаций, среди которых представители 24-х регионов.

Заключены соглашения с 6-ю региональными площадками.

В рамках проекта сформированы 3 группы участников: • 1 группа – организации, которые прошли в 2019 году профессиональную верификацию и в настоящее время начали работу над планом повышения уровня доказанности, основанном на заключениях экспертов-верификаторов. Работа организаций в данном направлении происходит при поддержке методистов. Всего 12 организаций в данной группе на данном этапе; • 2 группа – 16 организаций, которым оказывается комплексная поддержка кураторов-консультантов. Данные организации работают над следующими задачами: — создание дерева результатов и логической модели практики; — прохождение самодиагностики на определение уровня доказанности практики; — описание практики в доказательном подходе в соответствии с методологией Стандарта доказательности практик сферы детства и составления плана повышения уровня доказанности; • 3 группа – организации, пользующиеся общими методическими ресурсами, предлагаемыми в рамках проекта, и самостоятельно работающие над повышением и наращиванием доказательной базы своих практик.

В отчетный период были проведены презентации проекта, где были представлены основные цели, задачи и этапы реализации проекта. Прошли несколько методических и публично-дискуссионных мероприятий (в т.ч. в партнерстве с МГППУ), посвященных обсуждению доказательного подхода в целом, методологии Стандарта доказательности практик, обсуждению практических примеров, кейсов доказательных практик. Всего 6 мероприятий, в которых в общей сложности приняло участие не менее 200 чел., количество регионов — не менее 20.

Подготовлен для дальнейшей рассылки обзор зарубежного опыта, включающий теоретические и практические вопросы доказательности социальных практик в сфере детства.

Подробнее с отчетом можно ознакомиться здесь.

Проект «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства» реализуется АНО «Эволюция и Филантропия» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществляет Фонд Тимченко.