стандарт доказательности социальных практик

В мероприятии приняли участие 42 представителя сферы защиты детства из 26 некоммерческих, общественных и государственных организаций, учреждений социальной защиты, образования, здравоохранения и другие заинтересованные в повышении эффективности деятельности в сфере защиты детства специалисты. Несмотря на то, что мероприятие освещало преимущественно деятельность Вологодской области, к презентации присоединились специалисты их Севастополя, Смоленска, Свободного Амурской области, Москвы, Хабаровска, ХМАО. В Вологодской области география участников включает 5 населенных пунктов: Череповец, Вологда, Великий Устюг, Сокол, Чагода.

На встрече Стандарт доказательности социальных практик в сфере детства представила Татьяна Подушкина, руководитель Центра доказательного социального проектирования МГППУ. Она рассказала о его структуре и возможностях, как для новичков в теме, так и для организаций и специалистов с опытом. 

Описание практик в доказательном ключе – задача не простая, но полезная. Наталия Логинова, руководитель отделения содействия семейному устройству БУ СО ВО «Череповецкий ЦПД «Наши дети», руководитель проекта БФ «Дорога к дому» «Вместе ради детей» в ходе презентации практики по благополучному семейному устройству детей-сирот и детей, оставшихся без попечения родителей, описанной с использованием методологии Стандарта, пояснила: «Описывая свою практику мы пришли к выводу, что пора менять критерии готовности воспитанника к его передаче на семейные формы устройства, которые мы используем при диагностике, потому что за последние годы значительно сократилось время, которое ребенок находится в учреждении».

Ольга Цыбанова, методист Управления образования мэрии г. Череповца по направлению «Дошкольное образование», руководитель проектов БФ «Дорога к дому» «Новый путь», «Здоровая семья для ребенка» отметила, что работа по описанию практики реабилитационных клубов поддержки семей в кризисной ситуации «позволила ответить на такие вопросы, как: является ли достаточным ресурсное обеспечение практики для достижения социальных результатов, соответствует ли деятельность изначальному плану, как меняются модели поведения благополучателей. Также мы сократили количество показателей, которые использовали, выбрав только те, непосредственно демонстрируют достижение результатов».

Оба представленных кейса в этом году стали победителями конкурса фонда Елены и Геннадия Тимченко «Реестр (банк) доказательных практик».

Разработать, апробировать, внедрить, описать и оценить практики в сфере детства позволяет реализация проектов БФ «Дорога к дому». Для этого нужно принять участие в открытом конкурсе социальных проектов, который в этом году пройдет с 3 по 31 августа. Директор Фонда, Екатерина Фрыгина, привела примеры уже реализованных проектов Фонда по направлениям конкурса, а руководитель ресурсно-методического центра, Алена Богомолова, пояснила при заполнении каких разделов заявки может максимально пригодиться Стандарт.     

По ссылке доступны запись и материалы вебинара.

Проект «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства» реализуется «АНО «Эволюция и Филантропия», при поддержке Фонда президентских грантов и Фонда Тимченко.

С лекцией выступил профессор Школы права и дипломатии Флетчера при университете Тафтса Альнур Эбрахим (США). Он представил основные идеи своей книги «Измерение социальных изменений: эффективность и подотчетность в сложном мире» (Measuring Social Change: Performance and Accountability in a Complex World), вышедшей в прошлом году в издательстве Стэнфордского университета.

Альнур Эбрахим рассказал о результатах своих многолетних исследований деятельности некоммерческих организаций. Наибольший интерес вызвала предложенная Альнуром Эбрахимом модель типов организаций, в основание которой положены два измерения: концепция изменений, на которую опирается организация, и операционная стратегия, которой она главным образом следует. По мнению участников семинара, данная модель может быть очень полезна при разработке типологии социальных практик и методологии оценки их эффективности в зависимости от типа.

На семинаре речь шла о двух различных исследовательских стратегиях в оценке эффективности социальной деятельности – аттрибутивной и контрибутивной. И если первая (аттрибутивная) стратегия хорошо известна психологам и представляет собой оценку эффекта производимых психологических или социальных интервенций с использованием рандомизированных контролируемых исследований, то вторая (контрибутивная) стратегия очень часто выпадает из поля внимания исследователей, хотя в ряде случаев, когда наблюдаемый эффект является следствием целого комплекса факторов, мы не можем строго оценить отношения между конкретными практическими действиями и наблюдаемым эффектом, но можем ретроспективно описать возможный вклад в него этих действий.

Нам нужно избавиться от детской фантазии, что мы можем гарантировать объективную оценку того, что делают другие, – цитирует Альнур Эбрахим философа Онору О’Нил. И тем не менее, нам нужно понимать, что они делают, и нужно оценивать эффективность их действий. Культура оценки, культура измерения в условиях понимания особенностей той деятельности, которая является предметом оценки, – вот о чем, в конечном счете, шла речь на итоговой сессии семинара. Семинар вызвал огромный интерес как у представителей академического сообщества, так и у специалистов-практиков, представителей НКО и государственных структур.       

Материалы можно посмотреть здесь и здесь.

Презентация книги «Измерение социальных изменений: эффективность и подотчетность в сложном мире» (Measuring Social Change: Performance and Accountability in a Complex World).

Запись семинара можно посмотреть здесь.        

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», Благотворительного фонда Елены и Геннадия Тимченко, а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов. 

В первой части семинара планируется выступление приглашенного спикера — Альнура Эбрахима (Alnoor Ebrahim), профессора Школы права и дипломатии Флетчера, США (The Fletcher School of Law and Diplomacy).

В 2019 году вышла книга Альнура Эбрахима “Measuring Social Change: Performance & Accountability in a Complex World”, Stanford University Press («Измерение социальных изменений: эффективность и подотчетность в сложном мире»).

В этой книге А. Эбрахим представляет различные модели управления социальной эффективностью в зависимости от сложности социальных преобразований и операционной стратегии организации. А. Эбрахим в своей публикации предлагает 4 типовые стратегии осуществления социальных преобразований и соответствующие подходы к управлению эффективностью в рамках этих стратегий. 
Данная работа является развитием методологического подхода по определению границ влияния НКО на общественные преобразования. Подробнее можно прочитать здесь.​​​​

Во второй части семинара пройдет панельная дискуссия с участием экспертов в области оценки программ и проектов, руководителей и практиков сферы детства и представителей академического сообщества.

Ведущие семинара:

• Бусыгина Наталия Петровна – к.пс.н., доцент кафедры индивидуальной и групповой психотерапии факультета консультативной и клинической психологии МГППУ;
• Подушкина Татьяна Геннадиевна – руководитель Центра доказательного социального проектирования МГППУ.

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», Благотворительного фонда Елены и Геннадия Тимченко, а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов. 

К участию приглашается широкий круг заинтересованных специалистов. Семинар пройдет на онлайн-платформе Zoom, требуется предварительная регистрация на участие: ЗАРЕГИСТРИРОВАТЬСЯ НА ОНЛАЙН-СЕМИНАР ПО ССЫЛКЕ.

Ссылки на видео предыдущих семинаров:

• 12 декабря 2019 года;
• 30 января 2020 года;
• 19 февраля 2020 года;
• 10 марта 2020 года;
• 14 апреля 2020 года;
• 19 мая 2020 года.

Мероприятие было посвящено анализу оснований классификации социальных практик, позволяющих дифференцированно подходить к выбору дизайна и методов исследования их эффектов.

В начале семинара Алексей Кузьмин, международный консультант по оценке программ и организационному развитию, представил модель Кенэвин, помогающую учитывать характер ситуации в которой  реализуется социальная практика. В модели предлагается  4 типа ситуаций – простая, сложная, динамическая, хаотичная.  Эти типы отличаются между собой характером причинно-следственных связей, степенью предсказуемости событий и т.д. То, к какому типу ситуации относится проблема, во многом зависит от подготовленности, степени осведомленности людей, которые с ней имеют дело. Презентация доступна по ссылке.

Наталия Бусыгина в своем выступлении представила «Теорию оценки социальных изменений» А. Эбрахима.

Основные пункты теории:

• уровни эффектов социальных практик;
• логическая модель оценки;
• структурная рамка для принятия решений об оценке социальных эффектов (структурная рамках обстоятельств);
• методы и методологии оценки эффектов.

Более подробно в докладе была раскрыта тема структурной рамки обстоятельств, которая помогает классифицировать социальные практики и выбирать соответствующие методологические подходы к оценке их результатов. Презентацию смотрите тут.

Татьяна Подушкина рассказала о факторах, влияющих на выбор подходов к оценке эффективности социальных практик. Презентация по ссылке.

В докладе была представлена динамика развития ситуации в зоне социальных рисков: потенциал возникновения (норма) > возникновение риска (кризис) > реализация риска > необратимые последствия.

Как правило, организация/практика работает на одной из зон. Если на всех, то это, как правило, комплексные модели/программы помощи, которые требуют больших ресурсов. И в этом случае возрастают требования к квалификации специалистов, увеличивается длительность сопровождения.

Таким образом, ключевые факторы, которые влияют на определение типа практики — длительность сопровождения и комплексность подхода к оказанию помощи.

В соответствии с этими факторами можно выделить 4 типа практик – быстрая помощь (временное снижение остроты кризисной ситуации), помощь в решении проблемы (разрешение кризисной ситуации), помощь и сопровождение в ситуации, где проблема не может быть решена и профилактика возникновения проблемы.

Чем сложнее ситуация фокуса социально-психологической помощи, тем менее видимые изменения можно продемонстрировать. Последние 2 типа практик в предложенной классификации наиболее «уязвимы» с точки зрения представления доказательств, свидетельств результативности.

В завершении семинара прошла панельная дискуссия, в качестве дискутанта выступил Владимир Балакирев (специалист и консультант по оценке социальных программ), высказав свое видение относительно представленных моделей и возможностей их применения в области исследования эффектов социальных практик.  Общие выводы представлены ниже.

Основания для выбора методологии оценивания социальных практик:

• задача оценивания (зачем?);
• характеристики ситуаций, с которыми организация имеет дело (контекст применения практики, нечто внешнее, в том числе законодательство, мнение лиц, принимающих решения и т.д.);
• характеристики реализуемой практики, в том числе ее сложность (комплексность воздействия, долгосрочность и т.д.);
• типология результатов практики — краткосрочные результаты, либо более отложенные;
• с чем мы имеем дело? С практикой/проектом/программой? Важно понять, с каким типом воздействия имеем дело;
• стоимость оценки;
• компетенции специалистов, проводящих оценку.

Для учета всех факторов может быть составлена некая матрица для оценивания.

Вопросы, затронутые в процессе дискуссии участников:

• разделение понятий «практика/проект/программа» — стоит ли разделять понятия, четко очерчивать их границы. В том числе определение «практики», заложенное в Стандарте доказательности социальных практик сферы детства;
• изучение разных факторов воздействия  — поиск инструментов. Влияние практики – сложная задача, но такие методы есть. Есть подходы, позволяющие оценить влияние практики. Подбор инструментов – индивидуально стоит рассматривать в каждом конкретном случае;
• вопрос об объективной оценки результатов (Возможно ли это? Как сделать оценку объективной?);
• противоречие между требования доноров – ситуации, когда донор требует быстрых результатов (в перспективе года), но при том – ожидание, что это будут фундаментальные результаты, предполагающие системные изменения. Что не соответствует действительности, т.к. в случае системных изменений речь идет о более долгосрочных социальных результатах;
• важность диалога с донорами, постановка вопроса об ожиданиях социальных эффектов.

Видеозапись семинара по ссылке:

В мероприятии приняли участие 33 представителя организаций сферы детства, из них 12 участников из Москвы, 21 участник – из 10-ти регионов РФ.

Спикером выступила Ольга Евдокимов, директор АНО «Эволюция и Филантропия».

На вебинаре разбиралась структура описания практики в соответствии с методологией Стандарта, состоящая из 5-ти разделов:

1. Общая информация о практике,
2. Краткое описание практики,
3. Регламентированность практики,
4. Обоснованность практики,
5. Данные о достижении социальных результатов и влиянии практики.

Подробно были рассмотрены типичные вопросы, сложности, возникающие при подготовке описания практик, даны рекомендации по заполнению. Участникам также были обозначены разделы и вопросы формата, на которые особенно стоит обратить внимание при подготовке практики к профессиональной верификации. С презентацией можно ознакомиться тут.

Запись вебинара доступна по ссылке.

Мероприятие проведено в рамках проектов АНО «Эволюция и Филантропия»  — «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства», проект реализуется с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов, а также «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», проект реализуется при поддержке Комитета общественных связей и молодежной политики города Москвы. Поддержку проектов также осуществляет Фонд Тимченко.

1. Как проводятся Рандомизированные контролируемые исследования (РКИ), (NFER — The National Foundation for Educational Research; Великобритания).
2. Обзор результатов «Четырехгодичное рандомизированное контролируемое исследование (РКИ)», (WINGs helping kids soar).

В начале семинара Татьяна Подушкина, руководитель Центра доказательного социального проектирования МГППУ представила фокусы работы прошлых сессий семинаров.

Далее представители 2-х некоммерческих организаций сферы детства представили форматы описания практик в доказательном ключе в соответствии с методологией Стандарта доказательности социальных практик сферы детства.

1. БФ «Дети наши», практика «Не разлей вода» — восстановление кровных отношений воспитанников сиротских учреждений

Коллеги представили основные разделы описания практики – регламенты, теоретическое и исследовательские обоснования замысла практики, представили данные, свидетельства о достижении ключевых социальных результатов.

По итогам выступления было много вопросов от участников семинара о тонкостях практики — что имеется ввиду под «неудачными случаями», работа с проблематикой зависимостей  родителей и т.д. Также были вопросы и о том, как именно практическое использование Стандарта, методологического подхода, который в него заложен, повлияло на организацию. Было отмечено, что организация в настоящее время в таком же формате описывает другую свою практику – работу с кровными семьями, находящимися в трудной жизненной ситуации.

2. МОО «Аистенок», практика «Сохраним семью для ребенка» — профилактика отказов/изъятий детей из кровных семей.

Практика была аналогично представлена в соответствии основными разделам Стандарта, отмеченными в кейсе выше.

По итогам выступления коллег, сложилась интересная дискуссия:

• использование стандартизированных методик (всегда ли нужны?) – важно в этом случае учитывать фокус, направление работы практики;
• использование принципа триангуляции данных (что было показано в кейсах организаций);
• каким образом опора на теоретические концепты/обоснования  проявляется в социальных результатах?
• эмпирический дизайн исследования (РКИ) не всегда является идеальным и «обязательным» для обоснования доказательной базы практики.

Фокусы внимания дальнейших семинаров:

1. Обоснованность практики – может включать не просто теоретическое обоснование практики, раскрывающее опору практики на научные походы, но и описание модели практики;
2. Обоснованность данных о результатах – исследование эффектов практик.

И то, и другое может опираться на эмпирические данные.

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов и Фонда Тимченко.

Тема сессии: Доказательное обоснование  и описание социальных практик на основе базовых требований «Стандарта доказательности социальных практик»/ Анализ случаев (разбор кейсов социальных практик, описанных в доказательном ключе).

Ведущие семинара:

Бусыгина Наталия Петровна – кандидат психологических наук, доцент кафедры индивидуальной и групповой психотерапии факультета консультативной и клинической психологии МГППУ

Подушкина Татьяна Геннадиевна – руководитель Центра доказательного социального проектирования МГППУ

Встреча семинара будет посвящена анализу опыта доказательного обоснования социальных практик с опорой на Стандарт доказательности. В первой части семинара будут кратко представлены результаты работы предыдущих сессий: основные понятия и подходы в области доказательного обоснования практик, формат описания практики в доказательном ключе в соответствии со Стандартом, отечественный и зарубежный опыт организации реестров практик с доказанной эффективностью.

Во второй части семинара будут предложены к обсуждению 2 кейса социальных практик, описанных в доказательном ключе (в соответствии с требованиями Стандарта), на материале которых мы попытаемся проанализировать формат описания и рассмотреть алгоритм обоснования социальной практики в доказательном ключе. 

Свой опыт представят специалисты Благотворительного фонда «Дети наши»/ г.Москва (социальная практика «Не разлей вода») и  Межрегиональная общественная организация по содействию семьям с детьми в трудной жизненной ситуации «Аистенок»/ г. Екатеринбург (практика «Сохраним семью для ребенка»).

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

К участию приглашается широкий круг заинтересованных специалистов. Семинар пройдет на онлайн-платформе, требуется предварительная регистрация на участие: ЗАРЕГИСТРИРОВАТЬСЯ НА СЕМИНАР.

Ниже вы найдете ссылки на материалы, которые помогут вам подготовиться  к семинару:

Стандарт доказательности социальных практик в сфере детства

Описание практики «Сохраним семью для ребенка» (г. Екатеринбург)

Описание практики «Не разлей вода» (г. Москва)

Ссылки на видео предыдущих семинаров:

12 декабря 2019 года: https://youtu.be/yqs-PWhEHdM

30 января 2020 года: https://youtu.be/g_bR4cbXFR4

19 февраля 2020 года: https://youtu.be/4YKTb4WIiw0

10 марта 2020 года: https://youtu.be/_eD6-FMAbS0

Переведены новые материалы по проекту «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства».

1. Основы мониторинга и оценки для доноров и исполнителей. (A primer about monitoring and evaluation, for funders and implementers): выдержка. Кэролайн Файнс (Caroline Fiennes), Наталия Киритопулу (Natalia Kiryttopoulou), Марк Максмайстер (Marc Maxmeister). Октябрь 2018г.
2. Рандомизированные контролируемые исследования – золотой стандарт или иллюзия? Роль экспериментальных методов оценки социальной эффективности в некоммерческом секторе. Салли Капитт (Sally Cupitt), Глава Службы оценки для благотворительных организаций Национального совета добровольных объединений (The NCVO Charities Evaluation Services; Великобритания) Май 2015 г.
3. Разные грани доказательств, «произведенных» общими усилиями, Пиппа Куттс (Pippa Coutts), The many shades of co-produced evidence, 2019г.

В первой части семинара Бусыгина Наталия, к.пс.н., доцент кафедры индивидуальной и групповой психотерапии факультета «Консультативная и клиническая психология» МГППУ представила доказательный подход в медицине – той области, где он изначально появился, и остановилась на истории его перенесения в область исследований в социальной сфере. 

В рамках семинара обозначены и рассмотрены суть и различие таких понятий, используемых в  парадигме доказательного подхода в медицине как: Evidence-based practice (научно-обоснованная практика или практика с эмпирически подтвержденной эффективностью), Practice-based research (практико-ориентированные исследования) и Evidence-based process (процесс применения/реализации научно-обоснованной практики).

В контексте применения доказательного подхода в социальной сфере применяется понятие Evidence-Informed practice (практики, основанные на доказательствах).

В выступлении спикера также были представлены критерии научно-обоснованной практики, заложенные в доказательном подходе, среди которых:

• стандартизация практики и описание в соответствующих методических руководствах;
• эффективность практики продемонстрирована в контролируемых исследованиях;
• важные результаты подтверждены объективными измерениями;
• исследования проведены независимыми командами исследований.

Также на семинаре рассмотрена иерархия доказательств, основные дизайны практико-ориентированных исследований:

1. Рандомизированные контролируемые исследования,
2. Квази-экспериментальные контролируемые исследования,
3. Неконтролируемые клинические исследования,
4. Экспериментальные исследования с одним испытуемым
5. Корреляционные исследования
6. Качественные исследования отдельных случаев.

Чаще всего в социальной сфере используются квази-экспериментальные контролируемые исследования. Но важно принимать во внимание, что формирование доказательной базы практики начинается с более «простых» дизайнов исследования.

Во второй части семинара рассматривался кейс Центра содействия семейному воспитанию «Вера. Надежда. Любовь». Елизавета Романова, методист Центра, директор АНО «Ресурсный Центр «Вера. Надежда. Любовь» представила опыт описания социальной практики в доказательном ключе в соответствии со Стандартом доказательности социальных практик сферы детства. На примере данного кейса участники семин6ара обсуждали определение границ практики, а также подходы к определению результатов, дизайнам сбора эмпирических данных.

Видеозапись можно посмотреть здесь.

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.