Социальные результаты и показатели

В мероприятии приняли участие 33 представителя организаций сферы детства, из них 12 участников из Москвы, 21 участник – из 10-ти регионов РФ.

Спикером выступила Ольга Евдокимов, директор АНО «Эволюция и Филантропия».

На вебинаре разбиралась структура описания практики в соответствии с методологией Стандарта, состоящая из 5-ти разделов:

1. Общая информация о практике,
2. Краткое описание практики,
3. Регламентированность практики,
4. Обоснованность практики,
5. Данные о достижении социальных результатов и влиянии практики.

Подробно были рассмотрены типичные вопросы, сложности, возникающие при подготовке описания практик, даны рекомендации по заполнению. Участникам также были обозначены разделы и вопросы формата, на которые особенно стоит обратить внимание при подготовке практики к профессиональной верификации. С презентацией можно ознакомиться тут.

Запись вебинара доступна по ссылке.

Мероприятие проведено в рамках проектов АНО «Эволюция и Филантропия»  — «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства», проект реализуется с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов, а также «Виртуальный ресурсный центр по оценке эффективности для организаций сферы детства», проект реализуется при поддержке Комитета общественных связей и молодежной политики города Москвы. Поддержку проектов также осуществляет Фонд Тимченко.

1. Как проводятся Рандомизированные контролируемые исследования (РКИ), (NFER — The National Foundation for Educational Research; Великобритания).
2. Обзор результатов «Четырехгодичное рандомизированное контролируемое исследование (РКИ)», (WINGs helping kids soar).

В начале семинара Татьяна Подушкина, руководитель Центра доказательного социального проектирования МГППУ представила фокусы работы прошлых сессий семинаров.

Далее представители 2-х некоммерческих организаций сферы детства представили форматы описания практик в доказательном ключе в соответствии с методологией Стандарта доказательности социальных практик сферы детства.

1. БФ «Дети наши», практика «Не разлей вода» — восстановление кровных отношений воспитанников сиротских учреждений

Коллеги представили основные разделы описания практики – регламенты, теоретическое и исследовательские обоснования замысла практики, представили данные, свидетельства о достижении ключевых социальных результатов.

По итогам выступления было много вопросов от участников семинара о тонкостях практики — что имеется ввиду под «неудачными случаями», работа с проблематикой зависимостей  родителей и т.д. Также были вопросы и о том, как именно практическое использование Стандарта, методологического подхода, который в него заложен, повлияло на организацию. Было отмечено, что организация в настоящее время в таком же формате описывает другую свою практику – работу с кровными семьями, находящимися в трудной жизненной ситуации.

2. МОО «Аистенок», практика «Сохраним семью для ребенка» — профилактика отказов/изъятий детей из кровных семей.

Практика была аналогично представлена в соответствии основными разделам Стандарта, отмеченными в кейсе выше.

По итогам выступления коллег, сложилась интересная дискуссия:

• использование стандартизированных методик (всегда ли нужны?) – важно в этом случае учитывать фокус, направление работы практики;
• использование принципа триангуляции данных (что было показано в кейсах организаций);
• каким образом опора на теоретические концепты/обоснования  проявляется в социальных результатах?
• эмпирический дизайн исследования (РКИ) не всегда является идеальным и «обязательным» для обоснования доказательной базы практики.

Фокусы внимания дальнейших семинаров:

1. Обоснованность практики – может включать не просто теоретическое обоснование практики, раскрывающее опору практики на научные походы, но и описание модели практики;
2. Обоснованность данных о результатах – исследование эффектов практик.

И то, и другое может опираться на эмпирические данные.

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов и Фонда Тимченко.

Тема сессии: Доказательное обоснование  и описание социальных практик на основе базовых требований «Стандарта доказательности социальных практик»/ Анализ случаев (разбор кейсов социальных практик, описанных в доказательном ключе).

Ведущие семинара:

Бусыгина Наталия Петровна – кандидат психологических наук, доцент кафедры индивидуальной и групповой психотерапии факультета консультативной и клинической психологии МГППУ

Подушкина Татьяна Геннадиевна – руководитель Центра доказательного социального проектирования МГППУ

Встреча семинара будет посвящена анализу опыта доказательного обоснования социальных практик с опорой на Стандарт доказательности. В первой части семинара будут кратко представлены результаты работы предыдущих сессий: основные понятия и подходы в области доказательного обоснования практик, формат описания практики в доказательном ключе в соответствии со Стандартом, отечественный и зарубежный опыт организации реестров практик с доказанной эффективностью.

Во второй части семинара будут предложены к обсуждению 2 кейса социальных практик, описанных в доказательном ключе (в соответствии с требованиями Стандарта), на материале которых мы попытаемся проанализировать формат описания и рассмотреть алгоритм обоснования социальной практики в доказательном ключе. 

Свой опыт представят специалисты Благотворительного фонда «Дети наши»/ г.Москва (социальная практика «Не разлей вода») и  Межрегиональная общественная организация по содействию семьям с детьми в трудной жизненной ситуации «Аистенок»/ г. Екатеринбург (практика «Сохраним семью для ребенка»).

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

К участию приглашается широкий круг заинтересованных специалистов. Семинар пройдет на онлайн-платформе, требуется предварительная регистрация на участие: ЗАРЕГИСТРИРОВАТЬСЯ НА СЕМИНАР.

Ниже вы найдете ссылки на материалы, которые помогут вам подготовиться  к семинару:

Стандарт доказательности социальных практик в сфере детства

Описание практики «Сохраним семью для ребенка» (г. Екатеринбург)

Описание практики «Не разлей вода» (г. Москва)

Ссылки на видео предыдущих семинаров:

12 декабря 2019 года: https://youtu.be/yqs-PWhEHdM

30 января 2020 года: https://youtu.be/g_bR4cbXFR4

19 февраля 2020 года: https://youtu.be/4YKTb4WIiw0

10 марта 2020 года: https://youtu.be/_eD6-FMAbS0

Переведены новые материалы по проекту «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства».

1. Основы мониторинга и оценки для доноров и исполнителей. (A primer about monitoring and evaluation, for funders and implementers): выдержка. Кэролайн Файнс (Caroline Fiennes), Наталия Киритопулу (Natalia Kiryttopoulou), Марк Максмайстер (Marc Maxmeister). Октябрь 2018г.
2. Рандомизированные контролируемые исследования – золотой стандарт или иллюзия? Роль экспериментальных методов оценки социальной эффективности в некоммерческом секторе. Салли Капитт (Sally Cupitt), Глава Службы оценки для благотворительных организаций Национального совета добровольных объединений (The NCVO Charities Evaluation Services; Великобритания) Май 2015 г.
3. Разные грани доказательств, «произведенных» общими усилиями, Пиппа Куттс (Pippa Coutts), The many shades of co-produced evidence, 2019г.

В первой части семинара Бусыгина Наталия, к.пс.н., доцент кафедры индивидуальной и групповой психотерапии факультета «Консультативная и клиническая психология» МГППУ представила доказательный подход в медицине – той области, где он изначально появился, и остановилась на истории его перенесения в область исследований в социальной сфере. 

В рамках семинара обозначены и рассмотрены суть и различие таких понятий, используемых в  парадигме доказательного подхода в медицине как: Evidence-based practice (научно-обоснованная практика или практика с эмпирически подтвержденной эффективностью), Practice-based research (практико-ориентированные исследования) и Evidence-based process (процесс применения/реализации научно-обоснованной практики).

В контексте применения доказательного подхода в социальной сфере применяется понятие Evidence-Informed practice (практики, основанные на доказательствах).

В выступлении спикера также были представлены критерии научно-обоснованной практики, заложенные в доказательном подходе, среди которых:

• стандартизация практики и описание в соответствующих методических руководствах;
• эффективность практики продемонстрирована в контролируемых исследованиях;
• важные результаты подтверждены объективными измерениями;
• исследования проведены независимыми командами исследований.

Также на семинаре рассмотрена иерархия доказательств, основные дизайны практико-ориентированных исследований:

1. Рандомизированные контролируемые исследования,
2. Квази-экспериментальные контролируемые исследования,
3. Неконтролируемые клинические исследования,
4. Экспериментальные исследования с одним испытуемым
5. Корреляционные исследования
6. Качественные исследования отдельных случаев.

Чаще всего в социальной сфере используются квази-экспериментальные контролируемые исследования. Но важно принимать во внимание, что формирование доказательной базы практики начинается с более «простых» дизайнов исследования.

Во второй части семинара рассматривался кейс Центра содействия семейному воспитанию «Вера. Надежда. Любовь». Елизавета Романова, методист Центра, директор АНО «Ресурсный Центр «Вера. Надежда. Любовь» представила опыт описания социальной практики в доказательном ключе в соответствии со Стандартом доказательности социальных практик сферы детства. На примере данного кейса участники семин6ара обсуждали определение границ практики, а также подходы к определению результатов, дизайнам сбора эмпирических данных.

Видеозапись можно посмотреть здесь.

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

5-6  марта Агентство стратегических инициатив и Московский государственный психолого-педагогический университет провели проектный семинар «Новые подходы к оценке качества управленческих и социальных практик с доказанной эффективностью».

В работе семинара принимали участие региональные и муниципальные управленческие команды и региональные эксперты, прошедшие открытый конкурс региональных экспертов в сфере детства, проведенных Агентством стратегических инициатив в 2019 году.

На семинаре обсуждались требования к эффективным управленческим практикам и социальным практикам с доказанной эффективностью, принципы формирования федерального реестра региональных и муниципальных практик, а также вопросы внедрения доказательного подхода в деятельность организаций социальной сферы. 

В данной заметке мы хотели бы коротко обозначить вопросы, связанные с созданием модели распределенного реестра лучших социальных практик.

Идея создания реестра заложена в п. 129 Плана Десятилетия детства — «Создание реестра лучших практик, выявленных в ходе реализации мероприятий, проводимых в рамках Десятилетия детства, на основе выработанных единых критериев оценки».

Ранее конкурсный отбор социальных практик являлся основным механизмом оценивания социальных практик в сфере детства.

Затем были выработаны единые критерии оценки социальных практик, которые заложены в основу реестра:

• соответствие практики целям Десятилетия Детства;
• практика имеет подтвержденный социальный эффект;
• практика имеет потенциал к масштабированию и тиражированию.

В ходе в выступления В.В. Рубцова, Президента МГППУ были представлены этапы развития («пирамида») социальных практик:

• 1 ступень — лучшие региональные социальные практики — прошли конкурсный отбор на региональном уровне;
• 2 ступень — лидеры конкурсов социальных практик – так называемые «кандидатные технологии» — отобраны по результатам ведущих конкурсов для независимой оценки результатов;
• 3 ступень — практики с доказанной эффективностью — рекомендованы в распределенный реестр.

Обсуждалось создание и развитие инкубатора для перспективных социальных практик с целью «доращивания» их до уровня практик с доказанной эффективностью с возможностью размещения в реестре, а также была озвучена возможность отбора в Реестр социальных практик (на базе МГППУ)  по принципу «одного окна».

В ходе семинара были обозначены следующие критерии включения практики  в Реестр:

• Рекомендована к участию в конкурсе одним из ведущих операторов (которые должны быть определены);
• Описана в соответствии со Стандартом доказательности социальных практик;
• Обеспечивает устойчивые  позитивные изменения в ситуации детей и семей;
• Имеет научно подтвержденные данные относительно позитивного влияния.

Подчеркнута важность и необходимость создания инфраструктуры для отбора и верификации социальных практик для дальнейшего масштабирования и тиражирования в регионах.

Утвержден Отчет о деятельности по проекту «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства» за ноябрь 2019-февраль 2020 года.

За отчетный период был произведен набор участников проекта. Согласованы роли в проекте членов команды, экспертов и партнеров, решены организационные вопросы. Определены потребности участников проекта.

В январе был завершен набор участников в проект. Набор участников осуществлялся путем рассылок и публикаций на собственных ресурсах, в социальных сетях. В результате общее количество участников проекта составило 37 организаций, среди которых представители 24-х регионов.

Заключены соглашения с 6-ю региональными площадками.

В рамках проекта сформированы 3 группы участников: • 1 группа – организации, которые прошли в 2019 году профессиональную верификацию и в настоящее время начали работу над планом повышения уровня доказанности, основанном на заключениях экспертов-верификаторов. Работа организаций в данном направлении происходит при поддержке методистов. Всего 12 организаций в данной группе на данном этапе; • 2 группа – 16 организаций, которым оказывается комплексная поддержка кураторов-консультантов. Данные организации работают над следующими задачами: — создание дерева результатов и логической модели практики; — прохождение самодиагностики на определение уровня доказанности практики; — описание практики в доказательном подходе в соответствии с методологией Стандарта доказательности практик сферы детства и составления плана повышения уровня доказанности; • 3 группа – организации, пользующиеся общими методическими ресурсами, предлагаемыми в рамках проекта, и самостоятельно работающие над повышением и наращиванием доказательной базы своих практик.

В отчетный период были проведены презентации проекта, где были представлены основные цели, задачи и этапы реализации проекта. Прошли несколько методических и публично-дискуссионных мероприятий (в т.ч. в партнерстве с МГППУ), посвященных обсуждению доказательного подхода в целом, методологии Стандарта доказательности практик, обсуждению практических примеров, кейсов доказательных практик. Всего 6 мероприятий, в которых в общей сложности приняло участие не менее 200 чел., количество регионов — не менее 20.

Подготовлен для дальнейшей рассылки обзор зарубежного опыта, включающий теоретические и практические вопросы доказательности социальных практик в сфере детства.

Подробнее с отчетом можно ознакомиться здесь.

Проект «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства» реализуется АНО «Эволюция и Филантропия» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществляет Фонд Тимченко.

В рамках проекта сформировано 6 региональных площадок.    Региональные представители выступают «проводниками» темы доказательности социальных практик сферы детства, методологии Стандарта доказательности практик сферы детства на региональном уровне.

Главные задачи, которые стоят перед коллегами – распространение информации, представление Проекта «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства», кейсов  региональных организаций некоммерческому сектору и другому заинтересованному сообществу в своих регионах через организацию профессиональных обсуждений. 

Подкладова Татьяна (Томск), старший преподаватель кафедры социальной работы НИ Томский госуниверситет, учредитель и программный директор АНО РЦ «Согласие»;

Богомолова Алена (Череповец), социолог, консультант по оценке проектов и программ, специалист в области социального проектирования. ФГБОУ ВО «Череповецкий государственный университет», БФ «Дорога к дому»;

Рождественская Надежда (Санкт-Петербург), к. э. н., доцент кафедры отраслевой экономики и финансов, Санкт-Петербургского гуманитарного университета (Санкт-Петербург);

Осипова Алла (г. Екатеринбург), Межрегиональная общественная организация «Аистенок», психолог, эксперт Благотворительного фонда «Ключ»;

Шелпакова Ирина (г. Тамбов), директор Центра сопровождения детей и семей «Содействие»;

Елена Лянгузова (г. Киров), руководитель Центра поддержки семей с детьми с особенностями развития «Дорогою добра».  

Проект «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства» реализуется АНО «Эволюция и Филантропия» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществляет Фонд Тимченко.

Тема сессии: Подходы к типологии социальных практик и систематизации методологий их исследования. Оценка эффективности психолого-педагогических вмешательств для детей с аутизмом.

Ведущие семинара: — Бусыгина Наталия Петровна – кандидат психологических наук, доцент кафедры индивидуальной и групповой психотерапии факультета консультативной и клинической психологии МГППУ; — Подушкина Татьяна Геннадиевна – руководитель Центра доказательного социального проектирования МГППУ.

В первой части семинара Татьяна Подушкина представила некоторые примеры западных реестров практик и методологий их обоснования, а также типовые исследовательские дизайны в международной практике доказательного обоснования социальных практик. Данный доклад был сделан на основе обзора , который мы подготовили по заказу Фонда Тимченко.

Давыдова Елизавета Юрьевна (ведущий научный сотрудник научной лаборатории ФРЦ по организации комплексного сопровождения детей с РАС МГППУ, канд.биол.наук) представила результаты научно-исследовательского проекта ФРЦ по разработке протокола оценки эффективности психолого-педагогических вмешательств для детей с аутизмом.

Видеозапись можно посмотреть здесь.

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.