оценка

В первой части семинара Бусыгина Наталия, к.пс.н., доцент кафедры индивидуальной и групповой психотерапии факультета «Консультативная и клиническая психология» МГППУ представила доказательный подход в медицине – той области, где он изначально появился, и остановилась на истории его перенесения в область исследований в социальной сфере. 

В рамках семинара обозначены и рассмотрены суть и различие таких понятий, используемых в  парадигме доказательного подхода в медицине как: Evidence-based practice (научно-обоснованная практика или практика с эмпирически подтвержденной эффективностью), Practice-based research (практико-ориентированные исследования) и Evidence-based process (процесс применения/реализации научно-обоснованной практики).

В контексте применения доказательного подхода в социальной сфере применяется понятие Evidence-Informed practice (практики, основанные на доказательствах).

В выступлении спикера также были представлены критерии научно-обоснованной практики, заложенные в доказательном подходе, среди которых:

• стандартизация практики и описание в соответствующих методических руководствах;
• эффективность практики продемонстрирована в контролируемых исследованиях;
• важные результаты подтверждены объективными измерениями;
• исследования проведены независимыми командами исследований.

Также на семинаре рассмотрена иерархия доказательств, основные дизайны практико-ориентированных исследований:

1. Рандомизированные контролируемые исследования,
2. Квази-экспериментальные контролируемые исследования,
3. Неконтролируемые клинические исследования,
4. Экспериментальные исследования с одним испытуемым
5. Корреляционные исследования
6. Качественные исследования отдельных случаев.

Чаще всего в социальной сфере используются квази-экспериментальные контролируемые исследования. Но важно принимать во внимание, что формирование доказательной базы практики начинается с более «простых» дизайнов исследования.

Во второй части семинара рассматривался кейс Центра содействия семейному воспитанию «Вера. Надежда. Любовь». Елизавета Романова, методист Центра, директор АНО «Ресурсный Центр «Вера. Надежда. Любовь» представила опыт описания социальной практики в доказательном ключе в соответствии со Стандартом доказательности социальных практик сферы детства. На примере данного кейса участники семин6ара обсуждали определение границ практики, а также подходы к определению результатов, дизайнам сбора эмпирических данных.

Видеозапись можно посмотреть здесь.

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

5-6  марта Агентство стратегических инициатив и Московский государственный психолого-педагогический университет провели проектный семинар «Новые подходы к оценке качества управленческих и социальных практик с доказанной эффективностью».

В работе семинара принимали участие региональные и муниципальные управленческие команды и региональные эксперты, прошедшие открытый конкурс региональных экспертов в сфере детства, проведенных Агентством стратегических инициатив в 2019 году.

На семинаре обсуждались требования к эффективным управленческим практикам и социальным практикам с доказанной эффективностью, принципы формирования федерального реестра региональных и муниципальных практик, а также вопросы внедрения доказательного подхода в деятельность организаций социальной сферы. 

В данной заметке мы хотели бы коротко обозначить вопросы, связанные с созданием модели распределенного реестра лучших социальных практик.

Идея создания реестра заложена в п. 129 Плана Десятилетия детства — «Создание реестра лучших практик, выявленных в ходе реализации мероприятий, проводимых в рамках Десятилетия детства, на основе выработанных единых критериев оценки».

Ранее конкурсный отбор социальных практик являлся основным механизмом оценивания социальных практик в сфере детства.

Затем были выработаны единые критерии оценки социальных практик, которые заложены в основу реестра:

• соответствие практики целям Десятилетия Детства;
• практика имеет подтвержденный социальный эффект;
• практика имеет потенциал к масштабированию и тиражированию.

В ходе в выступления В.В. Рубцова, Президента МГППУ были представлены этапы развития («пирамида») социальных практик:

• 1 ступень — лучшие региональные социальные практики — прошли конкурсный отбор на региональном уровне;
• 2 ступень — лидеры конкурсов социальных практик – так называемые «кандидатные технологии» — отобраны по результатам ведущих конкурсов для независимой оценки результатов;
• 3 ступень — практики с доказанной эффективностью — рекомендованы в распределенный реестр.

Обсуждалось создание и развитие инкубатора для перспективных социальных практик с целью «доращивания» их до уровня практик с доказанной эффективностью с возможностью размещения в реестре, а также была озвучена возможность отбора в Реестр социальных практик (на базе МГППУ)  по принципу «одного окна».

В ходе семинара были обозначены следующие критерии включения практики  в Реестр:

• Рекомендована к участию в конкурсе одним из ведущих операторов (которые должны быть определены);
• Описана в соответствии со Стандартом доказательности социальных практик;
• Обеспечивает устойчивые  позитивные изменения в ситуации детей и семей;
• Имеет научно подтвержденные данные относительно позитивного влияния.

Подчеркнута важность и необходимость создания инфраструктуры для отбора и верификации социальных практик для дальнейшего масштабирования и тиражирования в регионах.

За отчетный период был произведен набор участников проекта. Согласованы роли в проекте членов команды, экспертов и партнеров, решены организационные вопросы. Определены потребности участников проекта.

В январе был завершен набор участников в проект. Набор участников осуществлялся путем рассылок и публикаций на собственных ресурсах, в социальных сетях. В результате общее количество участников проекта составило 37 организаций, среди которых представители 24-х регионов.

Заключены соглашения с 6-ю региональными площадками.

В рамках проекта сформированы 3 группы участников:

• 1 группа – организации, которые прошли в 2019 году профессиональную верификацию и в настоящее время начали работу над планом повышения уровня доказанности, основанном на заключениях экспертов-верификаторов. Работа организаций в данном направлении происходит при поддержке методистов. Всего 12 организаций в данной группе на данном этапе;
• 2 группа – 16 организаций, которым оказывается комплексная поддержка кураторов-консультантов. Данные организации работают над следующими задачами: — создание дерева результатов и логической модели практики; — прохождение самодиагностики на определение уровня доказанности практики; — описание практики в доказательном подходе в соответствии с методологией Стандарта доказательности практик сферы детства и составления плана повышения уровня доказанности;
• 3 группа – организации, пользующиеся общими методическими ресурсами, предлагаемыми в рамках проекта, и самостоятельно работающие над повышением и наращиванием доказательной базы своих практик.

В отчетный период были проведены презентации проекта, где были представлены основные цели, задачи и этапы реализации проекта. Прошли несколько методических и публично-дискуссионных мероприятий (в т.ч. в партнерстве с МГППУ), посвященных обсуждению доказательного подхода в целом, методологии Стандарта доказательности практик, обсуждению практических примеров, кейсов доказательных практик. Всего 6 мероприятий, в которых в общей сложности приняло участие не менее 200 чел., количество регионов — не менее 20.

Подготовлен для дальнейшей рассылки обзор зарубежного опыта, включающий теоретические и практические вопросы доказательности социальных практик в сфере детства.

Подробнее с отчетом можно ознакомиться здесь.

Проект «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства» реализуется АНО «Эволюция и Филантропия» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществляет Фонд Тимченко.

В рамках проекта сформировано 6 региональных площадок.    Региональные представители выступают «проводниками» темы доказательности социальных практик сферы детства, методологии Стандарта доказательности практик сферы детства на региональном уровне.

Главные задачи, которые стоят перед коллегами – распространение информации, представление Проекта «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства», кейсов  региональных организаций некоммерческому сектору и другому заинтересованному сообществу в своих регионах через организацию профессиональных обсуждений. 

Подкладова Татьяна (Томск), старший преподаватель кафедры социальной работы НИ Томский госуниверситет, учредитель и программный директор АНО РЦ «Согласие»;

Богомолова Алена (Череповец), социолог, консультант по оценке проектов и программ, специалист в области социального проектирования. ФГБОУ ВО «Череповецкий государственный университет», БФ «Дорога к дому»;

Рождественская Надежда (Санкт-Петербург), к. э. н., доцент кафедры отраслевой экономики и финансов, Санкт-Петербургского гуманитарного университета (Санкт-Петербург);

Осипова Алла (г. Екатеринбург), Межрегиональная общественная организация «Аистенок», психолог, эксперт Благотворительного фонда «Ключ»;

Шелпакова Ирина (г. Тамбов), директор Центра сопровождения детей и семей «Содействие»;

Елена Лянгузова (г. Киров), руководитель Центра поддержки семей с детьми с особенностями развития «Дорогою добра».  

Проект «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства» реализуется АНО «Эволюция и Филантропия» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществляет Фонд Тимченко.

Тема сессии: Подходы к типологии социальных практик и систематизации методологий их исследования. Оценка эффективности психолого-педагогических вмешательств для детей с аутизмом.

Ведущие семинара: — Бусыгина Наталия Петровна – кандидат психологических наук, доцент кафедры индивидуальной и групповой психотерапии факультета консультативной и клинической психологии МГППУ; — Подушкина Татьяна Геннадиевна – руководитель Центра доказательного социального проектирования МГППУ.

В первой части семинара Татьяна Подушкина представила некоторые примеры западных реестров практик и методологий их обоснования, а также типовые исследовательские дизайны в международной практике доказательного обоснования социальных практик. Данный доклад был сделан на основе обзора , который мы подготовили по заказу Фонда Тимченко.

Давыдова Елизавета Юрьевна (ведущий научный сотрудник научной лаборатории ФРЦ по организации комплексного сопровождения детей с РАС МГППУ, канд.биол.наук) представила результаты научно-исследовательского проекта ФРЦ по разработке протокола оценки эффективности психолого-педагогических вмешательств для детей с аутизмом.

Видеозапись можно посмотреть здесь.

Семинар организован в рамках научно-исследовательского проекта «Доказательный подход к обоснованию и изучению результатов социальных практик» Московского государственного психолого-педагогического университета при поддержке Межотраслевого профессионального объединения «Оценка в сфере детства», а также в партнерстве с проектом «Стандарт 2.0», реализуемым АНО «Эволюция и Филантропия» при поддержке Фонда президентских грантов.

В семинаре принимали участие представители некоммерческих  и государственных организаций, научного сообщества. Всего около 25 человек. 

Ведущим семинара выступила Бусыгина Наталия Петровна – кандидат психологических наук, доцент кафедры индивидуальной и групповой психотерапии факультета консультативной и клинической психологии МГППУ.В первой части семинара Наталия обозначила ключевые фокусы обсуждения в рамках планируемой серии семинаров:

1. Фундаментальный (научный) фокус – проблема доказательности социальных практик.  Поддержка и критика в адрес доказательного подхода. Возможность внесения новых конструктов в замен понятия «эффективность социальных практик».
2. Методология обоснования реестров практик, подходы к типологии и систематизации социальных практик (в т.ч.  примеры зарубежного опыта).
3. Анализ «Стандарта доказательности социальных практик в сфере детства» (разработанный в России группой экспертных организаций в 2018 году).

Основными темами первого семинара стали следующие вопросы: — Стратегия работы со «Стандартом доказательности социальных практик в сфере детства».

В рамках данной темы Подушкина Татьяна Геннадиевна – руководитель Центра доказательного социального проектирования МГППУ представила анализ Стандарта доказательности социальных практик в сфере детства. А именно  — представила методологию, положенную в основу Стандарта,  его сильные стороны и ограничения, возможные направления развития; — Практический опыт использования Стандарта и предложенного в нем формата описания практик в доказательном ключе.

Горячева Александра, эксперт-координатор проектов АНО «Эволюция и Филантропия», представила обобщенный опыт работы с организациями сферы детства по проекту «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства» в части доказательного обоснования практик, часть из которых уже прошли  процедуру профессиональной верификации в соответствии со Стандартом.

Проект «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства» реализуется АНО «Эволюция и Филантропия» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществляет Фонд Тимченко.

В данной теме были подняты вопросы методических проблем,  которые возникают у организаций в процессе описания практик. К ним относятся – определение границ практик, четкое выделение целевых групп (благополучателей) практики, сложность оценки влияния практик и др.  Обозначенные сложности могут быть важными точками в  принятии решений относительно доработки Стандарта.

Также был обозначен важный запрос со стороны организаций к научному сообществу, заключающийся в получении экспертизы в вопросах проведения лонгитюдных исследований, формирования дизайна исследований для оценки долгосрочных результатов практики и др.

В процессе общей дискуссии участники семинара обсуждали применимость и уместность подхода доказательной медицины в контексте доказательности социальных практик, поднимался вопрос об утверждении самого понятия «Стандарт» (некоторые участники высказывались о необходимости замены данного «названия»), важность того, чтобы Стандарт стал рабочим инструментом для практиков и др.

О семинаре также можно прочитать по ссылке.

Видеозапись можно посмотреть здесь.

12 декабря  в МГППУ прошла первая сессия в рамках  научно-исследовательского семинара «Доказательный подход к разработке, обоснованию и исследованию социальных практик».  

В мероприятии приняли участие 17 человек – представители академического сообщества и экспертных организаций. 

На вводной сессии семинара обсуждались, главным образом, общая повестка и задачи семинара.  

Было обозначено, что семинар имеет научно-прикладной характер, и будет состоять из серии дискуссионных встреч. Одной из главных задач семинара является продвижение доказательного подхода в России, разработка его теоретических основ. Вторая важная задача – изучение  результатов применения доказательного подхода к обоснованию и оценке конкретных социальных практик.  

На вводной сессии семинара Ольга Евдокимова, директор АНО «Эволюция и Филантропия», кратко представила проект «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства».  Также было отмечено, что АНО «Эволюция и Филантропия» накоплен уже немалый практический опыт и конкретные кейсы организаций, описавших свои практики в доказательном подходе в соответствии с методологией Стандарта доказательности практик сферы детства. Это практический материал может быть положен в основу дальнейших встреч в рамках семинара.  

Видеозапись можно посмотреть здесь.

Цель проекта – повышение доказательности практик СО НКО, работающих в сфере детства, через организацию их комплексного методического сопровождения. В настоящее время есть большой спрос со стороны организаций, работающих в сфере детства, на внедрение практик оценки своей деятельности и результатов, сбор доказательств, которые помогают подтвердить или опровергнуть  успешность применения той или иной практики, что в конечном итоге позволяет добиться существенных изменений в улучшении благополучия детей в РФ.

Реализация проекта является развитием ранее реализованного проекта, а именно внедрения разработанного Стандарта доказательности практик в сфере детства (2018).

В рамках проекта планируется:

1. Оценить уровень доказательности применяемых практик (в соответствии с методологией Стандарта);

2. Оказать содействие СОНКО в повышении доказательности их практик с точки зрения научных знаний; опыта и знаний специалистов-практиков; опыта, знаний и ценностей благополучателей;

3. Повысить мотивацию НКО, финансирующих и иных заинтересованных сторон, руководствоваться в своей деятельности Стандартом доказательности практик в сфере детства.

В реализации проекта примут участие авторитетные эксперты и практики сферы защиты детства: комплексное методическое сопровождение в онлайн и очном форматах получат не менее 30 НКО сферы детства (конкурсный отбор). В ходе проекта будет расширен набор инструментов, позволяющих проводить оперативную самодиагностику практики на доказательность и получать рекомендации по повышению уровня; будет сформирована онлайн-библиотека логических моделей практик, используемых в сфере детства.

С целью решения задачи 3 будут предприняты усилия по популяризации темы взаимосвязи оценки, доказанности практики с фандрайзингом (на основе российского и зарубежного опыта);  продвижение практик НКО, предпринимающих активные и успешные усилия по повышению доказательности своих практик (сборник кейсов, тематические встречи с донорами и партнерами, публичные мероприятия, в том числе на 6 региональных площадках).

Благодаря проекту повысится уровень проектной культуры организаций сферы детства, повысится качество реализуемых программ и проектов (в т.ч. отказ от невостребованных и неэффективных), а значит – благополучие конечных благополучателей (семей и детей). Ожидается, что в реализации проекта в той или иной форме примут участие не менее 300 специалистов, реализующих программы в сфере детства.

Проект реализуется АНО «Эволюция и Филантропия» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществляет Фонд Тимченко.

В рамках Форума состоялась презентация проекта «Стандарт 2.0: комплексная поддержка СО НКО на пути повышения доказательности практик в сфере детства». Ольга Евдокимова, руководитель проекта, представили цель, задачи, ожидаемые результаты и ключевые активности, которые предполагаются в проекте.

Эльвира Гарифулина ( руководитель программы «Семья и Дети» Фонда Тимченко) добавила, что Фонд активно продвигает среди своих партнеров т.н. доказательный подход и , в частности, Стандарт доказательности социальных практик в сфере детства и будет оказывать стратегическую поддержку проекту «Стандарт 2.0».

Презентацию можно скачать здесь.

Проект реализуется АНО «Эволюция и Филантропия» с использованием гранта Президента Российской Федерации на развитие гражданского общества, предоставленного Фондом президентских грантов. Поддержку проекта также осуществляет Фонд Тимченко.