18 октября 2023 на конференции АСОПП-2023 прошли 3 сессии по оценке социо-культурных проектов.
На первой сессии трека свой опыт оценки социокультурных программ представили два крупных благотворительных фонда. Николай Троцкий и Ирина Муштатова, Благотворительный фонд «Искусство, наука и спорт», рассказали об опыте оценки программы «Развитие регионов», включая использованные критерии и полученные результаты. Доклад Ирины Лапидус, Благотворительный фонд Владимира Потанина, был посвящен исследованию «Музейный проект – есть ли жизнь после?». В фокусе исследования были долгосрочные эффекты конкурсов «Меняющийся музей в меняющимся мире» и «Музейный гид» (видео).
На второй сессии был представлен опыт оценки театральных проектов и использования театральных технологий в оценке. Надежда Звездина, Благотворительный фонд «Дорога к дому», рассказала об оценке социокультурного проекта «Театральная тема», реализованного фондом в 2022-2023 годах. Марина Бородатая и Нина Ершова, Центр социально-психологической помощи, рассказали о применении технологии интерактивного театра для вовлечения подростков, оставшихся без попечения родителей, в исследованиях событий собственной жизни (видео).
А также в рамках сессии «Оценка в «больших» фондах» Николай Троцкий, Фонд «Искусство, наука и спорт» выступил с темой «Выстраивание системы оценки и управления воздействием в фонде «Искусство, наука и спорт»» (видео).
Презентация Кузьмина А.И., Балакирева В.П. Отраслевая специализация в сфере оценки. Культура. Материалы третьего Института оценки. 2023. ИнА-Центр. Проект «Формирование экосистемы обучения и просвещения в области оценки в социальной сфере» (оригинал материала опубликован по ссылке).
Команда экспертов БФ «Культура благотворительности» разработала систему оценки воздействия для проектов в сфере культуры и массового спорта для фонда «Искусство, наука и спорт». Теперь у команды фонда есть инструмент, который помогает измерить эффективность и востребованность проектов в регионах.
О задачах оценки
Деятельность проектов фонда «Искусство, наука и спорт» разноплановая, проекты реализуются в разных регионах и по разным направлениям. Задачу фонд сформулировал так — создать систему оценки воздействия для каждого направления работы и для всех групп стейкхолдеров. «Необходима была система для регулярного отслеживания и анализа происходящих изменений в городах, — говорит Николай Троцкий, заместитель директора фонда. — В деятельности благотворительного фонда «Искусство, наука и спорт» оценка присутствовала всегда. Мы давно научились считать количество мероприятий, количество участников мероприятий, довольных и недовольных, а также приросты к количественным показателям, которые формировали пул KPI наших проектов. Однако для развития проектов, для их эволюции нам не хватало глубинного анализа результатов их реализации, а также понимания того, как проекты влияют на широкую карту наших стейкхолдеров и представителей ЦА, как они оценивают (если оценивают) влияние наших проектов и есть ли оно, это влияние.
Все чаще начал возникать вопрос, а как фонд может проанализировать то, что меняется в социально-культурной жизни городов благодаря работе фонда?
Количественные показатели не давали нам ответ на вопрос: “Какие изменения несут наши проекты в регионах, как воздействуют на целевые аудитории и стейкхолдеров”».
Кроме того, по словам Троцкого, фонду важно было, чтобы этой системой могли пользоваться участники проекта — руководители направлений, координаторы и участники на местах, грантополучатели фонда. «Именно вовлечение специалистов фонда стало изюминкой на торте — мы не хотели передавать процесс сбора данных и обработку подрядчикам. Наша задача — максимальное погружение в оценку и анализ ее результатов, — добавляет Троцкий. — В итоге все участники проектов были вовлечены в оценку. Такое погружение очень выгодно — ты здесь и сейчас получаешь обратную связь, развиваешь контакты со стейкхолдерами, а также на промежуточном этапе можешь сделать коррекцию реализации проекта. Это позволит регулярно получать и анализировать информацию о том, какие изменения происходят благодаря программе непосредственно у благополучателей и у всех стейкхолдеров. На основании анализа можно будет принимать решения о том, как усилить положительное воздействие и снизить отрицательное».
О проектах в области культуры, для которых нужна была система оценки
У фонда «Искусство, наука и спорт» несколько долгосрочных проектов в Белгородской и Курской областях по поддержке малых городов, все они входят в программу «Развитие регионов». В рамках программы проходят грантовые конкурсы, культурные и спортивные мероприятия, которые поддерживает или организует фонд. Цель проектов — развитие городской среды, поддержка социокультурных инициатив и развитие культурной жизни в регионах и территории в целом.
С 2019 года работает культурная платформа «АРТ-ОКНО». Ежегодно команда платформы реализует более 200 профессиональных и зрительских культурных мероприятий. Бюджет проекта «Культурная платформа «АРТ-ОКНО» в 2022 году, в рамках которого была реализована оценка, составил почти 64 млн рублей, в т. ч. на грантовую поддержку местных инициатив около 15 млн рублей.
Грантовый конкурс «АРТ-ОКНО» — это конкурс проектов, который дает возможность жителям и НКО воплотить значимые для города проекты в сфере культуры и искусства, размер грантового конкурса в 2022 году составил 9,6 млн рублей.
С 2015 года в регионах проходит стипендиальный конкурс «Класс от маэстро», его задача — поддержка талантливых детей и молодежи, проживающих в малых городах России, а также преподавателей, работающих в региональных музыкальных школах и школах искусств.
Всего в рамках программы в 2022 году прошло более 54 гастролей, а в 2023 году — более 80. По данным оценки, каждый 10-й житель города, где реализуется программа, так или иначе вовлечен в проекты фонды.
Подход к оценке
Работа была основана на принципах анализа социальных ценностей международной организации Social Value International. Этот подход активно используется для анализа воздействия в мире не только в благотворительных организациях, но и в бизнесе.
Суть подхода заключается в глубоком и широком понимании воздействия, которое происходит благодаря деятельности организации. Такой анализ учитывает положительные, отрицательные, запланированные и не запланированные результаты у широкого круга стейкхолдеров.
Эксперты по оценке изучают и анализируют изменения у людей, это касается тех изменений, которые действительно важны и заметны. Это дает возможность организациям не преувеличивать их вклад, так как многое может происходить само по себе или по другим причинам.
Принципы оценки воздействия
Вовлекать стейкхолдеров
Понимать, что меняется
Оценивать то, что важно
Анализировать только существенные изменения
Не переоценивать свой вклад
Действовать прозрачно
Подтвердить результат
Управлять воздействием
Методы работы
Основной акцент был сделан на результаты, связанные с изменением в жизни людей, в качестве их досуга, удовлетворенности, повышении мотивации, вовлеченности и другие аспекты. В оценке мы не считали количество мастер-классов и число участников фестиваля, а анализировали то, к чему приводят такие проекты.
Анализ проводился в трех основных для фонда городах — Железногорск, Старый Оскол, Губкин. Для определения полученных результатов и изменений с каждой группой в каждом регионе прошли интервью или фокус-группы в онлайн-формате. По каждому проекту удалось провести не менее 10 интервью или фокус-групп, важно было охватить все группы стейкхолдеров. Всего в опросах приняли участие около 70 участников проектов. Участникам задавали разные вопросы о воздействии проектов фонда непосредственно на них и на городскую среду — о том, как меняются возможности для досуга, образ жизни и удовлетворенность жителей, о личных изменениях, возможностях для саморазвития и образования и пр.
По каждому проекту были реализованы следующие этапы анализа:
Этап 1. Построение карт стейкхолдеров, продуктов и результатов по проектам.
Этап 2. Формирование показателей для измерения результатов
Этап 3. Разработка системы сбора данных по проектам, инструментарий.
Живое общение помогло выделить наиболее важные изменения, происходящие благодаря проекту. Далее были построены карты результатов, где были учтены как непосредственные результаты, так и существенные изменения или отложенные во времени результаты.
Так, в проекте «Класс от маэстро» были определены такие основные стейкхолдеры — учащиеся, родители, директора ДШИ и преподаватели. Важными результатами, например, для учащихся являются рост мотивации, новые возможности для профессионального развития. А для директоров школ и преподавателей — это возможности для обмена опытом, профессиональных связей и т. п.
В проекте «Культурная афиша» проходит множество мероприятий, событий: выставки, концерты, театральные гастроли, городские фестивали. Анализ такого комплексного и масштабного проекта был очень детальными. По каждому типу проектов были выделены свои стейкхолдеры. Например, для музейного проекта — посетители, сотрудники, директора. Выставочный проект помогает развиваться региональным музеям, а также оказывает влияние на сотрудников и руководство музеев.
Сотрудничество с ведущими российскими музеями влияет на профессиональный рост сотрудников региональных музеев. По мнению директоров музеев, благодаря проекту имидж музея повышается, так как ведущие музеи сотрудничают не со всеми, значит, музей демонстрирует определенный уровень. Директор регионального музея общается с директорами ведущих музеев, растут связи и уровень работы, растет профессиональное удовлетворение и мотивация.
«Нам доверяют ведущие музеи, это признание, повышение нашей значимости, востребованности и эффективности работы. Мы черпаем новые тренды, направления, подходы к работе, в том числе управленческие. Это огромный опыт для нас», — сказал директор одного из музеев-участника оценки.
Для фестивального проекта — участники, вовлеченные в профессиональную программу (студенты, молодые художники, инициативы, сообщества), организаторы и продюсеры, учреждения культуры и сами городские жители. Ежегодно фонд организует несколько городских фестивалей — фестиваль уличных театров «Иллюзион» (Железногорск«), Арт-фестиваль «Трансформация» (Железногорск), поэтический фестиваль «СПЛАВ» (Старый Оскол).
К участию в одном из фестивалей были приглашены студентки художественного колледжа. Опыт участия в фестивале и организации выставок с реальным представлением своего проекта, для большинства из них был первым. По мнению самих участников, это привело к профессиональному росту участников в дальнейшем. «Я делала инсталляцию — „Нити жизни“ и „Свет“. Это был первый такой опыт, опыт бесценный, так как многому научилась, кураторы вдохновляли и поддерживали. После этого я окончательно решила дальше поступать в Питер на искусствоведение», — рассказывает участница проекта.
Следуя такой логике анализа, получилось выявить, как общие для стейкхолдеров результаты, так и личные изменения. К общим можно отнести — повышение привлекательности городов для проведения досуга, привлечение туристов, удовлетворенность жителей качеством досуга для себя и детей, развитие творческих сообществ, новых инициатив, предпринимательства в сфере культуры и пр. К личным- повышение мотивации, личностный рост, реализацию творческих планов и карьеру и пр.
В результате по каждому проекту для каждого стейкхолдера были разработаны инструменты для сбора данных — вопросы для интервью и анкеты, а также схема сбора и анализа данных — графические схемы, наглядно демонстрирующие предполагаемые причинно-следственные связи разных видов деятельности по проектам с результатами и изменениями у стейкхолдеров.
Этот инструментарий позволяет сотрудникам фонда самостоятельно осуществлять оценку, адаптировать его под текущие задачи, следить за динамикой общих показателей и отслеживать ежегодные изменения по широкому спектру показателей.
Об использовании инструментов для оценки
«Получив разработку весной 2023 года, мы тут же пустили ее в работу, — говорит Николай Троцкий. — Все четыре проекта, для которых была разработана система оценки, приступили к ее апробации через реальную работу с аудиториями проекта. Одной из задач разработчиков была необходимость создать такую систему оценки и подобрать такие инструменты, чтобы все это можно было применять без привлечения дополнительных специалистов и ресурсов, силами руководителя проекта и его непосредственными участниками. Именно такой подход дал возможность нам сразу приступить к оценке».
На текущий момент в каждом проекте были проведены несколько оценочных срезов по различным инструментам и направлениям. По результатам оценки на основе первых данных уже внесли некоторые изменения в стратегию проектов. Так, по словам Троцкого, оценивая влияние грантового конкурса на целевую аудиторию и на региональных стейкхолдеров, в фонде пришли к выводу, что для более эффективной реализации социокультурных проектов необходимо дополнительное повышение экспертизы участников конкурса в нишевых направлениях. Как итог — появляются новые грантовые конкурсы, направленные на решение этой задачи.
Второй пример — регулярная коррекция концепции городских фестивалей, которая происходит по итогам оценки влияния фестиваля на горожан, которые приняли в нем участие.
Кроме того, в стратегии на 2024 год, которую фонд формирует в настоящее время, уже учитываются результаты оценки. «В стратегии на следующий год корректируются задачи, добавляются новые инструменты для реализации проектов, меняются горизонты воздействия проектов», — говорит Троцкий.
Оригинал статьи опубликован в «Журнале о благотворительности».
Публикация создана Российским комитетом Международного совета музеев (ИКОМ России) совместно с сотрудниками Научной лаборатории Федерального ресурсного центра по организации комплексного сопровождения детей с расстройствами аутистического спектра (ФРЦ МГППУ) при поддержке Благотворительного фонда Сбербанка «Вклад в будущее» в 2023 году.
РАБОЧАЯ ГРУППА ИССЛЕДОВАНИЯ: Халикова Динара Рамисовна, специалист по социокультурным проектам, куратор проекта «Инклюзивный музей»; Харабрина Татьяна Васильевна, куратор проектов ИКОМ России; Чистанова Ольга Максимовна, исполнительный директор ИКОМ России.
АВТОРЫ-СОСТАВИТЕЛИ И ЭКСПЕРТЫ ИССЛЕДОВАНИЯ: Давыдова Елизавета Юрьевна, канд. биол. наук, ведущий научный сотрудник научной лаборатории ФРЦ МГППУ, доцент кафедры дифференциальной психологии и психофизиологии факультета клинической и специальной психологии МГППУ; Сорокин Александр Борисович, вед. науч. сотр. ФРЦ МГППУ, научный консультант ГМИИ им. А.С. Пушкина; Хилькевич Евгения Владимировна, руководитель направления социокультурной интеграции Федерального ресурсного центра по организации комплексного сопровождения детей с РАС МГППУ.
