18 октября 2023 на конференции АСОПП-2023 прошли 3 сессии по оценке социо-культурных проектов.
На первой сессии трека свой опыт оценки социокультурных программ представили два крупных благотворительных фонда. Николай Троцкий и Ирина Муштатова, Благотворительный фонд «Искусство, наука и спорт», рассказали об опыте оценки программы «Развитие регионов», включая использованные критерии и полученные результаты. Доклад Ирины Лапидус, Благотворительный фонд Владимира Потанина, был посвящен исследованию «Музейный проект – есть ли жизнь после?». В фокусе исследования были долгосрочные эффекты конкурсов «Меняющийся музей в меняющимся мире» и «Музейный гид» (видео).
На второй сессии был представлен опыт оценки театральных проектов и использования театральных технологий в оценке. Надежда Звездина, Благотворительный фонд «Дорога к дому», рассказала об оценке социокультурного проекта «Театральная тема», реализованного фондом в 2022-2023 годах. Марина Бородатая и Нина Ершова, Центр социально-психологической помощи, рассказали о применении технологии интерактивного театра для вовлечения подростков, оставшихся без попечения родителей, в исследованиях событий собственной жизни (видео).
А также в рамках сессии «Оценка в «больших» фондах» Николай Троцкий, Фонд «Искусство, наука и спорт» выступил с темой «Выстраивание системы оценки и управления воздействием в фонде «Искусство, наука и спорт»» (видео).
Презентация Кузьмина А.И., Балакирева В.П. Отраслевая специализация в сфере оценки. Культура. Материалы третьего Института оценки. 2023. ИнА-Центр. Проект «Формирование экосистемы обучения и просвещения в области оценки в социальной сфере» (оригинал материала опубликован по ссылке).
С 25 августа по 23 ноября 2023 г. прошел 7 поток онлайн-курса «Оценка программ в сфере детства». На курс было подано 64 заявки. 15 специалистов сферы детства из 11 организаций и 5 регионов РФ закончили курс. 6 специалистов закончили курс с отличием.
Курс проводился в экспериментальном режиме: участники осваивали курс самостоятельно, т.е. отсутствовали групповые обсуждения по каждому модулю, сдача домашних заданий была необязательна в течение курса, но была предусмотрена возможность консультации с преподавателем после выполнения заданий.
На основе анкеты финальной анонимной обратной связи был определен индекс лояльности — NPS, который составил 81,3%, что выше индекса прошлого потока (70,4%). На анкету ответили 16 участников курса. Индекс лояльности или NPS – это простой, общепризнанный стандартизированный инструмент сбора быстрой обратной связи о ценности своей деятельности.
Сравнение результатов входного и финального тестирования участников показало, что в среднем рост уровня знаний составил 30%, что выше показателя предыдущего потока (25%).
Отзывы участников:
Давно искала такой курс, который дал бы полноценное представление о различных подходах, об инструментарии и методах оценки программ в сфере детства. Информация по курсу оказалась очень полезна. Прояснила для себя множество моментов: – как планировать результаты и их показатели; – как использовать сервис PION для оптимизации процесса планирования; – как работать с теорией изменений для построения последовательности шагов и результатов по каждому шагу; – как влияет на эффективность работы организации разработка и внедрение системы мониторинга и оценки; – как корректно подбирать инструментарий оценки результатов с учетом конкретных обстоятельств, в которых реализуется проект; – и много, много другого. В помощь учащимся – разные формы подачи информации, многочисленные примеры, разъяснения от практиков и специалистов научного профиля, домашние задания. Все это помогает понять даже самый сложный материал по теме.
Очень структурированный глубокий курс со множеством полезных материалов. А главное, бесценных реальных кейсов оценки!!!! После курса остается четкое понимание, из каких блоков состоит оценка, с чего стоит начать изучения и внедрения этого процесса, как и с кем взаимодействовать при этом, укладываясь в имеющийся бюджет. Мне было сложно осваивать некоторый материал, возможно, местами из-за слишком академической подачи текста, но тем не менее несмотря на сложности я получила огромный новый багаж знаний. Благодарю за масштабную работу по созданию курса!
Курс краткий, хорошо структурированный, при этом отсылает к дополнительным материалам для более глубокого изучения той или иной темы. Курс практикоориентрован, очень много примеров из реальных кейсов реальных НКО.
Команда экспертов БФ «Культура благотворительности» разработала систему оценки воздействия для проектов в сфере культуры и массового спорта для фонда «Искусство, наука и спорт». Теперь у команды фонда есть инструмент, который помогает измерить эффективность и востребованность проектов в регионах.
О задачах оценки
Деятельность проектов фонда «Искусство, наука и спорт» разноплановая, проекты реализуются в разных регионах и по разным направлениям. Задачу фонд сформулировал так — создать систему оценки воздействия для каждого направления работы и для всех групп стейкхолдеров. «Необходима была система для регулярного отслеживания и анализа происходящих изменений в городах, — говорит Николай Троцкий, заместитель директора фонда. — В деятельности благотворительного фонда «Искусство, наука и спорт» оценка присутствовала всегда. Мы давно научились считать количество мероприятий, количество участников мероприятий, довольных и недовольных, а также приросты к количественным показателям, которые формировали пул KPI наших проектов. Однако для развития проектов, для их эволюции нам не хватало глубинного анализа результатов их реализации, а также понимания того, как проекты влияют на широкую карту наших стейкхолдеров и представителей ЦА, как они оценивают (если оценивают) влияние наших проектов и есть ли оно, это влияние.
Все чаще начал возникать вопрос, а как фонд может проанализировать то, что меняется в социально-культурной жизни городов благодаря работе фонда?
Количественные показатели не давали нам ответ на вопрос: “Какие изменения несут наши проекты в регионах, как воздействуют на целевые аудитории и стейкхолдеров”».
Кроме того, по словам Троцкого, фонду важно было, чтобы этой системой могли пользоваться участники проекта — руководители направлений, координаторы и участники на местах, грантополучатели фонда. «Именно вовлечение специалистов фонда стало изюминкой на торте — мы не хотели передавать процесс сбора данных и обработку подрядчикам. Наша задача — максимальное погружение в оценку и анализ ее результатов, — добавляет Троцкий. — В итоге все участники проектов были вовлечены в оценку. Такое погружение очень выгодно — ты здесь и сейчас получаешь обратную связь, развиваешь контакты со стейкхолдерами, а также на промежуточном этапе можешь сделать коррекцию реализации проекта. Это позволит регулярно получать и анализировать информацию о том, какие изменения происходят благодаря программе непосредственно у благополучателей и у всех стейкхолдеров. На основании анализа можно будет принимать решения о том, как усилить положительное воздействие и снизить отрицательное».
О проектах в области культуры, для которых нужна была система оценки
У фонда «Искусство, наука и спорт» несколько долгосрочных проектов в Белгородской и Курской областях по поддержке малых городов, все они входят в программу «Развитие регионов». В рамках программы проходят грантовые конкурсы, культурные и спортивные мероприятия, которые поддерживает или организует фонд. Цель проектов — развитие городской среды, поддержка социокультурных инициатив и развитие культурной жизни в регионах и территории в целом.
С 2019 года работает культурная платформа «АРТ-ОКНО». Ежегодно команда платформы реализует более 200 профессиональных и зрительских культурных мероприятий. Бюджет проекта «Культурная платформа «АРТ-ОКНО» в 2022 году, в рамках которого была реализована оценка, составил почти 64 млн рублей, в т. ч. на грантовую поддержку местных инициатив около 15 млн рублей.
Грантовый конкурс «АРТ-ОКНО» — это конкурс проектов, который дает возможность жителям и НКО воплотить значимые для города проекты в сфере культуры и искусства, размер грантового конкурса в 2022 году составил 9,6 млн рублей.
С 2015 года в регионах проходит стипендиальный конкурс «Класс от маэстро», его задача — поддержка талантливых детей и молодежи, проживающих в малых городах России, а также преподавателей, работающих в региональных музыкальных школах и школах искусств.
Всего в рамках программы в 2022 году прошло более 54 гастролей, а в 2023 году — более 80. По данным оценки, каждый 10-й житель города, где реализуется программа, так или иначе вовлечен в проекты фонды.
Подход к оценке
Работа была основана на принципах анализа социальных ценностей международной организации Social Value International. Этот подход активно используется для анализа воздействия в мире не только в благотворительных организациях, но и в бизнесе.
Суть подхода заключается в глубоком и широком понимании воздействия, которое происходит благодаря деятельности организации. Такой анализ учитывает положительные, отрицательные, запланированные и не запланированные результаты у широкого круга стейкхолдеров.
Эксперты по оценке изучают и анализируют изменения у людей, это касается тех изменений, которые действительно важны и заметны. Это дает возможность организациям не преувеличивать их вклад, так как многое может происходить само по себе или по другим причинам.
Принципы оценки воздействия
Вовлекать стейкхолдеров
Понимать, что меняется
Оценивать то, что важно
Анализировать только существенные изменения
Не переоценивать свой вклад
Действовать прозрачно
Подтвердить результат
Управлять воздействием
Методы работы
Основной акцент был сделан на результаты, связанные с изменением в жизни людей, в качестве их досуга, удовлетворенности, повышении мотивации, вовлеченности и другие аспекты. В оценке мы не считали количество мастер-классов и число участников фестиваля, а анализировали то, к чему приводят такие проекты.
Анализ проводился в трех основных для фонда городах — Железногорск, Старый Оскол, Губкин. Для определения полученных результатов и изменений с каждой группой в каждом регионе прошли интервью или фокус-группы в онлайн-формате. По каждому проекту удалось провести не менее 10 интервью или фокус-групп, важно было охватить все группы стейкхолдеров. Всего в опросах приняли участие около 70 участников проектов. Участникам задавали разные вопросы о воздействии проектов фонда непосредственно на них и на городскую среду — о том, как меняются возможности для досуга, образ жизни и удовлетворенность жителей, о личных изменениях, возможностях для саморазвития и образования и пр.
По каждому проекту были реализованы следующие этапы анализа:
Этап 1. Построение карт стейкхолдеров, продуктов и результатов по проектам.
Этап 2. Формирование показателей для измерения результатов
Этап 3. Разработка системы сбора данных по проектам, инструментарий.
Живое общение помогло выделить наиболее важные изменения, происходящие благодаря проекту. Далее были построены карты результатов, где были учтены как непосредственные результаты, так и существенные изменения или отложенные во времени результаты.
Так, в проекте «Класс от маэстро» были определены такие основные стейкхолдеры — учащиеся, родители, директора ДШИ и преподаватели. Важными результатами, например, для учащихся являются рост мотивации, новые возможности для профессионального развития. А для директоров школ и преподавателей — это возможности для обмена опытом, профессиональных связей и т. п.
В проекте «Культурная афиша» проходит множество мероприятий, событий: выставки, концерты, театральные гастроли, городские фестивали. Анализ такого комплексного и масштабного проекта был очень детальными. По каждому типу проектов были выделены свои стейкхолдеры. Например, для музейного проекта — посетители, сотрудники, директора. Выставочный проект помогает развиваться региональным музеям, а также оказывает влияние на сотрудников и руководство музеев.
Сотрудничество с ведущими российскими музеями влияет на профессиональный рост сотрудников региональных музеев. По мнению директоров музеев, благодаря проекту имидж музея повышается, так как ведущие музеи сотрудничают не со всеми, значит, музей демонстрирует определенный уровень. Директор регионального музея общается с директорами ведущих музеев, растут связи и уровень работы, растет профессиональное удовлетворение и мотивация.
«Нам доверяют ведущие музеи, это признание, повышение нашей значимости, востребованности и эффективности работы. Мы черпаем новые тренды, направления, подходы к работе, в том числе управленческие. Это огромный опыт для нас», — сказал директор одного из музеев-участника оценки.
Для фестивального проекта — участники, вовлеченные в профессиональную программу (студенты, молодые художники, инициативы, сообщества), организаторы и продюсеры, учреждения культуры и сами городские жители. Ежегодно фонд организует несколько городских фестивалей — фестиваль уличных театров «Иллюзион» (Железногорск«), Арт-фестиваль «Трансформация» (Железногорск), поэтический фестиваль «СПЛАВ» (Старый Оскол).
К участию в одном из фестивалей были приглашены студентки художественного колледжа. Опыт участия в фестивале и организации выставок с реальным представлением своего проекта, для большинства из них был первым. По мнению самих участников, это привело к профессиональному росту участников в дальнейшем. «Я делала инсталляцию — „Нити жизни“ и „Свет“. Это был первый такой опыт, опыт бесценный, так как многому научилась, кураторы вдохновляли и поддерживали. После этого я окончательно решила дальше поступать в Питер на искусствоведение», — рассказывает участница проекта.
Следуя такой логике анализа, получилось выявить, как общие для стейкхолдеров результаты, так и личные изменения. К общим можно отнести — повышение привлекательности городов для проведения досуга, привлечение туристов, удовлетворенность жителей качеством досуга для себя и детей, развитие творческих сообществ, новых инициатив, предпринимательства в сфере культуры и пр. К личным- повышение мотивации, личностный рост, реализацию творческих планов и карьеру и пр.
В результате по каждому проекту для каждого стейкхолдера были разработаны инструменты для сбора данных — вопросы для интервью и анкеты, а также схема сбора и анализа данных — графические схемы, наглядно демонстрирующие предполагаемые причинно-следственные связи разных видов деятельности по проектам с результатами и изменениями у стейкхолдеров.
Этот инструментарий позволяет сотрудникам фонда самостоятельно осуществлять оценку, адаптировать его под текущие задачи, следить за динамикой общих показателей и отслеживать ежегодные изменения по широкому спектру показателей.
Об использовании инструментов для оценки
«Получив разработку весной 2023 года, мы тут же пустили ее в работу, — говорит Николай Троцкий. — Все четыре проекта, для которых была разработана система оценки, приступили к ее апробации через реальную работу с аудиториями проекта. Одной из задач разработчиков была необходимость создать такую систему оценки и подобрать такие инструменты, чтобы все это можно было применять без привлечения дополнительных специалистов и ресурсов, силами руководителя проекта и его непосредственными участниками. Именно такой подход дал возможность нам сразу приступить к оценке».
На текущий момент в каждом проекте были проведены несколько оценочных срезов по различным инструментам и направлениям. По результатам оценки на основе первых данных уже внесли некоторые изменения в стратегию проектов. Так, по словам Троцкого, оценивая влияние грантового конкурса на целевую аудиторию и на региональных стейкхолдеров, в фонде пришли к выводу, что для более эффективной реализации социокультурных проектов необходимо дополнительное повышение экспертизы участников конкурса в нишевых направлениях. Как итог — появляются новые грантовые конкурсы, направленные на решение этой задачи.
Второй пример — регулярная коррекция концепции городских фестивалей, которая происходит по итогам оценки влияния фестиваля на горожан, которые приняли в нем участие.
Кроме того, в стратегии на 2024 год, которую фонд формирует в настоящее время, уже учитываются результаты оценки. «В стратегии на следующий год корректируются задачи, добавляются новые инструменты для реализации проектов, меняются горизонты воздействия проектов», — говорит Троцкий.
Оригинал статьи опубликован в «Журнале о благотворительности».
Как оценить эффект гастролей в небольшом городе и почему проекты становятся долгожителями, рассказали сотрудники фондов на IX конференции Ассоциации специалистов по оценке программ и проектов в социальной сфере, которая завершилась 18 октября в Москве.
Работа стала интереснее, изменился круг общения
В этом году в фонде «Искусство, наука и спорт» оценили социальные эффекты, которые на жителей небольших городов оказал проект «Культурная афиша». Его задача – улучшить культурную жизнь и дать людям возможности для качественного досуга.
«Это комплексный проект – гастроли творческих коллективов, поддержка театральных и музыкальных коллективов, фестивали, развитие музеев и выставочная деятельность, развитие местных культурных сообществ – все это в том числе развивает насмотренность жителей», – говорит руководитель проекта Ирина Муштатова.
В 2022 году гастроли, организованные фондом, посетили более 18 тысяч зрителей, фестивали – еще 9 тысяч. Но цифры, отмечает Муштатова, не показывают, как именно проект влияет на жизни людей, в то время как оценка помогает придать проектам «качественный окрас».
Систему оценки фонд разработал вместе с фондом «Культура благотворительности». Задача была – не просто придумать методику, но дать возможность использовать ее руководителям проектов и людям, которые реализуют проекты на местах.
«Методика помогает оценить, какие положительные, отрицательные или незапланированные результаты дает наша деятельность в регионе. Главный вопрос – не что сделали мы, а как изменилась жизнь участников наших проектов», – объясняет Муштатова.
Опросы, которые касались проекта «Культурная афиша», проводили в конце 2022-начале 2023 года онлайн и очно – с помощью волонтеров на местах. Виды исследований и периодичность опросов отличались: например, зрителей опрашивали несколько раз в год, во время гастролей, а участников – сразу после фестиваля и через год.
Сначала анализировали респондентов: пол, возраст, наличие детей, город проживания. После – оценивали вовлеченность человека в культурную жизнь города. Больше половины (63%) ответили, что активно посещают культурные события, 71% сказали, что с появлением мероприятий фонда культурная жизнь в городе «значительно улучшилась».
Потом – вопросы о культуре в целом: качество досуга, возможность провести время с семьей. Эти ответы дают сотрудникам фонда понимание общей картины. Затем исследователи собрали отзывы зрителей – «живая речь помогает сделать выводы для дальнейшего развития проектов», поясняет Муштатова.
Следующая группа респондентов – активные участники фестивалей, то есть люди, которые были задействованы в проектной деятельности. В персональных результатах многие отметили творческий рост и повышение своих профессиональных навыков: 71,4% респондентов создали свой проект.
«Мы видим, что наша деятельность подтолкнула людей к дальнейшему развитию. Многие отмечают, что без проекта у них не было бы возможности получить такие знания и навыки», – говорит Муштатова.
Среди самых важных изменений люди называли:
возможность посетить выставки ведущих музеев страны (71%);
улучшение качества культурного досуга (75%);
улучшение качества культурного развития у детей (59%);
изменение круга общения (37%).
Отдельно опросили представителей профессионального сообщества – сотрудников музеев города Железногорска Курской области, вовлеченных в проекты фонда. «В подготовке наших проектов были задействованы всего 20% сотрудников – мы бы хотели, чтобы эта цифра была больше», – говорит Муштатова.
Зато о росте профнавыков сообщили 80% сотрудников, еще 60% рассказали, что у них появились новые профессиональные связи, у 80% «работа стала интереснее». О том, что без проектов фонда они бы не получили таких знаний, заявили 80% опрошенных.
Обобщенные результаты исследований показали: 86,7% респондентов считают, что проекты фонда «положительно влияют на культурную жизнь их города», 70% — что помогают в профессиональном росте и развитии.
«Созданная система оценки помогает нам анализировать все, что происходит в городе в культурном смысле, и на основе этого решать, как мы можем улучшить свое положительное воздействие. Мне как руководителю проекта эти опросы помогают сделать выводы и менять вектор своей деятельности», – говорит Муштатова.
При этом, подчеркивает заместитель директора фонда «Искусство, наука и спорт» Николай Троцкий, результаты опросов не говорят, что надо корректировать цель и задачи проекта. Подкорректировать в проекте планируют только тактику. «Наша задача – учитывать в том числе небольшие показатели, которые наталкивают на мысли, что нужно поменять, чтобы повысить эффективность проекта», – говорит он.
Почему некоторые проекты живут долго: факторы успеха и риска
На той же секции «Оценка социокультурных проектов» Ирина Лапидус, директор программ Благотворительного фонда Владимира Потанина, рассказала об исследовании и картировании музейных проектов – победителей конкурсов «Меняющийся музей в меняющемся мире» и «Музейный гид» в 2005 – 2018 годах, которые они провели вместе с Ассоциацией менеджеров культуры.
Бывая в командировках, сотрудники фонда заметили, что довольно много проектов продолжают жить и развиваться даже после окончания поддержки фонда.
«Мы решили систематизировать проекты, которые прожили долгую жизнь после гранта, и понять, какие есть сценарии развития и какие факторы влияют на устойчивость проекта», – рассказывает Лапидус.
Методов исследования было несколько: анализ открытых источников, онлайн-анкетирование, глубинные интервью, блиц-опросы по телефону, включенное экспертное наблюдение. Всего в этих конкурсах было 259 грантополучателей, в опросе участвовала примерно половина – они рассказали о 80 проектах, которые получили поддержку фонда и продолжили развиваться после. Выяснилось, что 29 проектов прожили больше 10 лет; это стало неожиданностью для фонда, говорит Лапидус.
Регионами-лидерами оказались Москва и Московская область, Свердловская, Калининградская и Ярославская области, Пермский край. Среди победителей конкурса «Меняющийся музей в меняющемся мире» 44% проектов реализовывались региональными музеями, 19% – разными НКО. Такая же картина и среди финалистов «Музейного гида» – там тоже лидируют проекты — долгожители региональных музеев.
Говоря об эффекте, который дало участие в конкурсах фонда, респонденты в первую очередь отмечали:
новые аудитории и форматы;
переосмысление наследия;
продвижения музея/проекта;
исследование и развитие коллекции;
партнерские связи;
развитие территории.
«Результаты исследования подтвердили нашу теорию о том, что развитие проекта – человекоцентрично. Если человек остается в организации и у него есть не только мотивация, но и содержательный и административный ресурс, чтобы поддерживать эту тему, у проекта больше шансов на долгую жизнь»,– говорит Лапидус.
Исследователи выяснили, что проект более устойчив, если:
ориентирован на идею, которая выводит музей на новые горизонты, а не воспроизводит его типовую деятельность;
встроен в стратегию развития и влияет на деятельность организации в целом;
сфоркусирован на перспективах и масштабировании;
в проекте существенно влияние автора, и он продолжает участвовать в развитии.
Проанализировав результаты, фонд запустил новый конкурс #фондпотанина25 – участвовать в нем могут сотрудники организаций – выпускников одной или нескольких программ фонда, в том числе уже закрытых, или организаций, которые могут подтвердить правопреемственность результатов ранее поддержанных фондом проектов.
Оригинал статьи размещен на сайте Агентства социальной информации.
17 октября в рамках IX конференцииАСОППпрошла сессия «Анализ данных в оценке проектов и программ», которую провели Ольга Заводилкина и Ольга Евдокимова.
Ольга Евдокимова рассказала об актуальном состоянии анализа данных для оценки социальных результатов программ и проектов в сфере детства и рассказала о возможностях для развития в этой теме, которые предоставляет АНО «Эволюция и Филантропия», в частности, об онлайн-курсе «Оценка программ в сфере детства» и работе группы «САД» («Статистический анализ данных») (презентация).
Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия», представила кейс «Как формировать группы сравнения на этапе сбора данных и на этапе анализа» на примере исследования «Влияние деятельности НКО на социальную адаптацию детей-сирот: опрос благополучателей», которое проводил БФ «Расправь Крылья!» (презентация). Ольга также рассказала о работе группы САД (презентация).
Елена Лянгузова, РООРДИ «Дорогою добра» Кировской области, рассказала об анализе данных и выборе инструментов для их сбора (презентация).
Марина Ушакова, руководитель МБУ города Челябинска «Центр помощи детям, оставшимся без попечения родителей, «Акварель» рассказала об использовании результатов анализа для развития практики (презентация).
У творческих проектов есть множество эффектов, но до сих пор их либо не принято оценивать, либо отсутствуют необходимые инструменты и единый для участников процесса язык оценки. Поскольку воздействие культуры на общество широко и объемно, решение вопросов взаимопонимания и строгости анализа становится важнейшим для заинтересованных сторон — творцов, меценатов, государства. Поможет ли создание общего поля понятий участникам креативных процессов прогнозировать воздействие культурных инициатив на социум и насколько это необходимо донорам и организаторам проектов?
На эти вопросы попытались ответить представители экспертного сообщества, которые собрались на специализированной онлайн-сессии «Для чего и кому нужна оценка творческих проектов?». Она состоялась 18 октября 2023 года в числе мероприятий IX Конференции Ассоциации специалистов по оценке программ и проектов в социальной сфере (АСОПП) «Качество жизни, благополучие, оценка». На сессии присутствовало более 50 человек.
Среди участников сессии — эксперты, представители крупнейших частных фондов, среди которых — «Абсолют-Помощь», «Искусство, наука и спорт», «ОМК-участие», «Доброта Севера», фонда Тимченко, а также организаторы творческих проектов — руководители Библиотеки им. Н.А. Некрасова и Центра социокультурной анимации «Одухотворение».
Внести посильный вклад в сложнейшую задачу призван организатор мероприятия — Форум «Яркие краски креативных индустрий» (ЯККИ). Сейчас на его основе создается общая для всех участников культурного процесса всероссийская платформа, главной целью которой является обсуждение и сбор многообразных мнений, а также поиск тем и новых подходов в сфере оценки творческих проектов.
«Культура очень разнообразна в своих проявлениях, но эта цветущая сложность процессов в ней хотя и создает определенные трудности для оценки творческих феноменов, но делает процесс оценки творческих проектов увлекательным и мотивирующим, — говорит модератор сессии Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия (ЭиФ)», ключевого контент-партнера ЯККИ. — Мы видим активный интерес к этой проблеме со стороны и финансирующих организаций, и организаторов творческих процессов. В международном сообществе накоплен разнообразный опыт в области оценки программ вообще и проектов в сферы культуры и искусства, в частности. В нашей стране эта тематика только начала развиваться и важно с самого начала учитывать накопленный опыт, нарабатывать собственный и выстраивать равноправный диалог между всеми сторонами,участвующими в процессе оценки» (презентация).
Одним из предметов обсуждения на онлайн-сессии стали результаты первого этапа исследования, которые представили Наталья Сергиевская, генеральный директор Фонда «Будущее время», эксперт-консультант ЭиФ, и Инга Пагава, эксперт ЭиФ.
«Кроме очевидных заинтересованных сторон — доноров и организаторов проектов — результаты процесса оценки и сами оценки воздействия культурных проектов крайне важно обсуждать и с их аудиторией, — объяснила Наталья Сергиевская. — Обычно это остается внутри профессионального сообщества, но разговор с потребителем на равных позволит и повысить уровень доверия между всеми участниками и наладить равноправный диалог, чтобы точнее отследить возможные изменения в результате воздействия».
В фокусе внимания Инги Пагавы оказался российский опыт оценки влияния социокультурных эффектов на качество жизни общества (презентация).
«Основной запрос на понятную методологию оценки творчества формируют главные участники отечественного культурного поля — органы государственной власти, вроде Министерства культуры, и учреждения культуры, такие как музеи и театры, — уверена Инга Пагава. — И если первых интересует оптимизация расходов и реализация госзаказа на программированный социальный эффект, то вторых — развитие финансовой устойчивости или различных направлений фандрайзинга, а также собственных управленческих компетенций и организационных улучшений».
Чтобы учесть все подобные нюансы, включая интересы организаторов культурных инициатив, не нужно приводить все к одному-двум подходам, но необходимо продемонстрировать все их многообразие со всех сторон. Для этого планируется собрать уже наработанный опыт и практики, чтобы впоследствии на этой базе заинтересованные стороны смогли разрабатывать собственные логические модели, выбирать адекватные подходы и инструменты для измерений, использовать и развивать банки социальных результатов.
Выступившая на сессии с докладом сомодератор Инна Прилежаева, исполнительный директор Ассоциации менеджеров культуры (АМК), подчеркнула, что общая цепочка индивидуальных социальных изменений, которую инициирует любой творческий проект, сложна и многомерна.
«Сегодня социокультурное проектирование уверенно вошло в текущую практику деятельности многих организаций, однако способы оценки эффективности социокультурных проектов не до конца сформулированы и изучены, — говорит Инна Прилежаева. — Проблема видится в том, что такой тип проектов имеет высокую степень персонализации и требует внимательной интерпретации проектных результатов с учетом многих контекстов. Ведь отличительная особенность социокультурного проекта в том, что он работает со стратегическим типом ресурсов, лежащим, как правило, вовне организации или собственной системы и производит воздействия и эффекты в разных системах деятельности и сообществах. Вторая сторона этой проблемы — отсутствие института проектной критики в профессиональном сообществе, где формируется и систематизируется рефлексия и оценка проектной деятельности».
В дискуссии была высказана и другая точка зрения: — со стороны организаторов творческих проектов прозвучали опасения, что часто неясные цели оценки и необходимость соответствовать малопонятным критериям усложняет жизнь творцов и мешает им создавать и реализовывать проекты. Поэтому можно опасаться, что широкое использование методов измерения ограничит и обеднит культурную сферу. Такую позицию высказал Леонид Тарасов директор и учредитель Центра социокультурной анимации «Одухотворение».
«Нам не всегда нужно оценивать эффект от нашей деятельности, за короткий период это просто невозможно, и если донор вводит такую оценку, мы в ней тонем, — объяснил Леонид Тарасов. — С другой стороны, замеры необходимы, например на длительных, сложных комплексных проектах, которые существуют на волонтерских началах. В этом случае мы должны попадать в запросы как участников, так и спонсоров, и такая оценка очень сложна, но необходима — она дает возможность развиваться самостоятельно и ставить цели. Поэтому крайне важно сделать оценку не нагрузкой для организаторов культурных инициатив, а стимулом для развития».
Частично согласна с ним и Елена Коновалова, руководитель направления в Фонде Тимченко. Она считает, что для выработки общих критериев оценки каждому донору нужно четко определить собственные цели и задачи, которые у разных фондов могут сильно отличаться.
«Есть ли нужда оценивать проект? — задается вопросом Елена Коновалова. — Конечно, интерес есть у всех, но мы не должны навязывать слово „оценка“, лучше смотреть, на что мы повлияли. Это очень важный момент — у каждого донора есть своя специфика, которая выражается в том, что и в чем он хочет поменять, в каком направлении нужно производить изменения. Например, для нас важно изменять качество жизни людей, поэтому мы смотрим насколько это повлияло на них, используя теорию изменений и выстраивая цепочку результатов. И осознавая, что ждать результатов быстро невозможно».
Однако Эльвира Гарифулина, программный директор фондов «Свет» и «Абсолют Помощь», уверена, что возможность прогнозирования и адекватной оценки всех эффектов творческого проекта важна и для доноров, и для авторов творческих проектов.
«Нам нужно найти универсальные реперные показатели планируемых социальных эффектов, что очень важно и для доноров, и для организаций-инициаторов культурных проектов, — считает Эльвира Гарифулина. — В начале творческая команда может не всегда понимать, что оценка проектов будет полезна, прежде всего, им самим. Но передовые доноры вкладывают ресурсы в коммуникацию такого подхода и стараются гибко подходить к выбору системы показателей. Доноры дают свободу для творцов, но также нам нужно понимать как культурные проекты помогают решать наши задачи».
Активное участие в дискуссии приняли также Екатерина Светличная, генеральный директор Центральной универсальной научной библиотеки имени Некрасова, поделившаяся опытом работы с государственными структурами, Николай Троцкий, заместитель директора БФ «Искусство, наука и спорт», отметивший важность и сложность проблемы с точки зрения донора и Ксения Полетаева, руководитель социокультурных проектов БФ «ОМК-Участие», подчеркнувшая важность аналитического подхода в работе фондов.
Итог оживленной дискуссии подвела Эльвира Алейниченко, куратор программы «Музеи Русского Севера», директор Центра управления социальных инноваций GrantRafting.
«Нужно чаще встречаться и для этого должны быть постоянные площадки, — подчеркнула Эльвира Алейниченко. — Очевидно, что оценка проектов нужна, но далеко не все доноры имеют ресурсы, которые можно направить на нее, а не на творческие инициативы. Чем больше будет возможностей для объединения усилий в этом направлении и выработки общих подходов, тем лучше мы будем понимать, что усиливает эффекты нашей работы, какая инфраструктура поддержки нам всем нужна и на что мы должны обращать внимание в первую очередь».
Хотя участники сессии не пришли к единому мнению, все согласились с важностью поднятых вопросов и договорились продолжить обсуждение, в том числе — в рамках проекта ЯККИ.
12 октября 2023 года в московском общественном центре «Благосфера» состоялся воркшоп «Планирование и оценка социального воздействия», который прошёл в рамках VII Конференции «Фабрика пространств. Территория» и межрегионального форума «Яркие краски креативных индустрий» (ЯККИ). Его участники в интерактивном режиме попробовали себя в качестве экспертов — оценщиков культурных инициатив и получили практический опыт прогнозирования, измерения и оценки социокультурного воздействия творческих проектов. В воркшопе участвовали около 80 представителей творческих проектов.
Мероприятие включило в себя изучение международных и отечественных наработок в сфере оценки креативных инициатив, их обсуждение, а также практическую часть. На ней под руководством модераторов — экспертов форума «Яркие краски креативных индустрий» — участники собирали логическую модель, которая служит основой для планирования и оценки конкретного примера: деятельности муниципальной библиотеки в небольшом наукограде с технопарком, ставшей центром социального взаимодействия для разных поколений.
«Фактически, наше мероприятие стало инновацией, пробой пера для создаваемой платформы. И несмотря на экспериментальный формат, мы увидели острый интерес к нашему начинанию — количество участников приятно удивило, — делится Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия, соорганизатор мероприятия. — Хотя присутствующие не сразу включились в процесс, активность порадовала: в ходе воркшопа коллеги не только использовали предложенные нами инструменты, но и инициировали массу интересных идей — они обязательно войдут в инструментарий оценки, который мы формируем. Думаю, массовая практика и внедрение наработанных в результате таких мероприятий методов поможет создать общий профессиональный язык, понятный как создателям творческих проектов, так и экспертам, меценатам, который сделает креативный процесс более результативным и эффективным. Безусловно, мы будем продолжать развивать эту тему: пробовать новые подходы, искать новые формы взаимодействия с представителями культурного сообщества».
Проблемы не только адекватной оценки, но и формирования общей понятийной базы для всех участников творческой деятельности давно волнуют профессиональное сообщество. Поэтому задумку и результат воркшопа, а также проект ЯККИ в целом по достоинству оценили организаторы конференции и специалисты в сфере культуры.
«Довольно часто случается, что творческие команды и бизнес-партнёры говорят на разных языках и по-разному видят ожидаемый результат деятельности, — говорит директор по коммуникациям и стратегическому развитию центра «Благосфера» Елена Темичева, центр «Благосфера». —Использование общих методов оценки культурного воздействия поможет во многом сблизить позиции и “на берегу” договориться о тех критериях, по которым обе стороны смогут оценить результаты. При наличии понятной технологии оценки, подразумевающей заложенные на этапе проектирования социокультурной инициативы показатели и способы сбора информации для их формирования, можно обойтись даже без экспертной поддержки. Но пока мы говорим об этапе внедрения оценки социокультурного воздействия как практики, конечно, нужны эксперты и, что еще важнее, амбассадоры этого процесса».
Согласна с экспертом и Екатерина Светличная, генеральный директор Центральной универсальной научной библиотеки имени Н.А. Некрасова: «Как просчитать ожидаемый эффект от вложения средств в то, что не будет приносить дохода, но изменит жизнь в сообществе? Наличие прозрачных механизмов оценки способно облегчить диалог мецената и творца, помочь органам власти в планировании культурных стратегий».
Организатор воркшопа — межрегиональный форум «Яркие краски креативных индустрий», получивший грант Президентского фонда культурных инициатив, — своей целью ставит формирование общероссийской дискуссионной платформы, где будут инициироваться, обсуждаться и внедряться в практику наиболее эффективные методы оценки креативных инициатив через измерение их социокультурного воздействия.
Модераторами мероприятия стали эксперты форума «Яркие краски креативных индустрий»:
Наталья Сергиевская, генеральный директор Фонда «Будущее время», эксперт-консультант АНО «Эволюция и Филантропия»;
Инга Пагава, консультант по организационному развитию НКО, фандрайзингу, филантропии и оценке благотворительных программ;
Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия».
Конференция «Фабрика пространств», которую в седьмой раз организовал центр «Благосфера», традиционно является местом выработки общих стратегий развития общественных пространств различных типов, призванных стимулировать социальную активность граждан.
18 октября 2023 года (16:00 – 17:30) в рамках IX Конференции Ассоциации специалистов по оценке программ и проектов в социальной сфере (АСОПП) «Качество жизни, благополучие, оценка» состоится специализированная онлайн-сессия «Для чего и кому нужна оценка творческих проектов?». Эксперты обсудят первые результаты работы форума «Яркие краски креативных индустрий (ЯККИ)» и представят участникам конференции проанализированные подходы к оценке креативных проектов.
Форум «Яркие краски креативных индустрий» (ЯККИ), ставший победителем грантового конкурса — 2023, организованного Президентским фондом культурных инициатив (ПФКИ), представит на мероприятии предварительные результаты исследования международного и российского опыта.
«Мы сделали шаг вперед в оценке к измерению воздействия проектов в области культуры, искусства и креативных индустрий. И одной из сфер, на которую распространяется их влияние, как раз и является качество жизни общества, — поясняет Инга Пагава, один из авторов исследования, проведённого силами ключевого контент-партнера ЯККИ АНО „Эволюция и Филантропия“ (ЭиФ). — На онлайн-сессии эксперты расскажут не только о методиках измерения комплексного социокультурного воздействия, применяемых в мире, но и об отечественных кейсах их внедрения. Ведь в России уже есть примеры проведения оценки влияния как кинофильмов, концертов, так и более масштабных проектов, например программы по развитию регионов».
Исследование стало первым этапом форума, ключевая задача которого — создать дискуссионно-практическую площадку для всех сторон российского культурного процесса. Онлайн-сессия на конференции АСОПП будет одним из форматов для обсуждения и проработки инструментов анализа творческих инициатив с точки зрения их социокультурной ценности.
Приглашенные эксперты, представители финансирующих организаций и авторы креативных проектов — руководители программ благотворительных фондов “Абсолют-Помощь”, “Искусство, наука и спорт”, фонд “Тимченко”, “ОМК-участие”, “Доброта Севера”, “Ассоциация менеджеров культуры” и “Библиотека им. Н.А. Некрасова”, обсудят особенности такой оценки и инфраструктуру, необходимую для ее развития.
Вместе с участниками мероприятия спикеры постараются ответить на вопрос, кто является стейкхолдерами замеров социокультурного воздействия, а также обсудят возможности, которые такой инструментарий даст участникам творческого процесса, и его ограничения.
В сессии, которую будет модерировать Ольга Евдокимова, исполнительный директор ЭиФ, и Инна Прилежаева, исполнительный директор “Ассоциации менеджеров культуры”, выступят Игорь Соболев, первый заместитель генерального директора ПФКИ, и Наталья Сергиевская, генеральный директор фонда «Будущее время», эксперт ЭиФ, оценщики, исследователи, разработчики проектов. В рамках мероприятия состоится обсуждение представленных материалов исследования, в котором смогут принять участие все зарегистрированные участники.
12 октября 2023 года в рамках VII Конференции «Фабрика пространств. Территория» состоится воркшоп «Планирование и оценка социального воздействия». Он в интерактивном формате вовлечет участников конференции в процесс планирования и оценки социальных результатов креативных проектов. Участники смогут понять, что поможет завоевать доверие аудитории и как раскрыть перспективность своей площадки представителям структур, поддерживающих культурные инициативы в общественных пространствах.
Конференция пройдет в московском общественном центре «Благосфера», воркшоп станет частью сессии «Территория технологий». Команда модераторов пройдет вместе с участниками путь от формулирования социальных целей и эффектов культурного проекта до выбора показателей оценки его социального влияния.
«Мы планируем максимально практичное мероприятие. На примере реального кейса наши модераторы погрузят участников в процесс оценки социального влияния творческих проектов. Они смогут попрактиковаться в планировании цепочек социальных эффектов. Вместе мы разберем, какие желаемые результаты могут лечь в основу проекта и какие показатели помогут их оценить», — поясняет Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия».
Воркшоп организуется в рамках межрегионального форума «Яркие краски креативных индустрий». Цель этого проекта, поддержанного Президентским фондом культурных инициатив, — создать общероссийскую дискуссионную площадку для анализа и внедрения подходов оценки социокультурного воздействия креативных инициатив. Команда экспертов проводит исследование мирового и российского опыта взаимодействия творческих акторов с грантодателями в области оценки. В ходе рабочих встреч в рамках форума проходит обсуждение способов интеграции инструментов для оценки культурных инициатив в процесс планирования и реализации творческих проектов.
Конференция «Фабрика пространств», проводимая центром «Благосфера», посвящена стратегическому развитию и практике общественных пространств различных типов, которые объединены общей целью — вовлечением граждан в социальную активность. Среди таких пространств могут быть новые музейные зоны, созданные городскими сообществами, центры инициатив, коворкинги, арт-кварталы и комьюнити-центры, базирующиеся на бывших промзонах, ресурсные центры НКО и фонды местных сообществ, театры, библиотеки, государственные районные и городские культурные центры и другие подобные места.
