Теория изменений для музыкального проекта с молодёжью из группы риска
Логическая модель программы хора для пожилых
Анкета для оценки музыкального фестиваля
Материалы по теме оценки музыкальных проектов
Кейс «Музыкальная академия Ларисы Долиной»
Проект «Музыкальная академия Ларисы Долиной» — участник проекта «Яркие краски креативных индустрий». Проект создает в России эффективно работающую, конкурентоспособную музыкальную среду, в которой всем участникам будет комфортно расти и развиваться.
Инструменты:
- Анкета для учеников
- Анкета для музыкальных педагогов
- Гайд интервью с представителям региональной администрации
- Гайд интервью с региональными музыкантами
Кейс «Молодежная программа оперных артистов АНО «Арт-Гелиос»
Молодежная программа оперных артистов АНО «Центр поддержки творческих и социально-культурных инициатив «АРТ-Гелиос» И ГБУК г. Москвы «Московский музыкальный театр «Геликон-Опера» — один из участников проекта «Яркие краски креативных индустрий».
Инструменты:
- Анкета для зрителей
- Гайд интервью с педагогами и наставниками
- Гайд интервью с выпускниками программы
- Гайд интервью с работодателями
- Анкета для преподавателей
- Анкета для выпускников
Сессия «Оценка социокультурного воздействия творческих проектов: извлеченные уроки» пройдет на X конференции АСОПП 16 октября
16 октября с 12:00 до 13:30 на X конференции АСОПП «Развитие оценки в социальной сфере в России: достижения и точки роста» пройдет сессия «Оценка социокультурного воздействия творческих проектов: извлеченные уроки». Ведущие сессии: Ольга Евдокимова, АНО «Эволюция и Филантропия», Наталья Сергиевская, Фонд «Будущее время».
В качестве приглашенного спикера ожидается участие — И.С Соболева, первого заместителя генерального директора Президентского фонда культурных инициатив.
На сессии предполагается:
1) подробно представить процесс и результаты оценки проекта «Чеховский книжный фестиваль», осветить особенности, с которыми столкнулись оценщики и заказчики оценки этого и других творческих инициатив, которые были выбраны при реализации проекта «Яркие краски креативных индустрий» (ЯККИ).
2) презентовать созданную в процессе реализации проекта ЯККИ методическую базу;
3) обсудить направления развития оценки социокультурных проектов.
Участие в конференции бесплатное. Для участия в конференции вам нужно зарегистрироваться по ссылке. Подробная программа конференции представлена на лэндинге.
14 июня в Московском городском педагогическом университете прошла первая экспертная сессия по проблеме оценки социально-ориентированных программ, проектов и инициатив
14 июня в Московском городском педагогическом университете состоялась открытая экспертная сессия «Продукт, результат, воздействие: проблема оценки и измерения социально ориентированных программ, проектов и инициатив».
На площадке МГПУ ведущие эксперты России в области оценки социального воздействия обсудили вопросы, связанные с проблемой измерения импакта проектных инициатив в сфере науки и высшего образования.
На сессии рассматривались следующие вопросы:
- Какие этапы работ необходимо выполнить при разработке подхода к оценке социального воздействия от реализации социально-ориентированных практик, проектов, программ и инициатив университета?
- Какова специфика оценки проектов негосударственного (НКО) и государственного сектора?
- Какова специфика разработки подхода к оценке импакта проектов / программ в сфере образования?
- Какова специфика разработки подхода к оценке импакта проектов / программ в сфере науки и технологий?
- Возможно ли оценить социальное воздействие проекта после его завершения?
Ключевым направлением экспертной дискуссии стал вопрос создания многоуровневой модели оценки социального воздействия социально-ориентированных проектов, программ и инициатив для российских университетов, включающей образовательную, научно-исследовательскую и общественную миссии вузов.
Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», предложила проанализировать потребности заказчика проектов внутри вуза и понять, какую пользу должны приносить университетские проекты, возможно ли увеличить данную пользу.
Наталья Гладких, главный редактор журнала «Позитивные изменения», ведущий эксперт центра технологических инноваций института социально-экономического проектирования НИУ ВШЭ, и Владимир Вайнер, заведующий центра инновационных экосистем в социальной сфере института социально-экономического проектирования НИУ ВШЭ, лидер Фонда развития медиапроектов и социальных программ «Глэдвэй» (Gladway Foundation), в качестве подхода к оценке предложили опираться на теорию позитивных изменений и использовать модель создания уникального оценочного профиля (УОП) проекта, адаптировав его под потребности университета.
В качестве важного аспекта разработки и оценки социально-ориентированных проектов университета, а также в контексте стратегии развития проектных инициатив университета Владимир Вайнер обозначил необходимость принятия во внимание контекста третьей миссии, которая характеризуется вкладом в социально-экономическое развитие общества, в том числе через обучение служением.
Владимир Балакирев, консультант по оценке программ в компании «Процесс Консалтинг», отметил важность взаимодействия с заказчиком для определения целей и задач проекта, включая ожидаемое социальное воздействие, которое планируется измерять.
В качестве конкретной рекомендации Ольга Евдокимова предложила провести пилотное оценочное исследование для специально отобранных университетских проектов, в рамках которого создать карту проектов, ранжированных по актуальным критериям. Важным аспектом пилотного исследования должно стать вовлечение заинтересованных сотрудников, например, руководителей проектов и научно-исследовательских групп
Общая рекомендация экспертов состояла в том, что для разработки модели оценки университетских проектов необходимо переходить от кабинетной (теоретической) части исследования к практической (эмпирической), в том числе к проведению интервью со стейкхолдерами проектов для определения конкретных потребностей и направлений их решения.
Более подробно с мнениями экспертов можно ознакомиться в видеозаписи трансляции
Гайд обсуждения доступен в презентации. Видео доступно по ссылке.
11 июня прошел форум «Яркие краски креативных индустрий»
11 июня в театре «Геликон-опера» прошел форум «Яркие краски креативных индустрий». В нем приняли участие около 90 человек: грантополучатели и грантозаявители ПФКИ, представители и эксперты ПФКИ, вовлеченные в экспертизу заявок и оценку грантов, эксперты – представители профессионального сообщества оценщиков, представители творческих проектов — участников «Яркие краски креативных индустрий».
Основные задачи форума:
- Обсудить подходы к оценке социокультурного влияния творческих проектов (международный и российский опыт, результаты пилотной апробации отобранных проектов).
- Сформировать предложения для ПФКИ о применении различных оценочных подходов и инструментов (их преимущества и ограничения) для мониторинга и оценки поддерживаемых Фондом проектов.
- Собрать рекомендации по развитию культуры и практик мониторинга и оценки творческих проектов грантополучателей/заявителей ПФКИ.
И.С.Соболев, первый заместитель генерального директора ПФКИ, рассказал о задачах фонда в развитии оценки творческих проектов и ответил на вопросы слушателей.
Ведущей форума выступила О.А.Евдокимова, исполнительный директор АНО «Эволюция и Филантропия».
О. Понкратова, руководитель социокультурных проектов театра «Геликон-опера», С. Пархоменко, ООО «Идеи&Решения», и О.А.Евдокимова представили проект «Яркие краски креативных индустрий».
Н.И.Сергиевская, Фонд «Будущее время», и О.А. Евдокимова рассказали о результатах анализа международного и российского опыта в контексте задач в области оценки поддержанных творческих проектов и возможностях практического применения.
Далее в программе форума были представлены результаты оценки следующих творческих проектов:
- Проект «Молодежная программа оперных артистов АНО «Центр поддержки творческих и социально-культурных инициатив «Арт-Гелиос» и ГБУК г. Москвы «Московский музыкальный театр «Геликон-опера» (Москва). Проект представили: руководитель проекта О. Понкратова, руководитель социокультурных проектов театра «Геликон-опера»; куратор И.Пагава, независимый исследователь, эксперт АНО «Эволюция и Филантропия»; социолог Е.Богомолова, руководитель проектов отдела по аналитике, исследованиям и работе с экспертным сообществом Центра коммуникаций «Росатом», эксперт в бюро партнёрств и коммуникаций для достижений целей устойчивого развития «Теперь так», эксперт АНО «Эволюция и Филантропия», а также А.Боровых, эксперт в области развития НКО, член Правления АСОПП в 2014-2016 гг.
- Проект «Музыкальная школа Ларисы Долиной» (Москва) представили: руководитель проекта В. Муравьева, директор по развитию MUSCULT и Музыкальной академии Ларисы Долиной, и куратор О.В. Заводилкина, эксперт АНО «Эволюция и Филантропия», президент АСОПП.
- Проект «Мобильная опера-прогулка «Дмитрий Хворостовский. Начало» (Красноярск) представили: руководитель проекта Н.В.Агаханова, директор Красноярского фонда развития искусства имени Дмитрия Хворостовского; куратор О.В. Заводилкина и приглашенный эксперт И.В. Ширшова, руководитель направления БФ Сбербанка «Вклад в будущее», президент АСОПП 2021г.
- Проект «Чеховский книжный фестиваль» (Таганрог) представили: руководитель проекта — Л.И. Скрынникова, доцент Донского государственного технического университета, руководитель проекта; куратор проекта А. А. Богомолова, социолог, эксперт по разработке и оценке социальных проектов, член Правления АСОПП 2021-2024, а также Ю.Ходорова, директор БФ Культура благотворительности.
- Проект «Молодежный фестиваль «Стихия металла»» (Первоуральск, Свердловская обл.) представили: руководитель проекта — К.А. Костина, исполнительный директор Благотворительного фонда «Первоуральск 21 век»; куратор Т.О.Арчакова, директор АНО Центр развития социальных практик «Дирижабль», эксперт АНО «Эволюция и Филантропия»; социолог — Е. Богомолова, и Е. Коновалова, руководитель программы «Культура» Фонда Тимченко.
- Проект «Уральский паблик-арт фестиваль ЧО» (Екатеринбург) представили: руководитель проекта: Н.Харисов, креативный и бренд-директор холдинга «Атомстройкомплекс», руководитель паблик-арт программы «ЧО»; куратор: Н.И.Сергиевская, Фонд «Будущее время»; социолог — И.Смекалин, аспирант-социолог ВШЭ, исследователь социального воздействия НКО.
- Проект «Из России с Любовью» представили: руководитель проекта В. Денисов и С. Пархоменко, ООО «Идеи&Решения».
Завершил форум концерт-исследование, на котором зрители заполняли анонимную анкету и высказывались о наиболее понравившихся номерах.
По итогам форума была собрана обратная связь от участников, свидетельствующая, что в основном Форум был полезен участникам.
Форум способствовал продвижению оценки результатов и влияния проектов в области культуры. Предположу, что прежде всего форум был полезен тем, кто эти проекты реализует. Практикоориентированный подход представления проектов и результатов оценки позволил участникам лучше понять влияние их деятельности и повысил их компетенции в анализе результатов.
Однако были и критические замечания, которые касались, в основном, тайминга.
Желательно в программе выделить больше времени на возможность задавать слушателями вопросы выступающим спикерам
Также участники выразили пожелания продолжить обсуждение темы:
В регионах много социологов, которые занимаются заявленной проблематикой. Не все живут в Москве. Новосибирск, Ростов—-на-Дону, Екатеринбург, Нижний Новгород и тд. Нас много и нас легко найти по научным публикациям , публичным страницам , через НКО, с которыми мы все работаем
Спасибо за мероприятие. Это было неожиданно приятно.
Благодарю за приглашение! Буду с нетерпением ждать новых офлайн встреч.
Форум проводился в рамках проекта «Яркие краски креативных индустрий» (АНО «Арт-Гелиос», при поддержке Президентского фонда культурных инициатив).
7 июня на Петербургском международном экономическом форуме прошла секция «Калькулятор эффективности для НКО»
7 июня на Петербургском международном экономическом форуме прошла секция «Калькулятор эффективности для НКО». Организатором секции выступила Социальная платформа фонда «Росконгресс». Модератором секции выступил Дементьев Иннокентий Андреевич, заместитель генерального директора Фонда президентских грантов
Основная задача секции состояла в том, чтобы обсудить перспективы разработки и внедрения ключевых и комплексных методик по оценке результативности и эффективности деятельности некоммерческих организаций, которые бы учитывали многообразие и специфичность направлений НКО и могли быть доступными в использовании для самих команд социальных проектов. Одним из ключевых вопросов, затронутых на секции, был вопрос о необходимости и возможности разработки ясных, объективных, измеримых и сопоставимых показателях положительного социального и экономического влияния проектов.
Приглашенные спикеры отвечали на поставленные модератором вопросы.
Тополева-Солдунова Елена Андреевна, директор автономной некоммерческой организации «Агентство социальной информации», генеральный директор благотворительного фонда «Доброта севера», председатель комиссии по развитию некоммерческого сектора Общественной палаты РФ, ответила на вопросы, насколько сообщество НКО готово к принятию необходимости постоянной оценки результатов своей работы? Какая динамика в этой части наблюдается по линии Общественной палаты в рамках мониторинга и рейтингования НКО.
Шадрин Артём Евгеньевич, генеральный директор Национального агентства развития квалификаций, директор Института социально-экономического проектирования НИУ «Высшая школа экономики», поделился перечнем инструментов, которые помогают сделать культуру оценки результатов понятной не только для институтов развития, но и для самих НКО. Артем Евгеньевич, в частности, упомянул Теорию изменений, а также рассказал, какие методики оценки результатов могут дать НКО импульс для улучшения своих практик и для более системного взгляда на сами практики.
Александрова Александра Борисовна, первый заместитель руководителя Департамента труда и социальной защиты населения города Москвы, поделилась интересным опытом разработки показателей эффективности использования помещений, выделяемых Департаментом на безвозмездной основе для НКО.
Евдокимова Ольга Анатольевна, исполнительный директор АНО поддержки
и развития инноваций в социальной сфере «Эволюция и филантропия», в своем выступлении затронула тему сопоставимых показателей и рейтингов эффективности и необходимости фокусировки на осмыслении некоммерческими организациями и финансирующими сторонами своей работы.
В частности, в своем выступлении Ольга Евдокимова отметила несколько моментов:
- Цель НКО – это максимизация социального воздействия и акселерация социальных преобразований для улучшения качества жизни людей. В этой связи оценка играет важную роль, которая не сводится к определению только набора показателей, пусть даже ясных. Более того, фокусировка исключительно на показателях даже вредна, в определенном смысле.
- Показатели редко дают возможность принимать решения, направленные на развитие, на обучение, на управление неопределенностью. Фокус должен быть на развитии оценочного мышления, на принятии решений, основываясь на глубоком понимании, как и почему и для кого и в каких обстоятельствах работает программа. Показателями это многообразие не охватишь. В сложном мире оценка играет новую роль: не столько для подсчета эффекта, сколько для прогнозирования и для корректировки и максимизации социальных преобразований. Сейчас важен акцент на кастомизацию, гибкость, уникальность. Трудность создает отсутствие бенчмарков для сравнения.
- Чтобы оценка становилась более массовым явлением, более зрелым процессом в НКО, необходимо, с одной стороны, снижать методологические барьеры (больше простых доступных руководств и материалов, примеров и площадок для обмена). С другой стороны, необходимо сохранять профессиональный уровень и профессиональный дискурс, в том числе этические стандарты, особенно при вовлечении благополучателей.
- Нужны независимые верификации социальных результатов. ВУЗы должны включаться более активно и профессионально. Важны осмысление, обобщение, теоретические и практические рамки. В исследования могут включаться студенты.
- IT-технологии, в том числе, искусственный интеллект, будут в некой перспективе снижать методологические барьеры. Кроме внешних барьеров, НКО надо уметь управлять изменениями внутри команды, которая будет сопротивляться новациям, связанными с оценкой. Нужны стимулы для НКО со стороны донорского сообщества, но и оно само должно становиться более зрелым.
- В целом донорское сообщество остается довольно незрелым в плане оценки программ. Культура принятия решений о социальном инвестировании на основе доказательств остается довольно низкой. Подход к оценке влияния донорского сообщества должен соотноситься со стратегией социального воздействия, а мало у кого она разработана в виде, пригодном для создания полезной модели оценки. Отсутствует внятная Теория изменений, например. Многие доноры заявляют о том, что их стратегия предполагает системные изменения. Но мало у кого есть внятное описание, что такое системное воздействие и его оценка.
- Это не означает, что показатели вообще не нужны. Могут быть наборы показателей на разных уровнях и для разных моделей воздействия, для разных стейкхолдеров, для разных целей. Нужно использовать показатели верхнего (национальный уровень), среднего (на уровне тематики (приемные семьи), нижнего (на уровне организации). Необходима кластеризация моделей воздействия: типовые модели оценки, включая показатели. Стоимостные оценки (оценки социально-экономической эффективности) очень нужны, но у нас практически отсутствует необходимая статистика.
- Растет запрос со стороны общества на рейтинги, рэнкинги.
Гурцкая Диана Гудаевна, народная артистка России, художественный руководитель «Центра социальной интеграции Дианы Гурцкая», председатель комиссии по доступной среде и развитию инклюзивных практик Общественной палаты РФ, рассказала о том, как центр проводит оценку и отслеживает долгосрочные результаты своей работы.
Маковецкая Дарья Тимофеевна, руководитель ресурсного центра развития добровольчества Республики Карелия, член Совета Ассоциации волонтерских центров, поделилась своим опытом исследований развития добровольчества.
Афрова Елена Викторовна, директор центра реабилитации животных «Верность», рассказала об успехах в масштабировании практики, и о том, какие есть индикаторы для понимания, что центр движется в правильном направлении.
Бесшапошникова Екатерина Николаевна, руководитель образовательных программ, Фонд «Наше будущее», ответила на вопрос, получается ли у социальных предпринимателей выразить экономически прогнозируемые ими социальные результаты и эффекты, уложить их в бизнес-модель.
Видео секции доступно по ссылке.
Приглашаем на Форум «Яркие краски креативных индустрий»
Приглашаем принять участие в Форуме «ЯРКИЕ КРАСКИ КРЕАТИВНЫХ ИНДУСТРИЙ» — ключевом мероприятии одноименного проекта, поддержанного Президентским фондом культурных инициатив. Форум включает деловую часть и концерт-исследование. Мероприятия Форума состоятся 11 июня 2024 г. Начало мероприятий запланировано на 13:00. Планируемая продолжительность, включая перерывы и концерт-исследование – 7-8 часов. В связи с ограниченным количеством мест в зале просим до 7 июня заполнить регистрационную анкету для направления в Ваш адрес официального именного приглашения.
Организаторы Форума — партнеры проекта АНО “Арт Гелиос”, АНО “Эволюция и филантропия”, ООО “Идеи и решения”.
На деловой части форума будут представлены результаты:
— исследований российского и международного опыта оценки социокультурных проектов, подходы, применяемые в российской и зарубежной практике, примеры использования инструментов оценки результатов и влияния творческих проектов;
— методической работы в пилотных регионах, которая включала апробирование некоторых инструментов для мониторинга и оценки ряда проектов и разработку логических схем их применения. Идеи и предложения, выработанные по итогам дискуссий, будут полезны потенциальным заявителям и грантополучателям, а также внешним независимым оценщикам и экспертам, в том числе региональным, отраслевым органам власти, другим заинтересованным лицам.
Надеемся, что проект «Яркие краски креативных индустрий» в дальнейшем станет постоянной экспертной площадкой для обмена опытом и лучшими практиками в сфере оценки, формирующей подходы к оценке влияния и результатов реализации социокультурных проектов и их влияния на различных уровнях.
Подтверждение участия, официальное приглашение и подробная информация с программой Форума будут направлены Вам по указанному в анкете адресу электронной почты.
Просим обратить внимание, что Президентский фонд не компенсирует приглашаемым участникам Форума расходы на проезд и проживание в г. Москве.
Развитие общей базы знаний в области МиО для кризисных центров было представлено на встрече 20 мая
20 мая в Москве прошла рабочая встреча руководителей и юристов организаций, имеющих в своем составе кризисные центры временного проживания для женщин с детьми, на которой Ольга Евдокимова рассказала о развитии общей базы знаний в области МиО для Кризисных центров. В частности, Ольга рассказала о наработках сообщества практиков в сфере оценки , которое развивалось в рамках проекта, реализованного АНО «Эволюция и Филантропия» в 2021- 2022 годах, представила онлайн-сервис «ПИОН» и продемонстрировала собранные там инструменты для кризисных центров. Также были представлены возможности обучения на онлайн-курсе «Оценка проектов и программ в сфере детства», очередной старт которого запланирован на лето 2024 года и сервисы проекта «Больше историй«, направленном на расширение применения практик вовлечения благополучателей в деятельность НКО сферы детства через использование сторителлинга для оценки программ (презентация).
Во время мероприятия участники встречи обсуждали вопросы оценки эффективности работы Кризисных центров. Был согласованы следующие ключевой показатель социальной эффективности: Количество решенных случаев (ребенок/cемья в безопасности, ребенок сохранен в семье и пр.) за определенный срок и за определенную сумму. При формулировании такого ключевого показателя сохраняется вариативность решаемой проблематики и учет сложности кейсов. При этом учитываются доступные для организации ресурсы. Что такое решенный случай организация может решить самостоятельно, определив необходимый минимум решенных задач с заданным качеством. Отдельно обсуждался вопрос — как оценить эффективность, если ребенок не смог остаться в семье. Было предложено оценивать качество работы и меру снижаемого вреда.
Критерием устойчивости может служить — количество семей, в которых результат сохраняется, например, в течение года или другого срока, определенным Кризисным центром. При этом важно обращать внимание и на устойчивость самой организации , на ее возможность быть эффективной в течение продолжительного времени. Для этого нужны показатели организационной и финансовой устойчивости. В разрезе этого обсуждался вопрос о роли информационной открытости в работе КЦ и об управлении «потоком клиентов». Было также отмечено, что для разных стейкхолдеров на разных этапах будут полезны разные наборы индикаторов
Какими инструментами можно пользоваться, чтобы измерять эти показатели?
- Административная отчетность (планы развития, например)
- Интервью на входе и выходе, сторителлинг через какое-то время, наблюдения администраторов и специалистов.
- Самооценка Кризисного центра, экспертные оценки и бенчмаркинг.
Какие сложные вопросы озвучивали участники?
- Границы подотчетности КЦ
- Решенный кейс или субъективное благополучие женщины
- Отсутствие бенчмарков, позволяющих сохранять ценность многообразия
- Вклад женщины и вклад КЦ в решение проблемы
- Как работать с негативной обратной связью
- Влияние показателей эффективности на гос. задание
На встрече был также проведен опрос участников о состоянии МиО в кризисных центрах, в котором приняли участие 15 специалистов.
33% ответили, что у них в организации был значительный прогресс в области МиО за последний год, 47% — что прогресс был незначительным, 13% сообщили, что прогресса скорее не было.
53% респондентов сообщили, что им скорее актуальная задача по развитию МиО в организации, 40% — что очень актуальна.
25 мая состоялся интерактивный воркшоп «Планирование и оценка социокультурного воздействия музейных проектов»
25 мая в Третьяковской галерее на Кадашевской набережной в рамках фестиваля «Интермузей» прошел интерактивный воркшоп «Планирование и оценка социокультурного воздействия музейных проектов«. В нем приняли участие около 30 специалистов.
Воркшоп провели: Наталья Сергиевская, генеральный директор Фонда «Будущее время», Ольга Евдокимова, исполнительный директор АНО «Эволюция и Филантропия», Ольга Заводилкина, эксперт АНО «Эволюция и Филантропия».
Ведущие воркшопа рассказали о реализации проекта «Яркие краски креативных индустрий» (презентация), продемонстрировали примеры выстраивания логической модели для оценки творческих проектов (презентация). Для участников воркшопа была организована работа в малых группах по формулированию результатов и подбору показателей для оценки проектов.
Воркшоп проходит в рамках проекта «Яркие краски креативных индустрий» (АНО «Арт-Гелиос», при поддержке Президентского фонда культурных инициатив).