В июле мы провели промежуточную оценку процесса реализации Программы «Система измерения и оценки для программ в области социального сиротства: онлайн-сервис, экспертная поддержка и вдохновляющие кейсы» (ПИОН).
Цель оценки: Выявить точки роста Программы и мнение участников 1 группы Программы относительно хода реализации Программы (соответствие ожиданиям) и направлений ее развития.
Инструмент: анонимное анкетирование.
Краткие выводы: Все респонденты ответили, что их ожидания от участия в Программе в основном оправдываются. Это очень важно, так как Программа была, в определенном смысле пилотной для российского рынка и очень важно было с самого начала четко коммуницировать ее цель, задачи, ключевые активности. Судя по ответам участников 1 группы – это удалось выполнить. Участники отметили, что наличие «четких правил игры» и «контрольных точек» помогало реализовывать Программу. Важнейшим фактором успеха Программы респонденты называли поддержку кураторов: «Общение с куратором — ключевой фактор в продвижении фонда в понимании системы оценки для нашей программы». Также единично упоминались такие факторы как организованные очные мероприятия, поддержка и вовлечение руководства. Ключевым препятствием была нехватка времени у сотрудников. Некоторые респонденты также отметили, что отсутствие четкого целеполагания программ затрудняло создание систем измерения и оценки, что подтверждается выводами по итогам Экспертных советов. Некоторые респонденты отметили определенную рассогласованность между экспертами в плане толкования специфических терминов, а именно в плане определения того, что такое показатель/индикатор и как он должен описываться.
Это важное замечание, которое мы постараемся учесть в рамках нашей деятельности в Межпрофессиональном объединении «Оценка в сфере детства».
Также отмечалось довольно большое, по мнению респондентов, количество таблиц для заполнения. Были даже предложения сразу использовать онлайн-сервис ПИОН, минуя бумажный вариант и другие печатные формы. Мы примем это замечание к сведению. Из предложений по совершенствованию Программы также звучало «Разбить процесс создания (или пересмотра) матрицы результатов и разработки индикаторов на более мелкие шаги». На наш взгляд, в теории процесс был разбит на довольно мелкие шаги, однако на практике это могло не получиться.
Респонденты отмечали полезность обучающих мероприятий, хотя просили сделать их более подробными и конкретными. Форматы проводимых мастер-классов (которые проводят эксперты-добровольцы) дает только базовое представление о теме и, возможно, необходимо корректировать систему проведения обучающих мероприятий, чтобы у участников была возможность более глубокого погружения в тему. Наиболее сложным оказался мастер-класс «Анализ данных». Надо сказать, что посещаемость обучающих мероприятий участниками 1 группы была очень высокой, тоже самое можно сказать и о показателе открытия информационных рассылок.
Информационные рассылки, по ответам респондентов, были «достаточно» полезными. Особый интерес представляют ответы участников 1 группы по поводу того, что им удалось уже сделать в процессе реализации Программы. Вопросы, в основном можно разбить на 2 группы: (1) Cоздание/внедрение чего-то нового (новые показатели, новый процесс вовлечения стейкхолдеров, созданная «с нуля» система МиО; и (2) усовершенствование уже имеющейся системы МиО. В течение ближайших 3-х месяцев участники 1 группы планируют доработать свои системы МиО в соответствие с индивидуальными планами и на основании рекомендаций Экспертных советов. Эти планы, в основном, связаны с методами сбора данных, вовлечением стейкхолдеров и группировкой показателей.