Подпишись на свежие материалы в одной рассылке

Назад к главному

Эффект от обучения: как его оценить

Как понять, что обучение сработало как надо? После него сотрудники меняют поведение? Затраты окупаются в следующем квартале? Или оно бесшовно встраивается в систему развития, и у сотрудников нет проблем с применением полученных знаний?

Вместе с образовательным центром Verno, входящим в группу компаний red_mad_robot, разбираемся в методах оценки образовательных результатов и частых трудностях.

Комплексный подход Дональда Киркпатрика

Старейшая и самая цитируемая методика родом из 1950-х, которая, по сути, и не совсем методика. Киркпатрик не предлагает конкретного инструмента для оценки. Он выделяет четыре уровня образовательного результата, которые можно проанализировать с помощью качественных и количественных методов. Оценивать предлагается со стороны учащихся, организаторов обучения, а также заказчиков, если реализацией занимается провайдер.

1. Реакция учащихся

Что можно оценить: образовательный дизайн и контент, работу преподавателей (экспертов, ведущих, модераторов).

Способы оценки: прямые опросы, наблюдения и замеры, например, посещаемости, активности на занятиях, объёма выполненных заданий, доходимости до финала, удовлетворённости и готовности рекомендовать обучение коллегам (индексы NPS и CSI).

Первый уровень самый поверхностный. Он показывает, нравится ли учащимся программа и организация обучения, интересно ли учиться, полезно и сподручно ли всё устроено. Удобно, что так можно выловить и быстро исправить досадные недостатки. Но встречаются и противоречивые мнения. Ведущего курса могут одновременно назвать и слишком заумным, и недостаточно глубоким. Одному нравятся вебинары, другой не хочет тратить на них время, для третьего слишком много текста и т. д.

2. Научение

Что можно оценить: как учащиеся поняли материал, хорошо ли его усвоили, уверенно ли ориентируются в нём.

Способы оценки: тесты, индивидуальные и групповые задания, открытые вопросы и обсуждения, аналитические записки.

Тесты и опросы позволяют сделать «моментальный снимок» учащегося или группы. Но надёжным этот способ не назвать: результаты будут отличаться, если учащиеся плохо сфокусированы на тесте, потому что устали или торопятся. А вот по решениям задач и обсуждениям видно, готовы ли они применять знания, навыки и инструменты в работе. Также по результатам можно увидеть, подходящие ли выбраны задания и достаточно ли времени дано на освоение и отработку материала.

3. Изменение поведения

Что можно оценить: достигнуты ли образовательные цели, действуют ли сотрудники так, как планировалось, после завершения обучения.

Способы оценки: наблюдение и контроль выполнения рабочих задач, интервью, аттестация (ассессмент) или селф-ассессмент.

Наблюдения и замеры на этом уровне имеют смысл, если ведутся в динамике, иначе результаты обучения не с чем сравнить. На каком уровне учащиеся владели навыками раньше и как владеют сейчас? Какие индикаторы указывали на это тогда и указывают теперь?

Чтобы получить ответы, ещё до начала проектирования образования нужно определить, каким компетенциям мы будем учить, разложить их на уровни владения и каждому приписать поведенческие индикаторы — т. е. контрольный список кейсов, с которыми может справиться человек.

Дальше договориться, до какого уровня мы прокачиваем учащихся на программе и что хотим видеть в ближайшей зоне развития — через 3-6 месяцев рабочей практики. Трудоёмко, зато после будет понятно наверняка, получилось или нет.

4. Бизнес-результат

Что можно оценить: стала ли команда быстрее справляться с определёнными задачами? Увеличилось ли число людей, владеющих конкретными навыками на конкретном уровне? Улучшилось ли качество производства, уменьшилось ли количество ошибок? Стало ли больше работ, которые выполняет компания? Больше ли проектов и клиентов? Сократилась ли текучка сотрудников? Улучшилась ли мобильность внутри компании?

Способы оценки: наблюдения и подсчёты на уровне подразделений и всей компании в динамике (матрицы компетенций, финансовая и HR-аналитика), отзывы клиентов.

Чтобы система сложилась, нужно построить структуру результатов сверху вниз — от верхнеуровневых целей до желаемых компетенций и их индикаторов. Должна получиться связка: цели компании → цели подразделения → цели обучения. Это карта, по которой сначала идёт провайдер, а затем её развивает тот, кто поддерживает обучение в компании — HR-служба, образовательное направление, руководители подразделений.

В дальнейшем модель Киркпатрика не раз изменяли и дорабатывали: например, модель CIPP (контекст, вводные, процесс, продукт) или модель CIRO (контекст, вводные, реакция, результат). Авторы этих подходов советуют внимательнее соотносить между собой:

  • стратегию компании и потребности в обучении сотрудников,

  • планы развития и доступные ресурсы,

  • результаты обучения и поставленные цели.

Метод расчёта возврата вложений

Он добавляет классической модели Киркпатрика ещё один уровень. Его автор, экономист Джек Дж. Филлипс предложил оценивать образовательный эффект с помощью расчёта коэффициента ROI (Return on Investment) — т. е. зависимости между вложением в обучение и последующей выгодой.

В расходы включены затраты на организацию и производство образовательного продукта, а также стоимость отвлечения сотрудников от рабочих задач на время учёбы.

Вроде бы всё прозрачно: чем выше прибыль компании (а вместе с ней и ROI), тем эффективнее было обучение. Но есть нюанс: чтобы увидеть, как обучение повлияло на финансовый результат, нужно изолировать его от других факторов.

Простой пример: мы месяц учили менеджеров работать с потребностями клиентов и отвечать на возражения. Замерили квартальный ROI, он оказался выше предыдущих. Обучение проходило в конце года, а перед праздниками продажи обычно растут. А ещё руководство в это время как раз увеличило бюджет на маркетинг. Где тут эффект от обучения, а где — от сезонности и стимулирования продаж, трудно разобрать.

На это же в начале 1990-х обратил внимание психолог и специалист по обучению Роберт О. Бринкерхофф. По его мнению, не бывает автономного эффекта от обучения. Это лишь один из факторов, связанный с другими: со зрелостью рабочих процессов, налаженной коммуникацией, стилем руководства и т. д. Результаты от обучения не будут высокими, если в системе есть другие проблемы.

Чтобы выяснить, что влияет на образовательный эффект, Бринкерхофф предлагает метод положительных примеров. Нужно интервьюировать сотрудников, разделив на две фокус-группы, — наиболее и наименее успешных учащихся. Учащиеся сами оценивают пользу от обучения, отвечая на вопросы: «Насколько обучение изменило ваш подход к делу?», «В какой степени вы применяете новые знания/навыки в работе?». Дальше сотрудников каждой группы просят ответить подробнее:

  • Насколько обучение помогает вам улучшить рабочие результаты?

  • Что в компании помогает (помогло бы) вам успешно учиться и показывать высокие результаты? Что стоило бы поддерживать и укреплять?

  • Что стоит изменить (улучшить), чтобы помочь вам достигать лучших результатов?

Теперь можно изучить опыт успешных учащихся и попробовать масштабировать его для всех сотрудников. Опыт менее успешных учащихся указывает на недостатки (например, нехватку своевременной обратной связи или слабую поддержку руководителя), которые полезно исправить.

Какие выводы можно сделать:

  1. 1_

    Способа быстро оценить образовательную разницу «было–стало» ещё не придумали, и вряд ли он когда-нибудь появится.

  2. 2_

    Маловероятно и то, что обучение может создать видимые изменения, если параллельно не работать над процессами, не налаживать и не укреплять коммуникацию.

  3. 3_

    Организацию обучения (программу, материалы, форматы, работу ведущих) и глубину освоения материала оценить проще всего — с помощью опросов, наблюдения и диагностики.

  4. 4_

    Для анализа более глубоких изменений (развитие сотрудников и подразделений, улучшение финансовых результатов) обучение нужно встроить в систему управления, использовать единую систему оценки компетенций, вести наблюдения и подсчёты в динамике.

Больше о том, как организовать обучение и работу команд, в телеграм-канале «Не мешайте людям работать».

Чтобы получить пробную консультацию по прокачке ваших ИТ-команд, пишите Паше Бунтману из Verno.

Авторы текста: Анастасия Зальцман, Артур Сахаров. Редактор: Татьяна Павлова. Автор иллюстраций: Дарья Щеголютина.

Наша рассылка

В ней только самое важное: новости, кейсы, немного аналитики. Присылаем два раза в месяц.