СтатьяЧему учить и что получилось
4 уровня метрик эффективности коротких программ обучения
NPS и CSAT не показывают, применяют ли сотрудники навык. Рассказываем, как мы построили систему метрик для коротких программ обучения по модели Киркпатрика: от реакции и усвоения до применения и передачи знаний.
Измерить, как обучение изменило работу сотрудника, сложно, потому что новый навык он начинает применять только через несколько недель после занятия. За это время у него могут смениться задачи или требования руководителя, а каждая такая перемена тоже отражается на рабочих показателях. Отделить от этих перемен эффект обучения почти не удается.
Проблемы начинаются еще при выборе метрик.
- Команда обучения часто подбирает метрики постфактум, под показатели, которые бизнес уже отслеживает, например выручку отдела или число закрытых сделок. Обучение влияет на эти цифры косвенно, поэтому по ним нельзя понять, изменилась ли работа сотрудника на самом деле.
- CSAT и NPS показывают, считают ли участники программу полезной и готовы ли они ее рекомендовать, но ничего не говорят о том, применяют ли они навык. Большинство других распространенных метрик рассчитаны на курсы длиной в несколько месяцев, а у короткой программы нет ни домашних заданий, ни промежуточных проверок.
- Даже если мы найдем подходящую метрику, ее сложно сравнить с отраслевыми данными. Исследователи проводят замеры на разных этапах обучения и по собственной методике, а как именно считали показатель, описывают далеко не всегда.
Со всем этим мы столкнулись, когда создавали систему метрик для спринтов — коротких программ, нацеленных на один навык и рассчитанных не больше чем на три занятия или полторы недели.
В основу системы мы положили модель Киркпатрика и подобрали метрики для каждого из четырех ее уровней. Для длинных курсов часть из них придется доработать.
Уровень 1. Реакция
На первом уровне мы оцениваем, как участники воспринимают программу и сколько из них проходят ее до конца. Эти данные быстро показывают, подходит ли участникам формат обучения. Усвоение материала они не отражают, его мы измеряем на втором уровне.
Для первого уровня мы используем три метрики:
- NPS показывает, готовы ли участники рекомендовать программу людям с похожими задачами;
- CSAT показывает, насколько полезным участники считают каждое занятие;
- CR показывает, какая доля участников доходит до конца программы.
NPS — готовность рекомендовать
NPS — единственная метрика первого уровня, для которой есть отраслевые бенчмарки. Компании давно и широко применяют эту метрику, поэтому мы можем приблизительно сравнить с бенчмарками свой результат.
Как считать NPS
После последнего занятия мы просим участника оценить по шкале от 0 до 10, насколько вероятно, что он порекомендует обучение. Участники, поставившие 9 или 10 баллов, относятся к промоутерам, а поставившие от 0 до 6 относятся к критикам. Оценки 7 и 8 считаются нейтральными. Ни к одной группе они не относятся, но входят в общее число ответов.
NPS рассчитывается по формуле:
NPS = доля промоутеров (%) − доля критиков (%)
Значение лежит в диапазоне от −100 до 100. Например, если из 100 участников 60 поставили 9 или 10 баллов, а 15 поставили от 0 до 6, NPS составит 60 − 15 = 45.
В классическом варианте вопроса участник отвечает, посоветует ли он курс коллегам. В корпоративном обучении такая формулировка искажает результат. Если маркетолог в отделе один, ему некому порекомендовать программу по маркетингу, и его низкая оценка ничего не говорит о качестве обучения.
Поэтому в вопросе мы называем, кому именно участник мог бы порекомендовать программу. Например, после спринта по работе с текстами мы спрашиваем, порекомендовал бы участник обучение человеку, который регулярно пишет рабочие тексты. В таком виде NPS показывает еще и то, насколько полезной участник считает программу для работы с текстами.
CSAT — удовлетворенность занятием
CSAT показывает, насколько полезным участник считает занятие для своей работы. Поэтому оценка зависит прежде всего от содержания занятия. Другая метрика, CSI (Customer Satisfaction Index), измеряет все остальное: как говорит спикер, насколько удобна платформа, как быстро отвечает поддержка.
Как считать CSAT
После каждого занятия участник ставит оценку по шкале от 1 до 10, где 1 означает «занятие было бесполезным», а 10 означает «теперь я могу что-то изменить в своей работе». Оценки от 8 до 10 показывают, что участник получил пользу, оценка 7 нейтральная, а оценки ниже 7 означают, что участник не понимает, как применить материал.
CSAT занятия рассчитывается по формуле:
CSAT занятия = число оценок от 8 до 10 / общее число оценок за занятие × 100%
CSAT программы мы рассчитываем так же, но по всем ответам за все занятия сразу:
CSAT программы = число оценок от 8 до 10 за все занятия / общее число оценок за все занятия × 100%
К концу программы участников становится меньше, поэтому первые занятия дают больше ответов и сильнее влияют на CSAT программы.
CSAT отдельных занятий мы разбираем в двух случаях: когда оценки последних занятий заметно отличаются от первых и когда одно занятие в разных потоках получает оценки ниже остальных. Во втором случае мы проверяем содержание, формат и подачу этого занятия.
CR — доходимость
CR показывает, какая доля участников дошла от стартовой точки программы до конечной. В отличие от NPS и CSAT, для CR не нужен опрос участников, потому что показатель считается по данным о посещаемости.
В спринте из двух занятий участник проходит три точки: регистрацию, первое занятие и второе занятие. Стартовой точкой мы берем регистрацию или первое занятие, конечной точкой служит второе занятие.
CR рассчитывается по формуле:
CR = число участников в конечной точке / число участников в стартовой точке × 100%
Чем ниже CR, тем меньше участников мы сможем оценить на третьем и четвертом уровнях, потому что применение и передачу знаний мы проверяем только у тех, кто дошел до конца.
Универсального бенчмарка для CR не существует по двум причинам. Во-первых, авторы открытых исследований часто не указывают, между какими точками считали показатель: от регистрации до первого занятия, от первого занятия до последнего или от регистрации до конца программы. Для каждого из этих отрезков CR получится разным, поэтому мы не можем сравнить такие цифры со своими.
Во-вторых, CR зависит от длительности программы и от того, как в нее набирали участников. У годового курса и трехдневного интенсива доходимость различается уже из-за срока. Сотрудники, которые записались по массовой рассылке, обычно доходят до конца хуже, чем команда, которой навык нужен для текущего проекта, даже при одинаковом содержании обучения.
Поэтому мы сравниваем CR с предыдущими запусками похожих программ в той же компании. В них совпадают и длительность, и способ набора участников, а значит, разница в цифрах говорит о самом обучении. Если сравнивать пока не с чем, для коротких форматов мы ориентируемся на CR около 60% от первого занятия до последнего. Когда показатель заметно ниже, мы проверяем расписание, нагрузку участников и то, понимают ли они, зачем им обучение.
Вывод
Метрики первого уровня отвечают на три вопроса:
- NPS показывает, готовы ли участники рекомендовать программу людям с похожими задачами и как этот результат выглядит на фоне отраслевых бенчмарков;
- CSAT помогает найти занятия, которые участники считают бесполезными для своей работы;
- CR сообщает, сколько участников дошло до конца программы и, значит, у скольких мы сможем проверить применение навыка.
Если участники готовы рекомендовать программу, считают занятия полезными и доходят до конца, мы переходим ко второму уровню и проверяем, что они усвоили.
Уровень 2. Усвоение
Участник может поставить занятию 10 баллов и уже на следующий день не воспроизвести ни одного разобранного приема. CSAT фиксирует, насколько полезным участник считает занятие, но не показывает, разобрался ли он в материале.
Поэтому на втором уровне мы используем собственную метрику CM, которая проверяет, что участник понял на занятии.
СM (content mastery) — усвоение контента
Сразу после занятия мы задаем два-три вопроса на понимание терминов, разобранных приемов и разницы между подходами. Например, на спринте по исследованиям мы спрашиваем, чем промпт для анализа конкурентов отличается от исследовательского. Вопросы мы составляем заново для каждой программы, потому что они проверяют именно ее материал.
Верный ответ получает 1 балл, неверный получает 0. Мы рассчитываем CM по формуле:
CM = число верных ответов / общее число ответов × 100%
Например, если группа дала 80 верных ответов из 100, CM составит 80%.
До запуска мы узнаем, с каким уровнем подготовки придут участники, и проектируем программу под него. Поэтому низкий CM прежде всего говорит о том, что нужно пересмотреть содержание и подачу занятия.
Уровень 3. Применимость
Третий уровень показывает, пользуется ли сотрудник новым навыком в работе и экономит ли на этом время. Именно ради таких результатов бизнес и заказывает обучение. Они появляются не сразу, поэтому первые два уровня мы оцениваем сразу после занятия, а замер третьего проводим через четыре недели. За этот срок участник успевает несколько раз столкнуться с задачами, на которые рассчитан спринт.
Бывает, что участник высоко оценил занятие и верно ответил на все вопросы, но за месяц ни разу не применил навык. В таком случае мы пересматриваем содержание спринта и проверяем, совпадают ли разобранные примеры с ежедневной работой участников.
На третьем уровне мы используем четыре метрики:
- TUF (tool usage frequency) показывает, стал ли участник чаще пользоваться инструментом после обучения;
- AR (approach replication) проверяет, может ли участник сам повторить сценарий с занятия и использовать результат в работе;
- TS (time saved) показывает, сколько времени сотрудник экономит на типовой задаче;
- TR (transfer rate) проверяет, может ли сотрудник перенести подход с занятия на задачу, которой в программе не было.
TUF и TS сравнивают показатели до и после обучения, поэтому частоту использования инструмента и время на задачу мы фиксируем еще до старта спринта.
TUF (tool usage frequency) — частота использования инструмента
TUF показывает, изменилась ли частота использования инструмента после обучения. Например, до спринта руководитель обращался к ИИ несколько раз в месяц, а после обучения стал использовать его в каждом обзоре рынка. Значит, руководитель встроил ИИ в регулярную задачу.
По возможности мы берем данные из внутренней статистики инструмента и заранее договариваемся, что считать использованием. Иначе в показатель попадут случайные открытия, тестовые запросы и другие действия, не связанные с работой.
Через четыре недели мы считаем среднюю частоту использования за этот период и сравниваем ее с исходной. Мы рассчитываем TUF по формуле:
TUF = (частота после − частота до) / частота до × 100%
Если до спринта руководитель обращался к ИИ два раза в месяц, а после стал обращаться четыре раза, TUF составит +100%.
Если до обучения участник инструментом не пользовался, за исходную частоту мы принимаем один раз в месяц. У таких участников прирост получается заметно выше, чем у остальных: переход от нуля к четырем обращениям в месяц дает +300%. Поэтому при разборе результатов по группе мы считаем их отдельно, чтобы они не завышали средний TUF.
AR (approach replication) — повторение сценария
AR проверяет, смог ли участник сам повторить сценарий с занятия и довести его до полезного результата. Через четыре недели мы спрашиваем участника, выполнял ли он такую задачу и что сделал с результатом.
Второй вопрос важнее, потому что карту конкурентов можно построить и положить в стол. Если карта не повлияла ни на решение, ни на следующий шаг, мы не засчитываем этот случай в AR. Мы рассчитываем AR по формуле:
AR = число ответов, где участник повторил сценарий и применил результат / общее число ответов × 100%
Например, если из 20 ответов в 12 участник сам построил карту конкурентов и опирался на нее при выборе следующего шага, AR составит 60%.
TS (time saved) — экономия времени
TS подходит не каждому спринту. Метрика имеет смысл, когда программа учит сокращать время на задачу, как спринты по работе с ИИ.
Время на типовую задачу мы замеряем дважды: до начала обучения и через четыре недели после него. Восстановить исходное время задним числом не получится, потому что участники редко точно помнят, сколько часов тратили на задачу.
TS рассчитывается по стандартной формуле экономии времени:
TS = (время до − время после) / время до × 100%
В формулу мы подставляем среднее время по группе до обучения и после него. В расчет идут только ответы участников, которые довели задачу до конца, потому что длительность незавершенной работы не с чем сравнить.
Например, если раньше обзор рынка занимал в среднем два рабочих дня (16 часов), а после обучения стал занимать три часа, TS составит около 81%.
С данными других компаний TS мы не сравниваем. Если задача занимала три дня, экономия половины времени освобождает полтора дня, а если четыре часа, только два часа.
TR (transfer rate) — перенос на новые задачи
Через четыре недели мы просим участника описать случай, когда он перенес подход с занятия на задачу, которой в программе не было: что это была за задача, как он действовал и что сделал с результатом.
Например, на спринте по исследованиям участники учились готовить обзор рынка в три шага: сформулировать, что нужно узнать, задать критерии сравнения и попросить ИИ свести данные о конкурентах в таблицу по этим критериям. После спринта руководитель повторил те же шаги с отзывами клиентов. Он сформулировал, что хочет понять о продукте, задал критерии и попросил ИИ разложить отзывы по ним.
Мы рассчитываем TR по формуле:
TR = число участников, описавших случай переноса / число участников, прошедших программу целиком × 100%
Мы ожидаем, что TR будет ниже AR, потому что повторить знакомый сценарий проще, чем распознать подход в незнакомой задаче. Зато перенос лучше показывает, насколько глубоко участник понял материал.
Вывод
Метрики третьего уровня показывают, что изменилось в работе участника за месяц после спринта:
- TUF фиксирует, стал ли инструмент частью рабочих задач;
- AR проверяет, доводит ли участник сценарий с занятия до результата, на который опирается в решениях;
- TS выражает результат обучения в сэкономленных часах, то есть в цифре, понятной бизнесу;
- TR проверяет, умеет ли участник применять подход там, где на занятиях его не разбирали.
Набор метрик мы выбираем исходя из того, чему учит спринт. Если он учит пользоваться инструментом, например ИИ для обзора рынка, мы смотрим на TUF и TS, то есть на то, пользуется ли участник инструментом и сколько времени экономит. Если речь о подходе, который не привязан к инструменту, например о способе формулировать исследовательский вопрос, частота использования и время на задачу почти ничего не скажут, поэтому мы опираемся на AR и TR.
Когда участники применяют навык сами, остается понять, переходит ли он от участника к его коллегам. На этот вопрос отвечает четвертый уровень.
Уровень 4. Амбассадорство
В классической модели Киркпатрика на верхнем уровне оценивают результаты для бизнеса, вплоть до ROI. Для коротких форматов это не подходит: за несколько недель между часовым или двухчасовым занятием и финансовым результатом на бизнес влияет слишком много факторов, и выделить из выручки эффект обучения нельзя.
Поэтому мы используем другой показатель — передачу знаний в команде. Если участник может объяснить подход коллеге и применять его в общей работе, значит, знание закрепилось.
KS (knowledge sharing) — передача знаний в команду
KS показывает, начал ли участник передавать подходы со спринта своей команде. Через четыре недели мы спрашиваем участника, показывал ли он подход коллегам. Участник выбирает один из трех ответов: «да», «нет» или «планирую». Мы рассчитываем KS по формуле:
KS = число ответивших «да» / число участников, прошедших программу целиком × 100%
Например, если из 20 участников, прошедших спринт, пятеро показали команде, как собирать карту конкурентов с помощью ИИ, KS составит 25%.
Ответ «планирую» помогает компании увидеть, кто из участников готов делиться подходом, но в KS мы его не засчитываем, потому что передачи знаний еще не было.
Чтобы понять, что именно участник передал коллегам, мы просим его описать такой случай. Описания не входят в формулу, но по ним видно, кому и в какой работе пригодился подход.
Все метрики системы мы свели в одну таблицу. По ней видно, на какой вопрос отвечает каждая из них, как ее считать и что мы меняем в программе, если показатель оказался низким.

Сбор данных
В итоге система опирается на три точки замера.
- До начала обучения мы фиксируем исходные значения для TUF и TS: как часто участник использует инструмент и сколько времени у него обычно занимает типовая задача.
- Сразу после занятий мы проверяем реакцию и усвоение: просим оценить занятие и программу и задаем несколько вопросов по материалу, а по посещаемости считаем CR.
- Через четыре недели мы оцениваем применимость и амбассадорство. Часть данных мы собираем опросом, часть берем из внутренней статистики инструментов.
Без изменений от программы к программе переносится только первый уровень, и даже в нем мы подстраиваем формулировку вопроса NPS под аудиторию. Метрики усвоения и применения мы настраиваем под каждую программу. Для CM мы составляем вопросы по ее материалу, а метрики третьего уровня выбираем в зависимости от того, чему она учит.
Итог
Готовая система метрик работает, пока программа похожа на ту, под которую ее создавали. Короткие спринты устроены иначе, чем длинные курсы, на которые рассчитано большинство распространенных метрик, поэтому для них нам пришлось разработать собственную систему метрик.
Собственная система метрик нужна и тогда, когда бизнесу мало данных об удовлетворенности участников. NPS и CSAT говорят о том, как участники оценивают обучение, а метрики третьего и четвертого уровней показывают, пользуются ли сотрудники навыком, сколько времени экономят и делятся ли подходом с командой.
Если вы захотите попробовать систему у себя, проще начать с одной программы, например со спринта из трех занятий по одному навыку. В таком формате на результат влияет меньше посторонних факторов, потому что в нем одна группа, один навык и короткий срок. Весь цикл замеров занимает около полутора месяцев, включая четырехнедельную паузу перед третьим уровнем.