SJT × AI
За последний год искусственный интеллект стал полноценным рабочим инструментом HR-команд. Его всё чаще используют при разработке инструментов оценки: нейросеть может за несколько минут проанализировать модель компетенций, предложить рабочие ситуации, сформулировать задания и подготовить варианты ответов. Особенно велик соблазн поручить ей разработку SJT: создавать кейсы вручную долго, а нейросеть делает это быстро и уверенно.
Но означает ли это, что после генерации заданий тест готов к использованию? Нет. Искусственный интеллект действительно способен радикально ускорить разработку SJT — но только в том случае, если понимать, где заканчиваются возможности нейросети и начинается работа методолога.
Разработка SJT — это не просто написание набора кейс-вопросов. Ведь ситуационный тест оценивает не столько знания или реальное поведение человека в моменте, сколько тот вариант действий, который он считает наиболее правильным в конкретной рабочей ситуации.
Качество инструмента зависит от того, насколько точно задания отражают требования бизнеса, корпоративный контекст и модель компетенций, а также опираются на опыт людей, которые действительно сталкиваются с подобными ситуациями в работе.
В этой статье разберём, какие этапы разработки SJT действительно можно ускорить с помощью AI, а какие по-прежнему требуют тщательного экспертного взгляда.
Определяем, что вообще должен измерять тест
Это этап, который начинается еще до написания первого задания. Нужно понять:
- зачем создается тест;
- кто его будет проходить;
- какие компетенции мы оцениваем;
- как результаты будут использоваться;
- какие ограничения есть у будущего инструмента.
На этом же этапе важно решить еще один вопрос: подходит ли выбранная компетенция для оценки через SJT вообще. Не все конструкты одинаково хорошо измеряются ситуационными тестами. Например, креативность или навыки публичных выступлений требуют реального выполнения задачи, а не выбора одного из нескольких готовых вариантов ответа. Если пропустить этот этап, можно получить невалидный инструмент.
Где помогает AI
AI может помочь структурировать мысли и оформить рабочие материалы.
Где AI лучше не использовать
Нельзя просить нейросеть решить, что именно стоит оценивать через SJT.
Например, она вполне может предложить оценивать нестандартное мышление через выбор одного из четырех вариантов ответа. Формально задача будет выполнена, но методологически это будет неверно, поэтому именно человек должен определить архитектуру будущего инструмента.
Собираем фактуру
Когда цели и критерии оценки определены, начинается сбор фактуры — реальных рабочих кейсов, примеров поведения и типичных ошибок сотрудников.
Источниками могут быть:
- внутренние регламенты;
- обучающие материалы;
- интервью с экспертами и сотрудниками;
- фокус-группы.
Сама модель компетенций не является достаточной основой для разработки SJT. Она задает критерии оценки, но не отвечает на главный вопрос: как эта компетенция проявляется в реальной работе.
Где помогает AI
AI хорошо помогает анализировать большие объемы документов. Если у компании накоплены десятки обучающих материалов, нейросеть может:
- выделить основные темы;
- сопоставить материалы с компетенциями;
- структурировать информацию;
- найти повторяющиеся паттерны поведения.
Где AI лучше не использовать
Нейросеть не может заменить сбор фактуры. Нельзя передать ей модель компетенций и попросить «сгенерировать ситуации для компании»: у модели нет собственного опыта работы в этой организации, данных о её реальных ситуациях и понимания того, какое поведение в них считается правильным.
Более того, интервью, обсуждения с экспертами и фокус-группы все равно должен проводить человек. Эксперты и так не всегда готовы подробно отвечать на вопросы, а если вместо человека им предложить общаться с нейросетью или заполнять формальные анкеты, качество данных может резко снизиться.
Кроме того, фактуру нужно фиксировать структурированно. Нейросеть не угадает, к какой компетенции относится пример, если в конспекте это не обозначено. Особенно если компетенции похожи между собой: например, развитие других и обучаемость.
Живой интервьюер может уточнить детали, попросить привести конкретный пример, заметить противоречия и отличить общие рассуждения от действительно полезной фактуры. Именно поэтому сбор информации остается зоной ответственности человека.
Обрабатываем собранную информацию
После интервью и анализа документов появляется большое количество сырых материалов:
- конспекты;
- цитаты;
- примеры поведения;
- рабочие ситуации.
Прежде чем переходить к разработке заданий, этот массив нужно превратить в структурированную основу: сгруппировать материалы по компетенциям и индикаторам, отделить описание ситуации от поведения и его последствий, убрать дубли, отметить противоречия и пробелы.
Использовать нейросеть как основного эксперта и воспринимать её результат как итоговый. AI может структурировать и редактировать материалы, но не определить за человека, какие наблюдения методологически значимы и что считать правильным, частично правильным или неправильным поведением.
Где помогает AI
На этом этапе нейросеть можно использовать для механической обработки разрозненных материалов. Например, по заданной инструкции она может собрать их в Excel-файл и разнести фактуру по ячейкам и столбцам. Но результат всё равно требует строгой проверки методолога: верно ли распределена информация и ничего ли не потеряно.
Также AI можно поручить первичный анализ данных: создать в Excel сводные таблицы и показать, сколько ситуаций собрано по каждой компетенции и везде ли хватает примеров правильного и неправильного поведения.
Создаем ситуации и варианты ответов
До подключения в работу AI методолог задаёт механику задания: суть ситуации, оцениваемый индикатор, а также то, какое поведение считается правильным, частично правильным и неправильным.
После этого нейросети можно передать эту информацию вместе с моделью компетенций и собранной фактурой. На такой основе AI помогает добавить реалистичные детали, оформить ситуацию и вопрос, сбалансировать объём вариантов ответов. Если эксперты предложили мало вариантов поведения, нейросеть может расширить список, но решение о том, что брать в работу и как оценивать, остаётся за человеком.
Где помогает AI
Здесь нейросеть можно использовать практически как стажера. Она быстро создает первый драфт, который затем дорабатывает эксперт.
Где AI лучше не использовать
Нельзя воспринимать полученный результат как готовый тест. Каждый кейс нужно проверять: реалистична ли ситуация, действительно ли она связана с нужной компетенцией, нет ли слишком очевидного правильного ответа, различаются ли варианты по качеству поведения.
Неправильный подход — загрузить вводные, получить набор кейсов и сразу запускать тестирование.
То есть нейросеть лучше использовать в двух ролях:
Создаем несколько вариантов теста
После того как задания готовы, возникает еще одна задача — сделать так, чтобы тест не становился слишком узнаваемым.
Для этого разрабатываются несколько вариантов одного и того же задания. Смысловая конструкция остается одинаковой, но меняются детали:
- имена;
- должности;
- подразделения;
- цифры;
- прочий контекст, не содержащий важных для решения задачи условий.
Где помогает AI
AI быстро сгенерирует множество эквивалентных вариантов одного кейса без необходимости переписывать всё вручную.
Это одна из тех задач, с которыми современные языковые модели справляются особенно хорошо. Если смысловая конструкция задания уже разработана человеком, нейросеть способна быстро создать несколько «клонов»: заменить подразделение, изменить роли участников, скорректировать цифры или детали ситуации, не меняя при этом проверяемую механику поведения.
Где AI лучше не использовать
Человек должен проверить, не изменился ли контекст настолько, что нарушилась исходная механика задания: какое поведение в этой ситуации считается правильным, частично правильным и неправильным.
Одновременно нужно убедиться, что «клон» по-прежнему измеряет ту же компетенцию.
Проверяем задания
После генерации начинается экспертная верификация. Именно здесь становится понятно, насколько задания работают в реальной жизни.
Где помогает AI
Можно использовать нейросеть как дополнительного редактора:
- проверить формулировки;
- найти языковые шероховатости;
- сделать стиль единообразным.
Где AI лучше не использовать
Содержательную проверку.
Только эксперт способен оценить:
- насколько ситуация реалистична;
- нет ли слишком очевидного ответа;
- действительно ли задание измеряет нужную компетенцию.
Отдельного внимания требуют неверные варианты ответов — так называемые дистракторы. Хороший неправильный ответ должен быть не абсурдным, а правдоподобным и реалистичным.
Если участник сразу видит очевидно «глупый» вариант, диагностическая ценность задания резко снижается. В качественном SJT даже ошибочные ответы должны выглядеть реалистично и быть такими, которые реальные сотрудники действительно могут выбрать.
Проводим апробацию и нормирование
После экспертной верификации начинается апробация, или пилотирование, на представителях целевой аудитории, а затем — нормирование результатов.
Апробация показывает, как участники понимают ситуации, какие ответы выбирают, где возникают неоднозначности, нет ли слишком очевидного «правильного» варианта и позволяют ли задания дифференцировать сотрудников с разным уровнем развития компетенции.
Где помогает AI
На этом этапе AI полезен прежде всего в технической работе с данными. Он может:
- помочь подготовить формулы и логику расчётов;
- рассчитать частоты выбора ответов и сводные показатели;
- собрать результаты в таблицы Excel и построить графики;
- подготовить первичную сводку результатов для проверки специалистом.
Расчёты и выводы AI нужно проверять: специалист отвечает и за качество исходных данных, и за корректность формул, и за интерпретацию результата.
Где AI лучше не использовать
Апробацию заменить нейросетью нельзя. Тест обязательно нужно проверять на реальных представителях целевой аудитории: только ответы реальных людей, основанные на их интерпретации вопросов и реальном опыте, покажут значимые данные.
Даже контекст прохождения теста влияет на результаты. Например, при сравнении внешней и внутренней апробации оказалось, что сотрудники компании заметно чаще выбирали правильные варианты ответов, тогда как внешние участники гораздо чаще ошибались.
Это подтверждает, что понимание корпоративного контекста напрямую влияет на прохождение SJT и ещё раз показывает, почему проверка на целевой аудитории обязательна.
Вывод
AI может быть полезен в разработке SJT, но только как инструмент внутри процесса, а не как замена всего.
Он помогает анализировать материалы, структурировать фактуру, редактировать текст и создавать «клоны» заданий. Но он не должен самостоятельно определять цель оценки, выбирать компетенции, решать, что можно оценивать через SJT, проводить содержательную верификацию и заменять апробацию на реальных людях.
Хороший SJT требует держателя методологии — человека, который понимает логику оценки, ограничения инструмента и качество заданий. Нейросеть может ускорить работу этого специалиста. Но если использовать её как единственного разработчика, на выходе можно получить не инструмент оценки, а просто набор правдоподобных текстов.
