И какая методология разработки будет определять развитие оценки
Новые подходы, методологии, инструменты тестирования и оценки — их количество растёт в геометрической прогрессии. Как HR разобраться, что из новых оценочных решений сможет заменить привычное — чтобы не пользоваться устаревшими инструментами? На что обращать внимание при выборе провайдера или разработчика психометрического инструмента?
Formatta запустила серию материалов о психометрике — о тех трендах и изменениях, которые будут определять эту область, а значит, и оценку персонала в ближайшие несколько лет. Сегодня речь пойдёт об объекте измерения, его усложнении и новых приёмах разработки инструмента для оценки сложных конструктов.
Латентные конструкты: объект измерения усложняется
Последние годы в оценке персонала мы всё больше смотрим не на внутренние черты и качества, а на то, как они сказываются на поведении на рабочем месте. Мы перешли от измерения внутренних черт и свойств человека к латентным конструктам, которые проявляются в поведении. Латентный — то есть невидимый: невозможно напрямую увидеть, сколько знаний или какие компетенции развиты у человека. Конструкт — это свойство, которое нам важно измерить.
Если раньше в образовании мы фокусировались на оценке знаний, в психологии — на оценке внутренних черт и личностных характеристик, а в HR — на поведении на рабочем месте, то с переходом к компетенциям грани между разными аспектами оценки стираются, нас всё больше интересуют сложные, многокомпонентные конструкты.
Латентные конструкты становятся едиными и важными для всех сфер. Так, последние ФГОСы уже формулируют образовательные результаты в терминах компетенций, хотя раньше это понятие было более распространённым именно в HR-среде. Мы измеряем более сложные конструкты, например, критическое мышление, креативность, умение работать в команде, которые основаны на целом комплексе когнитивных, аффективных и поведенческих аспектов.
Что усложнение объекта измерения значит для HR
Нас однозначно ждёт дальнейшее сближение измеряемых конструктов из разных сфер, и HR-специалистам в связи с этим важно понимать, что задача оценить персонал всегда будет сопровождаться большим выбором средств, методик и инструментов оценки. Ограничиваться инструментами, разработанными только для бизнес-задач, может быть непродуктивно: HR может опираться на методики и подходы, разработанные в образовательной и психологической сферах. Например, в образовании уже сейчас разработаны инструменты измерения информационно-коммуникационной компетентности для подростков, которые могут быть адаптированы для использования более взрослых людей, а в психологии существует множество валидизированных методик оценки социально-эмоциональных навыков, важных на рабочем месте.
Новые методологические приемы для измерения сложных конструктов: Evidence-Centered Design
Поскольку объект измерения становится сложнее и содержит целый комплекс предпочтений, убеждений и личностных черт, то для его оценки требуются более современные методологии. Evidence-Centered Design — ответ на этот запрос, это методология разработки тестов, построенная вокруг того, чтобы на всём протяжении создания и жизни инструмента получать свидетельства валидности его результатов (Mislevy, R. J., Almond, R. G., & Lukas, J. F. A brief introduction to evidence‐centered design. ETS Research Report Series, 2003). В русскоязычных статьях этот термин чаще всего фигурирует как систематический подход к разработке теста (например, Угланова, И. Л., Брун, И. В., & Васин, Г. М. Методология Evidence-Centered Design для измерения комплексных психологических конструктов. Современная зарубежная психология, 7(3), 2018).
В рамках методологии Evidence-Centered Design разработчики стремятся найти ответ на два основных вопроса:
1. Какие свидетельства компетентности (знаний, выраженности конструкта) тестируемого мы можем непосредственно наблюдать?
2. Как структурировать ситуацию тестирования, чтобы увидеть эти свидетельства?
В основе методологии — тщательное документирование процесса разработки инструмента. В отличие от классического подхода к разработке тестов, где есть спецификации с описанием измеряемого конструкта и тестовые буклеты с заданиями, в методологии Evidence-Centered Design фиксируются все шаги, которые совершают разработчики с обоснованием того, почему был сделан именно этот шаг, а не другой. Благодаря этому проще найти момент, в котором что-то пошло не так, например, привело к низкой дискриминативности или заоблачной трудности заданий.
Тщательное документирование каждого этапа процесса разработки трудозатратно, поэтому многие разработчики используют отдельные приёмы из этой методологии. Самые распространённые из таких приёмов — модель тестируемого, модель свидетельств и модель заданий.
1. Модель тестируемого отвечает на вопрос, что именно мы хотим измерить. Часто нам кажутся очевидными ответы на такие вопросы, но в этой модели всё описывается очень подробно. Разберем эту модель на примере критического мышления. Что такое критическое мышление? Описывается ли критическое мышление тестируемого одним итоговым баллом? Из чего состоит критическое мышление: какие знания, навыки (как когнитивные, так и моторные) составляют его суть? Будут ли эти знания и навыки описываться отдельными шкалами и баллами в отчёте или просто войдут в состав одной итоговой оценки? Как выглядят итоговые баллы за тест? Это непрерывная шкала от 0 до 100 или один из трёх уровней? Ответы на все эти вопросы описываются в этой модели и призваны описать тестируемого с точки зрения того, что мы получим в результате тестирования.
2. Модель свидетельств отвечает на вопрос, как мы делаем вывод, на что смотрим для формулирования выводов, как обновляем и обогащаем знание об участнике оценки по мере того, как он выполняет тестирование. Эта модель — про индикаторы, то есть наблюдаемое поведение в процессе тестирования. Модель свидетельств выстраивает взаимосвязь между тем, что мы хотим измерить, и тем, на что мы смотрим, когда делаем выводы, — на какие индикаторы / какое поведение. Покажу всё на том же примере критического мышления. Предположим, что этот конструкт состоит из 2 частей — умения анализировать и умения делать выводы. Модель свидетельств отразит взаимоотношения между этими частями, опишет их в терминах поведения, которое мы можем наблюдать в ситуации тестирования. Например, обращение к надёжным источникам информации, переход по определённым ссылкам в поисковике относится к анализу информации, а запись своего ответа с определёнными ключевыми словами — к умению делать выводы. Благодаря последовательному переходу от измеряемого конструкта к наблюдаемому поведению становится видно, на основании чего мы можем делать выводы, какие логические цепочки и переходы при этом используем. Всё это помогает чётко определить, какую информацию о тестируемых мы можем сообщать заказчику в отчёте, а какая — будет только нашим недоказанным предположением.
3. Модель заданий помещает всё это в контекст конкретного задания. Она описывает всё, что видит участник, что он может делать в этой системе тестирования, каких результатов может достигать, как и почему это даёт нам основание делать вывод о сформированности латентного конструкта. В случае с критическим мышлением модель задания будет полностью описывать все возможные действия, которые тестируемый может делать во время решения задания. Если используется симулятор поисковика, то сколько раз тестируемый может сформулировать поисковый запрос? Что об умении анализировать нам говорит то, что тестируемый сформулировал 10 разных запросов? А какой вывод мы сможем сделать, если он открыл всего 2 ссылки? Что нам говорит об умении делать вывод то, что тестируемый написал в ответе всего одно слово?
Разные модели в составе Evidence-Centered Design и вся методология в целом хорошо накладывается на сложные конструкты, которые измеряются в технически насыщенной среде, поэтому можно предположить, что в ближайшие годы разработка тестов и опросников будет опираться на эту методологию.
Что это значит для HR
Провайдеры будут предлагать инструменты, разработанные на основе новых, более современных методологий и приёмов. Evidence-Centered Design — один из них. Если вам важно получать ответы на сложные вопросы о своих сотрудниках иди кандидатах, при выборе провайдера и инструмента можно брать эту методологию или отдельные её части для того, чтобы обеспечить высокую валидность результатов, и, как следствие, хорошую предсказательную силу.
