👀 이 콘텐츠에 집중해야 하는 분!
👉 “장된 응답과 거짓말,대체 어떻게 검증하는 거람??” 막막함을 느껴본 적 있는 분인성 검사, 성격 검사 정말 믿을 수 있는 거야?” 한 번이라도 의심 해 본적이 있는 분들
AI역량검사에서는 어떻게 지원자의 거짓말을 가려내고 있을까요? AI역량검사는 굉장히 높은 정확도를 확보하고 있고, 그 비결 중 하나에는 응시자의 거짓말에 대응할 수 있는 최신의 연구를 바탕으로 설계된 검사 도구가 있지요.
AI역량검사가 거짓말을 방지, 검증하는 노하우를 시점에 따른 세 가지 Step으로 소개 해보고자 합니다. 먼저 Step 1. 검사 전에 지원자가 거짓말을 하기 힘든 검사를 설계하고, Step2. 지원자가 검사 중 나타내는 응답왜곡을 탐지하죠. 그리고 Step3. 검사 후에는 검사 결과에서 왜곡이 미치는 영향을 최소화시키는 전략을 취하고 있습니다. 더 자세히 알아볼까요?
AI역량검사의 자기 보고 설문 방식(Self report)은 지원자들의 응답 왜곡을 조기에 방지할 수 있도록 설계하여, 지원자의 특성을 보다 안정적이고 정확하게 측정하고 있습니다.
먼저, AI역량검사는 설문 과정에서 강제 선택(Forced-choice)방식을 리커트(Likert scale) 방식과 혼합하여 활용합니다. 이전 컨텐츠[지원자의 거짓말에 속고 있나요? 거짓말 방지 노하우 공개 1편]에서 소개했던 것처럼, 이상적인 응답 방향이 다소 드러나는 리커트 방식에 비해 강제 선택 방식은 특정한 방향이 존재하지 않아 응답 왜곡을 막기 좋습니다. 하지만, 강제 선택 방식은 선택이 제한적이라 개인 간의 비교가 까다롭다는 단점이 있어요. 우수한 인재를 가려내어야 하는 선발 장면에서는 치명적인 단점일 것입니다.
따라서 AI 역량검사에서는 리커트와 강제 선택 방식을 혼합하여, 두 방식의 강점을 취한 측정 방식을 활용하고 있답니다. AI 역량검사에서는 총 4가지 설문 방식을 활용하는데, 각 설문에서는 리커트 방식과 강제 선택 방식, 그리고 둘을 혼합한 측정 방식을 모두 활용됩니다. 리커트 방식을 통해 개인 내 특성을 확인함과 동시에, 강제 선택 방식과 혼합 방식을 함께 활용하여 응답 왜곡을 통제할 수 있지요. 추가적으로, 서로 다른 설문에 응답한 답변이 지원자의 역량 정보를 측정하는 데 상호 보완적으로 활용되기 때문에, 응답 왜곡의 영향력 역시 줄일 수 있어요.
AI역량검사는 또한 온라인 기반 시스템을 활용하기 때문에 문항 별 제한 시간이 존재하며, 한번 선택한 문항은 수정이 불가능하도록 설계되었습니다. 거짓말을 시도하려 할 때, 정상적으로 응답을 할 때와 비교해 응답 시간이 같지는 않겠지요. 응답 시간은 응답 왜곡과 큰 연관을 가지는 요인 중 하나입니다a,b. AI역량검사는 문항별 제한시간을 통해 과도한 긍정 인식 왜곡이나 불성실한 답변을 사전에 방지하도록 합니다.
AI역량검사는 응시자의 응답 값과 더불어 반응속도, 패턴 등의 행동 데이터를 함께 측정합니다. 이러한 응답 값과 행동 데이터를 바탕으로 응시자의 응답 왜곡 정도를 추측할 수 있는 결과 지표를 제공하지요. 응답 신뢰 지표는 아래와 같이 총 네 가지로 구분하여 검증됩니다.
|
1. 미응답: 응답하지 않은 문항이 많아 불성실한 응답이 이루어졌다고 판단되는 경우 |
특히 ‘응답 비일관성’ 지표의 경우 서로 다른 설문 과제에서 실시되는 응답 간 상호 비교가 가능해 지원자의 응답 왜곡을 면밀하게 살필 수 있으며, ‘긍정 편향’은 사회적 바람직성 척도를 포함하여 여러 과제에서 나타나는 긍정적 왜곡을 측정하고 있어 지원자들의 응답 왜곡을 효과적으로 판별할 수 있습니다.
AI역량검사에서 제공하는 결과표에서는 이러한 신뢰 지표를 바탕으로 지원자 결과의 응답 신뢰 가능성을 ‘신뢰 가능’ 또는 ‘신뢰 불가’로 제시합니다. 신뢰 불가 평가를 받으면 어떠한 부분에서 신뢰 불가에 걸렸는지 키워드가 함께 제시되는데요(미응답, 이상패턴, 응답 비일관성, 긍정 편향), 이러한 신뢰 가능성 지표를 바탕으로 해당 지원자의 선발 결정에 도움이 될 수 있도록 하고 있습니다.
#토막 분석!! 실제 응시자들은 어느 정도의 응답 신뢰 현황을 보일까?아래 통계는 2022년 상반기에 마이다스에 지원한 약 9,000명의 지원자를 대상으로 분석한 결과입니다. 가장 많은 비율로 잡힌 지표는 ‘긍정 편향’이었습니다. 반면 가장 적은 비율로 잡힌 지표는 ‘미응답’이었군요!
|
AI역량검사는 응시자의 응답 패턴 분석을 바탕으로, 응답 왜곡과 긍정 편향의 영향력을 줄인 결과 점수를 산출하고 있습니다. 다시 말해 응답 왜곡 없이 일관적인 응답을 실시하여 신뢰 가능성이 높은 응시자들이 안정적인 평가를 받고, 신뢰 불가능한 수준으로 긍정 편향을 보이는 응시자들의 점수가 과하게 높아지는 것을 막도록 합니다.
또한, AI 역량검사에서는 자기보고식 검사뿐 아니라 게임 등 다른 측정 방법론을 활용하여 지원자의 역량을 통합적으로 측정합니다. 즉, 검사 하나만으로 지원자에 대한 평가를 하지 않고, 다양한 측정방법론을 통합적으로 고려하여 정확한 역량을 측정할 수 있도록 하고 있지요. 이런 통합적 스코어링 방식은 응답 왜곡이 미치는 영향을 최소화할 수 있습니다. 아래 그림에서도 살필 수 있듯이, 실제로 긍정 편향이 높은 집단의 왜곡된 점수가 실제 통합 스코어링 점수에서는 조정되는 것을 확인할 수 있어요.
이번 컨텐츠에서는 특히 자기 보고식 검사에서 나타날 수 있는 지원자의 거짓말에 대해 알아보고, 지원자의 거짓말을 어떻게 판단할 수 있는지에 대한 방법론, 그리고 AI역량검사에서 지원자의 거짓말을 방지하고 검증하는 노하우에 대해 소개 해 보았습니다.
지원자의 거짓말은 채용 프로세스 전반에 존재하고, 인사 담당자가 실제로 지원자를 마주할 수 없는 인성검사 등의 자기 보고 검사 역시 마찬가지입니다. 많은 인사 담당자가 이러한 자기 보고식 검사의 한계점에 대해 파악하고 있을 것입니다. 하지만 ‘어차피 탈락을 위한 허들’로 활용될 것’이라며 이에 대한 큰 고민을 하지 않는 경우도 적지 않습니다. 그러나 응답 왜곡이 전체 점수, 순위, 선발 결정에까지 영향을 미칠 수 있는 만큼, 왜곡을 방지하고 지원자의 특성을 정확하게 평가할 수 있는 방법은 진지하게 고민되어야 할 문제입니다.
AI역량검사는 다양한 측정 방법론으로 응시자가 거짓말을 하기 어려운 설문을 구성하고, 설문 중 응시자의 다양한 신뢰 가능성 지표를 수집하고, 이를 바탕으로 신뢰할 수 있는 정보를 제공함으로써 이러한 문제를 해결하기 위해 힘쓰고 있습니다.
[참고문헌]
이은정, & 박동건. (2003). 성격 검사의 응답왜곡 탐지: 직무 바람직성의 개념화 및 선발 결정에의 영향. 한국심리학회지: 산업 및 조직, 16(2), 121-151.