👉 응답 왜곡의 탐지 및 방지에 대한 최신 트렌드를 상세히 알아보고 싶은 분
👉 정확한 지원자 평가를 위해 어떤걸 고려해야 할까? 고민해본적이 있는 분
인사 선택을 위해 지원자의 성향을 평가하는 것은 이제 자연스러운 일이 되었고, 많은 기업에서 인성 검사와 같은 자기 보고식 테스트를 통해 지원자의 직무 적합성 및 조직 적합성을 측정하고 있습니다. 하지만 이러한 테스트는 지원자가 사회나 기업이 바랄 것이라 생각되는 방향으로 응답하는 ‘거짓말’에 취약하다는 큰 단점이 있습니다. 이러한 거짓말을 주로 응답 왜곡(Faking)이라고 부르지요(지원자의 거짓말이 무엇인지, 어떻게 검증되고 있는지 궁금하다면, [지원자의 거짓말에 속고 있나요? 거짓말 방지 노하우 공개 (1)]를 읽어보세요)
지원자가 자신의 선발 가능성을 높이기 위해 왜곡된 응답을 한다면, 선발 결정에 직접적으로 영향을 미칠 수 있어 기업에서 원하는 적격한 인재를 고용할 가능성은 낮아지게 됩니다. 따라서 선발 방법(인성검사 등)의 정확성을 떨어트리고(정확성에 대한 자세한 내용이 궁금하다면, [우리 회사 선발 도구는 정확한 걸까? 당신만 모르는 정확도 기준]을 확인해 주세요.) 낮은 신뢰도를 가지도록 합니다(신뢰도에 대해 더 알고 싶다면, [아침에 본 채용 결과와 저녁에 본 채용 결과가 다르다? 믿을 수 있는 선발도구 고르는 기준]을 확인해 주세요). 지원자의 거짓말을 방지하거나, 탐지하거나 때로 보정할 수 있는 방안을 찾는 것은 채용담당자뿐 아니라 조직과 인사를 연구하는 학자들에게도 매우 중요한 주제입니다. 오늘은 지원자의 거짓말을 탐지하기 위해 학계 연구들에서 제시하는 세 가지 전략을 함께 알아보겠습니다.
먼저, 응시자가 응답 중에 왜곡을 시도하였을 가능성이 있는지 판단할 수 있는 문항 지표를 활용하는 전략이 있습니다. 대표적으로는 사회적 바람직성(social desirability) 척도가 있지요. 사회적 바람직성 척도에서는 응시자가 사회적으로 바람직한 모습을 보여주고자 하는 경향을 측정합니다.
이는 많은 성격검사에서 활용되고 있는 방법론a이지만, 많이 쓰이는 만큼 개선이 필요하다는 이야기도 다양합니다. 예를 들어, 사회적 바람직성에 대한 답변이 정말로 그 사람의 솔직한 성향에 따른 것일 수 있다는 의견도 있지요b. 따라서 최신 연구들에서는 사회적 바람직성과 유사한 특성을 가지면서도 독립적인 척도를 만들기 위해 노력하고 있습니다.
이를테면 ‘과잉 주장(overclaiming)’ 척도가 있습니다. 과잉 주장은 자신의 지식 수준 등을 과장하는 정도인데, 예를 들어 ‘신사임당을 알고 있다.’ 와 ‘후암 이현주 선생을 알고 있다’라는 질문에 답한다고 해 봅시다. 이 때 실존하지 않는 역사적 인물인 ‘후암 이현주 선생’에 대해 잘 알고있다고 응답한다면, 왜곡된 응답을 하는 응시자일 수 있다는 것이죠.
한 연구에서는 이러한 과잉 주장 항목을 포함하여 자기보고식 성격 평가를 실시했습니다c. 거짓 명제에 어떻게 대답하는 지에 따라 점수 계산을 조정하였는데, 그 결과 실제로 왜곡으로 인한 오류를 억제하고 점수의 타당성을 높일 수 있다는 것을 검증했어요. 더불어 또 다른 연구에서는 과잉 응답이 어떠한 성격적 측면과도 무관하기 때문에 더욱 효과적인 척도라는 것을 주장하기도 했지요d.
[거짓말을 하는 응시자와 진실된 응시자의 응답 패턴 차이가 나타나는 문항을 찾았어요!]
특정한 왜곡 의도를 측정하는 것이 아니더라도, 거짓말을 하는 응시자와 솔직하고 진실된 응시자의 응답 패턴 차이를 분석하여 거짓말을 판별할 수 있는 척도를 만들고자 하는 시도도 있습니다. 한 연구는 특히 직무 수행 능력과 관계가 모호하거나 전반적 의미가 모호한 경우에, 응답 왜곡을 행하는 응시자들에게서 비정형적인 응답 분포가 나타나는 것을 살피기도 했지요e. 해당 연구에서는 이를 활용할 때, 왜곡된 응답의 25%을 탐지해 낼 수 있다고 밝혔습니다. 정말 솔직하게 응답한 참가자를 거짓말쟁이로 몰아가는 경우는 1% 미만이었고요!
질문에 응답하는 속도 역시 응답 왜곡을 탐지하기 위해서 관심을 가지고 연구되고 있는 주제입니다. 만약 여러분이 설문에 거짓으로 응답을 하게 된다면 답하는 데 시간이 더 오래 걸릴 것 같은가요? 혹은 더 빨리 걸릴 것 같은가요? 사실 이에 대해서는 학자들의 의견이 분분합니다. 거짓말을 하려면 생각이 필요하니 반응이 느려질 것이라는 주장이 많은 편이지만f, 느려지지 않거나g 도리어 빨라진다h는 의견도 있거든요.
그래서 최근 연구들에서는 거짓말과 진실된 응답 사이에 나타나는 응답 속도의 차이를 더욱 안정적으로 파악할 수 있는 방법들에 대해 고심하고 있습니다. 예를 들어서, 개인별 반응 시간의 차이를 검증 기준으로써 제안하는 연구가 있습니다i. 비교 기준이 되는 문항(Known-true Control Question)과 다른 바람직성(integrity) 문항 들의 반응 시간의 차이를 계산하는 것인데, 왜곡된 응답을 하는 경우 솔직한 응답을 할 때보다 두 문항 간 응답 속도의 차이가 더 크게 두드러진다는 것이지요. 해당 연구에서는 개인 내 속도 차이를 척도(DSI; difference score index)로 적용하였을 때, 일반적인 응답 시간을 활용할 때보다 26%의 왜곡 사례를 더 많이 잡아낼 수 있었고, 솔직한 응답을 거짓말이라고 잘못 판단하는 것은 53% 줄일 수 있었다고 밝혔습니다.
[왜곡된 응답을 하는 경우 문항에 따라 응답 속도에 영향을 받기도 해요]
또 다른 연구에서는 반응 시간의 차이를 보이는 패턴에 대해 분석하기도 합니다j. 연구자들은 응답 속도가 응시자의 왜곡 의도와 문항의 질문 방향이 일치하는지 아닌지에 따라 영향을 받는다고 주장합니다. 즉, ‘긍정적 왜곡’을 실시하는 중이라면 긍정적인 문항에서 빠르게, ‘부정적 왜곡’을 실시하는 중이라면 부정적인 문항에서 빠르게 응답한다는 것이지요. 응답 지연 경향을 바탕으로 왜곡 집단 여부를 탐지하였을 때, 약 60.27%의 적중률을 보였다고 합니다. 연구자들은 이러한 복합적인 측면까지 고려한다면 응답 왜곡 탐지가 더욱 정교해질 것이라 이야기하고 있어요.
최신 연구들에서는 머신러닝 기법을 적용하여 응답 왜곡을 분류해내려는 시도도 이어지고 있습니다. 연구자들은 지원자들이 거짓말을 시도하는 방법이 매우 다양하고, 고도화될 수 있다는 것을 지적합니다k. 응답 왜곡 척도 등은 거짓말을 하는 지원자가 보이는 특정한 패턴만을 측정하기 때문에 한계를 가진다는 것이지요. 거짓말이 능숙한 지원자라면 이런 탐지 기준을 요령 좋게 벗어날 수도 있고요. 그렇다면 위에서 소개한 연구와 같이 거짓말 의도를 가진 응시자와 정직한 응시자 간 응답 패턴의 차이를 분석하는 것이 도움이 될 수 있지만, 각 문항에 대해서 어떠한 차이가 나타나는지 하나하나 분석하는 것은 평가자에게 있어서 큰 부담이 되겠지요.
이러한 맥락에서 연구자들은 머신러닝 기법 적용을 논의합니다. 머신러닝 알고리즘을 활용한다면 평가자가 컴퓨터에게 어떤 지시를 일일이 주지 않아도, 주어진 데이터를 바탕으로 학습을 통해 특정 결과를 예측할 수 있는 모델을 형성하도록 할 수 있어요. 다시 말해서 거짓말을 하는 응시자와 정직한 응시자가 가지는 차이점 패턴을 학습시킨 ‘분류기(Classifier)’를 만들어서 거짓말 탐지에 활용할 수 있다는 것이지요!
처음으로 머신러닝을 활용해 지원자의 응답 왜곡 탐지를 시도한 Calanna 등의 2019년 연구에서는l, BIG5 성격검사를 하면서 ‘거짓말을 하도록 한 집단’과 ‘솔직히 응답하도록 한 집단’의 데이터 두 개를 잘 분류할 수 있도록 학습을 시킨 모델을 만들었을 때, 약 82%의 정확도로 거짓말로 응답한 응시자를 구분 해 낼 수 있었다고 해요.
최신 연구에서는 더 나아가서, 응답 왜곡의 다양한 경우를 나누어 살피고도 있어요m. 이를테면 자기 보고 설문을 실 시할 때 거짓말의 방향(긍정적으로 편향을 시도하는 경우와 부정적으로 편향을 시도하는 경우)이나, 시험에 대한 정보를 가지고 있는 지 여부, 또는 거짓말로 응답하는 것을 연습 해 본 적 있는지 여부를 모두 고려해 봤지요. 이 때 경우에 따라 정확도의 크기는 달랐지만 모두 거짓말을 잘 판별해 낼 수 있었어요.
이번 콘텐츠에서는 지원자의 거짓말을 잡아내기 위한 학계의 연구 흐름을 함께 살펴보았습니다. 특히 지원자가 사회적으로 바람직하고자 하는 경향이나 자신의 지식을 과장하려는 경향이 얼마나 드러나는지, 일반적인 지원자와 다른 응답 패턴을 나타내는지 확인하는 문항 지표를 바탕으로 왜곡 의도를 측정하는 법. 그리고 정직한 응시자와 다른 응답 시간을 바탕으로 왜곡 의도를 측정하는 법에 대하여 알아봤어요. 또 머신러닝 기법을 적용해보려는 시도까지 살펴보았습니다.
이렇게 학계에서는 응답 왜곡을 잡기 위한 많은 시도가 이루어지고 있습니다. 이는 거짓말을 탐지하여 정확한 평가를 할 수 있도록 하는 것이 채용 과정에서 그만큼 중요하다는 의미일 거에요. 앞으로는 이러한 연구들이 실제 선발 도구에 어떻게 활용이 되게 될까요?
[참고 문헌]
a. Goffin, R. D., & Christiansen, N. D. (2003). Correcting personality tests for faking: A review of popular personality tests and an initial survey of researchers. International Journal of Selection and assessment, 11(4), 340-344.
b. Ziegler, M., MacCann, C., & Roberts, R. (Eds.). (2012). New perspectives on faking in personality assessment. Oxford University Press.
c. Bing, M. N., Kluemper, D., Davison, H. K., Taylor, S., & Novicevic, M. (2011). Overclaiming as a measure of faking. Organizational Behavior and Human Decision Processes, 116(1), 148-162.
d. Bensch, D., Paulhus, D. L., Stankov, L., & Ziegler, M. (2019). Teasing apart overclaiming, overconfidence, and socially desirable responding. Assessment, 26(3), 351-363.
r. Kuncel, N. R., & Borneman, M. J. (2007). Toward a new method of detecting deliberately faked personality tests: The use of idiosyncratic item responses. International Journal of Selection and Assessment, 15(2), 220-231.
f. Vendemia, J. M., Buzan, R. F., & Green, E. P. (2005). Practice effects, workload, and reaction time in deception. The American journal of psychology, 118(3), 413-429.
g. Holden, R. R., Wood, L. L., & Tomashewski, L. (2001). Do response time limitations counteract the effect of faking on personality inventory validity?. Journal of Personality and Social Psychology, 81(1), 160.
h. Holden, R. R., Kroner, D. G., Fekken, G. C., & Popham, S. M. (1992). A model of personality test item response dissimulation. Journal of Personality and Social Psychology, 63(2), 272.
i. Fine, S., & Pirak, M. (2016). Faking fast and slow: Within-person response time latencies for measuring faking in personnel testing. Journal of Business and Psychology, 31(1), 51-64.
j. Holden, R. R., & Lambert, C. E. (2015). Response latencies are alive and well for identifying fakers on a self-report personality inventory: a reconsideration of van Hooft and Born (2012). Behavior Research Methods, 47(4), 1436-1442.
k. Meade, A. W., Pappalardo, G., Braddy, P. W., & Fleenor, J. W. (2020). Rapid Response Measurement: Development of a faking-resistant assessment method for personality. Organizational Research Methods, 23(1), 181-207.
l. Calanna, P., Lauriola, M., Saggino, A., Tommasi, M., & Furlan, S. (2020). Using a supervised machine learning algorithm for detecting faking good in a personality self‐report. International Journal of Selection and Assessment, 28(2), 176-185.
m. Röhner, J., Thoss, P., & Schütz, A. (2022). Lying on the dissection table: Anatomizing faked responses. Behavior Research Methods, 1-27.