👉매번 문항 유출에 부정행위에… 선발도구 관리에 어려움을 겪어본 사람
“게임으로 인재를 선발할 수 있다고?” 의문이 드셨나요? 게임을 응용한 선발도구는 이미 해외에서도 주목하고 있는 채용의 트렌드입니다. 이번 콘텐츠에서는 게임으로 사람을 평가하는 원리와 그래서 정말 성과를 잘 내는 사람을 뽑을 수 있는 건지 실제 예시를 기반으로 함께 살펴보시죠!
미국 육군에서 2002년 출시된 아메리카 아미(America’s Army)나 2018년 미 공군 모집을 위해 만들어진 게임 에어맨 챌린지(Airman Challenge) 의 사례처럼 해외에서는 오래전부터 게임을 채용 과정에 도입하여 좋은 성과를 거둬왔어요. 이미 해외에서는 게임 기반 평가 방식이 글로벌 채용 트렌드로 자리 잡았습니다a.
국내에서는 2018년 마이다스아이티가 최초로 게임 방식을 채용 프로그램에 적용한 ‘역검(역량검사)’를 출시한 이후로 꾸준히 게임을 채용에 도입하는 기업이 증가하고 있고, 2022년도 상반기 기준으로는 총 630개의 기업이 역검을 사용하고 있어요. 성장하는 시장에 관심을 가진 후발주자들도 뒤늦게 게임 형식의 검사를 활용한 채용 도구들을 선보이려 노력하고 있습니다. 대체 게임 기반 평가는 뭐가 다르길래 보수적인 채용 시장에서 주목받는 기술이 되었을까요?
게임 기반 평가가 주목받고 있는 이유를 알아보려면 먼저 게임이 가진 특성을 살펴볼 필요가 있습니다. 흔히 게임의 가장 큰 특징은 “재미”라고 생각하시는 분들이 많을 텐데요. 사실 게임의 정말 중요한 특성은 정해진 목표와 규칙을 바탕으로, 주어진 문제 상황을 해결해 나가는 과정입니다. 이 과정에서 사람들은 자연스럽게 게임에 집중하고, 반응하게 되는 것이고 재미는 그 과정의 부산물이라고 할 수 있어요.
그런데 이 주어진 목표와 규칙을 바탕으로 문제 상황을 해결해 나가는 것, 조직에서 우리가 매일 일을 하는 모습과 닮아 있습니다.
채용을 위해 사람을 평가하는 선발도구가 갖추어야 할 가장 중요한 특성은 ‘실제 조직에서 생활할 때’의 지원자의 모습을 잘 예측하는 것입니다(정확한 예측이 얼마나 중요한지 궁금하다면, [우리 회사 선발도구는 정확할까? 당신만 모르는 정확도 기준]을 확인해보세요).
이때, 지원자의 모습을 잘 예측하기 위해서는 사용하는 선발도구가 현실 세계의 원리를 잘 반영하고 있는지가 중요해요. 이렇게 특정 도구가 현실 세계에서의 모습을 잘 반영할 수 있는지를 생태학적 타당도(ecological validity)라고 부르기도 해요.
우리가 흔히 사용하는 인성검사나 적성검사는 조직에서 일을 할 때 우리가 주어진 질문에 답변만 하거나 주어진 문제를 정답에 맞게 푸는 게 아니라는 점에서 생태학적 타당도가 매우 낮은 검사라고 할 수 있습니다. 채용 도구 중에서는 표준화된 조건에서 지원자가 실제 수행하게 될 직무를 경험해 보는 작업표본검사(Work Sample Test)가 생태학적 타당도가 높은 도구의 한 예라고 할 수 있지만, 개발 비용이 높고, 모든 직무에서 광범위하게 활용할 수 있는 방법은 아니라는 단점을 가지고 있어요.
여기서도 알 수 있듯이 무조건 현실을 똑같이 반영하는 것만이 중요한 것은 아니에요. 측정하고자 하는 바를 명확하게 정의하고 필요한 수준의 자연성과 복잡성을 갖추는 것이 중요합니다b. 역검에서는 게임을 이용해서 자극과 반응의 간단한 구성을 통해 다양한 직군, 직무에 광범위하게 적용 가능한 능력을 측정하면서도, 다양한 자극물을 활용하는 여러 게임에서의 반응을 종합하여 현실 세계에서의 행동을 정확하게 추론할 수 있는 도구를 만들었습니다.
게임을 활용해서 구체적으로 어떤 것들을 알 수 있을까요? 실제 역검에서 사용하고 있는 게임들을 예로 들어서, 게임을 통해 지원자의 어떤 특성을 알 수 있는지 함께 확인해 볼게요.
게임을 통해 가장 쉽게 파악해 볼 수 있는 것은 “지원자가 주어진 게임의 목표와 규칙을 이해하고 달성할 수 있는지”입니다. 이는 업무를 할 때 가장 기본적으로 갖추어야 할 능력이라고 할 수 있어요.
역검의 게임들은 기본적으로 응시자에게 명확하게 게임의 목표를 제시하고 이를 규칙에 맞게 달성하는지를 확인하고 있습니다.
한 예로 역검에는 ‘개수 비교하기’라는 게임이 있습니다. 이 게임의 목표는 아주 간단해요. 화면에 짧게 제시된 단어들을 보고 왼쪽과 오른쪽의 단어 중 어떤 단어의 개수가 더 많은지 선택하는 것인데요. 이렇게 명확한 규칙이 주어짐에도 불구하고 일부 잘못된 정보로 인해서 무조건 긍정적인 단어를 골라야 긍정적인 사람으로 보여서 좋다는 낭설이 돌기도 해요. 하지만 이는 사실이 아닙니다. 긍정적인 의미를 담고 있는 단어들만 선택하는 경우 게임의 목표를 정확하게 달성하지 못한 행동이라고 할 수 있어요.
역검에서는 이렇게 게임의 목표를 잘못 추론하는 경우나 사전에 게임의 목표를 숙지할 수 있도록 명확한 튜토리얼과 피드백을 제공했음에도 의도적으로 다른 응답을 하는 경우, 긍정 편향 혹은 이상 패턴 감지 등의 알람을 제공하여 응시자가 게임에 성실하게 임했는지, 규칙과 목표를 잘 이해할 수 있는 사람인지를 검증하고 이를 손쉽게 파악할 수 있도록 돕고 있습니다.
두 번째로 응시자의 인지 능력을 파악할 수 있어요. 인지 능력은 다양한 변인들 중 가장 높은 성과 예측력을 가진 변인이에요
역검에서는 다양한 인지 능력을 측정하고 있습니다. 그중에서도 앞서 언급한 ‘개수 비교하기’에서 알 수 있는 게 무엇인가요?”라고 묻는다면? 바로 “수 인지력”을 알 수 있습니다. 국제 학술지 ‘네이처(Nature)’에 발표된 연구 결과에 따르면, 동물은 물론 사람에게는 짧은 시간 안에 수를 파악할 수 있는 수 감각(Number sense)이 있다고 해요. 명시적으로 숫자를 세지 않더라도 대부분의 사람이 한눈에 대략적인 숫자를 정확하게 파악할 수 있을 뿐만 아니라, 이 능력이 실제 수학이나 연산 능력을 높은 정확도로 예측할 수 있다고 합니다.
흔한 적성검사의 자료해석이나, 수학 시험으로 응시자의 능력을 측정할 경우 문항 유출과 학습효과 방지를 위해 매번 새로운 문항을 만들어야만 합니다. 또 부정행위를 방지하기 위한 장치들이 필요해서 시험 운영에 심혈을 기울일 수밖에 없어요. 반면, 이렇게 ‘개수 비교하기’와 같은 게임을 활용하여 측정을 하게 되면, 매 응시마다 문항이 자동으로 생성되고 문항 유출과 부정행위의 가능성이 원천 차단될 수 있겠죠.
더욱이, 따로 학습하는 것이 어려운 ‘반응’을 측정하고 있기 때문에 기존 적성검사를 위한 과외, 학원 등 추가적인 사회 비용 없이 공정하게 응시자의 ‘역량’을 평가할 수 있습니다. 역검에서는 이렇게 수많은 연구 결과와 축적된 데이터를 바탕으로 다양한 역량을 정확하게 측정하기 위해 끊임없이 노력하고 있습니다.
목표 달성 능력이나 인지능력을 알아보는 것도 게임의 효과라고 할 수 있지만, 게임을 활용한 측정 방식의 가장 큰 장점은 인지적인 능력 이외에도 응시자의 다양한 행동 패턴에 대한 정보를 수집할 수 있다는 점이에요. 이를 활용해서 응시자를 이해하고 성과를 예측하는 데에 도움이 되는 성향까지도 파악할 수 있습니다.
한 가지 예로, 자소서에 흔히 작성하는 ‘저는 꼼꼼하고 세심한 성격을 가지고 있습니다’ 대신, 실제 응시자가 정확한 반응을 위해 천천히 응답하는지, 아니면 빠른 응답을 위해서 일정 부분 정확도를 포기하는 사람인지 응답 패턴을 확인함으로써 응시자의 성향을 정확하게 알 수 있어요.
물론 일을 빠르고 정확하게 할 수 있다면 가장 BEST겠지만, 일반적으로 꼼꼼하게 살펴보고 의사결정을 내리는 경우 시간이 상대적으로 오래 걸리게 되고, 의사결정이 빠르게 이루어질수록 실수가 발생하기 쉬운 경향이 있습니다. 이를 심리학에서는 Speed-Accuracy Tradeoff라고 불러요. 어떤 성향이 무조건적으로 좋다기보다는, 시간이 걸리더라도 꼼꼼하게 정보를 확인하는 것이 더 중요한 업무인지 조금 오차가 생기더라도 빠르게 다양한 시도를 해보는 것이 중요한 업무인지에 따라 더 적합한 성향이 있을 수 있습니다.
역검에서는 게임에서 얻은 응시자의 정답 데이터와 응답 시간 데이터, 그리고 조건마다 달라지는 반응 정보를 조합하여, 거짓 응답이나 응답 왜곡 없이 데이터에 기반해서 정확하게 성향을 파악하고c, 직군/직무별 고성과자의 특성을 반영하여 가장 적합한 인재를 선발할 수 있도록 도울 수 있습니다.
게임을 통해 알 수 있는 다양한 정보와 게임 평가 방식의 장점에도 불구하고, 개인의 능력이 아니라 게임을 즐겨 하고 잘하는 사람들을 뽑는 게 아닌지, 게임에 익숙하지 않아서 차별받는 사람이 생기는 건 아닌지에 대한 우려도 있어요. 하지만 걱정은 잠시 접어 두셔도 될 것 같습니다. 적어도 역검에서는 말이죠.
먼저, 역검에서는 ‘게임을 잘하는지’에 집중하지 않습니다! 앞서 이야기했던 것처럼 게임을 잘하는 것보단, 목표를 잘 달성하는지를 확인하고, 무엇보다 목표를 달성하는 과정에서 나타나는 반응 정보를 주요하게 관찰하여 응시자의 성향을 파악하는 데에 집중합니다.
또, 게임에 익숙하지 않은 사람도 누구나 잘 응시할 수 있도록 과제를 구성했어요. 과제를 응시하기 전 과제 설명과 연습 게임과 피드백을 통해 모두가 과제를 정확하게 이해한 상태에서 과제를 응시할 수 있도록 돕고 있고, 전체 검사를 온라인에서 누구나 응시할 수 있도록 공개하여 게임에 익숙해진 상태에서 편안하게 본인 그대로의 역량을 발휘할 수 있도록 돕고 있습니다. (지금 당장 응시해 보러 갈 수도 있어요!) 이 모든 것이 역량검사에서 제공하는 게임에서는 문항 유출에 대한 걱정이나 학습 효과에 대한 걱정이 없기 때문에 가능한 일입니다.
- 게임에서 목표/자극을 주고 문제에 대처/해결해 나가는 과정이 조직에서 하는 일과 닮아 있어요.
- 게임을 통해 목표를 정확하게 이해하고 달성할 수 있는 능력은 물론이고 학습효과나 문항 유출에 대한 걱정 없이 성과 예측력이 높은 인지적 능력을 측정할 수 있어요.
- 무엇보다 응답 패턴을 알 수 있는 다양한 데이터를 통해, 응답 왜곡이나 거짓말 없이 응시자의 성향을 파악할 수 있어요
[참고문헌]
a. Woods, S. A., Ahmed, S., Nikolaou, I., Costa, A. C., & Anderson, N. R. (2020). Personnel selection in the digital age: a review of validity and applicant reactions, and future research challenges. European Journal of Work and Organizational Psychology, 29(1), 64–77.
b. Holleman, G. A., Hooge, I. T., Kemner, C., & Hessels, R. S. (2020). The ‘real-world approach’and its problems: A critique of the term ecological validity. Frontiers in Psychology, 11, 721.
c. Armstrong, M. B., Landers, R. N., & Collmus, A. B. (2015). Gamifying recruitment, selection, training, and performance management: Game-thinking in human resource management. In Emerging Research and Trends in Gamification (pp. 140–165). IGI Global. https://doi.org/10.4018/978-1-4666-8651-9.ch007