AI 사용량 인사평가, 왜 위험한가 4가지 체크포인트

최근 여러 기업에서 AI 사용량 인사평가 도입을 검토하고 있습니다. AI에 거액을 투자한 만큼, 직원들이 이를 얼마나 활용하는지 성과에 반영하고 싶다는 논리입니다. 그러나 결론부터 말씀드리면, 이는 매우 위험한 접근입니다.

Gartner와 EZRA의 조직심리학자들은 AI 사용량만 측정하는 것이 오히려 형식적인 저품질 산출물, 이른바 ‘AI workslop’을 양산할 위험이 있다고 경고합니다. 며칠 앞서 보도된 ‘토큰맥싱(Tokenmaxxing)’ 현상 역시 같은 문제를 지적합니다.

실무자 시각

저는 대기업에서 13년간 인사 업무를 담당하면서, 지표가 도입되는 순간 그 지표를 향한 게임이 시작되는 것을 수없이 목격했습니다. AI 사용량도 예외가 아닙니다.

AI 사용량 인사평가, 왜 지금 논쟁이 되는가

아마존은 AI 리더보드 도입 후 직원들이 순위를 올리기 위해 불필요한 작업에 AI 에이전트를 투입하는 ‘메트릭 게이밍’을 경험했습니다. 이는 AI 사용량 인사평가가 곧바로 부작용으로 이어질 수 있다는 것을 보여주는 대표적 사례입니다.

전문가들은 단순 사용량이 아닌 ‘AI 판단력(AI Judgment)’과 ‘식별력(Discernment)’을 평가해야 한다고 지적합니다. 사용량은 눈에 보이지만, 판단력은 그렇지 않기 때문에 조직은 손쉬운 지표에 의존하려는 유혹을 받습니다.

실무자 시각

저는 채용 데이터를 다루면서, 측정하기 쉬운 지표일수록 실제 성과와의 상관관계는 낮은 경우를 자주 봅니다. AI 사용량도 딱 그런 유형의 지표입니다.

AI 사용량과 성과 사이, 인과관계가 없는 이유

토큰을 많이 쓴다고 더 나은 성과를 내는 것은 아닙니다. 토큰 소비량이 많은 것은 해당 직무의 특성일 뿐입니다. 연구개발 조직의 엔지니어는 코드 생성량이 많을 것이고, 기획 조직의 구성원은 AI 활용 패턴이 완전히 다릅니다.

오히려 적은 토큰으로 효율적으로 결과를 내는 사람이 진정한 가치를 창출한다고 볼 수 있습니다. AI 사용량 인사평가를 그대로 도입하면, 정작 효율적인 인재를 저평가하는 역설이 발생합니다.

↑ 10배

일부 조직에서 관찰된 직원 간 AI 토큰 사용량 격차 — 이 자체가 평가 기준이 될 수 없다는 점을 보여줍니다.

AI 사용량 인사평가가 부르는 메트릭 게이밍

인사평가 제도를 오래 운영해본 실무자라면 누구나 압니다. 어떤 지표든 ‘평가 대상’이 되는 순간 게임의 대상이 됩니다. IBM이 코드 라인 수로 개발자를 평가했다가 비대한 소프트웨어만 양산했던 고전적 실패는 지금도 유효한 교훈입니다.

실제로 일부 조직에서는 AI 리더보드 도입 후 직원들이 두 개의 AI 에이전트를 하루 종일 대화시키는 방식으로 토큰을 소진하는 사례가 보고되었습니다. AI 사용량 인사평가가 낳는 가장 극단적인 부작용입니다.

실무자 시각

실무에서 자주 보는 것은, 지표가 발표되는 순간부터 직원들이 ‘지표에 맞춰 일하는 법’을 학습하기 시작한다는 사실입니다. 사람은 항상 평가 기준에 최적화합니다.

AI 사용량 감시가 유발하는 심리적 반발

AI 사용량을 추적한다는 사실 자체가 직원들에게 ‘감시당하고 있다’는 인식을 줍니다. 애초에 AI 도입 목적이 업무 효율화와 혁신이었다면, 평가와 연결하는 순간 본래 목적이 왜곡됩니다.

더불어 AI에 대한 과도한 의존도가 비판적 사고(Critical Thinking) 능력의 퇴화를 초래할 수 있다는 연구 결과도 함께 고려해야 합니다. AI 사용량 인사평가는 이런 부작용을 오히려 부추길 위험이 있습니다.

토큰 트래킹은 모니터링이지 AI 사용량 인사평가가 아니다

AI 사용량을 추적하는 것 자체가 필요 없다는 의미는 아닙니다. 다만 그 목적이 중요합니다. 토큰 사용량 모니터링은 과도하게 사용하는 사례를 발견하고 비용을 최적화하는 용도로는 유용합니다.

특정 직원이 평균 대비 10배의 토큰을 사용한다면, 그 원인을 파악하고 교육이나 프로세스 개선으로 이어갈 수 있습니다. 하지만 이를 평가와 연결하는 순간, 모니터링의 본래 목적이 왜곡됩니다.

실무자 시각

제 경험상, ‘모니터링용 지표’와 ‘평가용 지표’는 반드시 분리해서 설계해야 합니다. 같은 숫자라도 용도가 섞이는 순간 조직 전체가 왜곡됩니다.

AI 시대 인사평가, 4가지 체크포인트로 재설계하기

그렇다면 AI 사용량 인사평가를 대체할 프레임워크는 무엇일까요. 아래 4가지 체크포인트가 실무에서 유효한 출발점이 될 수 있습니다.

결론: 양이 아니라 질과 영향력

10만 시간 이상 HR 업무를 해오면서 깨달은 것은, AI 활용 능력 평가도 ‘사용량’이 아니라 ‘업무 성과 개선 기여도’로 설계되어야 한다는 점입니다. 과거 ‘근무 시간’이나 ‘보고서 작성 건수’로 성과를 평가했다가 부작용을 경험했던 교훈을 AI 시대에도 잊지 말아야 합니다.

AI 사용량 인사평가를 도입하려는 조직이라면, ‘무엇을 측정할 것인가’보다 먼저 ‘그 측정이 어떤 행동을 유발할 것인가’를 고민해야 합니다. 측정은 항상 행동을 설계합니다.

AI 사용량 인사평가는 선언이 아니라 시스템이 강합니다. 사용량이 아닌 판단력과 영향력을 측정하는 시스템 없이는, 어떤 지표도 장식에 불과합니다.

그런데 귀사의 AI 활용 평가 기준은, 사용량과 영향력 중 어느 쪽에 더 가깝습니까?

AI 시대 채용 현장에서 나타나는 유사한 편향 문제는 AI 채용 편향, SHRM26이 짚은 문제점 글에서, 원격근무자의 고용 트렌드는 원격근무자 실업률 상승, 무엇을 의미하나 글에서 함께 확인하실 수 있습니다.

HR 영어 키워드로 정리하는 AI 사용량 인사평가

FAQ

AI 사용량을 인사평가에 전혀 반영하면 안 되는 것입니까?

전혀 반영하지 말라는 의미는 아닙니다. 다만 ‘사용량’ 자체를 평가 지표로 삼기보다는, 판단력과 업무 영향력 중심으로 재설계해야 한다는 것이 핵심입니다.

토큰 사용량 모니터링과 AI 사용량 인사평가는 어떻게 다릅니까?

모니터링은 비용 최적화와 이상 패턴 발견이 목적이며, 평가는 보상과 직결됩니다. 두 가지를 분리하지 않으면 모니터링의 목적 자체가 왜곡됩니다.

메트릭 게이밍을 방지할 방법이 있습니까?

완전히 방지하기는 어렵지만, 정량 지표와 정성 평가를 함께 활용하고, 지표가 유발할 행동을 사전에 시뮬레이션해보는 것이 도움이 됩니다.

AI 판단력은 실무에서 어떻게 평가할 수 있습니까?

AI 산출물을 그대로 사용했는지, 검증과 수정을 거쳤는지를 확인하는 정성적 리뷰 방식이 현실적인 대안이 될 수 있습니다.

중소기업도 이런 프레임워크를 적용할 수 있습니까?

조직 규모와 무관하게 적용 가능합니다. 오히려 인력이 적을수록 개인의 AI 활용 방식이 성과에 미치는 영향이 크기 때문에 더욱 중요합니다.

AI 사용량 인사평가를 이미 도입한 기업은 어떻게 해야 합니까?

즉각 폐지하기보다는, 평가 비중을 낮추고 판단력·영향력 지표를 단계적으로 병행 도입하는 방식이 현실적입니다.

[출처]
HR Dive (2026.6.30) “Should AI use be tracked in performance reviews?” — Experts from Gartner and EZRA warn that tracking AI usage alone risks encouraging performative work rather than genuine judgment and discernment.
SHRM (2026.6.26) “Tokenmaxxing Offers HR a Valuable Lesson About Metrics” — Amazon’s AI leaderboard experience illustrates how usage-based metrics invite gaming rather than productivity gains.

[한국어 요약]
HR Dive와 SHRM 보도에 따르면, AI 사용량을 인사평가에 반영하는 시도는 메트릭 게이밍과 형식적 산출물 양산으로 이어질 위험이 큽니다. 전문가들은 사용량 대신 AI 판단력과 업무 영향력 중심의 평가 체계를 권장합니다.