2026년 현재 AI 역량 평가는 채용과 인사평가 현장에서 가장 뜨거운 화두입니다. 채용 공고에 ‘AI 활용 능력’을 기본 조건으로 명시하는 기업이 늘어나고, HR 분야의 AI 도입률은 90%를 넘어섰습니다(Glean Report, 2026). 하지만 정작 중요한 질문이 남아 있습니다. “지원자의 AI 역량을 우리가 제대로 평가할 수 있는가?”
이 질문에 답하기가 점점 더 어려워지고 있습니다. AI 도구가 정교해질수록 지원자의 ‘진짜 실력’과 ‘AI가 만들어낸 결과물’을 구분하는 일이 거의 불가능해지고 있기 때문입니다. 이 글에서는 AI 역량 평가가 마주한 근본적인 모순을 짚어보고, 조직이 취할 수 있는 실질적인 대응 방안을 제시합니다.
1. AI 역량 평가, 왜 지금 어려워졌는가
최근 한 HR 담당자의 고민을 들어보겠습니다. AI 관련 직무(데이터 사이언티스트, AI Product Manager, 프롬프트 엔지니어 등)에 지원하는 지원자의 절반 이상이 자기소개서에 ‘AI 활용 경험’을 강조한다고 합니다. 문제는 이 경험이 실제 본인의 역량인지, AI 도구가 대신 만든 결과물인지 구분하기 어렵다는 점입니다.
↑ 73%
Glean 보고서에 따르면, 과도한 AI 사용자는 그렇지 않은 동료보다 이직 의향이 73% 더 높게 나타났습니다. AI 출력물에 의존하는 직원일수록 조직에 대한 소속감과 책임감이 낮아진다는 신호로 해석할 수 있습니다.
이 현상은 ‘AI를 많이 쓰는 사람이 일을 더 잘한다’는 가정이 얼마나 위험한지 보여줍니다. 실제로는 AI가 대신 해결해주는 업무일수록 본인의 역량이 향상되지 않을 수 있습니다. AI 의존도와 실제 역량 사이에 역설적인 관계가 존재하는 것이며, 바로 이 지점이 AI 역량 평가를 어렵게 만드는 출발점입니다.
실무자 시각
대기업에서 13년간 인사 업무를 담당하면서 평가제도를 설계해온 경험으로 말씀드리면, ‘사용량이 곧 성과’라는 착각은 새로운 현상이 아닙니다. 과거에도 ERP 시스템 사용 시간, 보고서 작성 건수 같은 ‘보여지는 지표’로 역량을 평가하려는 시도는 늘 있었고, 늘 실패했습니다. 중요한 것은 도구를 통해 무엇을 만들었는가가 아니라, 도구 없이도 같은 결론을 낼 수 있는가입니다.
2. AI 역량 평가의 세 가지 모순
AI 역량 평가에는 본질적으로 풀기 어려운 세 가지 모순(Paradox)이 존재합니다.
Paradox 1: ‘AI 직무’란 무엇인가
가장 근본적인 문제입니다. ‘AI 직무’의 범위가 너무 넓고 빠르게 변화합니다. AI 엔지니어, AI Product Manager, 데이터 사이언티스트, 프롬프트 엔지니어, AI 윤리 전문가까지, 이 모든 직무를 같은 잣대로 측정할 수 있을까요? 직무 정의 없이 AI 역량 평가는 사실상 불가능합니다.
Paradox 2: AI로 AI를 평가한다는 모순
많은 기업이 AI 채용 도구로 지원자의 AI 역량을 평가하려 합니다. 여기서 모순이 발생합니다. 도구를 사용하는 능력을 도구로 평가하는 것이 타당한가라는 질문입니다.
AI 채용 도구는 과거 ‘성공한 AI 인재’의 데이터를 학습합니다. 하지만 AI 분야는 너무 빨리 변화해서 작년의 성공 기준이 올해는 무의미할 수 있습니다. 게다가 AI 도구를 잘 다루는 지원자는 그 도구가 자신을 어떻게 평가할지 알고 있어, 그에 맞게 ‘최적화된 이력서’를 제출할 수 있습니다. 결국 AI로 AI 역량을 평가하려는 시도는 평가 도구에 최적화된 가짜 실력만 걸러내는 결과를 낳을 수 있습니다.
Paradox 3: 포장된 실력 vs 진짜 실력
가장 현실적인 문제입니다. AI 도구(GPT, Claude, Gemini, Copilot 등)를 활용하면 개인이 가진 역량보다 훨씬 그럴듯한 결과물을 만들 수 있습니다. 코드, 분석 보고서, 기획안까지, AI가 대신 써주면 본인이 직접 하지 않아도 ‘잘하는 것처럼’ 보입니다.
7/10
Glean 보고서에 따르면 AI 사용자 10명 중 7명이 AI가 생성한 결과물을 제대로 검토하지 않고 그대로 제출(Botshitting)한 경험이 있다고 응답했습니다. 지원자뿐 아니라 현직자의 업무 평가에서도 동일한 문제가 발생하고 있다는 뜻입니다.
실무자 시각
저는 채용 데이터를 다루면서 비슷한 사례를 자주 접합니다. 최근 만난 한 스타트업 CTO는 AI 엔지니어를 채용했는데, 인터뷰에서는 ChatGPT로 생성한 코드를 자신의 것처럼 설명했다고 합니다. 입사 후 AI 사용을 제한하는 과제를 주자 아무것도 할 수 없었다고 합니다. 이것이 바로 AI 역량의 착시현상이며, 지원자의 문제가 아니라 평가 시스템의 문제로 인식해야 합니다.
3. AI 역량 평가에서 우리가 속는 세 가지 이유
AI 도구로 실력을 ‘포장’하는 것이 가능해진 배경에는 세 가지 요인이 있습니다.
| 요인 | 설명 | 영향 |
|---|---|---|
| AI 출력의 고품질화 | 최신 AI 모델은 전문가 수준의 텍스트·코드·분석을 생성 | 전문가도 AI와 사람의 결과물을 구분하기 어려움 |
| 평가 방식의 정체 | 대부분의 채용 평가가 ‘결과물’ 중심으로 이루어짐 | 과정보다 결과를 평가하게 됨 |
| 분별력의 한계 | 채용담당자의 AI 리터러시가 지원자의 활용 수준을 따라가지 못함 | 모르는 것은 속수무책으로 당함 |
결국 중요한 질문은 이것입니다. “AI를 잘 활용하는 것”과 “AI 없이는 아무것도 못하는 것”을 AI 역량 평가에서 어떻게 구분할 것인가입니다.
4. AI 역량 평가 프레임워크 재설계하기
조직은 어떻게 대응해야 할까요. 세 가지 방향을 제안합니다.
① 프로세스 평가로 전환하라
결과물(output)만 보지 말고 결과물을 만드는 과정(process)을 평가해야 합니다. AI 시대의 진정한 역량은 ‘AI에게 명령하는 능력’이 아니라 ‘AI의 출력을 검증하고 비판적으로 평가하는 능력’에 있습니다. 면접에서 AI 사용을 제한하거나, AI 출력 결과물을 주고 “이 결과물의 문제점은 무엇인가”를 질문해보시기 바랍니다.
② 역량의 질(Quality)을 평가하라
AI 활용률이나 사용 빈도 같은 양적 지표는 의미가 없습니다. 중요한 것은 AI를 사용해 어떤 문제를 해결했는가, 그 과정에서 어떤 판단을 내렸는가입니다.
| 잘못된 평가 방식 | 개선된 평가 방식 |
|---|---|
| AI 도구를 몇 개 사용할 수 있나요? | AI를 활용해 해결한 가장 어려운 문제를 설명해주세요 |
| ChatGPT를 얼마나 자주 쓰시나요? | ChatGPT가 틀린 답을 준 경험과 대처 방법을 설명해주세요 |
| 프롬프트 엔지니어링을 할 줄 아나요? | AI 출력물을 검증하는 본인만의 방법이 있나요? |
③ Human In The Loop를 더 효율적으로
AI 시대에도 사람의 판단(Human In The Loop)은 필수입니다. ‘사람이 모든 것을 수동으로 검증’하는 비효율적 접근이 아니라, 사람이 더 스마트하게 검증할 수 있는 시스템을 고민해야 합니다. AI가 이력서를 읽고 분석 리포트를 제공하면 사람이 그 리포트를 검토하고 최종 결정을 내리는 구조에서, 핵심은 사람이 AI의 판단을 검증하고 이해하는 능력이며 이것이 진정한 AI 리터러시입니다.
실무자 시각
실무에서 자주 보는 것은, AI 역량 평가 프레임워크를 도입한 조직일수록 오히려 평가자 교육에 더 많은 투자를 한다는 점입니다. 도구를 도입하는 것보다, 그 도구가 제시한 근거를 사람이 제대로 읽어낼 수 있는가가 훨씬 더 중요한 역량입니다.
5. 결론: 진짜 AI 역량이란 무엇인가
AI 역량 평가가 던지는 질문은 단순합니다. “AI 시대에 진짜 실력이란 무엇인가?” 이에 대한 제 답은 이렇습니다.
AI 역량이란 AI 도구의 사용법이 아니라, AI가 만든 결과물을 검증하고, 개선하고, 책임질 수 있는 능력입니다. 더 나아가 AI 없이도 문제를 정의하고 해결할 수 있는 기본 역량을 갖춘 상태에서 AI를 생산성 도구로 활용하는 것입니다.
채용담당자와 HR 리더께 드리는 질문입니다.
- 지금 우리 조직의 AI 역량 평가 방식은 ‘진짜 실력’을 측정하고 있습니까?
- AI가 만든 결과물과 사람이 만든 결과물을 구분할 수 있는 평가 방법을 갖추고 계십니까?
- AI 활용의 양(Quantity)보다 질(Quality)을 평가할 수 있는 프레임워크가 있습니까?
이 질문에 ‘아니오’라고 답하셨다면, 지금이 AI 역량 평가 방식을 재설계해야 할 시점입니다. AI가 똑똑해질수록 진짜 실력과 포장된 실력을 구분하는 일은 더 어려워지겠지만, 동시에 진짜 실력을 가진 인재의 가치는 더욱 빛날 것입니다.
관련해서 저희 블로그에서 다룬 AI 채용 트렌드와 지원자 스크리닝의 변화, 그리고 BYOAI 시대 HR 정책 수립 가이드도 함께 참고하시면 좋습니다.
오늘의 HR 영어 키워드
| 키워드 | 의미 | 연결 개념 |
|---|---|---|
| Competency Paradox | 역량 평가의 모순 — AI로 AI를 평가하는 것이 어려운 상황 | 평가 시스템의 근본적 한계 |
| Automation Bias | 자동화 편향 — AI 판단을 맹신하는 심리적 경향 | AI 출력 검증 생략의 원인 |
| Skill Inflation | 스킬 인플레이션 — AI 도구로 역량이 부풀려져 보이는 현상 | 포장된 실력의 배경 |
| Human In The Loop | 사람이 과정에 개입해 검증·의사결정을 수행하는 방식 | AI 시대에도 필수적인 사람의 역할 |
| Botshitting | AI 결과물을 검토 없이 그대로 제출하는 행위 | 검증 없는 AI 활용의 위험 |
| Process Evaluation | 결과물이 아닌 과정을 평가하는 방식 | AI 역량 평가 재설계의 핵심 방향 |
FAQ: 자주 묻는 질문
Q. 채용 과정에서 AI 사용을 완전히 금지하는 것이 답일까요?
아닙니다. AI 사용을 금지하는 것은 현실적이지도, 바람직하지도 않습니다. 중요한 것은 AI 사용 자체를 막는 것이 아니라 AI를 사용한 결과물의 검증 능력을 평가하는 것입니다. AI를 사용했더라도 그 결과물을 본인이 이해하고 설명할 수 있는지, 문제점을 지적할 수 있는지가 핵심입니다.
Q. AI 역량을 평가하는 가장 효과적인 방법은 무엇인가요?
세 가지 방법을 병행하시길 권합니다. AI 사용을 허용한 상태에서의 과제 수행, AI 사용을 제한한 상태에서의 기본 역량 평가, AI 출력 결과물을 주고 검증·비판하도록 하는 인터뷰입니다. 이 세 가지를 종합하면 ‘활용 능력’과 ‘기본 역량’을 모두 평가할 수 있습니다.
Q. AI로 포장된 이력서를 구별하는 방법이 있나요?
완벽한 방법은 없지만 몇 가지 신호는 있습니다. 자기소개서 표현이 지나치게 완벽하고 템플릿화된 경우, 구체적인 경험이나 실패 사례 없이 성공 사례만 나열된 경우, “다양한 측면에서” 같은 AI 특유의 추상적 표현이 반복되는 경우입니다. 가장 확실한 방법은 면접에서 구체적인 후속 질문으로 검증하는 것입니다.
Q. AI 역량 평가 프레임워크는 어느 직무에 적용해야 하나요?
AI를 직접 다루는 직무뿐 아니라 기획, 마케팅, 재무 등 AI 도구를 업무에 활용하는 모든 직무로 확대해서 적용하시길 권합니다. 직무별로 ‘검증해야 할 결과물’의 형태만 다를 뿐, 프로세스 중심 평가라는 원칙은 동일하게 적용됩니다.
Q. 재직자의 AI 역량 평가도 채용과 같은 방식이어야 하나요?
기본 원칙은 같지만 강도는 다르게 가져가시는 것이 좋습니다. 재직자는 실제 업무 산출물이 축적되어 있으므로, 정기 성과 리뷰에서 AI 활용 과정과 검증 과정을 함께 기록하도록 하는 방식이 채용 인터뷰보다 더 자연스럽게 적용됩니다.
원문 출처
[EN] According to Glean’s 2026 AI at Work Report, heavy AI users reported 73% higher turnover intent than lighter users, and roughly 7 in 10 respondents admitted submitting AI-generated work without proper review — a pattern researchers term “botshitting.” The report raises concerns about how organizations can reliably evaluate genuine AI competency versus AI-assisted output.
[KR] Glean의 2026년 AI 업무 활용 보고서에 따르면, AI를 과도하게 사용하는 직원은 그렇지 않은 직원보다 이직 의향이 73% 더 높았고, 응답자 10명 중 7명은 AI가 생성한 결과물을 제대로 검토하지 않고 제출한 경험이 있다고 답했습니다. 이는 조직이 ‘진짜 AI 역량’과 ‘AI가 만든 결과물’을 어떻게 구분할 것인가에 대한 근본적인 질문을 제기합니다.