KPMG와 텍사스대 오스틴 McCombs 경영대학의 공동 연구는 AI 도입의 성패가 결국 AI 방향 역량(AI direction capability)에 달려 있음을 보여줍니다. 523명 이상의 주니어 직원을 대상으로 조사한 결과, 지식과 AI 리터러시가 거의 동일해도 AI와의 협업 방식에 따라 성과가 크게 달라졌습니다. 상위 성과자는 AI를 방향·감독·판단이 필요한 협력자로 대했고, 하위 성과자는 AI를 그냥 위임하거나 부정확한 피드백만 남겼습니다. 이 결과는 AI를 얼마나 쓰는가가 아니라 누가, 어떻게 쓸 assignment를 내리느냐가 문제라는 점에서 HR의 핀셋 설계 의무를 다시 묻습니다.
연구진은 기업이 AI 결과를 평가·확장하는 역할을 새로 설계하고, 직원이 AI 출력을 수용하거나 거부한 이유를 문서화해 프로세스를 평가해야 한다고 권고합니다. 별도 보고서는 직원들이 주당 거의 하루 분량의 시간을 AI 오류 수정에 쓰고 있으며, 다수는 AI를 실력 개발이 아니라 지식 격차를 메우는 용도로 쓴다고 지적합니다. 이 모든 데이터가 가리키는 방향은 같습니다: HR은 AI 방향 역량의 훈련 체계와 평가 기준을 새로 설계해야 합니다.
523+
KPMG·McCombs 공동 연구 대상 주니어 직원 수. 동일한 지식·AI 리터러시 수준에서도 협업 방식에 따라 성과가 크게 갈렸습니다.
1. 부서장의 assignment 방식과 AI 방향 역량의 유사성
AI 활용역량이 부서장이 부서원에게 업무를 내리는 방식과 닮았다는 점을 간과하기 쉽습니다. 좋은 부서장은 맥락, 우선순위, 완료 기준, 피드백 주기를 함께 내립니다. 나쁜 부서장은 ‘이거 해’만 남기고 결과만 확인합니다. AI도 마찬가지입니다. 방향을 명확히 내리는 사용자는 AI를 검토·수정·확장의 도구로 쓰고, 단순 위임만 한 사용자는 결과가 엇나가도 교정하지 못한 채 시간만 소모합니다.
연구에서 하위 성과자가 자주 보인 행동은 두 가지입니다. 첫째, 프롬프트를 한 번 던지고 결과를 그대로 쓰거나, 둘째, 부정확한 피드백을 주어 AI의 다음 출력을 더 엇나가게 만드는 경우입니다. 이는 업무에서 ‘목표만 말하고 방법은 안 알려주는 부서장’과 정확히 같은 구조입니다. assignment의 질이 결과를 결정한다는 통찰은 AI 시대에도 바뀌지 않습니다.
실무자 시각
10만 시간 이상 HR 업무를 해온 실무자로서 말씀드리면, 800명 규모 조직에서 부서장 대상 AI 활용 교육을 도입했을 때 흔히 보이는 패턴이 있습니다. 교육 직후 설문에서는 만족도가 높지만, 3개월 뒤 실제 업무 산출물을 확인하면 AI 결과를 검토 없이 그대로 넘기는 비율이 절반을 넘습니다. 도구 사용법 교육만으로는 방향을 내리는 역량이 생기지 않는다는 뜻입니다.
2. 부서장으로서의 AI 역량, 왜 교육으로 끝나면 안 되는가
AI 방향 역량이 부서장 자격에 필수라는 주장은 기술 숙련도의 문제가 아닙니다. AI가 내는 초안을 누가 검증하고, 어떤 판단 기준으로 수용·거부할지 결정하는 권한과 책임이 존재해야 합니다. 연구진이 강조한 프로세스 평가(Process Grading)는 그 해법의 핵심입니다. 결과물만 평가하면 AI를 잘 쓰는 사람과 잘 쓰지 못하는 사람을 구분할 수 없습니다. 프로세스를 보면 AI 출력을 받아들인 이유, 수정한 맥락, 최종 판단 기준이 드러납니다.
한국 기업의 현실은 다릅니다. 많은 조직이 AI 사용 교육을 제공하지만, 그 교육이 ‘AI 결과를 검토하는 기준’까지 다루는 경우는 드뭅니다. 결과적으로 부서장은 자신도 모르게 AI 초안에 의존한 관리 결정을 내리고, 팀은 그 결정의 근거를 알 수 없게 됩니다. 이 구조에서는 AI가 리더십을 대체하는 것이 아니라, 리더십의 판단 책임이 흐려지는 문제가 생깁니다.
AI 시대 HR의 핵심 과제는 AI 도구 보급이 아니라, AI 방향 역량을 갖춘 부서장을 얼마나 빨리 키우느냐입니다. 교육은 훈련의 시작일 뿐, 평가와 보상, 운영 프로세스와 연결되어야 비로소 자격 요건으로 기능합니다.
실무자 시각
저는 채용 데이터를 다루면서 비슷한 사례를 자주 봅니다. 1,500명 규모 조직에서 반기 성과평가 시스템에 AI 초안 작성 기능을 도입했을 때, 평가자 교육은 ‘기능 사용법’에만 머물렀고 ‘언제 초안을 반려해야 하는가’는 어느 자료에도 없었습니다. 결국 초안 반려율은 부서장 개인의 성향에 따라 3배 이상 차이가 났습니다. 검토 기준이 문서화되지 않으면 리더십의 판단이 개인기로 남습니다.
3. AI를 잘 쓰는 사람이 부서장으로도 잘 하는가 — 4가지 체크포인트
AI를 잘 활용하는 사람이 부서장으로도 잘할 가능성은 높지만, 자동으로 보장되지는 않습니다. 실무에서 자주 보는 것은, 부서장으로의 전환은 ‘개인 역량’뿐 아니라 ‘팀 전체에 대한 책임 설계’가 추가된다는 점입니다. 아래 체크포인트를 참고하면 AI 활용 숙련도와 리더십 자격의 간극을 줄이는 데 도움이 됩니다.
![]()
체크포인트 ① AI 역할을 ‘초안·스크리닝·패턴 발견’으로 한정하는가
부서장이 AI에게 최종 권한을 넘기지 않고, 초안 생성·후보 정리·패턴 발견 용도로만 쓰는지 확인하십시오. 최종 의사결정 권한이 사람에게 남아 있는지가 첫 기준입니다. AI 방향 역량이 부족한 부서장은 AI 결과에 과도하게 의존하는 경향이 있으므로, 자동화 권한과 수동 검토 권한의 경계를 역할 설명서에 명시해야 합니다.
체크포인트 ② ‘왜’를 묻는 검토 프로세스가 제도화되어 있는가
AI 추천 채용·평가·승진 안을 그대로 쓰지 않고, 근거와 가정을 문서화하는 프로세스가 있는지 확인하십시오. 부서장이 AI 결과를 수용한 이유와 거부한 이유를 기록하는 습관은 팀 전체의 신뢰를 높입니다. 리포트 양식을 AI 협업 버전으로 업데이트하는 것만으로도 충분한 출발점이 됩니다.
체크포인트 ③ 팀원의 AI 방향 역량을 공동 책임으로 보는가
부서장 혼자 AI를 잘 쓰는 것과, 팀 전체가 AI를 제대로 쓰는 것은 다릅니다. 팀원의 AI 출력 검토, 피드백 품질, 프로세스 준수 여부를 정기적으로 점검하는 체계가 필요합니다. 특히 채용 평가나 인사고과처럼 리스크가 큰 프로세스에서는 부서장의 검토가 선택이 아니라 필수 조건이어야 합니다.
체크포인트 ④ AI 방향 역량을 성과 평가와 연결하는가
AI direction 능력이 실제 보상·승진 평가에 반영되는지 확인하십시오. 평가 체계에 AI 검토 역량, 협업 프로세스 준수 항목이 없으면 교육 효과는 시간이 지나면서 사라집니다. 평가 기준 자체가 HR의 design point입니다.
| 체크포인트 | 질문 | 운영 사례 |
|---|---|---|
| ① AI 역할 한정 | AI에게 어떤 결정을 허용하고, 사람이 최종 판단하는 영역은 어디인가 | 채용·평가·승진 안은 사람 최종 확인 |
| ② ‘왜’를 묻는 문화 | AI 추천에 대한 검토 프로세스가 제도화되어 있는가 | 수용·거부 사유 기록, 매월 리뷰 |
| ③ 팀 공동 책임 | 부서장 혼자 아닌 팀 전체의 AI 방향 역량을 측정하는가 | 팀별 AI 활용 품질 점검표 운영 |
| ④ 성과 연결 | AI 방향 역량을 평가나 보상과 연결하고 있는가 | 리더십 평가에 프로세스 항목 추가 |
실무자 시각
제 경험상, 300명 규모 스타트업에서 인사평가 항목에 ‘AI 활용 프로세스 점검’을 추가했을 때 반발이 가장 컸던 부분은 ‘기록의 번거로움’이었습니다. 하지만 6개월 뒤 데이터를 보면, 프로세스를 기록한 팀의 평가 이의제기 건수가 눈에 띄게 줄었습니다. 검토 근거가 남으면 평가자와 피평가자 모두의 불안이 줄어든다는 뜻입니다.
4. HR이 설계해야 할 AI 방향 역량 평가 기준
연구는 process grading이 deliverable grading보다 미래 성과를 더 잘 예측한다고 보고합니다. HR은 이를 바탕으로 AI 협업 과정에서의 판단, 검증, 책임 분담을 어떻게 평가할지 기준을 마련해야 합니다. 핵심은 AI 방향 역량을 보이지 않는 역량으로 남기지 않으면서, 형식적인 지표로 전락시키지 않는 균형입니다.
첫째, 수용·거부 기록을 표준화하십시오. 부서장이 AI 추천을 그대로 쓴 경우, 수정한 경우, 폐기한 경우를 기록 양식에 담아 일정 기간 보존하면, 평가자는 프로세스의 품질을 점검할 수 있습니다. 둘째, AI 검토 역량을 평가합니다. AI 출력의 오류, 편향, 맥락 오류를 얼마나 정확히 찾아내는지 스킬 테스트와 360 피드백으로 측정합니다. 셋째, 코칭 책임을 운영하십시오. AI 방향 역량이 높은 부서장이 팀원의 AI 활용을 함께 검토하는 모델은 개인 성과와 팀 전체 성과를 동시에 높입니다.
HR의 역할은 AI 방향 역량을 갖춘 부서장을 선발하고 육성하는 것입니다. 교육과 훈련만으로는 충분하지 않습니다. 평가 체계, 운영 프로세스, 리더십 기준에 AI 프로세스 항목을 반영해야 비로소 자격 요건이 작동합니다.
실무자 시각
평가제도를 운영하면서 가장 흔히 보는 실수는 결과 점수만 모으는 것입니다. 2,000명 규모 조직에서 성과평가 체계를 개편할 때 결과 점수만으로 부서장을 평가했더니, AI 초안을 검증 없이 승인하는 부서장과 꼼꼼히 검토하는 부서장의 점수 차이가 거의 없었습니다. 프로세스 항목을 추가한 뒤에야 두 그룹의 격차가 드러났습니다.
5. 결론: AI 시대 부서장의 자격은 ‘팀 전체를 이끄는 방향’에 있다
KPMG·McCombs 연구가 던지는 핵심 질문은 단순합니다. 일을 잘 내리는 사람이 AI 시대에도 일을 잘 내릴 수 있는가 이 질문에 대한 답은 ‘예, 하지만 설계가 필요합니다’입니다. AI 방향 역량이 부족한 부서장은 팀 전체의 판단 품질을 떨어뜨립니다. 반대로 AI direction을 팀 전체의 책임으로 만드는 부서장은 팀의 학습 속도와 성과 품질을 동시에 높입니다.
HR은 이제 AI 교육을 넘어, 부서장으로서의 AI 자격 요건을 정의할 때입니다. 프로세스 평가, 검토 기록, 코칭 책임, 팀 공동 성과 기준이 함께 설계되어야 합니다. 그 설계의 시작은 ‘누가, 어떻게 AI의 방향을 내릴 것인가’를 명확히 하는 것입니다. AI 방향 역량은 리더십 자격 그 자체이며, 이를 교육과 평가로 연결하는 HR의 설계 역량이 이제 시험대에 있습니다.
함께 읽으면 좋은 글:
Human In the Loop: AI 시대 HR이 지켜야 할 3가지 원칙
HR AI 도입 전에 반드시 점검할 3가지
HR AI Direction Competency 관련 영어 키워드
| 영어 키워드 | 의미 | HR 실무 맥락 |
|---|---|---|
| AI Direction Capability | AI 출력을 검토·수정·확장하는 인간의 능력 | 채용·평가 케이스에서 AI 초안 리뷰 기준으로 활용 |
| Process Grading | 결과물이 아니라 AI 협업 과정 자체를 평가 | 성과평가 시 결과 점수와 함께 프로세스 항목 추가 |
| Human-in-the-Loop | AI 의사결정에 사람의 지속적 검증과 판단이 포함됨 | 채용·평가·승진에서 AI가 최종 결정하지 못하도록 설계 |
| AI Literacy | AI 도구를 효과적으로 사용하고 비판적으로 평가하는 능력 | 교육 전 단계의 역량 정의에 우선 사용 |
| Role Redesign | AI 도입으로 인해 일의 책임과 평가 기준을 재설계 | 부서장 역할 설명서에 AI 방향·검토·결정 책임을 명시 |
| Governance in Practice | AI 사용 규칙·책임 소재·오류 보고 경로를 운영 | 팀별 오류 보고서, 월간 리뷰 미팅 |
자주 묻는 질문
Q. AI 방향 역량은 리더십 자격에 포함해야 하는가?
A. 포함해야 합니다. AI가 업무의 일부라면, AI 결과를 검토하고 방향을 내리는 능력은 관리자의 핵심 책임으로 분류해야 합니다. 단순히 도구를 쓰는 숙련도가 아니라 판단과 책임의 영역이기 때문입니다.
Q. 프로세스 평가는 어떻게 운영하면 좋은가?
A. 최소한 AI 수용·거부 이유, 검토 시간, 최종 수정 이력을 기록하는 표준 양식을 만들고 월간으로 리뷰하십시오. 높은 수준의 성과 데이터가 쌓이면 평가 체크리스트로 확장할 수 있습니다.
Q. AI를 잘 쓰는 개인도 리더십 교육이 필요한가?
A. 필요합니다. 개인이 AI를 잘 쓰는 것과 팀 전체의 AI 방향을 내리는 것은 서로 다른 역량입니다. 팀 관리, 업무 분배, 결과 책임의 관점에서 리더십 교육이 별도로 필요합니다.
Q. 부서장이 AI 판단을 팀에 공개하면 부담이 되지 않는가?
A. 공개해야 합니다. 오히려 숨길수록 신뢰가 깨집니다. AI 판단 과정을 투명하게 공유하고 오류를 개선하는 모습을 보이면, 팀원도 AI를 더 적극적으로 협업 도구로 받아들입니다.
Q. 한국 조직에서 가장 먼저 바꿔야 할 것은 무엇인가?
A. 리더십 평가 항목에 AI 프로세스 기준을 추가하는 것입니다. 교육도 중요하지만, 평가와 운영 프로세스가 바뀌지 않으면 실제 행동은 바뀌지 않습니다. 가장 효과가 빠른 출발점은 평가 기준입니다.
원문 출처
HR Dive, “Workers who direct AI agents outperform peers who simply delegate to them” (2026-07-23).
KPMG & UT Austin McCombs School joint study on AI agent direction and early-career performance.
English summary: A joint study by KPMG and UT Austin’s McCombs School found that among more than 523 early-career professionals, nearly identical knowledge and AI literacy skills produced dramatically different outcomes depending on how employees worked with AI agents. Top performers treated AI as a collaborator needing direction, oversight, and judgment. Researchers recommend companies design new roles to direct and evaluate AI results, document why employees accept or reject AI output, and grade the process rather than only the deliverable.
한국어 요약: KPMG와 텍사스대 오스틴 McCombs 공동 연구에서 523명 이상의 주니어 직원을 분석한 결과, 지식과 AI 리터러시가 거의 동일해도 AI와의 협업 방식에 따라 성과가 크게 달라졌습니다. 상위 성과자는 AI를 협력자로 대했고, 연구진은 프로세스 평가를 통해 AI 방향 역량을 가시화할 것을 권고했습니다.
핑백: AI 수용 문화, 세대 격차를 줄이는 4가지 HR 설계