최근 많은 기업이 업무에 인공지능(AI)을 도입하고 있다. 직원들에게 챗GPT와 코파일럿(Copilot) 사용을 허용하고, 사내 문서 검색 시스템에 생성형 AI를 도입하며, 고객 상담과 마케팅 업무에도 AI 에이전트를 적용하기 시작했다.

하지만 AI가 회사의 생산성과 수익성을 얼마나 높였는지는 정확히 모르는 게 보통이다. 대다수 기업이 AI 도입 여부와 사용률을 성과처럼 여긴다. 즉 몇 명이 AI를 사용했는지, 몇 개 부서가 AI를 도입했는지, 몇 개의 AI 서비스를 구축했는지를 핵심성과지표(KPI)로 삼는다. 

이러한 방식은 과거 디지털 전환 초기에 기업들이 개인용 컴퓨터(PC) 보급 대수와 홈페이지 구축 여부로 직원들 성과를 따지던 것과 그리 다르지 않다. 중요한 것은 AI 사용량이 아니라, AI를 통해 생산되는 결과물의 질적 향상과 비용 절감 수준인데 말이다.

쉬운 업무는 저비용 AI 모델 써 토큰 절약

AI를 통해 얻는 실질적 이익을 측정할 개념으로 토큰(Token)이 있다. 토큰은 큰 정보 덩어리를 분해해 만든 작은 데이터 단위다. 직원이 AI에게 질문하고, AI가 답변을 생성하며, 에이전트가 시스템을 호출해 업무를 자동 수행하는 모든 과정에서 소비되는 새로운 원가 단위이기도 하다. 앞으로 기업의 AX(AI 전환) 성과는 토큰을 얼마나 효율적으로 사용해 실제 성과를 만들어내는지를 기준으로 평가받을 가능성이 크다.

에이전트형 AI가 확산할수록 토큰 소비는 폭증한다. 기존 생성형 AI는 사람이 질문할 때만 토큰을 사용했다. 반면 에이전트는 여러 시스템을 호출하고 스스로 판단하며 반복적으로 업무를 수행하는 과정에서 토큰을 지속적으로 소비한다. 결국 AI 시대 기업 경영은 사람의 노동력뿐 아니라, 토큰이라는 디지털 노동력을 어떻게 효율적으로 투입하느냐의 문제로 바뀌고 있다.



‘업무 건당 토큰 비용(Cost per Outcome)’은 경영진이 관리해야 할 주요 KPI다. 과거에는 직원 인건비와 외주 비용 중심으로 업무 원가를 계산했다면 이제는 고객 상담 1건, 보고서 작성 1건에 토큰이 얼마나 사용됐는지 확인하고 관리해야 한다. 동일한 업무라도 AI 모델에 따라 비용이 극단적으로 달라질 수 있다. 단순 문서 요약 업무에 고비용 추론 모델을 무분별하게 사용하면 기업의 AI 운영비는 급격히 증가한다. 사내 정보기술(IT) 담당 조직은 업무 난도별로 최적의 AI 모델을 자동 선택할 수 있는 모델 라우팅(Model Routing: 최적 모델 배정) 체계를 구축할 필요가 있다. 

‘토큰 재사용 효율(Cache Hit Rate)’도 높여야 한다. 현재 기업들이 AI를 도입하고 가장 먼저 겪는 문제가 AI 중복 호출과 비효율적 사용이다. AI가 같은 데이터를 반복적으로 읽고 필요 이상의 긴 문맥을 지속적으로 호출하면서 이미 처리한 내용을 다시 계산하는 것이다. 이는 제조업에서 불필요한 제품을 반복 생산해 원자재를 낭비하는 것과 다르지 않다. 

‘토큰 투자수익률(Token ROI)’도 KPI다. 토큰을 사용해 얼마만큼의 매출 증가와 비용 절감을 이뤄냈는지 측정하는 지표다. 예를 들어 AI 고객센터를 도입해 상담사 수를 줄였더라도 고객 불만 증가와 이탈률 상승이라는 결과로 이어졌다면 성공적인 AX라 보기 어렵다. 토큰을 단순 비용이 아니라 미래 매출과 생산성을 높이는 전략적 투자 자산으로 해석하는 게 중요하다.

경영자들은 특히 AI 비용 구조가 기존 SaaS(Software as a Service: 서비스형 소프트웨어)와 완전히 다르다는 점에 유의해야 한다. SaaS는 한 번 구축하면 거의 무한 복제할 수 있기 때문에 사용자 한 명이 늘어날 때 추가되는 한계 비용이 적었다. 하지만 생성형 AI는 새 업무가 주어질 때마다 GPU(그래픽처리장치)와 메모리, 네트워크, 전력을 사용해 매번 새로운 토큰을 생성한다. AI는 사용할수록 비용이 꾸준히 증가하는 구조다.

지나친 토큰 사용은 불필요한 부품 생산과 같아

경영진의 역할은 토큰을 중심으로 달라질 필요가 있다. 최고경영자(CEO)는 AI가 실제 매출과 경쟁 우위 향상으로 연결되는지 확인해야 한다. CFO(최고재무책임자)는 과거 전기료와 클라우드 비용을 관리했던 것처럼 이제는 토큰 비용을 새로운 변동 원가로 해석해야 한다. CTO(최고기술책임자)와 CIO(최고정보책임자)는 업무별 적정 AI 모델 라우팅과 캐시 전략, 에이전트 구조 최적화 시스템을 도입하는 업무를 맡는다. COO(최고운영책임자)는 AI 에이전트가 실제 업무 수행 시간을 줄이는지 확인할 필요가 있다. CHO(최고인사책임자)는 토큰 비용을 인건비와 비교해 직원을 에이전트로 대체하는 것이 효율적인지 판단해야 한다. CISO(정보보호최고책임자)는 직원들이 승인 없이 사용하는 AI와 민감 데이터 노출 위험 속에서 토큰을 통제할 수 있는 수준으로 관리하는 역할을 맡는다. 

_{*유튜브와 포털에서 각각 ‘매거진동아’와 ‘투벤저스’를 검색해 팔로잉하시면 기사 외에도 동영상 등 다채로운 투자 정보를 만나보실 수 있습니다.}