VIEW

[사진: 셔터스톡]

[디지털투데이 황치규 기자]AI 수요 핵심 지표인 토큰 소비량이 실제보다 크게 부풀려졌을 수 있다고 CNBC가 17일(현지시간) 보도했다.

토큰은 AI 사용 기본 단위로 사용자가 보내는 질의와 모델이 생성하는 답변을 구성하는 단어와 문자들이다. 일반 대화는 단락당 수백 개 토큰을 소비하지만 코드 작성, 웹 탐색, 다단계 워크플로를 처리하는 에이전트 AI는 세션당 수천 배 이상 토큰을 소비한다.

문제는 기업들이 AI 도입을 토큰 소비량으로 측정하기 시작하면서 직원들이 성과를 내는 대신 지표를 높이는 방향에 초점을 맞추고 있다는 것이라고 CNBC는 전했다.

메타와 쇼피파이는 직원들 토큰 사용량을 추적하는 내부 리더보드를 구축했고 엔비디아 최고경영자 젠슨 황은 연봉 50만달러 엔지니어가 25만달러어치 컴퓨팅을 쓰지 않으면 "크게 걱정될 것"이라고 말하기도 했다.

이에 대해 데이터브릭스 최고경영자 알리 고드시(Ali Ghodsi)는 "돈을 많이 쓰는 것이 목표라면 쉬운 방법들이 있다"며 "같은 질의를 10곳에 재전송하거나 루프를 반복 실행하면 비용이 많이 들지만 아무것도 만들어내지 못한다"고 지적했다.

하버드 비즈니스 스쿨 AI 연구소 젠 스테이브는 "열두 명 최고기술책임자, 최고정보책임자들과 얘기햇는데, 모두 ROI 산정에 어려움을 겪고 있다고 했다"고 전했다.

앤트로픽 다리오 아모데이 CEO는 이를 '불확실성의 원추(cone of uncertainty: 시간이 지날수록 예측 범위가 넓어지는 구조)'라고 표현하며 "데이터센터는 구축에 1~2년이 걸린다. 아직 검증되지 않은 수요를 위해 지금 수십억 달러를 투입해야 한다. 몇 년만 빗나가도 파국이 될 수 있다"고 말했다.

앤트로픽의 경우 요금 체계를 종량제로 전환하며 이같은 상황에 대비하는 모습이다. 앤트로픽은 기존 정액제 엔터프라이즈 요금제 대신 실제 사용량을 기반으로 비용을 부과하는 구조로 바꿨다.

월 200달러 맥스(Max) 요금제 구독자들이 오픈클로(OpenClaw) 같은 서드파티 도구들에 클로드 구독을 연결해 에이전트를 24시간 돌리는 방식은 앤트로픽이 감당하기 어려운 것이었다고 CNBC는 전했다.