팩플
팩플를 내 관심에도 추가해드렸어요.
Factpl Original
AI 뷔페가 문 닫았다
토큰 아껴 쓰는 기업들의 생존법
최근 앤트로픽의 기업용 서비스 ‘클로드 엔터프라이즈’를 전격 도입한 모 대기업 계열사. 전격 도입이라는 표현이 무색하게 정작 실무자들 사이에선 ‘하루 20분짜리 AI’라는 불만이 쏟아지고 있다. 회사에서 1인당 사용 한도를 둬 부서마다 차이는 있지만 매일 20~30분만 돌려도 AI 사용량이 소진되는 탓이다.
AI 시대, 새로운 배급제가 찾아온 걸까. 그 배경엔 AI 요금 체계에 불어온 근본적 변화가 있다. 지난해 말부터 최근까지 앤트로픽·오픈AI·마이크로소프트(MS)·구글이 기업용 AI 상품을 정액제에서 쓴 만큼 과금하는 종량제 형태로 잇달아 개편하면서다. 한 국내 IT 기업에선 최근 전사 차원에서 오픈AI의 새 AI 모델 시범 사용 기간을 가졌는데, 며칠 만에 1000만원 청구서를 받은 직원도 있었다고.
‘토큰 과금 세상에서 프롬프트 설계는 곧 재무 업무다.’ 지난 6월 글로벌 컨설팅사 알바레즈앤마샬은 ‘AI 정액제 시대의 종언’이라는 보고서에서 이런 표현을 썼다. 지금 산업 전체에 주어진 토큰 효율화의 미션. AI 기업들이 내민 새 요금 청구서에 떨고 있는 기업들의 생존법부터, AI 좀 쓴다 하는 개인들이 들려주는 ‘실전’ 토큰 절약 노하우까지. 현장에서는 어떤 답들을 내놓고 있는지 살펴보자.