AI 코딩 도구 청구서가 늘면 먼저 떠오르는 답은 아껴 쓰게 하는 겁니다. 유럽 디지털 은행 레볼루트도 한 달 1만 달러까지 쓰는 엔지니어들을 보고 예산을 묶었는데, 효과가 크지 않았다고 합니다. 그럼 토큰을 눈치 보지 않고 쓰게 하면 일은 어디서 줄어들까요?
레볼루트의 AI 운영 책임자 데이비드 아비트볼의 설명에 따르면 엔지니어 약 2,000명이 기본으로 쓰는 모델을 오픈 모델 GLM으로 바꾼 뒤 앤트로픽·오픈AI에 내던 돈의 10분의 1만 듭니다. 앤트로픽·오픈AI의 최신 모델은 예외로 계속 쓰고, GLM은 AI 연산용 칩을 빌려주는 Together AI의 전용 GPU 56장에 올려 씁니다. Together AI는 이 강연이 열린 행사의 후원사이기도 합니다. 10월 29일 AI Engineer 유튜브에 공개된 뉴욕 무대 강연 중, 혼자 일하는 사람도 가져갈 만한 대목만 추렸습니다.
전사로 열 때 레볼루트는 AI 비용에 매우 회의적이었다고 해요. "엔지니어들이 한 달에 1,000달러, 1만 달러를 쓰는데 쓴 만큼의 효과는 별로 보이지 않았어요."
그래서 2026년 1월 Claude Code를 전사로 열면서 엄격한 예산 한도를 걸었습니다. 강연 차트를 읽으면 그 석 달은 밋밋해요. 코딩 시간은 12%쯤 줄었는데, 착수부터 머지까지는 약 3.5일에서 약 3.9일로 오히려 늘었습니다.
아비트볼이 보여 준 차트(표본 2,031명). 초록 선은 착수~머지(일), 파란 선은 코딩 시간(시간)이고 둘 다 3개월 이동평균이다. 이미지 출처 : YouTube AI Engineer, 2:40.
다음에 찾은 답이 오픈 모델이에요. 2026년 4월 중국 개발사 Z.ai의 GLM-5.1을 전용 GPU에 올렸고, 지금은 8월에 나온 GLM-5.3을 씁니다. 차트로 읽으면 9월까지 착수부터 머지까지는 약 3.9일에서 약 1.8일로, 코딩 시간은 약 10시간에서 약 4시간으로 내려갔어요.
아비트볼의 해석은 "엔지니어링의 병목이 꼭 코딩은 아니에요."입니다. 메일함을 뒤지고 Jira와 Confluence를 만지는 시간을 크게 아낄 수 있다는 말이에요. 같은 기간 모델도 5.1에서 5.3으로 바뀌었고, Hacker News 토론에는 토큰을 제한 없이 줬더니 쓰레기만 늘었다는 댓글도 달렸습니다.
(편집 도식) 강연 차트를 편집부가 읽은 근사값을 세 구간으로 나눴다. 이미지 출처 : 강연을 바탕으로 편집부 재구성.
아비트볼의 표현은 "최신 모델은 예외예요."입니다. Codex와 Claude Code를 계속 쓰고, 바뀐 건 기본값이에요. 오픈 모델이 먼저이고 최신 모델은 GPT와 Claude가 가장 잘하는 일에 부르게 됐습니다.
아비트볼이 꼽는 선은 요청 뒤 첫 글자가 나올 때까지 3초예요. "5초를 넘기는 순간 제 슬랙이 터지기 시작하거든요." 글자가 나오는 속도는 초당 200토큰이면 괜찮다고 합니다. "이제 모델이 생각하는 글자가 흘러가는 걸 지켜보지 않아요. 일을 병렬로 돌려 놓고 끝나면 확인하죠."
편집부가 읽기로는 상한이 사라진 건 아니에요. 장비가 GPU 56장으로 정해져 있으니, 돈에서 GPU 용량과 대기 시간으로 옮겨 간 거죠.
'Metrics that matter' 슬라이드. GLM 5.3을 B200 56장으로 엔지니어 2,000명에게 제공하고, 첫 토큰 3초 미만, 초당 200토큰 초과, 100만 토큰당 0.30달러를 지표로 적었다. 이미지 출처 : YouTube AI Engineer, 4:40.
아비트볼은 레볼루트가 입력과 출력을 섞어 잡은 값이 100만 토큰당 30센트라고 한 뒤 이렇게 말합니다. "그래서 청구서는 앤트로픽과 오픈AI에 쓰던 돈의 10분의 1이에요." 슬라이드에서는 같은 숫자가 토큰 단가 줄에 붙어 있어요. 말로는 청구 총액, 화면으로는 단가처럼 읽히죠.
혼자 쓰는 사람에게 이 숫자는 그렇게 옮겨지지 않아요. 11월 4일 공식 표로 보면 Z.ai의 GLM-5.3 API는 입력도 출력도 Claude Sonnet 5.5보다 싸지만, 캐시(앞서 읽은 내용을 다시 읽는 것)는 100만 토큰당 0.26달러로 Sonnet의 0.10달러보다 비쌉니다. 에이전트에 긴 작업을 맡기면 캐시 비중이 올라가니 어느 선부터는 GLM-5.3이 오히려 비싸져요.
나누는 방식은 옮겨집니다. Claude라면 더 싼 Sonnet을 기본으로, 더 비싼 Opus를 예외로 두는 식이에요.
(편집 도식) 혼자 쓰는 사람이 GLM을 쓰는 길. 공식 API, 코딩 플랜, 중개 서비스의 값과 데이터 경로가 다르다. 이미지 출처 : Z.ai·Together AI·OpenRouter 공식 페이지(11월 4일)를 바탕으로 편집부 재구성.
GLM-5.3은 글자 입력만 받아요. 그래서 로컬 라우터(요청을 모델별로 나눠 보내는 프로그램)로 이미지 인식만 Gemini나 오픈AI의 Luna로 보낼 수 있다고 합니다. 넘기는 기준은 그 모델이 못 하는 일이에요.
규제받는 은행이 사람이 개입한다는 걸 보여 주는 장치는 샌드박스입니다. Codex와 Claude Code에 이미 승인 기능이 있으니 허용하지 않을 작업의 규칙만 정하면 된다고 해요. "예를 들면 grep은 허용하고 gradle은 막을 수 있어요." 혼자 쓸 때도 Claude Code라면 /permissions에 막을 명령을 적어 두면 됩니다.
(편집 도식) 아비트볼이 말한 모델 나누기. 기본은 GLM, 이미지 인식은 라우터, 일부 일은 최신 모델이다. 이미지 출처 : 강연을 바탕으로 편집부 재구성.
GPU 56장과 앤트로픽·오픈AI에 내던 돈의 10분의 1은 그대로 따라 할 숫자가 아니에요. 아비트볼의 해석대로라면 먼저 들여다볼 곳은 모델 가격표보다 아까워서 AI에 안 넘긴 일의 목록입니다. 이번 주에 한도가 걱정돼 미룬 일 하나를 적어 두고, 그 일부터 맡겨 보면 어떨까요?
강연을 순서대로 따라간 Q&A 전체와 토큰값 비교는 뉴스레터에 담았습니다.
https://maily.so/josh/posts/92zen3j7zep
조쉬의 뉴스레터는 AI와 함께 일하는 창업가·빌더의 이야기를 매주 보내 드려요.