AI 서비스를 만들다 생긴 이 질문 하나로 제품을 만들었습니다.
AI 기능이 들어간 서비스를 만들다 보면 결국 이 질문으로 돌아옵니다. LLM 관측 도구에서는 모델별 비용을, 제품 분석 도구에서는 유저 행동을 볼 수 있습니다.
하지만 "이 모델의 답을 받은 유저가 결제했는가"는 어디에서도 한 번에 나오지 않았습니다. 그래서 이 답을 직접 확인할 수 있도록 ABTO를 만들었습니다.
새 모델은 유저 10%에게만 먼저 적용합니다. 같은 유저는 기기 기준으로 항상 같은 모델을 받기 때문에, 이전 답변 경험이 다음 행동에 섞이지 않습니다.
무엇을 성과로 볼지는 기능마다 직접 정합니다. 글쓰기 기능이라면 생성한 초안 중 저장하거나 공유한 비율을, 채점 기능이라면 해설을 본 뒤 다시 풀어 보는 비율을 볼 수 있습니다. 이렇게 정한 성과와 모델별 호출 비용을 나란히 놓고 비교합니다.
성과가 같으면 더 저렴한 모델로 옮기고, 문제가 보이면 재배포 없이 바로 되돌립니다.
만들면서 가장 신경 쓴 부분은 두 가지입니다.
붙이기 쉬울 것: 에이전트에 ABTO 스킬을 설치하고 "/abto ABTO 연동해줘"라고 입력하면 5분 안에 연동됩니다.
서비스를 흔들지 않을 것: ABTO 쪽에 문제가 생겨도 서비스는 원래 모델로 그대로 동작합니다.
베타에서 먼저 찾은 답은 이렇습니다. 한 AI 채점 서비스는 추론을 가볍게, 해설을 간결하게 바꿨습니다. 비용은 41% 줄었는데 재응시율은 오히려 18% 올랐습니다.
우리 유저에게 맞는 설정을 찾는 게 중요했습니다. 지금은 20개가 넘는 서비스가 ABTO에서 같은 질문의 답을 자기 유저의 반응으로 찾고 있습니다.
결제 수단 등록 없이도 30일간 AI 호출 3만 건까지 무료라, 직접 만드신 서비스에서도 확인해 보실 수 있습니다. 메이커분들은 지금 어떤 기준으로 모델을 고르고 계신지 궁금합니다. 써 보시고 아쉬운 점도 편하게 남겨 주세요.
