에이전트에게 코드를 맡겨 본 분이라면 비슷한 고민이 있을 거예요. 만드는 속도는 빠른데, 결과를 한 줄씩 다 확인하자니 끝이 없습니다. 10월 19일 해커뉴스에 올라온 "이해하지 못한 AI 코드를 배포하는 문제를 어떻게 다루나"라는 질문이 이틀 만에 590점을 받은 것도 그래서일 거예요.
메타 React 팀 출신으로 지금 SpaceX AI에서 Grok Bot을 만드는 로런 탠은 한 달에 PR 2,500개를 머지했다고 말해 화제가 됐습니다. 10월 3일 맷 포콕 채널에 공개된 라이브 대담에서 그가 에이전트를 믿게 되기까지의 순서를 풀어 놓았는데, 조쉬의 뉴스레터에 정리한 내용 중 직접 만드는 사람이 가져다 쓸 만한 대목만 추렸어요.
탠도 처음부터 에이전트를 믿은 건 아니었어요. 올해 초엔 에이전트 하나를 붙잡고 몇 시간씩 세세하게 감독했다고 합니다. Cursor에 들어가 에이전트 창의 성능 작업을 맡았을 때도 플레임 그래프와 메모리 스냅숏을 손으로 들여다봤고요. 그러다 병목이 자기라는 걸 깨달았대요. 에이전트와 크롬 개발자 도구 사이를 오가며 결과를 옮겨 주는 '사람 중계기'였다는 거죠.
(편집 도식) 대담에 나온 탠의 방법을 신뢰 사다리 순서로 묶은 그림. 첫 계단은 검증이다. 이미지 출처 : 원인터뷰를 바탕으로 조쉬의 뉴스레터 재구성
탠이 도구 상자에 꼭 하나 있어야 한다고 꼽은 스킬은 검증입니다. 에이전트가 코드를 직접 실행하고, 사용자처럼 눌러 보고, 추적 기록과 스냅숏을 떠서 디버그하게 하는 거예요. 그는 이걸 에이전트에게 손과 눈을 주는 일이라고 불렀습니다. Cursor에 들어가 처음 만든 스킬도 검증이었다고 해요. 에이전트가 자기 결과를 볼 수 있어야 사람이 루프에서 빠질 수 있으니까요.
(편집 도식) 에이전트가 결과를 스스로 확인하게 되면 사람이 중계하던 자리가 빠진다. 이미지 출처 : 원인터뷰를 바탕으로 조쉬의 뉴스레터 재구성
검증용 CLI를 만든 이유도 들어 볼 만해요. 탠에 따르면 CLI가 없을 땐 에이전트가 검증할 때마다 세상을 새로 지었다고 합니다. 에이전트마다 다른 방식으로 스크립트를 짜서 시험하고, 성공해 놓고도 버렸죠. 그래서 매번 같은 결과가 나와야 하는 부분은 CLI로 떼어 스킬 안에 넣었고, 에이전트는 판단이 필요한 일에만 힘을 쓰게 했어요. 그가 권하는 질문은 이겁니다. 내 스킬과 규칙 중 얼마나 많은 부분이 사실은 결정적일 수 있을까?
탠은 엔지니어의 새 일이 환경에 시간을 쓰는 거라고 말해요. 에이전트가 실수하는 걸 볼 때마다 '이걸 린트 규칙으로 바꿀 수 있나, 코드베이스가 이걸 아예 불가능하게 만들 수 있나'를 묻는다고 합니다. 그가 만드는 비공개 사내 프레임워크 Dune도 기능마다 폴더를 두고 엄격한 린트 규칙을 걸어, 나쁜 코드를 쓰기 어렵게 만든 환경이에요. 탠의 말로는 Grok Bot 초기 버전이 1만 줄 넘는 갓 파일 8개로 돼 있던 게 기능 폴더의 계기였대요.
탠은 대담 2주 뒤인 10월 17일 X에 이 생각을 직접 정리했어요. 에이전트를 더 믿는 방법을 네 단계로 나눴는데, 맨 위부터 코드베이스 개선, 린트·테스트 같은 자동 검사, 주석·규칙 문서·스킬 같은 글, 사람 리뷰 순이에요. 그는 이를 '역피라미드'라고 부르며 노력의 대부분을 위쪽에 쓰라고 적었습니다.
(편집 도식) 실수를 볼 때마다 에이전트 탓으로 끝내지 않고 환경의 규칙으로 바꾸는 탠의 질문 순서. 이미지 출처 : 원인터뷰를 바탕으로 조쉬의 뉴스레터 재구성
버그 제보는 Slack이나 Linear, X로 들어오지만 코드를 짜는 쪽과는 연결돼 있지 않죠. 탠은 오랫동안 그 사이를 자기가 중계했다고 해요. 예를 들어 에이전트에게 Slack 채널을 구독시키고, 버그 제보가 올라올 때마다 미리 만든 검증 스킬로 분류하고 재현하게 할 수 있다고 합니다. 그가 늘 묻는 질문은 '이 과정에서 내가 어디서 병목인가, 에이전트는 왜 나한테 이걸 묻나'예요.
탠은 React의 나쁜 패턴을 계속 찾아다니는 에이전트를 하나 두는데, 바로 고치라고 하지 않고 찾은 걸 문서에 덧붙이게 한대요. 며칠에 한 번 그 문서를 보면 '이것들 사실 다 같은 문제네' 하게 된다고요. 하나씩 고칠 때는 놓쳤을 패턴이 쌓인 기록에서 보인다는 거죠.
지금 탠은 PR이 머지된 뒤에 리뷰합니다. 탠에 따르면 영역별로 일하는 비서실장 에이전트가 10개 넘게 있고, 그가 자는 동안에도 일한다고 해요. PR마다 검증 에이전트 여러 개가 앱을 사람처럼 눌러 보며 망가진 곳을 찾고, 고치고, 다시 확인해 머지까지 가요. 그는 아침에 커밋 기록을 보고 문제가 있으면 되돌리거나 고친 뒤 린트 규칙을 더합니다. 모든 요리를 맛볼 수는 없으니 표본을 골라 보고, 여러 에이전트가 같은 지름길을 반복하면 그 에이전트가 아니라 환경을 고친다고 해요. 토큰이 꽤 들지만 검증 에이전트 수를 줄여 조정할 수 있다고 덧붙였습니다.
(편집 도식) 머지는 밤에, 리뷰는 아침에. 탠이 말한 머지 뒤 리뷰의 하루. 이미지 출처 : 원인터뷰를 바탕으로 조쉬의 뉴스레터 재구성
숫자에도 맥락이 있어요. 탠 스스로 PR 2,500개가 기능 2,500개는 아니고, 상당 부분은 코드를 손질하는 '정원 가꾸기'라고 했습니다. 여기까지 오는 건 아주 어렵고, 자기 스킬 묶음 pstack만 쓰면 쉽게 되는 것처럼 팔고 싶지 않다고도 했고요. 풀 오토파일럿을 처음 켠 날은 정말 무서웠지만, 지금은 잠을 훨씬 잘 잔다고 합니다.
신뢰 사다리 전체 문답과 1인 창업자용 체크리스트는 뉴스레터에 정리해 두었습니다.
https://maily.so/josh/posts/xyowyd21z28
조쉬의 뉴스레터는 AI와 함께 일하는 창업가·빌더의 이야기를 매주 보내 드려요.
