앤트로픽의 펠릭스 리제버그는 한때 크래시(앱이 갑자기 꺼지는 오류)를 하나씩 골라 Claude 앞에 놓고 고쳐 달라고 했습니다. 그러다 'Claude의 컨베이어 벨트'일 뿐임을 깨달았다고 해요. Claude에게 넘기는 일이 커질수록, 결과가 맞는지는 누가 확인할까요?
리제버그는 Claude.ai, Cowork(내 파일과 앱을 다뤄 일을 끝내는 모드), Claude Code 데스크톱 개발을 이끌어 온 엔지니어링 리드입니다. Claude를 파는 쪽 사람이죠. 10월 21일 Silicon Valley Girl에 공개된 대담을 조쉬의 뉴스레터에 옮겼는데, 그중 혼자 일하는 사람도 지금 쓰는 구독으로 가져갈 만한 대목만 추렸습니다.
리제버그는 Claude에게 "넌 뛰어난 누구누구야"라고 말하는 일은 절대 없다며, 그건 2024년쯤 정말 유행했다고 봅니다. 대신 콕 집어 이렇게 부탁해요. "이 분야 최고가 어떤 도구를 쓰는지 말해 줘." 그러고는 같은 걸 쓰라고 합니다.
이유는 역할극이에요. 모델 대부분은 아주 뛰어난 회계사처럼 행동하라고 하면 역할극을 조금 한다는 거죠. 원하는 건 어휘보다 전문가가 쓰는 기법과 도구와 지식이고요.
앤트로픽 프롬프트 안내서에는 지금도 'Give Claude a role' 절이 있어서 역할을 다 버릴 일은 아닙니다. 갈리는 곳은 말투냐 방법이냐예요. 역할을 줬다면 그 역할이 쓰는 도구와 방법까지 물어보면 됩니다.
(편집 도식) 같은 요청을 두 문장으로 쓰면 달라지는 것. 이미지 출처 : 원인터뷰를 바탕으로 편집부 재구성.
1년 반쯤 전만 해도 리제버그는 크래시 목록을 보러 가서 하나 집어 옮긴 다음 Claude 앞에 내려놓고 있었다고 해요. 그러다 Claude가 크래시 데이터 전부를 보고 뭘 고치고 뭘 안 고칠지 스스로 알아내야 한다고 봤습니다. 초기 비용은 더 들지만 치를 만하다는 게 리제버그의 말이에요.
뒷부분은 리제버그의 10월 13일 블로그에 있어요. 개별 크래시를 고쳐 달라던 요청이 앱에 크래시가 없게 하라는 목표로 바뀌었고, 크래시 보고서와 세 운영체제 컴퓨터까지 줘서 스스로 재현하고 확인하게 했다고요. 혼자 일한다면 글을 한 편씩 고쳐 달라던 손을 떼고, 지난 글 통계 파일을 주고 먼저 고칠 글을 고르게 하는 식이에요.
자료를 에이전트마다 조각내 나눠 주는 대신 도구를 주고, 그 뒤에 어떤 자료가 있는지 아주 잘 적어 두라고도 합니다. 다만 리제버그의 비유에는 고객 데이터까지 들어 있고, 앤트로픽 안전 안내는 넓은 접근권 대신 전용 작업 폴더를 권해요. 혼자 사업한다면 고객 명단은 빼고 필요한 파일만 넣은 폴더 하나부터 열어 주면 됩니다.
(편집 도식) 크래시를 하나씩 집어 옮기던 때와 Claude가 크래시 데이터 전체에서 고르는 때. 이미지 출처 : 원인터뷰를 바탕으로 편집부 재구성.
모르는 분야에서 AI가 자신 있게 내놓는 실수를 막는 리제버그의 답은 적대적 검토(결과물을 일부러 공격해 약점을 찾게 하는 검토)입니다. 그날 아침 쓴 블로그 글에 쓴 프롬프트는 이래요. "스레드 다섯 개를 띄워서, 각각 이 글이 틀렸다는 것, 내가 잘못 생각하고 있다는 것, 사실관계가 틀렸다는 것, 내가 뭔가 잘못 이해했다는 걸 증명하게 해 줘."
코딩 쪽에서는 공격한 에이전트들의 비판이 타당한지 판정 담당이라는 또 다른 Claude가 가린다고 합니다. 검토 쪽 모델은 보통 지능을 한 단계 낮춰도 아주 좋은 결과가 나온다고 하고요.
구독료를 내는 쪽에서는 Claude를 만드는 회사 사람의 말로 들릴 수 있어요. 앤트로픽 도움말도 스레드를 여럿 돌리면 사용 한도를 더 빨리 쓴다고 적습니다. 새 Projects가 없어도 새 대화를 열어 공격하게 하면 됩니다.
(편집 도식) 리제버그가 말한 적대적 검토와 판정의 흐름. 이미지 출처 : 원인터뷰를 바탕으로 편집부 재구성.
"지금 돌고 있는 세션에게 자기 일의 판정을 맡기고 싶을 때는 드물어요." 리제버그의 설명으로는 지금 세션은 자기가 한 일이 좋았는지 판정하는 데 꽤 서툴러요. 급하면 다른 Claude 세션도 되지만, 더 바라는 건 뭐가 되고 안 되는지 보여 주는 단단한 바깥 증거라고 합니다.
사실 확인은 이렇게 시킵니다. "내가 말하는 숫자마다 1차 출처를 찾아 줘. 그게 좋은 1차 출처인지도 확인해 줘." 앤트로픽 도움말도 Claude가 실수할 수 있다고 적으니, 따라 할 때는 찾아 준 출처 링크를 직접 열어 숫자가 있는지 보면 됩니다.
고친 내용이 다음 결과에 안 남는다면 3단계가 있어요. "내가 준 피드백을 전부 모아 줘." 그걸 규칙이나 원칙 목록으로 압축하게 하고, 경우에 따라 "내가 믿으면서도 믿는 줄 몰랐던 원칙이 뭐야?"까지 묻습니다. 그렇게 나온 목록을 앞으로 검토할 때 입력으로 넣는 거죠.
(편집 도식) 리제버그가 말한 피드백 압축 3단계. 이미지 출처 : 원인터뷰를 바탕으로 편집부 재구성.
믿음이 안 가면 나란히 돌려 봅니다. 내 피드백을 먼저 적고, 몇 차례 뒤 Claude라면 어떤 피드백을 줬을지 확인해 어디가 같고 어디가 다른지 보는 거예요. 리제버그가 거의 모두에게 권하는 실험이라고 합니다.
(편집 도식) 대담에서 리제버그가 말한 지시 문장을 옮겼다. 쓰는 때는 편집부 정리다. 이미지 출처 : 원인터뷰를 바탕으로 편집부 재구성.
리제버그는 오늘 한 조언도 전부 약 10주 뒤면 아마 개정판이 나올 거라고 말합니다. 그렇다면 외워 두기보다 돌려 보는 편이 낫겠죠. 방금 받은 결과물 하나를 새 대화에 붙여 "이게 틀렸음을 증명해 줘"라고 해 보세요.
질문별 답 전체와 공식 문서와 갈리는 대목은 뉴스레터에 담았습니다.
https://maily.so/josh/posts/8mo5m6gkz9p
조쉬의 뉴스레터는 AI와 함께 일하는 창업가·빌더의 이야기를 매주 보내 드려요.