메타의 개인 AI 에이전트 Muse 팀은 평가(제품을 거듭 확인하는 시험 묶음)를 셀 수 없을 만큼 많이 돌립니다. 100개는 넘느냐는 진행자 질문에 "당연히 넘죠"라는 답이 돌아왔어요. 그런데도 모든 대화 앞에 붙는 시스템 프롬프트와 에이전트의 말과 행동을 정하는 행동 명세만큼은 사람이 직접 쓴다는 규칙이 최근 생겼습니다.
이 제품을 첫날부터 맡아 온 사람은 메타 슈퍼인텔리전스 랩의 제품 부사장 모나 사란타코스입니다. 사란타코스는 11월 15일 Lenny's Podcast에서 진행자 레니 라치츠키와 처음으로 팟캐스트 인터뷰를 했어요.
Muse는 9월 미국 앱스토어 무료 1위에 올랐지만, 11월 16일 현재 한국 앱스토어에는 없습니다. 사용법 대신, 에이전트 기능을 만드는 작은 팀이 참고할 판단 기준만 추렸습니다.
봄쯤엔 제품이 얼추 다 굴러갔지만, Muse 팀이 정작 시간을 가장 많이 쏟은 건 신뢰성, 안전, 보안이었습니다. 사용자 사정을 속속들이 알고 물건까지 사 주는 제품이라 업계 벤치마크로는 모자랐고, 넘어야 할 기준을 직접 만들고 레드팀(일부러 뚫어 보는 시험)도 오래 돌렸습니다. 브라우저 같은 기능이 붙을 때마다 공격 경로가 늘어 하나하나 막아야 했거든요.
사란타코스는 품질 관문을 넘기 전에는 내지 않았다고 정리합니다. 사내 구호는 "trust is a must(신뢰는 필수)"였어요. 믿지 못하는 에이전트는 아무도 쓰지 않는다고 봤기 때문입니다.
출시만 안 했을 뿐, 도그푸딩(직원이 자기 제품을 먼저 쓰는 것)과 외부 알파 시험으로 쓰는 사람을 늘려 가며 여름 내내 피드백을 받았습니다. 지금까지 치명적인 문제는 없었다는 게 사란타코스의 평가예요. 다만 외부 보안 연구자들이 찾아낸 버그도 있었습니다.
Muse 공식 블로그 11월 2일 글을 보면, 버그 바운티(취약점을 알려 주면 보상하는 제도)로 유효한 신고 64건에 약 120만 달러(약 16억 원)가 나갔습니다. 가장 큰 보상 30만 달러(약 4억 원)는 출시 넉 달 전에 찾아낸 버그에 돌아갔습니다. 직원과 엔지니어가 쓰던 시험용 가상 머신(클라우드에 띄운 컴퓨터)의 대화와 접속 토큰이 드러나는 버그였고, 메타는 출시 전에 서비스를 내리고 곧바로 고쳤습니다.
(편집 도식) 신뢰성·안전·보안이라는 품질 관문을 넘고 9월 8일 출시. 이미지 출처 : 원인터뷰 내용으로 재구성.
사란타코스가 보기에 메타 사람들은 누구보다 AI와 에이전트에 빠져 있어 '보통' 사용자가 아니에요. Muse 팀이 3월부터 직접 모집한 외부 사람들로 UXR(사용자 경험 조사) 패널을 꾸려 오래 운영한 것도 그래서입니다. 사내에선 직원들이 Muse 피드백 그룹에 글을 올렸습니다.
이렇게 모은 사례를 거의 매주 저커버그와 냇 프리드먼(깃허브 CEO 출신), 알렉산더 왕(스케일 AI 창업자 출신)에게 들고 가 파고들었습니다. 누군가 자기가 좋아하는 쓰임새를 내세워도, 다들 실제 사용 사례를 놓고 판단하니 휘둘리지 않았어요.
사란타코스는 개인 생산성, 건강, 개인 재무 쪽이 많이 쓰일 거라고 봤지만, 먼저 써 본 직원들 사이에서는 쇼핑이 자꾸 튀어나왔습니다. 팀의 반응은 "잠깐, 평가를 다 엉뚱한 데 맞춰 놨네"였습니다. 쇼핑에 힘을 싣고 거기에 맞춘 평가를 새로 짰고, 지금 쇼핑은 손꼽히는 쓰임새입니다.
메타의 기존 AI 비서 Meta AI에서는 대화가 대부분 한 번 묻고 끝났습니다. Muse처럼 여러 차례 길게 주고받는 대화(멀티턴)는 평가에 쓸 기록이 없었어요.
팀은 에이전트 여럿을 무리(swarm)로 풀어 오가는 모든 대화와 데이터를 훑게 하고, 합성 데이터(실제 기록을 본떠 만든 데이터)도 만들게 합니다. 새 모델이 들어올 때나 이상한 낌새가 보일 때 무리를 돌리면, 대시보드 숫자 옆에 실제 사례가 붙어 나옵니다.
평가는 PM 일부와 엔지니어, 연구자가 에이전트와 함께 만듭니다. 사란타코스는 "사람이 모든 데이터를 직접 검토하는 게 정말 중요합니다"라고 강조합니다. 검토를 건너뛰면 어김없이 탈이 났거든요.
에이전트 무리가 사용자 대화를 훑는다니 개인정보가 궁금해지죠. Muse 개인정보처리방침(9월 17일 적용)을 보면, 대화를 메타가 AI 모델 개선에 쓸지는 사용자가 정하고, 허용해도 이름·이메일·전화번호 같은 식별 정보는 지웁니다. 대화와 가상 머신 데이터는 메타 광고 시스템과 공유하지 않습니다.
다만 출시 날 나온 Muse 보안 글에는, 메타 직원이 사용자 데이터를 보는 일은 운영 정책으로 제한하지만 서비스 지원·보안·운영에 필요하면 메타가 접근할 수 있다고 적혀 있습니다.
(편집 도식) 무리가 훑은 결과는 평가에 넣고, 데이터는 사람이 검토한다. 이미지 출처 : 원인터뷰 내용으로 재구성.
Muse의 평가에는 급이 있어요. 맨 위 최우선 평가는 새로 들어오는 게 모델이든 기능이든 반드시 통과해야 합니다. 프롬프트 인젝션(숨긴 문장으로 에이전트를 조종하는 공격), 일반 안전, 유해성을 보는 안전 평가가 대표적입니다.
그다음 2차 평가는 점수가 많이 떨어지면 안 되지만 조금은 양보할 수 있습니다. 맨 아래는 팀마다 따로 두는 기능 단위 평가예요.
종류로는 브라우저를 잘 쓰는지, 일을 끝까지 해내는지 보는 능력 평가와 되묻기나 의도 파악처럼 에이전트의 성격을 살피는 행동 평가, 쓰임새별 평가가 있습니다. 평가마다 아래에 세부 평가가 잔뜩 달려 있어요.
모든 대화 앞에 붙는 시스템 프롬프트는 최근 들어 반드시 사람이 직접 쓰게 됐습니다. 사란타코스는 "한 줄도 AI에게 맡기면 안 돼요"라고 못 박았습니다.
에이전트의 말과 행동을 정하는 행동 명세도 사람이 직접 씁니다. 평가에 쓰는 프롬프트 분포(시험 질문들이 어떤 종류로 섞였는지)가 실제 제품에서 오가는 질문과 맞는지도 사람이 확인합니다. 에이전트를 많이 쓰는 팀이지만, 이 일만큼은 사람 손이 꽤 가요.
시스템 프롬프트 첫 줄은 Muse 공식 블로그 한국어판에 "목표는 사용자의 삶을 더 나은 방향으로 개선하는 것입니다"라고 공개돼 있습니다. 저커버그도 처음부터 Muse의 목적은 사람들의 삶을 낫게 하고 목표를 이루도록 돕는 데 있다고 짚었습니다.
(편집 도식) 평가의 위계와 사람이 직접 쓰는 두 문서. 이미지 출처 : 원인터뷰 내용으로 재구성.
최우선 평가와 사람이 쓰는 시스템 프롬프트는 메타 규모가 아니어도 작은 팀이 바로 따라 할 수 있습니다. 지금 만드는 AI 기능이 어떤 경우에도 하면 안 되는 일 하나를 골라 최우선 평가로 적어 두세요. 시스템 프롬프트에 AI가 써 준 줄이 있다면, 그 줄부터 사람이 다시 적어 보세요.
회사 로고 대신 캐릭터 Jolly를 남긴 이유까지, 질문별 답 전체는 뉴스레터에 담았습니다.
https://maily.so/josh/posts/8mo5mmlkz9p
조쉬의 뉴스레터는 AI와 함께 일하는 창업가·빌더의 이야기를 매주 보내 드립니다.