사진: Brian Smale/Microsoft(CC BY-SA 4.0, 배경 제거·흑백 처리). 라이선스: https://creativecommons.org/licenses/by-sa/4.0/
마이크로소프트 CEO 사티아 나델라는 코드 생성이 싸진 지금 어려워진 건 검증이라고 봅니다. The Pragmatic Engineer 뉴스레터를 쓰는 게르겔리 오로스와 레드먼드 본사에서 나눈 63분 대담에서 나온 말이고, 영상은 11월 16일 공개됐습니다.
나델라는 이 대담에서 자기 회사가 밀린 이야기도 스스로 꺼냈습니다. 마이크로소프트가 GitHub Copilot으로 AI 코딩을 일찍 시작했지만, 정작 회사를 흔든 건 앤트로픽이 자기 모델로 해낸 일이었다고 했거든요. 자신은 AI가 코드를 대부분 짜는 팀에서 일해 본 적이 없어서 배워야 한다는 말도 했습니다.
Claude Code가 나온 뒤 6개월 만에 다들 IDE를 잊었다고 오로스가 짚자, 나델라는 그사이 IDE가 좀 빛이 바랜 건 맞다고 했습니다. 그러면서도 자신은 요즘 다시 IDE를 생각하고 있다며, 코딩 도구가 한쪽으로 영구히 넘어갔다고 보지는 않았어요. 모델로 만든 제품은 모델 성능이 한 번에 크게 뛸 때 쓰는 형태부터 빨리 바꿔야 한다는 게 나델라의 설명입니다.
(편집 도식) 코딩 도구는 CLI로 쏠렸다가 다시 여러 형태로 나뉜다. 이미지 출처 : 원인터뷰 내용으로 재구성.
사람이 짜던 코드를 AI가 내놓게 되면, 무엇을 왜 만드는지 밝힌 명세가 더 중요해진다고 나델라는 봅니다. 개발자가 어셈블리를 직접 쓰다 컴파일러가 생겼을 때처럼 한 단계 위에서 일하게 된 셈입니다.
대담에는 윈도 빌드 시스템처럼 마이크로소프트 규모라서 나오는 이야기도 많습니다. 그래도 실패를 테스트로 남기는 일은 혼자서도 오늘 할 수 있다고 봐요. 사이드 프로젝트에 옮겨 쓸 만한 습관 네 가지만 추렸습니다.
나델라는 AI가 코드를 대부분 짜는 팀도 아무 코드나 쏟아 내지 않고 정해진 일의 순서를 따른다고 봅니다. 실패가 나올 때마다 그 사례를 테스트 케이스로 추가하고, 그 테스트가 정말 제 역할을 하는지도 확인해야 한다고 했습니다.
나델라가 직접 권한 Copilot Cowork 팀 블로그(11월 2일)를 보면, 이 팀은 PR(코드 변경 요청)을 열기 전에 고친 코드를 뺀 채 새 테스트를 다시 돌려 보고, 그래도 통과하는 테스트는 고쳤다는 증거로 치지 않습니다. 엔지니어 9명이 10월 21일 하루에 PR 1,211건을 병합한 팀이에요.
AI가 코드를 짜는 큰 프로젝트가 늘 매끄럽지는 않습니다. 나델라는 러스트로 옮기던 한 팀이 한 번 되돌려야 했을 만큼 이런 프로젝트가 악몽 같기도 하다며, 이 방식은 장점도 크고 단점도 크다고 했습니다. Cowork 팀 블로그에도 9월 23일 첫 시도를 되돌린 과정이 나옵니다.
(편집 도식) 실패가 테스트가 되고, 고친 것을 운영 로그로 확인하는 고리. 이미지 출처 : 원인터뷰 내용으로 재구성.
나델라는 요즘 자신이 많이 배우는 것도 검증이라고 했습니다. 에이전트에게 일을 작게 나눠 주고, 정말 끝났는지 확인해야 한다는 거예요. 비평은 다른 모델 계열에 맡겨야 한 계열의 문제를 그대로 떠안지 않는다고도 봤습니다.
Cowork 팀도 중요한 단계마다, 검사받는 에이전트와는 다른 모델 계열에서 도는 비평 에이전트를 붙입니다. 반면 대담이 공개된 날 검증 글을 낸 Claude Code 팀은 비평 에이전트를 더 붙이기보다 있던 것을 다듬는 편이 나을 때가 많다고 봤습니다.
어느 쪽이 맞을지는 내 프로젝트의 테스트로 가려 보면 돼요.
사람들이 RSI(AI가 스스로 나아지는 일)를 많이 이야기하지만, 나델라는 운영 로그를 받아 고친 게 맞는지 확인하는 능력을 자기 나름의 RSI라고 부릅니다. 고친 코드를 실제 서비스에 배포해 모든 테스트를 통과했는지까지 보는 이 고리가 정말 마음에 든다고 했습니다.
애저 네트워크 팀도 나델라가 좋아하는 사례예요. 나델라에 따르면 마이크로소프트는 광섬유 사업자 500곳쯤을 관리합니다. 이 팀은 메일을 주고받으며 그때그때 손으로 처리하던 운영을 에이전트 시스템으로 바꾸고, 코드 저장소와도 연결했습니다.
애저 팀이 5월 15일 쓴 글을 보면, 에이전트가 메일과 Teams로 광섬유 업체·현장 기술자와 수리를 조율하고, 실시간 측정값으로 복구됐는지 확인합니다. 첫 수리가 실패하자 에이전트가 기술자에게 다시 맡긴 사례도 있어요.
맥락과 기억, 에이전트가 쓰는 도구는 어느 한 모델에도 묶지 말아야 합니다. 안 그러면 완전히 갇힌다는 게 나델라의 경고입니다.
나델라는 이를 관계형 데이터베이스에 빗댑니다. 예전 은행이나 병원은 데이터베이스 위에서 도는 남의 소프트웨어를 사더라도 비즈니스 로직은 직접 관리했고, 업체가 업데이트를 끊어도 다른 곳으로 옮길 수 있었습니다. 기억을 한 모델의 임베딩(숫자로 바꿔 담은 표현)에 넣어 두면, 그 모델을 만든 회사가 업데이트를 끊을 때 빼낼 길이 없어요.
(편집 도식) 모델은 바꿔 끼우고, 맥락과 자체 평가는 회사 손에 둔 구조. 이미지 출처 : 원인터뷰 내용으로 재구성.
나델라의 시금석은 어떤 모델로 바꿔 끼워도 자체 평가(직접 만든 채점표) 점수를 계속 끌어올릴 수 있느냐입니다. 공개 벤치마크도 좋지만, 회사마다 꼭 얻어야 할 결과를 재는 자체 평가가 더 중요하다고 했습니다.
나델라는 똑똑함과 권한도 설계부터 떼어 놓고, 에이전트는 언제든 사고를 칠 수 있는 내부 직원으로 보고 늘 조심해야 한다고 했습니다.
1~2년 안에 뛰어난 엔지니어가 되려면 어떻게 해야 하느냐는 오로스의 마지막 질문에, 나델라는 "할 수만 있다면 저도 말하는 시간을 줄이고 해 보는 시간을 늘리겠습니다. 지금이 바로 그럴 때입니다"라고 답했어요. 자신은 배울 때 실력이 가장 잘 나온다며 "다시 학생으로 돌아갑시다"라는 말로 답을 맺었습니다.
지금 하는 사이드 프로젝트에서 AI가 고친 버그 하나를 골라, 그 실패를 재현하는 테스트부터 적어 보세요. 다음에 같은 버그가 다시 생기면 그 테스트가 먼저 알려 줍니다.
오로스가 물은 신입 채용과 경력 이야기까지, 질문별 답 전체를 뉴스레터에 담았습니다.
https://maily.so/josh/posts/32z831mjon4
조쉬의 뉴스레터는 AI와 함께 일하는 창업가·빌더의 이야기를 매주 보내 드립니다.