AI로 뭔가를 만들어 본 분이라면 한 번쯤 이런 생각을 해 봤을 거예요. 요즘처럼 AI가 코드를 다 써 주는데, 개발 실력은 이제 뭘로 증명하지?
크래프톤 AI 프론티어 본부가 그 질문에 답하는 평가를 만들었습니다. 이름은 Cofa Probe예요. 지난 7월 크래프톤이 CJ올리브영과 함께 연 해커톤에서는 매장에서 2년 정도 일한 비개발 참가자가 이 평가로 상위권에 올랐습니다. 이 평가를 만드는 구한모·조정석 님을 조쉬의 뉴스레터에서 인터뷰했는데, 혼자 만드는 사람이 자기 작업에 그대로 물어볼 만한 대목만 추렸어요.
알고리즘 문제를 푸는 코딩 테스트와는 시작부터 다릅니다. 화면은 IDE처럼 생겼고, 과제는 README 한 장이에요. 터미널에서는 평소처럼 Claude Code나 Codex를 씁니다.
요청은 두 문장 정도로 짧아요. 무엇을 만들어야 하는지는 채팅창에 있는 가상의 현업 담당자에게 물어서 알아내야 합니다. 구한모 님은 "현업에서 문제는 정의된 채로 오지 않잖아요"라고 했어요. 보통은 "그거 있잖아, 한번 해 와 줘"로 시작하니까요. 그래서 문제를 정의하는 것부터가 실력이라고 봅니다.
조정석 님이 진행자에게 거꾸로 물었어요. 회사에 처음 와서 옆자리 사수에게 맡은 프로젝트를 물어야 한다면 뭐라고 묻겠느냐고요. 사소한 것부터 물어 맥락을 모으겠다는 답에 "사실 그런 분이 점수가 잘 나와요"라고 했습니다.
반대로 "지금 해야 할 일을 하나, 둘, 셋, 넷으로 알려 주세요" 같은 요청은 통하지 않게 막아 뒀대요. 그런 착한 사수는 현실에 많지 않으니까요.
평가는 세 축으로 봅니다. 결과물이 제대로 작동하는지, AI를 원하는 방향으로 이끌었는지, 만든 것의 원리를 설명할 수 있는지예요.
과제를 통째로 넣고 "구현 다 끝내 놔"라고 하면 결과물은 10분 안에 나옵니다. 그런데 조정석 님 말로는 그걸 고치느라 토큰을 다 쓰고 3시간 동안 허덕일 수 있대요. 높은 점수를 받는 쪽은 구조부터 AI와 이야기하고, 문제가 생길 만한 부분은 같이 설계하고, 오래 맡겨도 되는 구현만 서브 에이전트에 넘깁니다. 눈에 띄는 건 잘하는 사람일수록 비용을 적게 쓴다는 점이었어요.
조정석 님이 든 사례가 있습니다. 요구된 API가 전부 읽기 전용인 과제였는데, 쓰기 요청이 몰릴 때를 대비한 방어 장치까지 촘촘히 넣어 오히려 부하를 키운 제출물이 있었대요. 범용으로 보면 잘 만든 설계지만, 이 제품의 요구 사항에 맞느냐고 하면 아니라는 거죠.
AI가 좋은 것을 알아서 만들어 주다 보니 과설계가 너무 많아졌다고 해요. 그래서 AI로 만든 결과물을 두고 어떤 패턴을 왜 썼는지 설명할 수 있는지 묻는 '인지' 점수를 가장 중요하게 본다고 했습니다.
화장품 쇼핑몰 같은 것을 만드는 과제였어요. 매장에서 일하며 사용자 입장에서 무엇이 중요한지 알다 보니 그걸 설계에 잘 녹였고, AI를 다루는 실력도 좋아 점수가 높게 나왔다고 합니다. 함께한 분들은 "기존 과정이었다면 놓쳤을 만한 인재"라고 했대요.
혼자 만드는 사람에게는 이게 제일 반가운 대목이었어요. 코드를 얼마나 아느냐보다, 누구를 위해 무엇을 만드는지 아는 사람이 AI와 함께 더 멀리 가는 시대라는 뜻이니까요.
조정석 님의 하루는 퇴근할 때 에이전트에게 맡길 일을 설계하는 데 거의 다 쓰인대요. 오늘 구현할 범위, 고칠 버그, 봐야 할 영역을 적고, 어떤 데이터로 잘 됐는지 검증할지까지 정합니다. 그러면 퇴근할 때는 엔터만 누르고 가요. 보통 에이전트를 네다섯 개 돌려 두고, 다음 날 아침 결과를 확인해 그날 할 일을 다시 짭니다.
구한모 님은 옵시디언에 요일별 할 일을 적어 두고, 그게 곧 프롬프트가 되게 해 뒀어요. 어떤 AI 모델을 쓰든 같은 메모리와 스킬을 참고합니다. 이 설정에 주말 하루를 꼬박 썼는데, 지금은 회의를 녹음만 하면 노트가 자동으로 써지고 메모리에 반영돼서 에이전트에게 맥락을 따로 넣어 주지 않아도 된대요.
그는 이걸 시간의 CAPEX라고 불렀습니다. 사업에서 설비 투자를 먼저 하듯, 개인도 자동화에 시간을 얼마나 먼저 들일지 정해야 하는 시대라는 거예요. 사이드프로젝트를 하는 사람이라면 주말 하루를 어디에 먼저 쓸지 따져 볼 만한 이야기였습니다.
조정석 님은 네이버제트에서 모션 캡처 스튜디오를 만들 때 예닐곱 명이 1년쯤 걸렸는데, 크래프톤에서 비슷한 프로젝트를 커서와 함께 두 명이 3개월에 끝냈다고 했어요. 그 뒤로 일하는 방식은 계속 바뀌고 있고, 쉽게 수렴하지 않을 것 같대요.
그래서 그가 내린 결론은 두 가지였습니다. 경험과 관계예요. 책 보고 개발만 하면 되던 시대가 지나서, 이제는 경험과 관계를 챙기려 한다고 했습니다.
평가 화면, 두 분이 실제로 일하는 방식, 인터뷰 전문은 뉴스레터에 정리해 두었습니다.
https://maily.so/josh/posts/x1zg69d3rqg
조쉬의 뉴스레터는 AI와 함께 일하는 창업가·빌더의 인터뷰를 매주 보내 드려요.
