AI가 만든 결과를 서비스에 그대로 보여 줘도 될지, 프로젝트를 진행하며 AI 기능을 붙여 본 사람이라면 한 번쯤 망설여 봤을 것이다.
원티드 AI Championship 2026에서 5명이 만들어 TOP 20에 선정된 Refactor.me의 기획부터 데모데이까지를 5편으로 정리했다.
기획 — 무엇을, 왜 만들기로 했나
구현 ① — 기술 블로그와 채용 공고 데이터 파이프라인
구현 ② — 화면, 그리고 GitHub 저장소에서 경험 찾기
검증 — AI가 만든 제안의 근거를 어떻게 믿을 것인가
데모데이 후기와 회고
AI가 붙인 근거를 코드로 세 겹 검증했다. 그런데 가장 큰 문제는 AI가 아니라 내가 만든 검증 단계 하나가 정상 근거의 39%를 버리고 있던 것이었다. 검증은 많이 두는 것보다, 각 검증이 무엇을 보고 무엇을 못 보는지 아는 게 중요했다.
Refactor.me의 모든 프로젝트 제안에는 "이 회사가 실제로 이 문제를 다뤘다"는 근거 글이 붙는다. 그런데 그 제안과 근거를 만든 건 LLM(대규모 언어 모델)이다. LLM은 그럴듯한 인용을 지어낼 수 있다.
근거가 틀리면 이 서비스는 존재 이유가 없다. 그래서 1편에서 정한 원칙을 끝까지 지키려 했다. 만드는 일은 LLM에게, 확인하는 일은 코드에게.
이 프로젝트에서 내가 가장 오래 붙잡은 일이 이 검증이었다. 검증기와 게시 기준을 설계했고, 데이터 자체가 틀린 곳을 찾아 고쳤고, 내가 만든 검증이 틀렸을 때 그 영향을 확인하고 수정했다.
검증 단계
① 근거 검증기: 제안에 붙은 근거가 진짜인지 하나씩 본다.
② 게시 게이트: 검증을 통과하고 남은 결과가 화면에 내보낼 만큼 충분한지 본다.
③ 데이터 검증: 검증기가 대조하는 기준 데이터 자체가 맞는지 본다. ①이 아무리 정확해도 기준이 틀리면 소용없다.
①과 ②는 내가 설계하고 만들었다. ③은 팀원들과 나눠서 했다.
제안 하나에는 이런 근거가 붙는다.
어떤 글인지 (article_id, 글 번호)
그 글에서 가져온 문장 (quote, 인용 문장)
검증기는 LLM 없이 규칙대로만 도는 코드로 4단계를 거치게 만들었다. 같은 입력이면 언제 돌려도 같은 결과가 나와야 몇백 건을 돌린 결과를 믿을 수 있다.
단계 | 확인하는 것 | 실패하면 |
|---|---|---|
1 | 인용한 글이 수집한 데이터에 실제로 있는가 | 그 근거를 버린다 |
2 | 인용한 글의 제목 단어가 그 글의 요약에 30% 이상 나오는가 (이후 제거, 4장) | 그 근거를 버린다 |
3 | 인용 문장의 핵심 어구가 요약이나 원문에 들어 있는가 | 그 근거를 버린다 |
4 | 근거가 하나라도 남았는가 | 제안을 통째로 버린다 |
근거 하나가 틀렸다고 제안 전체를 버리지는 않는다. 근거가 셋인데 하나만 틀렸다면 나머지 둘로 제안은 성립한다. 근거가 하나도 안 남을 때만 제안을 버린다.
테스트는 실제 회사 데이터와 팀원이 일부러 만든 "틀린 근거" 표본으로 28개를 썼다. 처음 실데이터로 돌렸을 때 26개 회사 582개 근거 중 410개(70%)가 남았다.
검증을 통과한 결과도 바로 화면에 나가지 않는다. 회사 × 직무 조합마다 게시 게이트를 하나 더 둔다.
새 프로젝트 제안이 1개 이상 있는가. 제안이 없으면 그 화면을 보여 줄 이유가 없다.
블로그 근거 글이 최소 몇 편 이상인가. 근거가 너무 적으면 "이 회사가 반복해서 다루는 일"이라고 말할 수 없다.
처음 기준은 5편이었다. 그런데 뒤에서 설명할 직무 재분류를 하고 나니 같은 5편이 훨씬 엄격해졌다. kt cloud 데이터·AI는 근거가 106편에서 14편으로, 토스 백엔드는 40편에서 9편으로 줄었고, 모바일 직무는 사실상 사라졌다.
기준을 몇으로 둘지는 감으로 정하지 않았다. 근거 편수 구간별로 "제목만 보고 직무가 맞는지 확인되는 비율"을 비교했다.
구간 | 제목만으로 직무가 확인되는 비율 |
|---|---|
2편 | 68% |
3편 | 67% |
2편과 3편의 근거 질은 거의 같았다. 구조적으로 약한 건 1편짜리 구간뿐이었다. 영역이 하나뿐이고, 그 한 편마저 직무가 확인되지 않는 경우가 있었다. 그래서 기준을 2편으로 정했다. 3편으로 올려도 얻는 게 없었다.
하나 더 맞춘 것이 있다. 화면 목록에 "있다"고 선언한 페이지와 게이트 기준이 서로 다르면, 목록에는 있는데 들어가면 계속 "준비 중"인 페이지가 생긴다. 그래서 목록을 만들 때도 같은 기준값을 쓰게 맞췄다.
글마다 붙은 직무 태그는 처음에 키워드 부분 일치로 붙였다. 글 어딘가에 "frontend"나 "React" 같은 단어가 있으면 프론트엔드 글로 셌다. 이 방식이 근거 수를 크게 부풀리고 있었다.
전체를 다시 분류(추정 1천만 토큰)하기 전에, 먼저 회사 두 곳으로 시험해 봤다.
회사 | 직무 | 기존 | 재분류 |
|---|---|---|---|
LG AI연구원 (16건) | 프론트엔드 | 6 | 0 |
어피닛 (26건) | 프론트엔드 | 11 | 0 |
어피닛 (26건) | 모바일 | 6 | 0 |
두 회사 모두 프론트엔드·모바일 근거가 0건이었다. 그 뒤 33개 회사 1,028건 전체를 다시 분류하고 결과를 검증했다.
직무 | 기존 | 재분류 | 살아남은 조합 |
|---|---|---|---|
백엔드 | 678 | 351 | 30/32 |
프론트엔드 | 393 | 121 | 17/29 |
모바일 | 177 | 25 | 10/18 |
데이터·AI | 770 | 304 | 30/33 |
떨어져 나간 글이 정말 잘못 붙은 태그였는지 표본으로 확인했다. 카카오 프론트엔드로 분류됐던 14건은 AI 모델 서빙과 행사 소개 글이었다. kt cloud 프론트엔드 31건은 API 게이트웨이와 네트워크 비교 글, 삼성반도체 백엔드 24건은 반도체 공정 글이었다.
자동 형식 검사(33/33 통과)만 믿지 않고, 검증기가 보지 않는 것도 따로 확인했다. 판정이 빠진 글, 근거가 0인데 이름이 붙은 영역, 같은 회사·직무 안에서 겹치는 영역 이름이 모두 0건인지 봤다.
이 재분류로 기존 112개 조합 중 25개가 근거 0이 됐다. 그대로 두면 목록은 옛 숫자를 계속 보여 준다. 그래서 근거를 다시 세고 게시 목록을 새로 만들었다.
화면에 "근거 2건"이라고 나오는데 같은 글 링크가 두 줄로 찍힌 걸 발견했다. 따라가 보니 제안의 근거 목록에 같은 글 번호가 중복으로 들어 있었다. 게시본에서 107개 제안이 이 상태였고, 세 번 들어간 경우도 있었다.
회사 영역 쪽 근거는 중복을 거르고 있었는데, 제안 쪽은 모델이 준 목록을 그대로 쓰고 있었다. 같은 데이터를 다루는 두 경로 중 하나만 중복을 거른 것이다. 제안 쪽에도 같은 처리를 넣었다.
2편에서 쓴 사건이다. 3단계 검증은 인용 문장을 원문과 대조하는데, 일부 회사는 그 원문 자리에 AI가 요약한 문장이 들어 있었다. 팀원이 원본을 다시 받아 대조하다 발견했다.
이 일을 계기로 팀원 C가 요약이 원문에 근거하는지를 게시본 전체에 대해 재는 장치를 만들었다. 요약과 원문을 글자 2개 묶음 단위로 비교해, 측정할 수 있는 703건 중 678건(96.4%)이 기준을 통과했다. 원문을 못 받았거나 한국어가 아닌 37건은 탈락이 아니라 "판단할 수 없음"으로 따로 셌다.
가장 기억에 남는 일은 이것이었다.
제안을 대량으로 생성하던 중, 두 조합이 몇 번을 다시 생성해도 계속 검증에 걸렸다. 처음에는 모델이 이 회사들의 제안을 잘 못 만든다고 생각했다. 그런데 어느 단계에서 근거가 떨어지는지 따라가 보니, 문제는 모델이 아니라 내가 만든 2단계 검증에 있었다.
2단계는 제안을 보지 않는 검사였다. 입력으로 받는 게 "인용된 글의 제목과 요약"뿐이라, 같은 글을 인용하면 어떤 제안이든 똑같이 통과하거나 똑같이 떨어진다. "모델이 근거를 지어냈는가"를 원리적으로 잡을 수 없는 검사였다.
그런데도 정상 근거를 대량으로 버리고 있었다.
요약이 제목 단어를 그대로 쓰지 않고 다른 말로 풀어 쓴 경우
제목은 영어, 요약은 한국어라 단어가 겹칠 수 없는 경우 (예: Solar Pro 3: 2× Agentic Performance)
"달리는 기차 바퀴 칠하기" 같은 비유적인 제목
이 검사가 버린 근거 164개를 다시 보니 전부 3단계(인용 문장 확인)를 통과한 정상 근거였다. 반대로 일부러 틀린 근거를 넣었을 때는 2단계 없이도 3단계가 72~83%를 잡아냈다. 2단계는 잡아야 할 것은 못 잡고, 버리지 말아야 할 것만 버리고 있었던 것이다.
그래서 이렇게 해결했다.
게시본 기준으로 영향을 다시 셌다. 79개 조합 전체에서 이 검사 하나가 근거의 39%를 버리고 있었다.
검사를 걷어 냈다. 2단계를 검증기에서 빼고, 왜 뺐는지를 검증기 문서에 남겼다. 다음 사람이 "검증이 하나 빠졌네" 하고 다시 넣지 않게 하기 위해서다.
전부 다시 만들었다. 검사가 바뀌면 이미 게시된 결과도 다시 봐야 한다. 생성 규칙 13개를 확정해 프롬프트에 넣고, 79개 조합을 3명이 나눠 다시 생성한 뒤 다시 게시했다.
이 결함의 원인은 하나였다. 검사가 판정해야 할 대상을 입력으로 받지 않았는데, 그걸 확인하지 않았다. 앞으로 검증을 만들 때는 네 가지를 지키려 한다.
함수의 입력부터 확인한다. 검사를 만들기 전에 "이 검사가 잡으려는 오류는 무엇이고, 그 오류가 이 함수의 입력에 나타나는가"를 한 줄로 적는다. 2단계는 "모델이 근거를 지어냈는가"를 잡으려 했지만, 입력에 제안도 인용 문장도 없었다.
넣기 전에 일부러 틀려 본다. 틀린 데이터를 넣어 얼마나 잡는지와 함께, 정상 데이터를 넣어 얼마나 잘못 버리는지도 먼저 잰다. 이번에는 틀린 근거를 잡는지만 테스트했고, 정상 근거를 얼마나 버리는지는 검사를 넣은 뒤에야 쟀다.
단계별로 몇 개를 버렸는지 항상 남긴다. 단계마다 탈락 수와 이유를 출력해서, 한 단계가 유독 많이 버리면 바로 눈에 띄게 한다. 근거의 39%를 버리는 단계는 숫자만 보였어도 이상하다는 걸 알 수 있었다.
다시 돌리기 전에 원인부터 나눈다. 같은 실패가 두 번 나면 재시도를 멈추고, 모델 문제인지, 데이터 문제인지, 검증 문제인지부터 가린다. 이번에는 모델 탓이라고 생각하고 재생성을 반복하느라 시간을 썼다.
검증기가 통과시켰다고 끝이 아니었다. 검증기가 보지 못하는 것을 따로 확인해야 했다. 검증을 많이 두면 더 안전할 거라 생각했는데, 무엇을 입력으로 받는지 따져 보지 않은 검증은 오히려 정상 결과를 버렸다. 그리고 기준값은 감이 아니라 데이터 분포로 정해야 "왜 그 값이냐"에 답할 수 있었다.
사이드 프로젝트에 AI 결과를 검증하는 단계를 둔다면, 검증을 하나 더 넣기 전에 그 검증이 무엇을 입력으로 받는지, 단계마다 몇 개를 버리는지부터 세어 보길 권한다. 우리도 단계별로 버린 근거를 나눠 보고 나서야 문제가 모델이 아니라 검증에 있다는 걸 알았다.
다음 글은 데모데이 후기와, 해커톤이 끝난 뒤 돌아본 회고다.
이 글은 벨로그에 연재한 Refactor.me 해커톤 회고 시리즈의 4편입니다. 원문: [벨로그 링크]