AI 에이전트를 회사 일에 붙여 본 분이라면 비슷한 벽을 만났을 거예요. 모델은 똑똑한데 우리 회사 데이터가 어디에 어떻게 있는지는 모릅니다. 그래서 다들 온톨로지가 필요하다고 하는데, 막상 그래프와 형식 문법을 익히려면 막막하죠.
제네시스랩 유대훈 CTO님은 다른 길을 택했습니다. 회사는 10년 가까이 딥러닝을 연구했고, 채용 면접 분석 서비스 뷰인터 HR로 알려져 있어요. 지금은 기업용 에이전트 빌더 에이전트리아와 그 안의 지식 기능 슬립박스를 만들고 있습니다. 빌더 조쉬 채널의 HOW I AI 팟캐스트에서 유대훈 CTO님과 이야기 나눴고, 조쉬의 뉴스레터에 정리한 내용 중 직접 만드는 사람이 가져다 쓸 만한 대목만 추렸어요.
시작은 내부 병목이었습니다. 현업 전문가가 필요를 짚으면 AI 연구원이 스트림릿으로 프로토타입을 만들고, 서비스 개발팀이 다시 다듬어 배포했어요. 유대훈 CTO님에 따르면 이 세 팀이 얽히다 보니 프롬프트 몇 개로 끝날 일도 1~2주가 걸렸다고 합니다.
그래서 현업이 프롬프트와 지식 체계를 직접 설정하고, 문제가 생기면 연구팀과 같은 화면을 보며 그 자리에서 고치는 도구를 먼저 만들어 봤어요. 어떤 건 하루 만에 테스트할 수 있었고, 그 경험이 범용 에이전트 빌더로 이어졌습니다. AI는 배포한 순간부터가 시작이라는 게 그의 말이에요. 사용자는 만든 사람이 원하는 대로 쓰지 않으니까요.
유대훈 CTO님이 정의한 온톨로지는 거창하지 않습니다. 어떤 데이터는 어느 DB의 어느 테이블에 어떻게 접근하고, 어떤 데이터는 어느 시스템의 API를 불러야 하는지 모아 둔 지도예요. 에이전트는 그 지도를 보고 데이터를 찾아갑니다.
모든 데이터를 한곳에 옮겨 그 위에 온톨로지를 쌓는 방식도 있지만, 거의 실시간으로 동기화하려면 큰 인프라가 들어요. 데이터 주권을 중요하게 여기는 중견기업도 많고요. 그래서 있는 시스템을 최대한 그대로 쓰는 쪽을 골랐다고 합니다.
문제는 온톨로지 문법이 개발자에게도 너무 어렵다는 거였어요. 그러다 클로드 스킬이 파일을 영리하게 다루는 걸 보고 마크다운이 사람과 AI 모두에게 다루기 좋다고 봤고, 안드레 카파시가 공유한 LLM 위키를 보며 연결 방법을 찾았습니다.
안드레 카파시가 GitHub에 공개한 LLM 위키. LLM이 마크다운 위키를 직접 쓰고 이어 붙이는 방식을 설명한다. 이미지 출처 : GitHub
다만 유대훈 CTO님의 경험으로는 목차가 200개를 넘으면 성능이 떨어졌대요. 그래서 목차는 트리로 만들어 DB로 관리하고, 그 내용을 다시 마크다운으로 렌더링해 에이전트에 넣습니다. 관계는 그래프 대신 페이지 속 문장으로 씁니다. 계약 관계든 공장과 라인의 관계든 말로 설명해 두면 LLM이 뒤에서 컴파일해 준다는 거예요. 그렇게 나온 이름이 제텔카스텐의 영어 이름, 슬립박스입니다.
DB를 인제스트하면 먼저 테이블 이름과 컬럼 이름을 보고, 약칭이라 알아보기 힘들면 데이터 일부를 샘플링해 뜻을 추정합니다. 유대훈 CTO님은 온톨로지의 앞단이 결국 그 분야에서 쓰는 용어와 그 정의라고 했어요. '이 용어는 이런 뜻'이라고 주면 LLM은 그때부터 그 뜻으로 받아들인다고요.
하면 안 되는 일도 적습니다. 센서 데이터처럼 계속 쌓이는 테이블은 실수로 전체를 조회하면 메모리가 터지니, '누적 시계열이니 기간 필터를 걸어라' 같은 금칙을 남겨요. 자동으로 만든 페이지가 틀렸다면 노션이나 옵시디언 쓰듯 사람이 그 자리에서 고치면 됩니다.
인제스트로 만든 페이지에 남은 조회 금칙. 누적 시계열 테이블은 기간 필터 없이 전체를 조회하지 말라고 적혀 있다. 이미지 출처 : 빌더 조쉬 YouTube
법률 문서처럼 글자 하나도 바뀌면 안 되는 자료는 원문을 그대로 잘라 넣고, 나머지는 토픽으로 나눠 트리 목차를 만듭니다. 변환이 잘 됐는지는 먼저 중요한 포인트를 직접 물어보고, 다음엔 벌크 테스트로 정답과 계속 비교해 확인해요. 테스트 입력을 만들기 어려우면 가칭 제로클릭 에이전트가 합성 데이터로 채팅 테스트를 대신 돌리고, 끝나면 에이전트를 어떻게 고치면 좋을지 가이드까지 준다고 합니다.
에이전트리아 공식 문서의 인제스트 두 방식. 합성은 핵심을 재구성해 슬립을 만들고, 원문 보존은 규정이나 계약서처럼 정확성이 중요한 문서의 원문을 그대로 넣는다. 이미지 출처 : 에이전트리아 문서
임베딩을 버린 건 아닙니다. 다만 몇천 쪽짜리 PDF를 임베딩해 뒀는데 임베딩 모델을 바꾸면 일부만 바꿀 수 없고 전부 다시 해야 해요. 에이전트를 돌리다 지식을 바로 고쳐야 하는 경우라면 고칠 때마다 다시 임베딩해야 하고요.
그래서 기준은 바뀌는 주기입니다. 1년에 한 번 바뀌는 자료는 RAG가 빠르고 좋고, 주나 월 단위로 고치는 지식은 슬립박스로 글로 씁니다. 형식을 갖춘 온톨로지가 꼭 필요하면 이미 있는 시스템과 연결해요.
유대훈 CTO님에 따르면 최근 한 고객사는 똑같은 사업자 번호가 테이블마다 다른 뜻이었다고 합니다. 프롬프트에 다 넣기엔 양이 너무 많았지만, 테이블마다 페이지가 있으니 거기에 한두 줄만 넣으면 됐어요. 현업이 '이 데이터로는 못 하겠다' 싶을 때 빠진 부분만 글로 써 주는 것, 그게 에이전트를 빠르게 배포한 뒤 안정적으로 만들어 가는 방법이라고 봤습니다.
테이블마다 뜻이 다른 사업자 번호. 프롬프트에 다 넣는 대신 해당 테이블 페이지에 한두 줄만 적는다. 이미지 출처 : 원인터뷰를 바탕으로 조쉬의 뉴스레터 재구성
마지막으로 그는 AI가 아무리 뛰어나져도 책임은 사람이나 기업이 지게 될 거라고 했어요. 문제가 생기면 사람이 들어가 과정을 보고 고칠 수 있어야 한다는 거죠. 에이전트리아가 과정마다 입력값과 출력값을 다 볼 수 있게 해 둔 것도 디버깅을 위해서라고 합니다.
딜 현황 보고 시연과 인제스트 화면, 인터뷰 전체 문답은 뉴스레터에 정리해 두었습니다.
https://maily.so/josh/posts/10z37pnvolw
조쉬의 뉴스레터는 AI와 함께 일하는 창업가·빌더의 인터뷰를 매주 보내 드려요.
