혼자 일하다 보면 영상 하나 다듬는 데 하루가 통째로 사라지곤 하죠. 요즘은 이 일을 AI 에이전트에게 맡기는 사람이 늘고 있어요. HTML 기반 오픈소스 영상 도구 HyperFrames의 깃허브 별은 10월 22일부터 26일까지 나흘 새 2,800개 가까이 늘었고, 대본을 고치면 영상이 따라 편집되는 기능을 알린 공식 X 글은 사흘이 안 돼 100만 회 넘게 조회됐습니다.
그렇다면 AI에게 편집을 맡길 때 무엇을 어떤 말로 시켜야 할까요? 10월 25일 피터 양의 유튜브 채널에 공개된 대담에서 HyperFrames 팀의 제이크 모런이 그 답을 보여 줬어요. 그는 HyperFrames를 4월 오픈소스로 공개한 HeyGen의 프로덕트 그로스 매니저예요. 도구를 만든 회사 사람이지만, AI에게 '편집해 줘' 한마디로 맡기지 않고 편집 용어와 맥락, 이야기 흐름을 구체적으로 줍니다. 조쉬의 뉴스레터에 정리한 내용 중, 혼자 만드는 사람이 지금 쓰는 에이전트로 따라 해 볼 만한 대목만 추렸습니다.
HeyGen이 4월 공개한 오픈소스 영상 프레임워크 HyperFrames 저장소. 라이선스는 Apache 2.0이고, 10월 26일 기준 별이 7만 2천여 개다. 이미지 출처 : GitHub heygen-com/hyperframes
녹화를 마치면 완성본보다 조금 긴 원본이 남아요. 모런은 이걸 정리하는 러프컷(이야기 흐름대로 거칠게 잘라 낸 첫 편집본)을 에이전트에게 그대로 요청하라고 했어요. 그가 예로 든 지시는 이렇습니다. "'음'을 지우고 싶어. 오래 멈춘 데가 있었으니 무음은 0.25초 안팎이나 그보다 짧게 줄여 줘. 같은 단어를 반복했을 수 있으니 그것도 없애 줘. 이쯤에서 다시 찍었어."
필러 워드, 무음, 반복, 다시 찍은 자리처럼 나와 모델이 같이 알아듣는 말을 써야 결과에 더 빨리 닿고 토큰도 아낀다는 게 그의 설명이에요. 원하는 게 어느 정도 그려진다면 에이전트를 보내기 전에 처음부터 다 적어 주는 게 낫다고도 했고요.
(편집 도식) 모런이 예로 든 러프컷 지시를 네 가지 정리로 나눠, 한 번에 보내는 지시로 옮긴 그림. 이미지 출처 : 원인터뷰를 바탕으로 편집부 재구성
에이전트는 전사(음성을 글로 받아쓰기)를 바탕으로 자를 곳을 찾아요. 모런에 따르면 성능이 나쁜 전사 모델 위에서 "문장 사이 무음을 0.25초로 줄여 줘"라고 하면, LLM은 알겠다고 하고는 잘못된 타임스탬프로 작업해 단어가 반쯤 잘려 나갈 수 있어요. 그래서 그는 엔비디아가 무료로 공개한 로컬 전사 모델 Parakeet을 쓴다고 했습니다. 그의 경우 Parakeet은 98%는 단어 사이 간격을 제대로 잡는다고 해요. 속도감이 생명인 인스타그램·틱톡용 편집에선 이 차이가 특히 크다고요. 녹화본 정리에서는 LLM이 정확한 타임스탬프를 얻는 게 전부라는 거죠.
모런은 모델이 아직 소리를 어려워한다고 짚었어요. 아무것도 듣지 못하니 "음악 넣어 줘"만 하면 내 목소리보다 훨씬 크게 들어올 수 있다는 거예요. 그래서 그는 "음악은 작게, A롤 음량의 10%로 유지해 줘"처럼 숫자로 말한다고 했어요. 훅도 마찬가지예요. 첫머리 줌인이 가장 익숙한 기법인데, 지금은 "앞에 줌인을 넣어 줘"라고만 해도 꽤 괜찮게 나올 거라고 했죠.
찍은 영상이 없는 출시 영상은 방식이 달랐어요. 모런이 최근 배경 제거 기능의 출시 영상을 시작할 때 가진 건 스크린샷 3장이 전부였어요. 프롬프트에는 편집 용어를 거의 쓰지 않고 원하는 이야기 흐름만 적었고요. 그리고 전체 영상을 바로 만들게 하지 않고 정지 프레임으로 짠 스토리보드부터 받았어요. 다 만든 영상을 붙잡고 고치는 것보다 문제를 훨씬 빨리 잡을 수 있기 때문이라고 해요.
전체 영상보다 먼저 받은 정지 프레임 12장. 왼쪽 답에 12프레임, 4막, 약 38초로 짰다고 적혀 있다. 이미지 출처 : YouTube Peter Yang, 18:20
그는 30초에서 1분 남짓한 출시 영상을 네 구간으로 생각한다고 했어요. 눈을 붙잡는 훅, 제품에서 어떻게 쓰는지 보여 주는 맥락, 사용자가 얻는 결과나 행동 유도, 그리고 다시 브랜드입니다.
(편집 도식) 모런이 30초~1분 남짓 출시 영상을 짜는 네 단. 이미지 출처 : 원인터뷰를 바탕으로 편집부 재구성
모런은 진행자의 에피소드 원본도 하나 맡아 편집했어요. 20분 30초짜리 원본이 18분 11초가 됐는데, 다시 찍은 부분과 무음처럼 결국 필요 없던 것들이 빠진 결과라고 해요. 같은 작업에서 본편 앞에 붙이는 짧은 인트로 릴도 만들었는데, 컷인을 어디에 둘지는 그가 정하지 않았다고 했어요. 다만 인트로 애니메이션이 말하는 사람을 덮어서는 안 된다는 데는 분명했어요. 그의 표현으로는 "A롤이 일하게 두세요." 시청자는 결국 말하는 사람에게서 배우려고 보는 거니까요.
모런은 "내 브랜드로"라고만 하면 아마 10번 중 9번은 엉뚱한 색에 상상으로 지어낸 화면이 나올 거라고 했어요. 색과 글꼴, 로고를 담은 자료를 주거나 그만큼 구체적으로 적어 줘야 한다는 거죠. 따라 하고 싶은 효과가 있다면 스크린샷이든, 이전 영상이든 레퍼런스로 시작하는 쪽이 더 쉽다고 했어요. 한번 찾은 방법은 세션이 끝날 때 "방금 한 단계가 정확히 뭐였는지 기억해 두자"라고 말해 스킬로 저장해 두라는 조언도 보탰습니다.
정리하면, 모델이 듣지 못하고 모르는 것을 같이 알아듣는 말과 숫자, 자료로 채워 주라는 것이 모런의 대담이 보여 준 순서예요. 그래도 아이디어와 이야기 흐름은 여전히 사람 몫이라고 그는 말했어요.
그대로 붙여 쓸 지시문과 Q&A 전체는 뉴스레터에 담았습니다.
https://maily.so/josh/posts/knrjk2l0zld
조쉬의 뉴스레터는 AI와 함께 일하는 창업가·빌더의 이야기를 매주 보내 드려요.
