“두 사람이 대화하는 장면 찾아줘”… AI가 이 한 마디에 멈춰선 이유 [나인O'Clock]

오재호 파일러 대표 인터뷰

“대화는 언제 시작됐나”…AI엔 어려운 영상 맥락
텍스트 변환 없이 억양·감정·배경음까지 분석
샷 아닌 ‘씬’ 단위로 장면 의미·경계 파악
정답 없는 영상 이해…산업별 데이터가 ‘기술적 해자’
“골 넣는 순간 찾아줘”…영상 검색·편집까지 노린다

“두 사람이 대화하는 장면을 찾아줘.”

사람에게는 간단한 주문처럼 들리지만 인공지능(AI)에는 쉽지 않다. 두 사람이 만나 악수하는 순간부터 대화라고 봐야 할까. 첫마디를 꺼낸 순간부터일까. 서로 마주보며 침묵하는 순간은 대화에 포함될까.

AI 스타트업 파일러의 오재호 대표가 영상 속 같은 장면을 서로 다른 맥락으로 해석하는 AI의 한계를 설명한 인터뷰를 형상화한 이미지. 음성·시간·맥락을 통합 분석하는 '옴니 언더스탠딩' 기술로 이 난제를 풀려는 전략을 담았다. 인공지능(AI) 플랫폼 ‘세계온(SEGYE.On)’으로 생성

오재호 파일러 대표는 지난 6일 본보와의 인터뷰에서 “영상은 이런 경계와 맥락을 정의하는 일부터 어렵다”며 “AI가 영상의 문맥과 맥락을 ‘알잘딱깔센’(‘알아서, 잘, 딱, 깔끔하고, 센스있게’의 줄임말)하게 판단하도록 하는 게 쉽지 않다”고 말했다.

생성형 AI 경쟁이 텍스트와 이미지를 넘어 영상으로 옮겨가고 있지만, ‘영상을 이해하는 AI’에는 풀리지 않은 문제가 많다. 업계에서는 AI가 영상의 내용과 맥락을 분석하고 이해하는 기술을 ‘비디오 언더스탠딩(Video Understanding)’이라고 부른다. 파일러는 이를 시각·음성·텍스트와 시간 정보를 함께 처리하는 옴니 모델(Omni model)로 구현하고 있다.

영상에는 이미지 한 장보다 훨씬 많은 정보가 담겨 있다. 시각을 넘어 대화와 같은 발화, 주변 소리, 음악, 화면 속 글자와 자막, 시시각각 변하는 상황까지 동시에 이해해야 한다.

일반적인 멀티모달 거대언어모델(MLLM)은 음성을 텍스트로 변환한 뒤 그 텍스트를 분석한다. 반면 파일러가 구현한 옴니 모델은 오디오 데이터 자체를 직접 처리한다. 이 과정에서 억양과 감정, 배경음처럼 텍스트 변환 과정에서 사라질 수 있는 비언어적 정보까지 영상 이해에 활용할 수 있다. 오 대표는 “파일러는 시각·음성·텍스트와 시간 정보를 함께 분석하는 쪽으로 모델을 만들고 있다”고 말했다.

영상은 ‘어떻게 나눠서 볼지’도 중요한 문제다. 일반적인 샷(Shot)은 카메라 화면이 전환되는 지점을 기준으로 영상을 잘게 분류한다. 하지만 이런 구분은 사람이 이해하는 이야기 흐름과 다를 수 있다.

예를 들어 서로 다른 공간에 있는 남녀가 전화 통화를 한다고 해보자. 여성의 화면과 남성의 화면이 번갈아 나오면 수십개의 샷으로 쪼개질 수 있다. 그러나 맥락상으로는 모두 ‘두 사람이 전화 통화를 나누는 하나의 장면’이다.

파일러는 이처럼 여러 샷을 하나의 의미와 맥락으로 묶은 씬(Scene) 단위로 영상을 분석한다. 카메라가 어디에서 바뀌느냐보다 이야기의 맥락이 어디에서 시작되고 끝나는지를 파악하는 것이다. 이를 기준으로 영상을 분석하고 검색·추론에도 활용한다.

오재호 파일러 대표가 지난 6일 세계일보와의 인터뷰에서 질문에 답하고 있다.

문제는 맥락에도 ‘정답’은 없다는 것이다. 오 대표는 기자와 마주 앉아 진행 중이던 인터뷰 현장을 가리켰다. 그는 “지금 우리 모습을 15초 정도 찍어서 AI에 ‘이 영상을 이해해 봐’라고 하면 답이 여러 개 나올 수 있다”고 말했다. 가령 ‘남성 네 명과 여성 한 명이 대화한다’는 답도 가능하고, ‘언론사와 스타트업 관계자들이 인터뷰하고 있다’는 해석도 가능하다. 같은 영상을 보고도 어떤 정보를 알고 있는지, 무엇을 알고 싶은지에 따라 ‘이해’의 결과가 달라질 수 있다는 얘기다.

이에 파일러는 범용적으로 ‘모든 영상을 이해하는 AI’를 만들기보다 기업이 실제로 필요로 하는 문제부터 깔때기를 대듯 범위를 좁혀왔다. 창업 초기 약 30만개의 유튜브 영상과 광고를 분석하면서 ‘이 영상은 선정적인가’, ‘이 콘텐츠에 브랜드의 광고가 노출돼도 되는가’처럼 목적이 분명한 질문을 풀기 시작했다. 이해하려는 목표가 명확하면 가능한 답의 범위 역시 좁힐 수 있다는 설명이다.

이 과정에서 쌓이는 판단 기준과 데이터는 파일러가 말하는 ‘기술적 해자’로 이어진다. 기술적 해자는 경쟁사가 쉽게 따라오기 어려운 기술·데이터·노하우를 쌓아 시장에서 경쟁 우위를 유지하는 장벽을 뜻한다.

AI 스타트업 파일러는 수조원대 파운데이션 모델 경쟁을 피하고, 영상의 맥락·음성·시간을 통합 분석하는 '옴니 언더스탠딩' 기술과 30만 개 영상 분석 데이터를 '기술적 해자'로 삼아 비디오 AI 시장의 틈새를 공략하는 전략을 취하고 있다. 인공지능(AI) 플랫폼 ‘세계온(SEGYE.On)’으로 생성

이 같은 해자를 쌓기 위한 전략 중 하나가 자체 모델 개발이다. 파일러는 챗GPT, 클로드 등 거대 범용모델 자체를 구축하는 경쟁에 뛰어들지 않는다. 대신 누적된 데이터를 자체 개발 모델에 활용해 특화된 서비스를 제공한다. 오 대표는 “모든 것을 이해하는 파운데이션 모델을 만들기 위해 몇천억원, 몇조원을 투입하는 경쟁은 스타트업이 하기 어렵다”며 “오히려 우리가 나중에도 가지고 있을 때 큰 해자가 될 만한 이해관계자들의 일을 하고 그 문제를 해결하는 쪽에 팀을 집중하려 한다”고 말했다.

범용 생성형 AI 응용프로그램 인터페이스(API)만으로 파일러 서비스를 구현하기 어려운 이유도 있다. 일부 유해 영상은 범용 AI 모델에 입력하면 모델 자체의 안전장치 때문에 분석 요청이 거부될 수 있기 때문이다. 오 대표는 “아동 범죄나 극단적인 유해 콘텐츠를 범용 AI에 넣어 판별하려 하면 ‘부적절한 콘텐츠’라며 응답하지 않는 경우가 있다”고 설명했다.

그렇다고 외부 AI를 전혀 쓰지 않는 것은 아니다. AI 학습용 데이터에 분류 정보나 정답을 붙이는 ‘레이블링’ 과정에서는 제미나이 등 복수의 외부 AI를 활용하기도 한다. 같은 영상에 대해 여러 모델이 각각 판단하도록 한 뒤 서로 결과를 비교하거나 일종의 토론·투표를 시켜 정답 데이터를 만드는 식이다. 오 대표는 “API들을 경쟁시키고 레이블러끼리 토론하도록 해 좋은 정답을 만드는 데 활용한다”고 말했다. 다만, 실제 고객 서비스에 들어가는 핵심 모델은 자체 구축한다.

비용 측면에서도 자체 개발 모델 사용이 최선이라는 평가가 나온다. 파일러가 분석하는 영상은 하루 약 150만개에 달한다. 이 모든 영상을 LLM에 넣어 문장화하면 처리를 위한 토큰 비용이 기하급수적으로 증가한다.

오재호 파일러 대표가 지난 3월 북미 새너제이에서 진행된 엔비디아의 연례 개발자 행사 'GTC 2026'에서 연사로 참여하고 있다. 파일러 제공

이에 파일러는 상당수 작업에 ‘임베딩’을 적용 중이다. 임베딩은 영상의 특징을 숫자로 표현해 비슷한 영상이나 의미를 서로 가까운 위치에 배치하는 방식이다. 임베딩을 활용하면 이미 분석한 영상과 유사한 영상이 다시 들어왔을 때 매번 처음부터 대규모 추론을 반복하지 않아도 된다. 오 대표는 “초기 임베딩 체계를 구축하고 고객 피드백을 받아 검증하는 데에는 약 6∼8개월이 걸렸다”고 회상했다.

이 기술의 쓰임새는 유해 콘텐츠 판별 외에도 다양하다. 대표적인 것이 파일러가 개발 중인 영상 검색(retrieval) 기술이다. 자연어로 찾고 싶은 장면을 입력하면 영상 속 해당 구간에 타임스탬프를 찍고 필요한 부분을 찾아준다. 가령 방송 영상에서 “특정 인물이 등장하는 장면을 모두 찾아줘”, 스포츠 영상에서는 “골을 넣는 순간을 찾아줘”라고 요청하는 식으로 활용할 수 있다.

인간이 ‘알아서 적당히’ 판단하는 영역을 AI가 얼마나 비슷하게 해낼 수 있는지는 향후 승부처가 될 전망이다. 오 대표는 비디오 이해 기술이 아직 발전 여지가 큰 영역인 만큼, 파일러가 그 과정에서 경쟁력을 확보해 선두주자가 될 수 있다고 자신했다. 그는 “비디오를 이해한다는 게 무엇인지에 대한 답부터 아직 만들어 가는 단계”라며 “그런 논리와 지식이 쌓이고 성숙하면 제작사나 콘텐츠 플랫폼을 포함해 여러 영역에서 활용될 수 있을 것”이라고 강조했다.

지금 놓치면 아쉬운 이슈, 김나인이 나인O'Clock에 찾아갑니다.