Adobe 연구 부문, 동영상 생성의 장기 기억 문제 해결

Adobe의 연구 부문이 동영상 생성 AI에서 오랫동안 제기되어 온 '장기 기억' 문제를 극복했다고 발표했다. 상태공간모델(SSM)과 로컬 어텐션 메커니즘을 결합한 기법을 통해 긴 동영상을 생성할 때 전반부 내용을 '잊어버리는' 문제에 대처하고 있다.

동영상 생성 AI가 안고 있어 온 근본적인 과제는 영상의 길이가 증가할수록 과거 프레임과의 일관성을 유지하기 어려워진다는 점이다. 일반적인 Transformer 기반 모델은 멀리 떨어진 프레임 간의 관계를 다루기 위해 계산량이 급격히 증가한다. 따라서 장시간 동영상일수록 장면의 설정이나 캐릭터의 외형이 도중에 변해버리는 문제가 발생하기 쉬웠다.

이번 연구에서는 SSM(상태공간모델)과 로컬 어텐션을 결합한 설계가 채택되었다. SSM은 멀리 떨어진 프레임 간의 종속성을 계산 효율적으로 다루기에 적합한 메커니즘이며, 동영상 전체를 통한 '기억'의 역할을 담당한다. 한편 로컬 어텐션은 인접한 프레임 간의 세밀한 정합성, 예를 들어 동작의 매끄러움이나 국소적인 영상의 연속감을 유지하기 위해 작동한다. 이 둘을 결합함으로써 거시적인 일관성과 미시적인 자연스러움을 동시에 확보하는 구조가 된다.

학습 기법에도 공을 들였으며, 'Diffusion Forcing'과 '프레임 로컬 어텐션' 두 가지 전략이 채택되었다. Diffusion Forcing은 동영상 프레임을 단계적으로 노이즈 제거하면서 생성하는 확산 모델의 훈련과 관련된 기법으로, 모델이 시간적 맥락을 적절히 학습하기 쉽게 하는 효과가 있는 것으로 알려져 있다. 이들을 결합함으로써 장시간의 영상 생성에서도 내용의 일관성이 유지되도록 훈련이 이루어졌다.

이 성과가 지니는 의미는 동영상 생성 기술의 실용성이라는 관점에서 크다고 위치지어진다. 현재의 동영상 생성 AI는 짧은 클립에는 대응할 수 있어도 영화나 드라마 같은 긴 영상 콘텐츠에는 적용하기 어려웠다. 이번 접근 방식이 실용화된다면 긴 영상을 AI가 일관성을 가지고 생성할 수 있는 가능성이 넓어지며, 영상 제작 워크플로우에 새로운 선택지를 가져올 것으로 볼 수 있다.

Adobe는 영상 편집 소프트웨어 'Premiere Pro'와 이미지 편집 소프트웨어 'Photoshop' 등의 크리에이티브 도구를 다루는 기업이며, 자사 제품에 대한 AI 통합을 적극적으로 진행해 온 경력이 있다. 이번 연구 성과가 제품 수준에서 어떻게 활용될지는 현 시점에서는 명확하지 않지만, 동영상 생성의 질과 일관성을 높이는 기술로서 향후 제품 전개와의 관련에서 주목할 가치가 있다고 할 수 있다.

동영상 생성 AI 전체로서는 텍스트나 이미지 생성에 비해 기술적 성숙이 뒤떨어진 분야다. 시간축이라는 새로운 차원이 더해짐으로써 단순한 품질뿐만 아니라 '내러티브로서의 일관성'이 문제된다. 이번 Adobe 리서치의 취조는 그 과제에 정면으로 마주하는 하나의 접근 방식으로서 업계 전체의 기술 동향에 영향을 미칠 가능성이 있다.