Google DeepMind, Gemma 4를 확산 모델로 전환

Google DeepMind는 기존 언어 모델 'Gemma 4'를 확산 모델로 전환한 'DiffusionGemma'를 개발했다. 처음부터 새로운 모델을 훈련하는 대신 원래 훈련 비용의 10% 미만으로 구축했다고 하며, 개발 효율성 측면에서 주목할 만한 시도다.

본래 텍스트 생성 AI에는 크게 두 가지 접근 방식이 있다. 하나는 '자기회귀 모델'이라고 불리는 방식으로, 단어를 하나씩 순서대로 생성하는 구조다. ChatGPT나 Gemini 등 현재 주류인 대규모 언어 모델의 대부분은 이 방식을 채택하고 있다. 다른 하나는 '확산 모델'로, 이미지 생성 AI에서 널리 사용되어온 기술을 텍스트에 적용한 것이다. 확산 모델은 노이즈에서 단계적으로 정보를 복원하는 구조를 가지며, 여러 요소를 병렬로 처리할 수 있다는 점이 특징이다.

DiffusionGemma는 256개의 토큰을 동시에 병렬로 생성한다. 이를 통해 초당 약 1,500개 토큰이라는 처리 속도를 실현했다고 Google DeepMind는 밝혔다. 토큰은 AI가 텍스트를 처리할 때의 최소 단위로, 대략 1~2글자 정도에 해당한다. 단어를 하나씩 차례로 출력하는 자기회귀 방식과 비교하면, 병렬 처리에 의한 속도상의 우위성을 기대할 수 있는 구조다.

한편, 품질 측면에서는 과제가 남아 있다. 벤치마크 평가에서 DiffusionGemma의 성능은 원래의 자기회귀 모델을 하회하고 있으며, 특히 추론이 필요한 작업에서의 격차가 크다고 한다. 추론 작업이란 여러 단계를 거쳐 답을 도출하는 문제를 의미하며, 현재로서는 확산 모델 방식의 약점으로 보일 수 있다.

이번 시도가 가지는 의미로는 먼저 '기존 모델의 재활용'이라는 관점이 꼽힌다. 대규모 언어 모델의 훈련에는 막대한 비용과 시간이 소요되므로, 이미 훈련된 모델을 다른 아키텍처로 전환할 수 있다면 연구 방식에 변화를 가져올 가능성이 있다. 10% 미만의 비용으로 다른 방식의 모델을 구축할 수 있었다는 이번 사례는 그 하나의 입증 사례로 위치지을 수 있다.

텍스트용 확산 모델 연구 자체는 여러 해 동안 여러 연구 기관이 취조하는 분야가 되었다. 그러나 자기회귀 모델과의 성능 차이를 메울 수 있을지 여부는 향후 연구에 달려 있는 단계에 있다. 속도상의 우위성을 유지하면서 추론 능력을 높일 수 있을지가 이 분야의 초점이 될 것으로 보인다.

Google DeepMind가 기존 자산을 활용하여 아키텍처의 다양화를 진행하고 있다는 점은 텍스트 생성 AI의 기술 개발이 '하나의 방식으로의 집약'에서 '복수 접근의 병행 탐색'으로 향하는 흐름을 보여주는 움직임으로도 읽을 수 있다. DiffusionGemma가 현 시점에서 완성형이 아니라 하더라도, 저비용으로의 전환 가능성을 보여준 것 자체가 향후 연구 커뮤니티에 일정한 시사를 제공한다고 할 수 있다.