Liquid AI, 초소형 언어 모델 공개

MIT 출신 연구자들이 설립한 Liquid AI는 동사 역사상 가장 작은 언어 모델인 'LFM2.5-230M'을 공개했다. 파라미터 수(모델의 복잡도를 나타내는 규모 지표)는 단 2억 3000만으로, 스마트폰이나 노트북, 로봇 등 네트워크 연결이 불필요한 기기 위에서의 동작을 전제로 설계되었다.

AI 모델 개발 경쟁에서는 OpenAI나 Google 같은 대형 기업들이 수천억에서 수조 규모의 파라미터를 지닌 모델들을 경쟁하는 것이 주류다. 반면 클라우드 의존을 전제하지 않는 '엣지 AI' 분야에서는 적은 자원으로 실용적인 성능을 내는 것이 중요한 지표가 된다. LFM2.5-230M은 이러한 방향성을 체현하는 모델로 자리매김된다.

Liquid AI에 따르면, 동 모델은 자신의 4배 이상의 파라미터를 지닌 모델들을 일부 벤치마크에서 능가한다. 구체적으로는 데이터 추출 작업에서 Alibaba의 'Qwen3.5-0.8B (Instruct)'(8억 파라미터)와 Google의 'Gemma 3 1B'(10억 파라미터)보다 높은 점수를 기록했다고 밝혔다. 또한 19조 토큰(대규모 텍스트 데이터)을 사용해 사전 학습시킨 것도 공표했다.

기술적으로는 일반적인 Transformer와는 다른 독자적인 'LFM2' 아키텍처를 채택했다. 단거리 정보 처리에 탁월한 합성곱 처리와 문맥을 광범위하게 참조하는 어텐션 메커니즘을 결합하여 메모리 소비를 줄이면서 고속 추론을 실현했다. 메모리 사용량은 400MB 미만으로 유지되며, Samsung Galaxy S25 Ultra에서는 초당 213 토큰이라는 처리 속도를 달성했다고 한다. 또한 최대 3만 2000 토큰이라는 긴 문맥을 한 번에 처리할 수 있다는 점도 특징이다.

라이센스 측면에서는 개인 및 연 수익이 1000만 달러(약 15억 엔) 미만인 기업에는 무료로 제공된다. 한편 이를 초과하는 규모의 기업이 이용하는 경우에는 유료 엔터프라이즈 계약이 필요하다. 동사는 이 모델을 데이터 추출 파이프라인 구축이나 자율형 엣지 시스템 개발을 담당하는 엔지니어 및 개발자 대상으로 자리매김하고 있다.

이 모델이 나타내는 의의는 '규모를 크게 하면 강해진다'는 전제에 대해 아키텍처의 개선으로 다른 해법이 있음을 보여준 점에 있다. 기기 내에서 완결되는 AI 처리는 개인정보 보호나 낮은 지연 시간, 오프라인 환경에서의 이용 등 클라우드형에는 없는 강점을 가진다. 향후 산업용 로봇이나 의료 기기, IoT 기기 등 네트워크 연결이 안정적이지 않은 환경에서의 활용이 예상되는 영역에서 얼마나 실용성을 발휘할 수 있을지 하는 점이 주목된다.