MoE 추론을 스마트폰에 최적화하는 FreeToken 개발

캘리포니아대학교 버클리 캠퍼스와 MIT의 연구자들이 'FreeToken'이라는 오픈소스 추론 엔진을 개발했다. 이 엔진은 Mixture-of-Experts(MoE)라고 불리는 모델 구조를 일반적인 소비자용 하드웨어에서 효율적으로 실행하도록 설계되었다.

MoE란 질문의 내용에 따라 사용할 인공지능의 '전문가' 부분을 전환함으로써 처리를 가볍게 하는 메커니즘이다. 고성능 인공지능 모델을 데이터센터가 아닌 손에 들린 단말기에서 구동하려면 계산 자원이나 전력의 제약이 있기 때문에 이러한 효율화 방안이 필수적이다. 고성능 인공지능 모델일수록 MoE 구조를 채택하는 경향이 강해지고 있으며, 이를 어떻게 저전력·저비용으로 구동할지는 인공지능 연구에서 공통의 과제라고 할 수 있다.

FreeToken이 채택한 주요 기술은 두 가지다. 하나는 '동적 스케줄링'이라고 불리는 처리 배분 방식으로, 상황에 따라 계산의 우선순위를 실시간으로 조정한다. 다른 하나는 모델의 가중치(파라미터)를 효율적으로 관리하는 최적화 기법으로, 이를 통해 메모리 사용량을 줄이면서 추론 속도를 높인다. 두 기술을 결합함으로써 디코딩 속도와 실행 효율 양쪽을 개선했다고 밝히고 있다.

FreeToken은 오픈소스로 공개되어 있으며, 연구자와 개발자가 자유롭게 이용·수정할 수 있다. 대상 환경은 '에지 인공지능', 즉 클라우드에 의존하지 않고 단말기만으로 처리하는 용도다. 이는 '셀프호스팅형 추론 시스템', 즉 서버나 외부 서비스에 의존하지 않는 자체 인공지능 환경을 구축하고 싶은 사용자에게 선택지가 확대된다는 뜻이다.

이번 연구의 의의는 고성능 인공지능의 '민주화'라는 관점에서 생각하면 이해하기 쉽다. 지금까지 대규모 인공지능 모델의 추론은 고가의 GPU를 갖춘 서버에서 수행하는 것이 일반적이었다. 한편 FreeToken은 이러한 모델을 손에 들린 PC나 싱글보드 컴퓨터와 같은 상대적으로 저렴한 하드웨어에서 구동할 수 있는 가능성을 보였다고 평가된다.

프라이버시 관점에서도 주목할 만한 움직임이다. 클라우드에 데이터를 보내지 않고 단말 내부에서만 추론을 완료하는 구성은 민감한 정보를 다루는 기업이나 개인에게 매력적인 선택지가 될 수 있다. 오픈소스라는 점은 투명성 확보와 커뮤니티에 의한 개선이 진행되는 토대가 되기도 하며, 향후 발전에 주목할 요소라고 할 수 있다.

인공지능의 고성능화와 하드웨어의 제약이라는 오랜 긴장 관계에 대해 소프트웨어 측의 고안으로 돌파구를 열려는 접근은 향후에도 연구의 주요 전장 중 하나로 계속될 것으로 보인다. FreeToken이 에지 인공지능 추론의 실용 수준을 어디까지 끌어올릴 수 있을지, 실제 활용 사례를 통한 검증이 향후 초점이 될 것 같다.