독일 연구 연합, 오픈 LLM 'Soofi S' 공개

독일의 연구 컨소시엄이 대규모 언어 모델 'Soofi S 30B-A3B'를 공개했다. 이 모델은 독일 뮌헨에 있는 Deutsche Telekom의 클라우드 인프라 위에서 처음부터 학습시켜 개발된 것이다. 완전한 오픈 모델로 공개되고 있으며, 영어와 독일어 벤치마크 모두에서 유사한 공개 모델 중 최고 수준의 성능을 기록하고 있다.

대규모 언어 모델의 세계에서는 영어를 중심으로 학습된 모델이 압도적 다수를 차지한다. 영어 이외의 언어, 특히 독일어와 같은 유럽 언어에 대해 높은 성능을 발휘하는 모델은 여전히 적으며, 다국어 대응은 오랫동안 과제로 지적되어 왔다. 또한 클라우드 인프라를 포함한 개발의 지역적 분산이라는 관점에서도 AI의 주요 연구 거점이 미국과 중국에 집중되어 있는 현황이 있다. 이번 시도는 그러한 흐름과는 달리 하는 것으로, 유럽 주도의 AI 개발이라는 맥락에 위치하고 있다.

Soofi S는 총 파라미터 수가 316억 개이지만, 1회 처리(1토큰)당 실제로 사용되는 파라미터는 그 일부에만 한정되는 하이브리드 아키텍처를 채택하고 있다. 이는 '스파스 활성화'라고도 불리는 메커니즘으로, 전체 파라미터를 매번 완전히 작동시키는 것이 아니라 필요한 부분만 선별하여 계산한다. 따라서 문장이 길어져도 처리 속도가 떨어지기 어려운 특성을 지니고 있다. 학습 데이터는 독일어의 비중을 의도적으로 높였으며, 독일어 대응 강화를 개발의 중심에 두는 설계로 되어 있다.

벤치마크(모델의 성능을 비교하기 위한 표준 평가 테스트)에서는 영어와 독일어 모두 완전 공개형 경쟁 모델을 능가하는 결과를 냈다. 완전한 오픈 모델이기 때문에 연구자와 개발자가 모델의 내용을 자유롭게 확인하고 개선할 수 있다는 점도 이 결과의 의미를 크게 한다.

이 모델이 보여주는 의미는 기술적 성능에 그치지 않는다. 유럽의 연구 기관이 미국의 주요 클라우드 사업자에 의존하지 않고 지역 인프라를 사용하여 경쟁력 있는 모델을 독자적으로 개발했다는 사실은 AI의 지정학적 맥락에서도 주목할 가치가 있다. EU(유럽연합)가 AI 규제 정비를 진행하는 가운데, 유럽발 오픈 모델이 주요 언어에서 고성능을 보여준 것은 자율적 AI 개발 능력 확보라는 관점에서 중요한 일보라고 볼 수 있다.

향후 주목점은 이 모델이 실제 업무와 연구에서 어떻게 활용되는가이다. 독일어에 강한 오픈 모델의 등장은 행정, 의료, 법률 등 전문 영역에서의 독일어 AI 활용 저변을 넓힐 가능성이 있다. 또한 스파스 활성화 아키텍처의 실용성을 보여주는 사례로서 다른 연구 기관과 개발자에게도 참조 가치가 있을 것으로 생각된다. 유럽의 AI 개발 커뮤니티가 이 성과를 어떻게 받아들이고 다음 시도로 이어가는지도 계속 관찰할 가치가 있다.