Amazon, Anthropic 모델을 사내용으로 소형화

Amazon의 엔지니어들이 Anthropic의 대규모 AI 모델을 사내 이용을 위해 소형·저비용 버전으로 변환하는 작업을 진행 중인 것으로 보도되었다. 이러한 기법을 '증류(디스틸레이션)'라고 부르며, 큰 모델의 지식을 더 작은 모델로 이전시키는 기술이다. 일반적으로 소형화된 모델은 처리 비용을 크게 절감할 수 있다.

이러한 움직임의 배경에는 요금 체계의 변경이 있다. 현재 Amazon은 Anthropic 모델을 이용할 때 계산 처리 시간(컴퓨트 시간)을 기준으로 비용을 지불하고 있지만, 내년부터는 모델이 처리한 토큰(텍스트의 최소 단위)의 수에 따른 과금 방식으로 전환할 예정이다. 토큰 기반 과금은 이용량이 증가할수록 비용이 쌓이기 쉬우며, 대규모 사내 이용을 계속하면 비용이 크게 증가할 가능성이 있다.

이러한 상황을 받아, Amazon은 동시에 OpenAI 등 다른 AI 공급자를 대체로 검토하고 있는 것도 드러났다. 특정 AI 기업에 대한 의존도를 줄이고 비용 측면에서 유연성을 확보하려는 의도가 엿보인다. 증류를 통한 사내 모델 자체 제작과 외부 서비스의 비교 검토라는 양방향의 접근 방식을 취하고 있는 셈이다.

Amazon은 2023년에 Anthropic에 최대 40억 달러의 투자를 단행했으며, 자사의 클라우드 서비스 'AWS'를 통해 Anthropic 모델을 제공하는 등 양사는 깊은 협력 관계에 있다. 그렇기에 이번 사내 비용 절감을 위한 작업은 투자·사업 제휴의 관계와는 별개로, 순전히 사내 비용 관리의 관점에서 비롯된 것으로 주목된다.

모델의 증류는 AI를 대규모로 활용하는 기업이 증가하는 가운데 비용 관리의 수단으로 널리 사용되고 있다. 대형 AI 모델을 그대로 계속 사용하는 것은 이용량의 확대와 함께 비용 압박을 높이므로, 자사의 필요에 맞춘 소형 모델 제작은 합리적인 선택지로 자리 잡히고 있다. Amazon 규모의 기업이라면 그 영향도 작지 않다고 볼 수 있다.

한편, 증류로 만들어진 모델은 원래 모델과 완전히 같은 성능을 갖는 것은 아니다. 정확도나 할 수 있는 일에 제약이 생기는 경우가 있으며, 어떤 용도에 적용할 수 있는지를 판단할 필요가 있다. 사내 업무 자동화나 보조 도구로서의 용도라면 충분한 경우도 많으며, 용도에 따른 사용 구분이 앞으로의 초점이 될 것으로 예상된다.

내년의 요금 체계 전환을 앞두고 Amazon이 어떤 형태로 AI 비용을 최적화해 나갈지는 유사한 비용 과제를 안고 있는 다른 대기업들에게도 참고가 되는 움직임이다. AI 활용 비용 관리를 둘러싼 기업의 전략은 앞으로도 다양화될 가능성이 있으며, 공급자 측의 가격 책정과 이용 기업의 자체 제작·조달 전략 사이의 경합이 계속될 것으로 예상된다.