LLM 추론 비용을 대폭 절감하는 설계 전략

대량의 요청을 처리하면서도 AI 모델의 처리 비용을 어떻게 억제할 것인가. 엔지니어링 리더인 Meryem Arik이 대규모 언어 모델(LLM)의 추론 비용을 획기적으로 절감하는 아키텍처 설계 기법을 설명했다. 대상이 되는 것은 실시간 응답을 필요로 하지 않는 '비실시간'이면서 대량의 워크로드로, 소프트웨어 아키텍트와 엔지니어링 리더를 대상으로 한 실무적 내용이다.

LLM의 추론 비용 문제는 AI를 프로덕션에서 활용하는 기업들에게 공통의 과제가 되고 있다. 모델의 성능이 향상되는 한편, 대량의 요청을 처리하기 위한 계산 비용은 막대해지기 쉽고, 특히 배치 처리나 비동기 처리 등 즉시 응답을 전제하지 않는 유스케이스에서는 설계에 따라 비용의 차이가 크게 벌어진다. 이러한 배경에서 비용 효율적인 추론 아키텍처 설계는 AI의 사내 활용이나 상용화를 검토하는 조직에게 우선도 높은 주제가 되고 있다.

Arik이 제시한 기법은 단일 시책이 아니라 여러 트레이드오프를 조합함으로써 성립한다. 구체적으로는 하드웨어 선정, 추론 런타임 최적화, 투기적 디코딩(speculative decoding), 그리고 큐의 순서를 지능적으로 재배열하는 '스마트 큐 재정렬'이라는 네 가지 영역에 걸친다. 투기적 디코딩이란 작은 모델이 출력 후보를 먼저 예측하고 큰 모델이 그것을 검증함으로써 처리를 고속화하는 기법으로, 이를 통해 추론의 효율성을 높이면서 비용을 억제할 수 있다.

스마트 큐 재정렬은 처리 대기 중인 요청을 그 특성에 따라 순서를 바꿈으로써 GPU 등의 리소스를 낭비 없이 사용하는 생각이다. 비실시간 워크로드라면 응답 속도보다 처리량(단위 시간당 처리량)을 우선할 수 있으므로, 이러한 최적화가 특히 효과적이다. 이러한 기법들을 조합함으로써 비용을 '획기적으로' 절감할 수 있다는 것이 Arik 주장의 핵심이다.

일련의 논의가 갖는 의미는 기술적 최적화에 그치지 않는다. AI를 핵심 기능으로 활용하려는 기업에게 추론 비용은 서비스의 채산성과 확장성을 좌우하는 경영상 문제이기도 하다. 모델의 정확도뿐 아니라 인프라 설계의 우열이 비즈니스의 경쟁력에 직결된다고 볼 수 있다.

앞으로 주목할 점은 이러한 기법들이 어느 정도 범용적으로 적용될 수 있는가 하는 부분이다. 하드웨어의 종류나 추론 런타임의 선택지는 프로젝트마다 다르며, 최적의 조합은 일률적이지 않다. 설계 단계에서 어떤 트레이드오프를 선택할지가 운영 비용의 장기적 차이를 만든다는 의미에서, 아키텍처의 의사결정이 더욱 중요한 국면을 맞이하고 있다고 할 수 있다.

LLM 추론 비용 절감은 현 시점에서 일부 기술 선진 기업만의 과제가 아니라 AI를 본격 활용하는 조직 전체로 확대되고 있는 주제다. Arik이 제시한 접근 방식은 하드웨어에서 처리 순서 설계까지 광범위에 걸쳐 있으며, 비용 효율적인 AI 시스템을 구축하기 위한 하나의 참고점이 될 수 있는 내용이라고 할 수 있다.