Shopify, LLM 프롬프트 압축 기술 'Gisting' 개발

Shopify의 엔지니어링 팀이 대규모 언어 모델(LLM)의 긴 시스템 프롬프트를 압축하는 기술 'Gisting'을 개발했다. 이 방법에서는 긴 프롬프트를 '기스트 토큰'이라고 불리는 소수의 학습된 토큰으로 대체함으로써, 추론에 소요되는 비용을 줄이면서 처리의 처리량(단위 시간당 처리량)을 향상시킨다.

원래 LLM을 실제 서비스에 통합할 때는 모델의 동작을 정의하는 '시스템 프롬프트'가 필수적이다. 이 프롬프트는 AI에 역할, 제약, 대응 방침을 전달하는 텍스트이며, 복잡한 서비스일수록 길어지는 경향이 있다. 한편 LLM은 입력 텍스트를 토큰 단위로 처리하기 때문에 프롬프트가 길어질수록 계산 비용이 증가하고 응답 속도에도 영향을 미친다. 이러한 배경에서 프롬프트를 효율화하는 방법에 대한 관심이 업계 전체에서 높아지고 있다.

Gisting이 채택하는 접근 방식은 프롬프트의 내용을 의미 있는 소수의 토큰으로 '압축'하는 것이다. 구체적으로는 긴 시스템 프롬프트를 매번 모델에 그대로 전달하는 대신, 미리 그 내용을 학습시킨 작은 토큰 군으로 변환해 둔다. 추론 시 이 압축된 토큰을 사용함으로써 입력 전체의 토큰 수를 대폭 줄일 수 있다.

이 기술이 지닌 의미는 비용 절감에만 그치지 않는다고 볼 수 있다. LLM을 이용한 서비스에서 추론 비용은 운영비의 큰 부분을 차지한다. 프롬프트 압축으로 토큰 수가 줄어들면 1회 요청당 계산량이 감소하고, 같은 계산 리소스로 더 많은 요청을 처리할 수 있게 된다. 특히 대량의 요청을 처리하는 전자상거래 플랫폼에 있어서 이러한 효율화는 경제적 영향이 크다고 할 수 있다.

Shopify는 자사에서 LLM을 활용한 서비스를 전개하고 있으며, 동사의 엔지니어링 팀이 이 문제에 대응하는 동기는 명확하다. Gisting은 현장의 실운용 과제에서 비롯된 기술로서 연구적 제안에 머물지 않는 실용성을 지닌다고 볼 수 있다. 같은 과제를 안고 있는 다른 기업이나 개발자에게도 참고가 될 수 있는 접근 방식이 될 수 있다.

프롬프트 압축이라는 영역은 LLM 활용의 확대에 따라 앞으로 더욱 중요도가 높아질 것으로 예상된다. 모델 자체의 진화와는 별개로 어떻게 효율적으로 추론을 수행할 것인가 하는 물음에 대한 답이 요구되고 있으며, Gisting과 같은 방법이 그 한 방향성을 보여주고 있다. 추론 비용의 최적화는 AI 기술을 지속적으로 운용하는 데 있어 피할 수 없는 과제이며, 앞으로도 유사한 시도가 각 사에서 나올 가능성이 있다.