Shopify、LLMプロンプト圧縮技術「Gisting」を開発

Shopifyのエンジニアリングチームが、大規模言語モデル（LLM）の長いシステムプロンプトを圧縮する技術「Gisting（ギスティング）」を開発した。この手法では、長大なプロンプトを「ギストトークン」と呼ばれる少数の学習済みトークンに置き換えることで、推論にかかるコストを削減しつつ、処理のスループット（単位時間あたりの処理量）を向上させる。

そもそもLLMを実際のサービスに組み込む際には、モデルの振る舞いを定義する「システムプロンプト」が不可欠だ。このプロンプトは、AIに役割や制約、対応方針を伝える文章であり、複雑なサービスほど長文になりやすい。一方で、LLMは入力テキストをトークン単位で処理するため、プロンプトが長くなるほど計算コストが増え、応答速度にも影響を与える。こうした背景から、プロンプトを効率化する手法への関心は業界全体で高まっている。

Gistingが採用するアプローチは、プロンプトの内容を意味のある少数のトークンに「凝縮」するというものだ。具体的には、長いシステムプロンプトをそのまま毎回モデルに渡すのではなく、あらかじめその内容を学習させた小さなトークン群に変換しておく。推論時はこの圧縮済みトークンを使うことで、入力全体のトークン数を大幅に減らすことができる。

この技術が持つ意味は、コスト削減にとどまらないという見方ができる。LLMを用いたサービスにおいて、推論コストは運用費の大きな部分を占める。プロンプト圧縮によってトークン数が減れば、1回のリクエストあたりの計算量が減り、同じ計算リソースでより多くのリクエストをさばけるようになる。特に大量のリクエストを処理するECプラットフォームにとって、こうした効率化は経済的なインパクトが大きいと位置づけられる。

Shopifyは自社でLLMを活用したサービスを展開しており、同社のエンジニアリングチームがこの問題に取り組む動機は明確だ。Gistingは、現場の実運用課題から生まれた技術として、研究的な提案にとどまらない実用性を持つという見方ができる。同様の課題を抱える他の企業や開発者にとっても、参考になるアプローチになりうる。

プロンプト圧縮という領域は、LLM活用の拡大とともに今後さらに重要度が増すと考えられる。モデル自体の進化とは別軸で、いかに効率よく推論を行うかという問いへの答えが求められており、Gistingのような手法はその一つの方向性を示している。推論コストの最適化は、AI技術を持続的に運用するうえで避けられないテーマであり、今後も類似した取り組みが各社から出てくる可能性がある。