OpenAI와 Broadcom, AI 추론 전용 칩 공동 개발

OpenAI와 Broadcom이 공동으로 AI 추론 전용 칩 개발에 나서고 있는 것으로 밝혀졌다. 추론이란 학습을 마친 AI 모델이 실제로 질문에 답변을 생성하는 처리 과정을 의미하며, 사용자가 AI를 사용할 때마다 발생하는 비용과 직결되는 단계다. 이 칩은 그러한 추론 처리의 효율화를 목표로 설계되었다.

AI 서비스의 보급이 진전되는 가운데 이용량에 따라 과금되는 '토큰 단가'는 기업에게 무시할 수 없는 비용 요소가 되어가고 있다. 텍스트를 처리하는 최소 단위를 토큰이라 하며, AI에 대한 질문이나 답변 생성에는 이 토큰이 소비되는 구조다. 이용 규모가 커질수록 비용이 증가하므로, 특히 대규모로 AI를 활용하려는 기업일수록 단가의 높음을 우려하는 경향을 보인다.

이번 칩이 실용화되면 AI 모델을 제공하는 측이 토큰 단가를 인하할 수 있는 선택지를 갖게 된다는 것이다. 이는 비용 측면의 장벽을 낮춤으로써 AI 활용에 주저하던 기업들의 불안감을 완화할 가능성을 지닌다.

현재 AI 추론 처리에는 주로 NVIDIA의 GPU가 널리 사용되고 있으며, 동사는 이 분야에서 압도적인 점유율을 차지하고 있다. OpenAI와 Broadcom의 노력은 특정 벤더에 대한 의존도를 줄이고 추론 인프라의 선택지를 확대하는 맥락에서 자리매김된다. 자사 설계 칩을 보유함으로써 비용 구조를 더욱 세밀하게 제어할 수 있다는 관점도 있다.

Broadcom은 통신·반도체 분야에서 오랜 실적을 갖춘 기업으로, 최근에는 AI용 맞춤형 칩(ASIC) 수탁 설계 부문에서도 입지를 높이고 있다. OpenAI 같은 AI 모델 개발 기업과 협력함으로써 실제 추론 워크로드에 최적화된 전용 설계가 가능해진다. 범용 GPU와 달리 특정 처리에 특화된 칩은 전력 효율성이나 비용 측면에서 우위에 서기 쉽다는 특성을 지닌다.

AI의 상용화가 본격화되면서 추론 비용을 어떻게 억제할 것인가는 서비스 설계의 핵심 과제가 되어가고 있다. 이번 움직임은 모델의 성능 경쟁과 함께 인프라 비용 최적화라는 새로운 경쟁축이 업계 전반에서 중요성을 높이고 있음을 보여준다고 할 수 있다. 추론 칩의 개발·조달 전략이 향후 AI 서비스의 가격과 보급 속도를 좌우하는 요인 중 하나로 주목될 것으로 예상된다.