기업의 AI칩 평가, 비Nvidia가 Nvidia를 상회

기업의 AI인프라 담당자 사이에서 차세대 평가 대상으로 Nvidia 이외의 칩을 선택하는 움직임이 확산되고 있다. VentureBeat가 2025년 7월에 실시한 조사(AI인프라 담당자 170명 대상)에 따르면, 향후 12개월 내 Nvidia 이외의 AI가속기를 평가할 예정이라고 답한 비중은 39.4%에 달했다. 한편 Nvidia의 Blackwell(GB300) 등 차세대 Nvidia GPU를 평가 대상으로 삼을 예정인 비중은 25.3%에 불과해 그 차이는 14포인트에 이르렀다.

평가 대상으로 지목된 비Nvidia 제품은 AWS의 Trainium, Google의 TPU, AMD의 Instinct, Intel의 Gaudi, 그리고 자체 개발한 ASIC(특정 용도용 반도체) 등 다양했다. Nvidia는 현 시점에서도 많은 기업의 운영 환경에서 표준적인 선택지로 계속되고 있지만, 이번 조사 결과는 기업들이 Nvidia를 유일한 평가 대상으로 보지 않고 다중 칩을 비교 검토하는 방향으로 전략을 전환하고 있음을 보여준다. AI가속기 시장에서 Nvidia가 오랫동안 압도적인 점유율을 차지해왔지만, 클라우드 각사와 반도체 제조사들이 독자 칩의 성능과 공급 체제를 지속적으로 강화해온 배경이 이러한 움직임을 뒷받침하고 있는 것으로 보인다.

한편 플랫폼 자체를 단기간에 전환하려는 기업은 감소하고 있다. 3개월 내 플랫폼을 변경할 것으로 예상한 응답자의 비중은 6월의 38.3%에서 7월에는 28.8%로 하락했다. 이는 기업들이 대규모 전환보다 현행 인프라의 활용도를 높이는 것을 우선하고 있음을 보여준다. GPU를 자체 운영하는 기업 중 가동률이 50% 이하인 비중은 6월의 83%에서 7월에는 69%로 내려갔으며, 50% 초과의 비중은 13%에서 23%로 상승했다.

AI플랫폼의 운영 환경 도입 현황에도 변화가 나타났다. Microsoft Azure를 운영 환경에서 사용 중이라고 답한 비중은 6월의 29%에서 7월에는 47.1%로 18.1포인트 증가했다. 다만 7월의 응답자 중 종업원 1,000명 이상의 대기업이 57%를 차지했으며(6월은 37%), 표본 구성의 차이가 수치에 영향을 미치고 있다는 점에 주의가 필요하다. Google의 Gemini는 양월 모두 최고 이용률을 기록했으며, 6월의 41.1%에서 7월에는 47.6%로 증가해 Azure를 근소하게 상회했다. OpenAI의 운영 이용은 40.2%에서 49.4%로, Anthropic은 12.1%에서 24.7%로 각각 증가했다.

인프라의 효과를 측정하는 기준에도 변화가 나타나고 있다. '가동률·안정성'을 중요한 지표로 선택한 비중은 42.1%에서 51.2%로 증가했으며, '처리량(처리 능력)'을 선택한 비중도 21.5%에서 24.7%로 상승했다. 도입의 용이성에 관한 평균 평가는 5점 만점에 3.84에서 4.04로 개선되었으며, 전체 만족도는 4.07에서 4.14로 미미하게 상승했다. 한편 비용 대비 성능 평가는 거의 횡보하여 약 3.9에 머물러 있다.

이번 조사 결과가 보여주는 것은 기업들이 AI인프라에 대해 더욱 실무적·경영적 관점을 갖기 시작했다는 것이다. 가동률과 안정성을 중시하는 경향의 강화는 AI를 '시험적으로 사용하는 것'에서 '사업 운영의 일부로서 안정적으로 가동시키는 것'으로 재인식하는 변화를 반영하고 있다고 볼 수 있다. 칩 선정에 있어서도 특정 벤더에 대한 의존도를 줄이면서 다중의 선택지를 확보하는 이른바 '다중벤더 전략'이 정착되고 있는 단계에 있다고 할 수 있다. 앞으로는 Azure나 Gemini 같은 플랫폼의 실제 가동 비용과 안정성 평가가 도입 회사의 결정을 가르는 분기점이 될 가능성이 있다.