기업이 AI 활용에서 직면하는 '계산 자원의 활용' 문제

AI 칩이나 컴퓨팅 인프라 확보에 분주해온 기업들 사이에서 새로운 과제가 떠오르고 있다. 인프라에 대한 접근 자체보다 그것을 '얼마나 효과적으로 사용할 것인가'가 더 어렵다는 인식이 기업 리더들 사이에 확산되고 있다.

지난 몇 년간 생성 AI 붐을 배경으로 많은 기업들이 GPU(화상 처리 반도체) 등 AI 전용 칩이나 대규모 데이터센터의 계산 능력(컴퓨트) 확보를 최우선 과제로 삼아왔다. 클라우드 대형사와 반도체 제조사에 대한 투자가 급증했고, 인프라 정비는 일종의 경쟁이 되었다. 그 결과 많은 기업들이 예전보다 훨씬 풍부한 계산 자원을 보유하게 되었다.

하지만 실제로 그 자원을 업무에 활용하려면 사정이 다르다. 인프라를 확보해도 AI 모델을 어떻게 설계·운영할지, 어떤 작업에 얼마나 많은 계산 자원을 할당할지라는 '활용 능력' 부분에서 많은 기업들이 난관에 부딪히고 있다. 접근의 문제가 해소되는 한편, 활용의 문제가 새로운 경영 과제로 대두된 형태다.

이러한 변화는 AI 투자의 초점이 '규모 확보'에서 '질의 활용'으로 이동하고 있음을 보여준다고 할 수 있다. 막대한 계산 자원을 낭비하는 상황은 비용 측면에서도 큰 비효율을 초래한다. AI 시스템 운영 비용의 대부분이 계산 자원으로 구성되어 있는 현 상황에서, 활용 방식의 최적화가 수익성에 직결되기 때문이다.

기술적 관점에서 계산 자원을 효율적으로 사용하려면 모델 선택이나 추론 처리(AI가 답을 도출할 때의 계산) 최적화, 나아가 워크로드 스케줄링과 같은 전문 지식이 요구된다. 이들은 칩을 구매하거나 클라우드 서비스와 계약하는 것만으로는 해결할 수 없는 문제이며, 조직 내 기술력과 노하우 축적이 핵심이 된다고 할 수 있다.

향후 주목할 점은 이러한 '계산 자원의 활용 능력'을 지원하는 도구와 서비스가 시장에서 어떻게 확산될 것인가이다. 인프라 조달에서 활용 지원으로 AI 비즈니스의 무게중심이 이동할 가능성이 있으며, 그 흐름 속에서 어떤 기술과 서비스가 기업의 과제를 해결할 것인지에 업계 전체의 관심이 모아지고 있다고 볼 수 있다.

기업에게 AI의 가치는 자원을 '보유하는 것'이 아니라 '운영하는 것'을 통해 비로소 생겨난다. 인프라 정비라는 첫 단계를 거친 지금, 어떻게 활용할 것인가라는 제2단계의 노력이 AI 전략의 성패를 좌우하는 국면에 접어들고 있다고 할 수 있다.