Google, API Gateway에 스트리밍 기능 추가

Google은 API Gateway에 스트리밍 통신 지원을 추가하여 공개 프리뷰로 공개했다. 지금까지의 API Gateway는 클라이언트가 요청을 보내고 서버가 응답을 반환하는 '일문일답' 형식의 통신 모델이 기본이었다. 이번 업데이트를 통해 데이터를 연속적으로 흘러보내는 스트리밍 통신에도 대응할 수 있게 되었다.

API Gateway란 애플리케이션 간에 주고받아지는 데이터의 입구와 출구를 일원화하여 관리하는 클라우드 서비스의 기능이다. 기업이 다양한 앱과 서비스를 연동할 때의 '교통 정리 역할'이라고 할 수 있다. 기존의 일문일답 모델은 단순하고 다루기 쉽지만 실시간으로 데이터를 계속 흘려보내는 용도에는 적합하지 않았다. 스트리밍 대응은 그러한 간극을 메우기 위한 확장에 해당한다.

Google에 따르면, 이 스트리밍 기능이 특히 유효한 분야는 AI 애플리케이션의 영역이라고 한다. 구체적으로는 AI 모델이 답변을 조금씩 출력하는 '스트리밍 응답', 여러 단계를 거쳐 동작하는 '멀티스텝 에이전트 워크플로우', 그리고 사용자와 AI가 지속적으로 대화하는 '인터랙티브 세션' 등이 예상되는 용도로 제시되고 있다.

왜 이 대응이 지금 중요한 의미를 갖는지 이해하려면 AI 활용의 최근 동향을 파악할 필요가 있다. ChatGPT에 대표되는 생성 AI에서는 답변이 한 번에 반환되는 것이 아니라 문자가 조금씩 표시되는 형식이 일반화되어 있다. 이는 스트리밍 통신을 통해 실현되며, 사용자 입장에서는 '대기 시간'의 스트레스를 경감하는 효과가 있다. 기업이 이러한 AI 기능을 자사 서비스에 내장하려고 하면, 인프라 측에서도 스트리밍에 대응한 구조가 필요하게 된다.

또한 에이전트라고 불리는 자율적으로 복수의 처리를 실행하는 AI 시스템의 확산도 스트리밍 대응을 필요로 하는 배경으로 제시되고 있다. 에이전트는 복수의 API를 호출하면서 단계적으로 처리를 진행하기 때문에 중간 진행 상황을 실시간으로 받을 수 있는 통신의 구조가 요구된다. 기존의 일문일답 모델에서는 모든 처리가 끝날 때까지 결과를 계속 대기해야 하며, 사용 경험상의 제약이 되어 있었다.

이번 기능 추가는 현시점에서 공개 프리뷰 단계에 있으며, 정식 일반 제공은 아직 이루어지지 않았다. 프리뷰는 개발자나 기업이 실제로 시도하면서 피드백을 제공하는 페이즈로, 기능의 사양이나 제공 조건이 변경될 가능성이 있다는 점에 유의할 필요가 있다. Google Cloud에서 API Gateway를 이용하고 있는 개발자에게는 구현을 검토할 때의 첫 번째 출발점이 되는 타이밍이라고 할 수 있을 것이다.

클라우드 서비스 각사가 AI 워크로드 대응을 경쟁하는 가운데, 인프라 레이어에서의 스트리밍 대응은 AI 기능을 내장한 애플리케이션 개발의 실현 가능성을 확대하는 움직임으로 자리매김된다. 향후로는 정식 출시를 향한 사양의 확정이나 다른 Google Cloud 서비스와의 연계 확충 등의 점이 주목된다.