AI 에이전트를 본운영 환경으로, Ray로 실현하는 확장 설계

AI 에이전트를 시제품 단계에서 실제 운영 환경으로 이전할 때 직면하는 과제와 그 해결책을 체계적으로 제시한 프레젠테이션이 공개되었다. 발표자는 Deepak Mohanakumar Chandramohuli과 Bhumik Vinodkumar Thakkar 2명으로, 분산 컴퓨팅 프레임워크 「Ray」를 활용한 인프라 설계의 지견을 공유하고 있다.

AI 에이전트 개발에서는 먼저 로컬 환경에서 작동하는 작은 시제품을 만드는 것이 일반적이다. Python의 경량 웹 프레임워크 「FastAPI」를 사용한 시제품은 쉽게 만들 수 있는 반면, 실제 서비스로서 많은 사용자에게 안정적으로 제공하려면 완전히 다른 설계가 요구된다. 본운영 환경에서는 대량의 요청을 처리하면서 장애에도 견디고, 필요에 따라 시스템 규모를 자동으로 확대·축소할 수 있는 메커니즘이 필수가 된다.

발표에서는 Kubernetes(클라우드 상에서 애플리케이션을 자동으로 관리하는 플랫폼) 위에 RayCluster를 구축할 때의 토폴로지, 즉 서버 그룹을 어떻게 배치·연계시킬지의 설계 방침이 설명되었다. 또한 AI 에이전트가 대화의 맥락과 상태를 계속 기억하기 위한 「상태 유지 메모리 처리」의 다루기 방법이나, 접근량의 파동에 따라 시스템을 자동으로 증감시키는 자동 확장의 구현에 대해서도 구체적인 지견이 제시되었다. 더하여 시스템 전체를 제어하는 「컨트롤 플레인」을 견고하게 설계하는 방법도 다루어졌다.

추가로 AI가 잘못된 동작을 하지 않도록 제어하는 「가드레일」의 설치, 여러 지역에 걸친 멀티리전 구성을 통한 가용성 확보, 그리고 AI 에이전트의 출력 품질을 다른 LLM(대규모 언어 모델)이 자동으로 평가하는 「LLM-as-a-judge」 파이프라인 구축에 대해서도 공유되었다. LLM-as-a-judge는 인간이 하나하나의 출력을 확인하는 대신 다른 AI 모델이 평가 역할을 담당하는 메커니즘으로, 대규모 운영에서의 품질 관리를 효율화하는 접근법으로 널리 퍼지고 있다.

본 발표가 보여주는 취조는 AI 에이전트 개발에서 「작동하는 것을 만든다」 단계에서 「안정적으로 운영한다」 단계로의 전환이라는 업계 전체가 직면하는 공통 과제에 정면으로 대응한 것이라고 할 수 있다. 특정 AI 프레임워크에 의존하지 않는 「프레임워크 독립적」 설계를 전제로 하고 있다는 점도 특징적이며, 조직이 향후 도구를 변경·갱신한 경우에도 기반을 다시 구축할 필요가 없는 설계 철학을 반영하고 있다.

AI 에이전트의 실용화가 각 산업에서 가속되는 가운데, 시제품에서 본운영으로의 간격을 좁히는 지견의 축적은 개발자 커뮤니티 전체에 있어서 가치가 높다고 위치지어진다. 향후 멀티리전 구성이나 자동 평가 파이프라인과 같은 운영 기술이 엔터프라이즈급 AI 에이전트 도입의 표준적 요소로 정착할지 여부가 주목할 점의 하나가 될 것이라는 견해가 가능하다.