OpenAI, AI 에이전트로 시스템 성능 자동 유지

OpenAI의 엔지니어링 담당 마틴 스피어 엔지니어가 AI 개발 속도가 가속화되는 가운데 ChatGPT의 응답 속도와 안정성을 어떻게 유지하고 있는지에 대해 설명했다. 그 핵심에 있는 것은 AI 에이전트를 사용하여 시스템의 성능 모니터링과 최적화를 자동화하는 노력이다.

배경으로서 OpenAI에서는 "에이전트형 워크플로우"라고 불리는 개발 기법이 확산되고 있다. 이는 AI가 인간을 대신하여 일련의 작업을 자율적으로 수행하는 체계로, 코드 변경의 양이 기존에 비해 대폭 증가한다는 특징이 있다. 개발 속도가 빨라질수록 시스템에 가해지는 변화도 많아지며, 성능 저하와 버그가 섞여 들어올 위험도 높아진다.

스피어 엔지니어가 지적한 것은 이러한 고속 개발에는 "숨겨진 비용"이 있다는 점이다. 일반적으로 AI 서비스의 속도 문제라고 하면 GPU(그래픽 처리 반도체)의 처리 능력이 주목되기 쉽지만, 실제로는 그 이외의 시스템 전체에 관련된 성능 비용이 눈에 띄지 않는 형태로 누적된다는 것이다. 즉, 하드웨어를 강화하는 것만으로는 근본적인 해결이 되지 않는다는 뜻이다.

이 과제에 대응하여 OpenAI가 도입한 것이 "상시 가동하는 AI 에이전트"에 의한 자동화이다. 구체적으로는 프로파일링(시스템의 어느 부분이 느린지를 측정·분석하는 작업), 회귀 감지(새로운 변경으로 인해 이전보다 성능이 저하된 부분을 감지하는 작업), 지속적인 최적화라는 세 가지 공정을 인간의 개입 없이 AI가 자동으로 담당하는 체계를 정비했다. 이를 통해 전 세계 규모로 이용되는 ChatGPT의 속도와 확장성(이용자가 증가해도 안정적으로 작동하는 능력)을 유지하는 것을 목표로 하고 있다.

이 노력이 주목되는 배경에는 AI 서비스의 "품질 유지"가 앞으로 더욱 어려워질 것이라는 업계 전체의 과제가 있다. AI 에이전트의 활용으로 개발 사이클이 단축되는 한편, 그만큼 시스템에 미치는 영향을 인간이 실시간으로 추적하기는 어려워진다. 인간의 엔지니어가 수작업으로 모니터링하는 방식에는 한계가 있다는 관점이 가능하다.

OpenAI의 이 사례는 "AI로 AI를 관리한다"는 방향성이 실제 대규모 서비스 운영에 조직화되고 있음을 보여주는 것으로 위치지어진다. 개발의 자동화가 진전될수록, 품질 보증과 성능 관리의 체계도 자동화할 수밖에 없다는 구조적 변화가 이미 현장에서 일어나고 있다고 할 수 있다. 앞으로는 이러한 자율적 품질 관리 체계가 얼마나 신뢰할 수 있는지, 그리고 어느 범위까지 인간의 판단을 대체할 수 있는지가 업계 전체에서 문제가 될 논점이 될 것으로 예상된다.