적응형 추천 시스템의 실운영 설계 해설

엔지니어 Mallika Rao가 적응형 추천 시스템(사용자의 행동을 실시간으로 학습하여 추천 내용을 지속적으로 갱신하는 시스템)의 실운영에서의 설계 과제를 해설했다. 그 핵심적인 주장은 "모델 자체의 구조보다는 시스템 전체의 설계에야말로 본질적인 어려움이 있다"는 것이다.

추천 시스템이라고 하면 얼마나 높은 정확도의 기계학습 모델을 사용하는가에 주목이 집중되기 쉽다. 그러나 실제 서비스 환경에서는 모델의 성능만으로는 결코 잘 작동하지 않는다. 사용자의 반응을 얼마나 빠르게 다음 추천에 반영할 수 있는가, 정보의 신선도를 어떻게 유지할 것인가, 여러 처리 단계를 어떻게 조합할 것인가——이러한 "모델의 외부"에 있는 메커니즘이 시스템의 실력을 좌우한다고 Rao는 지적한다.

Rao가 특히 언급한 것은 네 가지 기술적 요소이다. 첫 번째는 "실시간 피드백 루프"로, 사용자의 조작을 거의 즉각적으로 학습에 반영하는 메커니즘을 뜻한다. 두 번째는 "검색 결과의 신선도 관리(리트리벌 프레시니스)"로, 추천의 바탕이 되는 정보가 낡아지지 않도록 지속적으로 갱신하는 것을 의미한다. 세 번째는 "멀티스테이지 오케스트레이션", 즉 후보의 좁혀내기나 순위 매기기 등 여러 처리 단계를 연계시키는 것이다. 그리고 네 번째가 "엔드투엔드 레이턴시 예산 관리"——시스템 전체에서 얼마나의 응답 지연을 허용할 것인가를 설계 단계부터 관리하는 것을 뜻한다.

이 네 가지 요소가 중요해지는 배경에는 실제 서비스 운영에서 피할 수 없는 제약이 있다. 응답 속도(레이턴시)가 느리면 사용자 경험이 손상되고, 비용이 늘어나면 운영을 지속할 수 없다. 더욱이 문제가 발생했을 때 원인을 파악할 수 있는 "관찰 가능성(옵저버빌리티)"도 필수적이다. Rao는 이러한 현실적인 운영 제약 속에서 시스템이 계속 작동하는 방식을 설계의 출발점으로 삼아야 한다고 주장한다.

이러한 관점은 AI 개발의 무게 중심이 "더 높은 성능의 모델을 만드는 것"에서 "모델을 실환경에서 계속 사용할 수 있는 시스템을 설계하는 것"으로 옮겨가는 흐름과 일치한다. 연구 단계에서는 간과하기 쉬운 지연이나 비용 같은 제약이 본번 환경에서는 설계의 근간을 좌우하는 요인이 된다. 적응형 추천처럼 지속적으로 학습하는 시스템에서는 특히 이 차이가 뚜렷하게 나타난다고 볼 수 있다.

Rao의 지적은 추천 시스템에만 한정되지 않으며, 실시간으로 데이터를 수집하면서 작동하는 AI 시스템 전반에 통하는 설계 사상이라는 관점도 있다. 모델의 외부——피드백의 흐름, 정보의 갱신 빈도, 처리의 연계, 지연의 관리——를 종합적으로 설계하는 것이 서비스로서의 AI의 품질을 결정짓는다는 것이 그녀의 주요 논점이다.

향후 AI 시스템 설계에서는 정확도 지표만이 아니라 "본번 환경에서의 지속적인 학습과 안정적 운영을 어떻게 양립시킬 것인가"라는 물음이 더욱 중요한 평가 기준이 될 것으로 자리 매김된다. Rao가 제시한 프레임워크는 그 물음에 대한 실천적인 생각의 일례로서 참고 가치가 있다고 할 수 있다.