Google, GKE의 Pod 스냅샷 기능으로 모델 시작 속도 향상

Google은 쿠버네티스 관리 서비스인 GKE(Google Kubernetes Engine)의 Pod 스냅샷 기능에 관한 벤치마크 결과를 공개했다. 이 기능을 사용하면 인공지능 모델의 시작에 소요되는 대기 시간을 최대 89% 단축할 수 있다고 보고하고 있다. 더욱이 750억 개의 매개변수라는 대규모 인공지능 모델이라도 37초 안에 로드가 완료된다는 결과도 제시했다.

애초에 대규모 인공지능 모델의 운영에 있어 과제 중 하나가 "시작의 느림"이다. 추론 서비스나 배치 처리에서는 모델을 그래픽처리장치 메모리에 전개하기까지의 시간이 그대로 서비스의 응답성에 직결된다. 특히 트래픽 변동에 따라 컨테이너를 동적으로 증감시키는 클라우드 환경에서는 시작에 수 분이 걸리는 것이 운영상의 병목이 되기 쉽다. 이러한 배경에서 시작 시간의 단축은 많은 기업들에게 실용적인 관심사가 되었다.

이번에 공개된 구조에서는 컨테이너(Pod)가 시작된 상태를 스냅샷으로 기록하고, 다음 번 이후의 시작 시에 그 상태에서 재개할 수 있다. 기술적으로는 컨테이너 실행 환경인 gVisor를 통해 중앙처리장치와 그래픽처리장치의 메모리 내용을 Cloud Storage에 저장하는 방식을 채택했다. 매번 처음부터 모델을 읽어들이는 대신 이미 로드된 상태의 메모리 이미지를 복원함으로써 대폭적인 시간 단축을 실현한다는 발상이다.

한편 이 기능을 실제 운영에 적용하는 데 있어 실무자들 사이에서는 "스냅샷의 무효화 관리"가 과제로 지적되고 있다. 스냅샷은 컨테이너의 사양을 나타내는 해시 값(사양의 지문 정보), 컴퓨터 시리즈, 핵심 및 드라이버 버전의 3가지 조건이 일치한 경우에만 재이용되는 구조가 되어 있다. 이 때문에 소프트웨어의 갱신이나 기반시설 구성의 변경이 생기면 기존의 스냅샷을 사용할 수 없게 되어 재작성이 필요해진다. 시작의 고속화 그 자체보다도 "언제 스냅샷이 무효가 될 것인가"를 정확히 파악하고 관리하는 생명주기 설계가 운영상의 어려움이 될 수 있다는 보는 견해가 나오고 있다.

이 움직임이 갖는 의미는 모델의 대규모화가 진행되는 중에 기반시설 측의 대응이 어떻게 따라잡을 것인가 하는 질문에 직접 관련되어 있다는 점이다. 인공지능 모델은 매년 매개변수 개수가 증가하고 그에 따라 시작 비용도 증가하고 있다. 스냅샷과 같은 "상태의 재이용" 접근 방식은 그래픽처리장치 자원을 효율적으로 사용하면서 지연 시간을 억제하는 수단으로서 클라우드 기반 인공지능 운영의 하나의 방향성으로 자리잡혀 있다.

향후 주목할 점은 스냅샷의 생명주기 관리를 얼마나 자동화하고 표준화할 수 있는가이다. 시작 속도의 개선은 벤치마크로 제시되었지만 실제 본운영 환경에서는 모델과 기반시설의 갱신 빈도가 높고 스냅샷의 신선도를 유지하면서 운영 비용을 억제하는 것이 요구된다. Google이 이 관리 기능을 어떻게 정비할지가 실용화의 핵심을 쥐고 있다는 견해를 할 수 있다.