Unikraft, AI 샌드박스를 1대 서버에 100만 개 집약

Unikraft의 개발자인 Felipe Huici는 AI 워크로드의 샌드박스(격리 실행 환경)에서 1대 서버에 최대 100만 개의 환경을 고밀도로 집약하는 접근 방식을 발표했다. 함께 콜드부트(전원 차단 상태에서의 기동)를 밀리초 단위로 완료하는 기술과, 처리가 없을 때 리소스를 완전히 해제하고 필요할 때 상태를 유지한 채 재기동할 수 있는 '상태 유지형 스케일 제로'에 대해서도 설명했다.

AI 인프라 현장에서는 추론 요청의 급증에 대응하면서도 유휴 시간의 비용을 줄이는 것이 오랫동안의 과제가 되어 있다. 샌드박스는 상호 간의 처리를 격리하여 보안을 확보하기 위한 메커니즘이지만, 기존의 가상 머신이나 컨테이너는 기동에 초 단위의 시간이 걸리고 밀도도 제한적이었다. 이것이 요청의 파도에 따라 환경을 순간적으로 증감시키는 데 있어 큰 병목이 되었다.

Huici가 제시한 접근 방식의 중심에는 Linux 커널의 최적화와 실행 중인 상태를 그대로 저장·복원하는 '스냅샷' 기술의 활용이 있다. 이들을 결합함으로써 부팅 시간을 10밀리초 미만으로 유지하면서 대규모 스케일을 실현할 수 있다고 한다. 더욱이 하드웨어 수준의 보안 기능을 유지한 채 Kubernetes(컨테이너 관리의 표준 기반)와 원활하게 통합할 수 있다는 점도 강조되었다.

기술적 격리 기법으로는 '아이솔레이션 프리미티브'라고 불리는 보안 경계를 설정하기 위한 저수준의 메커니즘이 사용된다. 가상화의 경량 형태인 유니커널(Unikraft)을 기반으로 함으로써 전체 OS를 통째로 구동하는 것이 아니라 필요한 기능만을 최소한의 크기로 동작시킨다. 이로써 부팅 오버헤드를 대폭 감소시킨다.

이 취지가 보여주는 의미는 단순한 성능 개선에 그치지 않는다. AI 모델에 대한 접근을 함수 단위·요청 단위로 과금하는 서비스 형태(이른바 서버리스 AI 추론)에서 비용 효율과 응답 속도를 동시에 구현하는 데 있어 인프라 측의 아키텍처가 결정적인 역할을 한다는 점이다. 종래에는 '속도'나 '밀도'나 '보안' 중 하나를 선택하는 트레이드오프를 강요받는 경우가 많았지만, 이 접근 방식은 세 가지를 동시에 추구하려는 것으로 위치지을 수 있다.

Kubernetes와의 통합을 전제로 하고 있다는 점도 주목할 가치가 있다. 현재 많은 기업이 AI 추론 환경의 관리에 Kubernetes를 채택하고 있으며, 기존의 인프라를 크게 다시 구축하지 않고 고밀도화·고속화의 이점을 누릴 수 있을 가능성이 있다는 평가가 가능하다. 향후로는 이러한 경량 가상화 기술이 클라우드 공급자나 추론 서비스 사업자에 의해 채택되어 나갈지 여부가 주목 포인트가 될 것이다.