Vortex, S3에서 GPU로 직접 데이터 전송 실현

머신러닝 훈련에서 데이터를 얼마나 빠르게 GPU에 전달할 수 있는지는 모델 개발의 효율성을 크게 좌우한다. 이러한 과제에 대해 Linux Foundation 산하에서 오픈소스로 개발 중인 칼럼형 파일 포맷 'Vortex'가 클라우드 스토리지 S3에서 GPU로 데이터를 직접 전송하는 새로운 접근 방식을 제시했다. 발표자는 엔지니어 Onur Satici이며, 그 구조와 의의를 자세히 설명하고 있다.

머신러닝 모델 훈련에서는 대량의 데이터를 GPU에 지속적으로 공급해야 한다. 그러나 기존 구성에서는 클라우드 스토리지에서 데이터를 읽을 때 CPU나 스토리지(NVMe)가 병목이 되기 쉬우며, GPU 본연의 처리 성능을 충분히 끌어내지 못하는 경우가 많다. 특히 데이터가 대규모일수록 이러한 공급 측의 지연이 훈련 시간 전체를 늘리는 요인이 된다.

Vortex는 이 문제를 세 가지 기술적 접근으로 해소하려 하고 있다. 첫 번째는 '캐스케이드형 경량 인코딩'으로, 여러 경량 압축 처리를 단계적으로 조합하여 데이터를 효율적으로 다룬다. 두 번째는 '레이아웃 기반 세그먼트 가지치기'로, 파일의 구조 정보를 바탕으로 불필요한 데이터 블록을 건너뛰어 읽는 양 자체를 줄인다. 세 번째는 '제로카피 메모리 파이프라인'으로, 데이터를 메모리상에서 복사하는 과정을 생략하여 CPU의 처리 부하를 최소화한다.

이러한 방식들을 조합함으로써 Vortex는 S3에서 GPU로 최대 60Gbps 속도로 데이터를 전송할 수 있다고 Satici가 설명한다. 더욱 주목할 점으로, 사전에 데이터를 재가공·재변환할 필요가 없다는 것이 있다. 기존 데이터를 그대로 활용할 수 있기 때문에 도입 시 준비 비용이 절감된다는 것이다.

Vortex는 칼럼형 포맷, 즉 열 단위로 데이터를 관리하는 형식을 채택하고 있다. 이 접근 방식은 분석형 처리와 상성이 좋으며, 필요한 열만 선택적으로 읽을 수 있기 때문에 불필요한 데이터 전송을 줄일 수 있는 장점이 있다. 머신러닝 훈련에서는 특정 특성(열)만을 반복적으로 참조하는 경우가 많으며, 칼럼형 구조가 이러한 특성에 적합하다고 위치지어진다.

Linux Foundation 산하에서 오픈소스로 제공되는 점도 보급을 위한 중요한 요소라 할 수 있다. 특정 기업이나 플랫폼에 의존하지 않는 중립적인 관리 체제 아래에서 커뮤니티가 지속적으로 개발에 참여할 수 있는 환경은 기업 측이 도입을 검토할 때 신뢰감을 주는 요소가 될 수 있다는 견해가 있다.

GPU의 연산 성능이 빠르게 향상하는 한편, 데이터 공급 측의 속도가 그에 따라가지 못하는 'I/O의 벽'은 대규모 모델 훈련에서 더욱 두드러지기 쉽다. Vortex와 같은 데이터 로딩 최적화 기술은 하드웨어 성능을 낭비 없이 끌어내기 위한 기반으로서, 향후 더욱 주목을 받을 영역으로 위치지어진다. 사전 데이터 변환이 불필요하다는 실용상의 장점도 고려할 때, 실제 도입 사례나 다른 포맷과의 비교 검증이 향후 중요한 관찰 포인트가 될 것이다.