Spotify, 데이터레이크에 외부 인덱스 기구 도입

Spotify는 대규모 데이터 보관 기반인 "데이터레이크"에 대해 외부 인덱스를 구축하는 아키텍처를 도입했다. 이를 통해 데이터를 다른 데이터베이스에 복제하지 않으면서도 저지연의 단일 레코드 검색(포인트 쿼리)이 가능해진다. 데이터 활용의 유연성과 효율성을 양립시키는 노력으로서, 기술 커뮤니티의 관심을 모으고 있다.

데이터레이크란 구조화·비구조화를 가리지 않고 대량의 데이터를 저렴한 클라우드 스토리지에 집약하는 체계를 말한다. 분석이나 기계학습에는 적합한 반면, 특정 1건의 데이터를 신속하게 꺼내는 용도에는 부적합하다는 약점이 종래부터 지적되어 왔다. 이 때문에 많은 기업들은 속도가 필요한 처리를 위해 데이터를 별도의 운영 데이터베이스로 복사하는 방법을 취해왔으나, 이러한 이중 관리는 비용과 일관성 측면에서 문제를 야기하기 쉽다.

Spotify가 이번에 채택한 것은 오픈소스 데이터 포맷인 Apache Parquet 파일을 대상으로 한 외부 인덱스의 체계다. 이 인덱스는 검색의 키가 되는 값이 어느 Parquet 파일의 어느 행에 저장되어 있는지를 기록해 둔다. 이를 통해 쿼리(문의) 시 데이터 전체를 읽어들이지 않고 필요한 부분만 직접 참조할 수 있으며, 종전에 비해 대폭 지연을 억제한 검색이 실현된다.

이 체계의 특징은 같은 데이터세트를 데이터 분석·기계학습·AI 애플리케이션·온라인 서비스 등 다양한 용도에서 공용할 수 있다는 점이다. 데이터를 목적별로 복제·분산시킬 필요가 없어지므로, 스토리지 비용 절감과 데이터 일관성 유지로 이어진다고 위치지어진다.

배경으로서, 음악 스트리밍 서비스를 운영하는 Spotify는 방대한 사용자 데이터와 곡 메타데이터를 다루고 있으며, 실시간에 가까운 응답 속도가 요구되는 장면도 많다. 기계학습을 활용한 추천이나 개인화 기능을 뒷받침하기 위해서는 대규모 데이터를 신속하게 꺼낼 수 있는 기반이 필수적이다. 이번 아키텍처는 그 과제에 정면으로 응하는 것이라고 할 수 있다.

데이터레이크와 운영 데이터베이스의 "이도류" 관리라는 업계 공통의 고민에 대해 인덱스 설계로 해결을 도모하는 접근 방식은, Spotify와 같은 규모의 데이터를 다루는 다른 기업들에게도 참고가 될 수 있다. 클라우드상의 오브젝트 스토리지를 그대로 활용하면서 고속 검색을 실현하는 이 기법이 데이터 기반 설계의 선택지 중 하나로서 확산될지 여부, 향후의 동향에 주목하고 싶다.