PostgreSQL만으로 내결함성 워크플로우를 실현하는 방법

광범위하게 사용되는 데이터베이스인 PostgreSQL이 외부 워크플로우 관리 도구를 사용하지 않으면서도 처리의 상태를 안전하게 유지하면서 워크플로우를 움직이기 위한 기반으로 기능할 수 있다는 것이 엔지니어 Raman Varma에 의해 입증되었다. 이는 시스템 구성을 단순하게 유지하고 싶은 개발 현장에 있어서 주목할 만한 발상이다.

그래서 「내결함성 워크플로우(Durable Workflow)」란 무엇인가. 한 마디로 말하면 서버가 갑자기 다운되어도 처리의 중간 상태가 사라지지 않고 재시작 후에 올바르게 이어서 작동할 수 있는 메커니즘을 말한다. 예를 들어 사람의 승인을 기다리는 다단계 처리나 수분 후·수시간 후에 재개하는 「대기 기능이 있는 처리」 등이 여기에 해당한다. 이러한 요구 사항에 대응하기 위해 종래에는 전용의 오케스트레이터(처리의 지휘 역할을 하는 소프트웨어)를 별도로 준비하는 것이 일반적이었다.

Varma의 기법에서는 이 역할을 PostgreSQL만으로 담당한다. 구체적으로는 먼저 PostgreSQL의 SKIP LOCKED라는 기능을 활용한다. 이는 여러 프로세스가 같은 큐를 동시에 참조할 때 처리 중인 행을 다른 프로세스가 중복해서 취득하지 않도록 하는 메커니즘으로 병렬 처리를 안전하게 실현할 수 있다. 다음으로 주키를 사용한 체크포인트 관리에 의해 「같은 처리를 두 번 실행해도 결과가 변하지 않는」멱등성을 보장한다. 더욱이 리스(일정 시간 내에 프로세스가 존재를 나타내지 못하면 다른 프로세스가 인수하는 메커니즘)를 사용함으로써 충돌 후의 복구에도 대응한다.

더욱이 워크플로우의 「대기(일시 중지)」나 사람의 승인 대기 상태도 데이터베이스의 레코드로 저장된다. 이를 통해 애플리케이션 본체가 재시작되어도 상태가 손실되지 않고 처리를 정확하게 재개할 수 있다. 즉, 메모리 위가 아니라 데이터베이스 위에 「지금 어디까지 진행되었는가」를 계속 기록하는 것이 이 기법의 핵심이다.

이 발상이 지니는 실용적 의미는 작지 않다. 외부 오케스트레이터를 도입하면 운용·감시·버전 관리의 비용이 증가하고 시스템 전체의 복잡도도 증한다. PostgreSQL이라는 많은 팀이 이미 운용하고 있는 데이터베이스를 그대로 활용할 수 있다면 새로운 인프라를 추가하지 않으면서 내결함성 워크플로우를 실현할 수 있다. 특히 팀 규모가 작은 경우나 기존 PostgreSQL 환경을 최대한 활용하고 싶은 장면에서는 현실적인 선택지가 될 수 있다는 견해가 가능하다.

한편, 이 기법이 모든 용도에 최적이라고는 할 수 없다는 점에도 주의가 필요하다. 대규모 처리량이 요구되는 환경이나 복잡한 워크플로우 관리를 일원적으로 시각화하고 싶은 경우에는 전용 도구가 더 적절할 수도 있다. 어디까지나 「이미 PostgreSQL을 가지고 있다」는 전제 조건 하에서 추가 비용을 최소화하고 싶은 케이스를 겨냥한 접근 방식으로 위치지을 수 있다.

데이터베이스 하나로 어디까지 할 수 있는지를 다시 묻는 이 기법은 인프라의 단순성을 중시하는 엔지니어링의 흐름과도 겹친다. PostgreSQL은 근년 벡터 검색이나 시계열 데이터 응용 등 종래의 RDB(관계형 데이터베이스)의 틀을 넘어선 활용이 확산되고 있으며, 이번 접근 방식도 그 연장선상에 있다고 볼 수 있다. 향후 유사한 기법이 어떤 규모·용도까지 통용되는지가 실천적 검증의 초점이 될 것이다.