Kwai AI, 강화학습 효율을 대폭 개선하는 SRPO 개발

동영상 플랫폼을 운영하는 중국 기업 Kwai의 AI 연구팀이 대규모 언어 모델(LLM)의 강화학습에서 새로운 학습 프레임워크 'SRPO'를 발표했다. 이 프레임워크는 학습에 필요한 단계 수를 기존 방식과 비교해 약 90% 감소시키면서, 수학과 코드 생성 벤치마크에서 DeepSeek-R1과 동등한 성능을 달성한 것으로 알려졌다.

배경에 있는 것은 최근 LLM의 후학습(포스트 트레이닝)에서 널리 사용되고 있는 강화학습 방식 'GRPO'의 한계다. GRPO는 모델에 정답·오답의 피드백을 제공하면서 추론 능력을 높이는 방식으로, DeepSeek-R1과 같은 고성능 모델에도 채택되고 있다. 하지만 GRPO는 학습 단계 수가 많아지는 경향이 있으며, 계산 비용과 시간 측면의 과제가 지적되어 왔다. SRPO는 이러한 비효율성을 극복하는 것을 목표로 설계된 것으로 위치지어진다.

SRPO의 핵심은 '2단계 강화학습'과 '과거 데이터 재활용(히스토리 리샘플링)'의 결합에 있다. 일반적인 강화학습에서는 모델이 생성한 최신 출력만을 사용하여 학습을 진행하지만, SRPO는 과거의 학습 기록에서 데이터를 재활용함으로써 동일한 계산 자원으로부터 더 많은 학습 효과를 도출하는 구조다. 이러한 설계를 통해 GRPO와 비교해 학습 단계를 약 10분의 1 수준으로 줄일 수 있게 되었다고 한다.

성능 측면에서는 수학 문제 풀이와 프로그램 코드 생성 두 분야에서 DeepSeek-R1에 견줄만한 결과를 달성했다고 발표되었다. DeepSeek-R1은 강화학습 기반의 추론 모델로 널리 알려져 있으며, 그 성능을 훨씬 적은 단계로 재현할 수 있다면 학습 효율화 관점에서 주목할 만한 성과라고 할 수 있다.

이 연구가 갖는 의미는 단순한 속도 개선에 그치지 않는다. LLM의 강화학습에는 방대한 GPU 자원과 시간이 필요하며, 이것이 고성능 모델 개발을 대기업과 자금력 있는 연구기관으로 제한해 온 한 가지 요인이기도 했다. 학습 효율이 대폭 향상된다면 더 적은 비용으로 높은 성능을 달성할 수 있는 가능성이 넓어지며, 연구개발의 저변이 확대될 수 있다는 견해가 있다.

또한 Kwai와 같은 중국 기술 기업이 독자적인 학습 방식을 계속 발표하고 있다는 사실은 AI 연구의 경쟁이 미국의 대형 기업뿐만 아니라 다양한 참여자에게 열려있는 형태로 진행되고 있음을 보여주는 사례 중 하나로도 볼 수 있다. SRPO의 상세한 재현성과 다른 과제로의 일반화 가능성에 대해서는 향후 독립적인 검증과 재현이 중요한 판단 기준이 될 것이다.

향후 주목할 점은 SRPO가 다른 연구자들에게 어느 정도까지 재현·응용되는가이다. 강화학습의 효율화는 LLM 개발 전체의 비용 구조에 영향을 미칠 수 있는 기술적 주제이며, 방식의 세부 사항이 공개·검증되는 과정에서 그 실용적 가치가 더욱 명확해질 것으로 생각된다.