OpenAI, 대규모 모델이 소형 모델을 자율 훈련

OpenAI의 대규모 모델 'GPT-5.6 Sol'이 소형 모델 'Luna'의 파인튜닝(추가 학습)을 자율적으로 수행했다. 인간이 거의 개입하지 않는 대략적인 지시(「fairly under-specified prompt」)만 제공했을 때, Sol이 Luna를 독립적으로 훈련했다고 OpenAI는 설명했다.

인공지능이 자신보다 작은 다른 인공지능을 훈련하는 구도는 이전까지 연구 수준에서 논의되어 왔다. 그러나 이번에는 실제 제품 개발의 맥락에서 발생했으며, 완전히 인간의 개입 없이 실행되었다는 점에서 새로운 단계로 평가된다. 인공지능이 자신의 개선 과정에 능동적으로 참여하기 시작했음을 보여주는 구체적인 사례이기 때문이다.

OpenAI는 사내에서 'RSI 벤치마크'라고 부르는 평가 지표를 사용하고 있다. RSI는 '재귀적 자기개선(Recursive Self-Improvement)'의 약자로, 인공지능이 자신이나 다른 인공지능을 얼마나 효과적으로 개선할 수 있는지를 측정하는 것이다. 이 벤치마크에서 Sol은 이전 모델인 GPT-5.5보다 16.2포인트 높은 점수를 기록했다고 OpenAI는 공개했다.

이번 시도의 배경에는 OpenAI가 '자동화된 연구자(automated researcher)'의 실현을 가까운 목표로 제시하고 있다는 것이 있다. 자동화된 연구자란 인공지능이 인간의 연구자를 대신하여 가설 검증, 실험, 모델 개선을 자율적으로 수행하는 존재를 말한다. OpenAI는 이 비전이 '손에 닿을 범위 내에 있다'고 밝혔으며, 이번 Sol에 의한 Luna 훈련은 그 구체적인 한 걸음으로 볼 수 있다.

인공지능이 다른 인공지능을 훈련하는 과정이 자동화되면 연구개발의 속도가 크게 변할 가능성이 있다. 지금까지는 인간의 연구자가 모델의 설계·평가·개선을 반복할 필요가 있었지만, 그 일부를 인공지능 자신이 담당할 수 있게 되면 개발 사이클이 단축될 것으로 예상되기 때문이다. 한편, 인공지능이 자율적으로 다른 모델을 변경하는 행위에는 의도하지 않은 방향으로의 모델 변질이나 품질 관리의 어려움과 같은 과제가 따른다는 견해도 있다.

앞으로 주목할 점은 이러한 자율 훈련이 어느 정도까지 인간의 감시 없이 인정될 것인가 하는 부분이다. OpenAI는 인공지능의 안전성 평가를 중시하는 것으로 알려져 있으며, 자동화된 연구 프로세스를 어떻게 관리·감시할 체계를 갖출 것인가가 다음 초점이 될 것으로 생각된다. 기술적 발전과 안전 관리 체계가 어떻게 함께 진행되어 갈지 지켜볼 필요가 있다.