알트먼 회장, 스케일링 회의론자 비판

OpenAI의 샘 알트먼 최고경영자는 스탠포드 대학교에서의 강연에서 인공지능 연구의 대규모화(스케일링)를 부정적으로 봐온 연구자들에 반박했다. "연구자의 한 세대 전체가 스케일링의 가능성을 과소평가함으로써 인공지능의 진전을 지연시켜왔다"고 말하며, 그 근거로 OpenAI가 최근 수학의 미해결 추측을 반박했다는 점을 제시했다.

스케일링이란 모델의 학습에 사용하는 데이터량이나 계산 자원을 늘림으로써 성능을 향상시키는 접근 방식을 가리킨다. OpenAI와 Google 등이 대규모 언어 모델(LLM) 개발에서 이 기법을 추진해온 한편, 인공지능 연구 분야에서는 "스케일링만으로는 한계가 있다" "데이터를 늘려도 진정한 지능에 도달할 수 없다"는 회의적인 견해가 특히 2010년대 후반부터 2020년대 초반에 걸쳐 적지 않은 연구자들 사이에 확산되어 있었다. 알트먼 회장의 발언은 그러한 비판론에 대한 정면의 반박으로 위치지어진다.

알트먼 회장이 근거로 제시한 것은 OpenAI의 모델이 수학의 미해결 추측을 반박했다는 최근의 성과다. 고도의 수학적 추론은 과거 인공지능이 가장 약한 분야 중 하나로 여겨져 왔다. 그 분야에서 구체적인 성과가 나왔다는 것을 스케일링의 유효성을 보여주는 증거로 인용한 형태다.

이 발언이 지닌 의미는 기술 논쟁에 그치지 않는 측면도 있다. 스케일링으로의 투자를 정당화하는 입장의 OpenAI 최고경영자로서 연구 커뮤니티에 자사의 전략적 방향성을 다시 제시했다는 해석이 가능하다. 대규모 계산 자원으로의 투자를 지속하는 기업에게 있어 스케일링 회의론은 연구의 우선순위나 자금 배분에도 영향을 미칠 수 있기 때문에, 이러한 종류의 논의는 순수한 학문적 관심을 넘어서는 의미를 지닌다.

한편 스케일링 일편의 접근 방식에 대한 우려가 완전히 사라진 것은 아니다. 학습 비용이나 에너지 소비의 증가, 혹은 "스케일링의 법칙이 어딘가에서 한계에 도달하지 않을까"라는 질문은 연구자들 사이에서 계속 논의되고 있다. 알트먼 회장의 발언은 어디까지나 한 입장에서의 주장이며, 수학적 추측의 반박이라는 한 사례가 스케일링의 유효성 전반을 증명하는 것인지에 대해서는 이론의 여지가 있다.

앞으로 주목되는 것은 스케일링과 보다 효율적인 아키텍처나 추론 기법의 결합이 어떻게 진화하는가 하는 점이다. 대규모화만에 의존하지 않고 적은 계산 자원으로 높은 성능을 끌어내는 연구도 병행 중이며, 양측의 성과가 쌓여가는 가운데 인공지능 성능의 상한에 관한 논의는 더욱 깊어질 것으로 보인다.