서튼 박사, LLM 스케일링 일변도에 경고음

AI의 기초 연구자로 알려진 리처드 서튼이 대규모 언어모델(LLM)의 스케일링, 즉 계산 자원을 늘려 모델을 계속 대형화하는 접근법만으로는 진정한 지능에 도달할 수 없다는 견해를 다시 한번 제시했다. 서튼은 튜링상 수상자이며 강화학습 분야를 개척한 연구자로 국제적으로 평가받고 있다. 그의 발언은 현재 AI 개발의 주류를 이루는 방향성에 대해 원리적인 문제 제기를 촉구하는 것이라 할 수 있다.

서튼은 과거 '쓰라린 교훈(Bitter Lesson)'이라 불리는 논고에서 AI의 역사에 있어 인간이 설계한 복잡한 규칙보다 대량의 데이터와 계산력을 활용한 단순한 방법이 장기적으로 우월해왔다고 지적했다. 이 논고는 스케일링의 유효성을 보여주는 근거로 AI 업계에서 널리 인용되어온 경위가 있다. 그런데 이번에 동인 자신이 그 해석의 과도함을 비판하는 입장을 명확히 함으로써 업계 내 관심을 모았다.

서튼의 주장의 핵심은 계산량을 늘리는 것만으로는 불충분하며 학습 자체의 구조를 근본에서 다시 만드는 새로운 방법이 필요하다는 것이다. 현재 주류인 Transformer 아키텍처를 단순히 확장하는 것을 계속하는 접근법에는 한계가 있다는 인식으로, 전 OpenAI 연구자인 제시카 트워렉도 이에 동조하고 있다. 트워렉은 Transformer의 맹목적인 스케일링이 '한 세대의 과학자들의 사고를 보상 해킹(바람직한 결과만을 최대화하려는 근시안적 최적화)해버렸다'고 표현했다.

'보상 해킹'은 강화학습에서 본래의 목적을 달성하는 것이 아니라 평가 지표를 높이는 것에만 최적화되어 버리는 현상을 가리킨다. 트워렉이 이 표현을 의도적으로 사용함으로써 스케일링에의 몰입이 연구자의 문제의식과 탐구의 방향성 자체를 왜곡해왔다는 점을 암시하고 있다. 즉, 지표로서의 성능은 올랐더라도 지능의 본질에 가까워지고 있다고 말하기 어려운 상황이 계속되어왔다고도 읽을 수 있다.

이러한 논의와 병행하여 기존의 스케일링 일변도가 아닌 새로운 학습 방법을 모색하는 스타트업이 증가하고 있다는 보도도 있다. 이들 기업은 대형 기술 기업이 막대한 자본을 투자해 스케일링을 추진하는 노선과는 다른 접근법에서 활로를 찾으려 하고 있다는 해석이 가능하다. 구체적인 기업명이나 방법의 세부 사항은 밝혀지지 않았지만, 업계의 일부에서는 이미 자본의 흐름이 바뀌고 있을 가능성을 시사하고 있다.

서튼과 같은 제일선의 연구자가 자신의 논고가 인용되는 맥락에 이의를 제기한 것은 AI 연구 커뮤니티에 대해 중요한 문제를 제기하고 있다고 위치지을 수 있다. 스케일링이 가져온 성능 향상은 의심의 여지가 없는 사실인 한편, 그것이 '지능'으로 향하는 길인지라는 근본적인 물음에 대한 답은 아직 정해지지 않았다. 앞으로는 스케일링 이외의 학습 패러다임이 어느 정도 구체적인 성과를 보일 수 있는지가 업계 전체의 방향성을 점치는 데 있어 초점이 될 것이라는 해석이 가능하다.