Claude의 문장 품질, 똑똑해질수록 악화된 이유

AI 모델이 고도화될수록 반드시 '사용하기 쉬워지는' 것은 아니다. Anthropic의 엔지니어인 잭슨 카르니온이 새로운 Claude 모델의 문장 스타일이 인간에게 읽기 어려워진 이유를 설명했다. 그 원인은 모델의 능력을 높이기 위한 훈련 방법 자체에 있었다고 한다.

AI 모델의 성능을 측정하는 지표로서, 현재의 개발 현장에서는 수학적 추론·코드 생성·기술적 설명 능력이 중시되고 있다. 이러한 능력을 높이기 위해서는 인간이 아닌 다른 AI 모델을 대상으로 작성된 기술 문서를 대량으로 학습시키는 것이 효과적이라고 알려져 있다. Claude도 이러한 AI 업계 전체의 흐름에 따라 훈련이 진행되어 왔다.

카르니온에 따르면, 이 훈련 방침의 결과로서 새로운 Claude 모델의 문장은 '정보를 과도하게 집어넣은 덩어리' 같은 인상을 주는 스타일이 되어 버렸다고 한다. 기술적 정확성은 증가하는 한편, 인간이 읽었을 때 자연스럽고 읽기 편하다고 느끼는 문장의 리듬과 흐름이 사라진 형태다. 똑똑함과 읽기 쉬움이 같은 훈련으로는 동시에 향상되지 않았다는 것이다.

이 상황에 대해 Anthropic은 최신 모델인 'Opus 5.5'에서 이 문제의 개선을 시도하고 있다. 한편 카르니온은 순수한 문장 모델로서는 구형 'Opus 4.6'이 여전히 우수하다고 지적했다. 개선이 시도되고 있다 하더라도, 현 시점에서는 신구 모델 사이에 명확한 차이가 남아 있는 상황이다.

이 문제가 보여주는 것은 AI 개발에서의 '트레이드오프'의 어려움이다. 성능 벤치마크 점수를 올리는 것과 실제 이용자가 편하게 사용할 수 있는지는 반드시 일치하지 않는다. 이번의 경우는 기술적 지표를 추구한 결과로서 일상적 문장 품질이라는 다른 가치가 훼손된 한 사례로 자리매김된다.

AI를 일이나 창작에 사용하는 사람들에게 이 문제는 신근한 곳에 영향을 미친다. 고성능이어야 할 새로운 모델을 사용했는데도 문장이 어색하게 느껴졌다는 경험은 이러한 훈련 방침의 차이에서 비롯되었을 가능성이 있다. 모델의 '능력'과 '글쓰기 힘'을 별개의 축으로 인식하는 것이 용도에 맞는 모델을 선택하는 데 있어 중요한 관점이 된다고 할 수 있다.

Anthropic이 이 트레이드오프를 어떻게 해소할지는 향후 모델 개발의 주목점 중 하나다. 기술적 능력과 문장 품질의 양립을 목표로 하는 개선이 계속되는 가운데, 실제 이용자 경험이 어떻게 변해갈지에 관심이 쏠린다. 개발 측이 내부 과제를 엔지니어 자신의 말로 공표한 것 자체가 투명성이라는 관점에서도 주목할 만한 움직임이라고 할 수 있다.