Anthropic의 최고경영자, AI 개발 속도 제한을 요구

Anthropic의 최고경영자인 다리오 아모데이는 AI 개발의 속도를 의도적으로 제한해야 한다고 주장하고 있다. 구체적으로는 AI 기업에 감시자를 상주시키고, 각 회사가 공유할 수 있는 안전 기준을 수립하며, 핵군축 협상인 'SALT 조약'을 모델로 한 국제협정의 체결을 제안했다.

아모데이가 특히 경계하는 것은 '재귀적 자기개선'이라는 현상이다. 이는 AI가 자신의 능력을 반복적으로 강화하는 메커니즘으로, 특정 단계를 넘으면 인간이 그 진전을 파악하고 통제할 수 없게 될 위험이 있다고 알려져 있다. 그는 이러한 자기개선 과정이 6~12개월 내에 인터넷 전체를 위협할 수 있다고 경고했다.

Anthropic은 AI의 안전성 연구를 전문으로 하는 기업으로 설립되었으며, 주력 제품인 'Claude'를 통해 AI 개발의 최전선에 있는 기업이기도 하다. 그 최고경영자가 자사의 사업 영역이기도 한 급속한 기술 진보에 대해 규제를 요구하는 구도는 업계 내에서도 두드러진 입장이라고 할 수 있다. 이번 발언은 Anthropic이 사상 최대 규모가 될 수도 있는 기업공개를 앞두고 나온 것이기도 하다.

아모데이가 제안한 국제협정의 모델이 된 SALT(전략무기제한협상)는 과거 미소 간에 핵탄두 증산을 상호 억제하기 위해 체결된 조약이다. 이 틀을 AI 분야에 적용하려는 구상은 AI 개발 경쟁을 '단순한 기술 경쟁'이 아니라 안보에 준하는 문제로 위치지음을 시사하고 있다. 다만 구체적인 합의 형성의 길은 현재까지 명확히 공개되지 않았다.

AI 기업에 외부 감시자를 상주시킨다는 제안도 업계에 큰 질문을 던지고 있다. 현재 많은 AI 기업은 안전 평가를 자사 내에서 완결하고 있으며, 제3자에 의한 지속적인 점검 체제는 갖춰져 있지 않다. 상주 감시 제도가 실현된다면 개발 과정 자체의 투명성이 근본적으로 바뀔 가능성이 있다.

이러한 발언의 배경에는 생성 AI의 능력이 급속히 확대되는 가운데 기술의 진전이 인간의 감시 능력을 초과할 위험에 대한 우려가 업계 전체에서 높아지고 있다는 상황이 있다. 안전성에 대한 논의는 지금까지도 있었지만, 주요 AI 기업의 최고경영자가 구체적인 규제의 틀을 공개적으로 제안하는 경우는 많지 않다. 그 의미에서 이번 발언은 정책 입안자나 다른 기업에게도 무시하기 어려운 것이 되고 있다.

향후의 주목점은 아모데이의 제안이 얼마나 구체적인 논의로 발전할지이다. 기업공개라는 전환점을 앞두고 제시한 안전성 우선의 입장이 투자자, 규제 당국, 국제 사회 각각에 어떻게 받아들여질지에 따라 AI 개발을 둘러싼 규칙 수립의 방향성에 영향을 미칠 수 있다고 볼 수 있다.