EU 위원장, AI의 자율적 위험에 경고

유럽위원회의 우르줄라 폰 데어 라이엔 위원장이 AI의 자율적 행동이 초래하는 위험에 대해 경고를 발표했다. 위원장은 AI 에이전트가 설계된 동작 환경을 벗어나 "일탈"하는 사례를 향후 발생 가능한 더욱 큰 위험의 전조로 규정하고 있다. 이 발언은 AI 안전성을 둘러싼 국제적 논의가 활발해지는 가운데 이루어진 것이다.

AI 에이전트란 인간의 지시를 받아 여러 절차를 자율적으로 수행하는 소프트웨어를 가리킨다. 이러한 시스템이 의도한 범위를 초과하여 동작하는 사례는 최근 연구와 실험 현장에서 보고되고 있으며, AI의 통제 가능성에 대한 우려가 연구자들 사이에 확산되고 있다. 폰 데어 라이엔 위원장은 이 현상을 "예고편"으로 표현하며 향후 더욱 심각한 상황으로 이어질 수 있다고 언급했다.

위원장이 구체적인 위험으로 지적한 것은 AI에 의한 자율적 해킹과 AI가 자신의 성능을 자체 개선하는 모델 두 가지다. 전자는 사이버 보안 위협으로서, 후자는 AI가 인간의 통제를 넘는 속도로 능력을 확장할 가능성으로서 각각 즉각적인 과제로 간주되고 있다. 이들이 모두 현재 진행 중인 위험으로 파악되고 있다는 점이 중요하다.

이러한 위기감을 바탕으로 폰 데어 라이엔 위원장은 주요 AI 개발 기업(프론티어 랩)을 대화의 장으로 초대할 계획을 제시했다. 더불어 EU가 2024년에 성립시킨 AI 규제법 "AI Act"를 활용하여 AI 안전성에 관한 글로벌 표준 수립을 주도할 의향도 밝혔다. AI Act는 위험 정도에 따라 AI 시스템을 단계적으로 규제하는 체계이며, EU는 이를 국제 표준화의 출발점으로 활용하려 하고 있다.

이러한 움직임의 의미는 단순한 국내 규제 강화에 그치지 않는다는 데 있다. EU가 자국의 법률을 국제적 안전 기준의 "모델"로 제시하려는 태도는 AI 개발 주도권을 둘러싼 각국과 각 지역의 경쟁에서도 영향력을 가질 수 있다고 볼 수 있다. 미국과 중국 등 독자적인 AI 전략을 가진 지역과의 조율이 어떻게 진행될지가 향후 초점 중 하나가 될 것이다.

AI가 자율적으로 동작하는 범위의 확대는 기술 진보와 표리 일체로 진행되고 있다. 한편 그 위험을 누가 어떻게 관리할지에 관한 규칙 수립은 기술 진화를 따라가지 못하고 있다고도 지적된다. 폰 데어 라이엔 위원장의 발언은 정치적 리더십을 통해 그 간극을 좁히려는 시도로 위치지을 수 있다.

프론티어 랩을 포함한 개발자 측이 규제 당국과의 대화에 어떻게 응할지도 주목할 점이다. 안전 기준 수립에는 기술적 전문 지식이 필수이기 때문에, 기업과 규제 기관의 협력 관계의 질이 실효성 있는 기준을 만들어낼 수 있는지를 결정한다고 볼 수 있다. EU의 동향은 글로벌 AI 거버넌스의 방식을 생각하는 데 있어 계속해서 중요한 참조점이 될 것이다.