AI 안전성의 '자기 신고'에서 제3자 감시로

AI 기업들이 자사 시스템에 대해 '안전하다'고 주장하는 것만으로는 안 되는 시대가 다가오고 있다. 캘리포니아주가 새로운 AI 감시법을 정비함으로써 기업의 안전성 주장을 독립적인 제3자 기관이 검증하는 체계로의 전환이 구체적인 제도로서 움직이기 시작했다.

지금까지 AI 업계에서는 기업이 자사 모델의 안전성과 위험에 대해 스스로 평가·공표하는 '자기 신고' 방식의 접근이 주류였다. 개발 속도가 빠르고 외부 전문 기관의 평가가 따라가지 못한다는 사정도 있었지만, 그 결과로 '기업이 도움이 되는 정보만 골라서 발신하고 있는 것 아닌가'라는 우려가 연구자와 정책 입안자들 사이에서 계속 지적되어 왔다.

캘리포니아주의 새로운 법률은 이러한 상황에 일침을 가하는 것이다. 법률의 내용은 AI 기업에 대해 독립적인 외부 기관의 감시를 의무화하는 방향을 향하고 있으며, 기업이 스스로 행하는 안전성의 주장을 제3자가 객관적으로 확인할 수 있는 체계를 요구하고 있다. 이른바 '말하는 것뿐만 아니라 증명해 보이라'는 전환점으로 위치지어진다.

이 움직임이 중요한 이유는 무엇인가. AI 시스템이 의료·금융·고용 같은 생활에 직결되는 영역에서 사용되기 시작함에 따라 그 안전성을 확인하는 체계의 유무는 사회적 신뢰에 직결된다. 자동차와 의약품 분야에서는 제품이 시장에 출시되기 전에 독립적인 기관의 검사를 통과하는 것이 당연하지만, AI에는 그러한 관행이 아직 정착하지 않았다. 이번 움직임은 AI를 '검사 없이 사용할 수 있는 특별한 기술'에서 '다른 제품·서비스와 마찬가지로 검증을 받아야 하는 대상'으로 다루는 방향으로의 전환으로 볼 수 있다.

한편 독립적인 감시 체계를 실제로 기능시키는 데 있어서 과제는 적지 않다. AI 시스템의 안전성을 적절히 평가할 수 있는 전문 지식을 가진 기관이 얼마나 존재하는지, 감시의 기준을 어떻게 설정할지 같은 실무적인 문제는 아직 정리되지 않은 단계에 있다. 캘리포니아주의 움직임은 선도적인 시도로 주목되지만, 제도가 실효성을 가지려면 평가 방법론의 표준화가 함께 진행될 필요가 있다는 견해가 있다.

AI 거버넌스(AI 이용의 관리·규제 체계)는 지금까지 주로 '어떤 규칙을 만들 것인가'라는 논의 단계에 있었다. 캘리포니아주의 법제화는 그 논의를 '규칙이 지켜지고 있는지를 누가 어떻게 확인할 것인가'라는 실현 단계로 밀어 올리는 움직임으로 위치지어진다. 앞으로는 비슷한 감시 의무화가 다른 주나 나라에서도 확산될지 여부, 그리고 업계 표준으로서의 평가 방법론이 확립되어갈지 여부가 관심사가 될 것 같다.