인공지능이 수학의 난제 'ETH'에 반박? 연구자가 해설

OpenAI와 Google의 DeepMind가 각각 개발한 인공지능 모델이 '지수시간 가설(ETH: Exponential Time Hypothesis)'에 반박하는 결과를 보였다고 발표했다. ETH란 계산기 과학에서 중요한 미해결 추측으로, 특정 종류의 계산 문제는 원리적으로 막대한 시간이 걸린다는 것, 즉 '효율적으로 풀 수 없다'는 생각을 나타낸다. 이 발표는 인공지능 산업뿐만 아니라 이론 계산기 과학 분야에도 파문을 일으키고 있다.

ETH는 1990년대부터 2000년대 초반에 걸쳐 제기된 수학·계산기 과학상의 가설로, 특정 문제 클래스(예를 들어 '충족 가능성 문제' 등)를 효율적으로 풀 알고리즘은 존재하지 않는다는 추측을 뒷받침하는 기초가 되었다. 만약 이 가설이 틀렸음이 증명된다면, 암호 이론이나 알고리즘 설계 등 현대 컴퓨터 과학의 기초 자체에 영향을 미칠 가능성이 있다. 인공지능이 이렇게 근본적인 문제를 흔들었다는 발표는 당연히 전문가로부터도 신중한 검증이 요구되게 된다.

이 건에 대해 TechCrunch는 MIT의 계산기 과학자에게 의견을 구했다. 해당 연구자는 인공지능 모델이 수학적 증명의 '반박'을 보였다고 주장하는 것의 의미와 한계를 설명했다. 인공지능이 도출한 결과가 엄밀한 수학적 증명과 동등한 의미를 갖는지는 신중히 판단할 필요가 있으며, 현시점에서는 '인공지능이 특정 반례를 제시했다'는 단계에 머무른다는 견해를 보였다. 인공지능이 보여주는 계산 결과는 인간 연구자의 검증 없이 수학적 정리의 반박이라고 할 수 없다는 점이 강조되었다.

OpenAI와 GoogleDeepMind 양사가 연이어 이러한 발표를 한 것 자체는 인공지능 기술의 적용 범위가 순수 수학이나 이론 계산기 과학까지 확대되고 있음을 보여준다. 지금까지 인공지능은 자연어 처리나 이미지 인식 등의 분야에서 성과를 거두어 왔지만, 수학적 명제의 탐색이나 증명 지원에 활용하는 것은 비교적 새로운 흐름이다. 프론티어 인공지능이라 불리는 대규모 모델이 전문가도 오랫동안 미해결이던 문제에 도전하는 사례가 늘어나고 있으며, 인공지능 연구의 방향이 바뀌고 있다는 견해도 있을 수 있다.

다만 '인공지능이 ETH를 반박했다'는 표현에는 주의가 필요하다. 수학에서의 반박이란 엄밀한 논리의 절차를 거쳐 가설의 오류를 보이는 것을 의미한다. 인공지능이 계산 과정에서 발견한 반례와 같은 결과가 그대로 수학적 의미의 증명이 되는 것은 아니다. MIT 연구자가 지적하듯이, 인공지능의 출력을 출발점으로 하여 인간의 전문가가 검증·정리하는 작업이 필수적이며, 양자의 협력을 통해서만 과학적 의미를 갖는 성과가 된다는 견해가 적절할 것이다.

이번 사건은 인공지능의 '발견'을 어떻게 평가할 것인가라는 문제를 사회에 던지고 있다. 인공지능이 막대한 계산 공간을 탐색하고 인간이 주목하기 어려운 패턴이나 반례를 발견하는 능력은 향후 과학 연구에서 중요한 역할을 할 가능성이 있다. 한편 그 결과를 '증명' 또는 '발견'으로 받아들이려면 인간에 의한 검증의 과정을 생략할 수 없다는 원칙이 다시 한 번 확인된 형태이다. 인공지능 연구와 수학·계산기 과학의 접점에 앞으로도 주목이 집중될 것으로 생각된다.