LLM으로 생성한 DSL의 환각을 컴파일러로 억제하는 기법

대규모 언어 모델(LLM)이 코드를 생성하는 상황이 확대되는 한편, 특정 분야 전용 언어(DSL)를 다룰 때 「환각(할루시네이션)」이라 불리는 오류 출력이 발생하기 쉬운 문제가 지적되고 있다. 엔지니어 Irakli Betchvaia는 이러한 과제에 대처하는 접근방식으로 「Typed Domain Grounding(형식화된 도메인 그라운딩)」을 제안했다.

DSL이란 특정 업무 분야나 기술 분야에 특화하여 설계된 프로그래밍 언어를 의미하며, 범용 언어에 비해 어휘와 문법이 제한되어 있다. LLM은 이러한 틈새 언어의 학습 데이터가 적기 때문에 문법적으로 잘못된 출력이나 존재하지 않는 명령을 만들어내는 오류가 발생하기 쉽다. Typed Domain Grounding은 이러한 DSL을 범용적이고 형식 체계를 가진 주류 언어 내부에 「내장」함으로써 LLM이 잘못된 구조를 출력하기 어렵게 하는 발상에 기초하고 있다.

Betchvaia는 이러한 생각을 검증하기 위해 kUML이라는 벤치마크와 인프라 코드화(Infrastructure as Code)를 다루는 구체적 사례를 활용했다. 인프라 코드화란 서버나 네트워크 구성을 코드로 기술·관리하는 기법으로, 클라우드 개발 현장에서 널리 사용되고 있다. 이 분야에서 LLM이 잘못된 구성 코드를 생성하면 시스템 장애로 이어질 위험이 있기 때문에 정확성 확보가 중요해진다.

구체적인 메커니즘으로 주목되는 것이 「generate-compile-repair(생성·컴파일·수정) 루프」다. 먼저 LLM에 코드를 생성하게 한 후, 컴파일러(프로그램을 기계어로 변환할 때 문법을 검증하는 도구)로 오류를 검출하고, 그 오류 정보를 다시 LLM에 전달하여 수정하게 한다. 이러한 반복을 통해 형식 체계나 컴파일러의 규칙을 위반한 출력을 자동으로 제외할 수 있다는 사고방식이다. 인간이 일일이 검토하지 않아도 기계적 검증이 품질 필터로 기능한다는 점이 특징이라 할 수 있다.

이 기법이 가지는 의미는 LLM 활용 현장이 직면하고 있는 「출력의 신뢰성」이라는 과제와 직결되어 있다. 범용적 코드 생성에서는 어느 정도 성숙해가고 있는 LLM도 전문성이 높은 DSL에서는 여전히 신뢰하기 어려운 경우가 있다. 형식 체계라는 기존 소프트웨어 공학의 자산을 활용함으로써 추가적인 미세 조정(재학습)을 필요로 하지 않고 신뢰성을 높일 수 있는 가능성이 있는 것으로 위치지어진다.

앞으로의 관점으로서, 이러한 종류의 접근방식은 LLM과 기존 개발 인프라(컴파일러·형식 검사기·테스트 프레임워크)를 어떻게 조합할지라는 보다 광범위한 질문으로 이어지고 있다. 모델 단독의 능력을 높이기보다는 주변의 검증 기구와 조합하여 신뢰성을 확보한다는 방향성은 특히 오류가 용인되기 어려운 업무 시스템이나 사회 인프라 분야에서 중요한 설계 사상이라고 볼 수 있다.