AI 에이전트 실패의 원인은 컨텍스트 설계에 있다

AI 코딩 에이전트가 예상대로 작동하지 않는 원인 중 하나로, 컨텍스트 윈도우(AI가 한 번에 참조할 수 있는 정보의 범위)에 불필요한 정보를 너무 많이 집어넣는 점이 지적된다. 엔지니어 Baruch Sadogurski와 Patrick Debois는 이 문제를 '컨텍스트 엔지니어링'이라는 관점에서 정리하고, 구체적인 개선 방법을 정리하여 발표했다.

AI 에이전트의 활용이 확대되면서 많은 개발 현장에서는 '일단 프롬프트에 정보를 추가한다'는 대증요법이 반복되어 왔다. 하지만 정보량이 늘어날수록 AI는 정말 필요한 문맥을 놓치기 쉬워진다. 많은 토큰(AI가 처리하는 텍스트의 단위)이 나열되어 있어도, 품질이 낮은 정보가 많으면 소량이지만 정확도가 높은 정보에 미치지 못한다는 것이 이번 발표의 핵심 사고방식이다.

Sadogurski와 Debois가 제안하는 개선책은 주로 네 가지다. 첫 번째는 '레이지 로딩형 스킬'로, 필요해진 시점에만 기능이나 정보를 읽어들이는 구조다. 두 번째는 '버전 관리되는 컨텍스트 아티팩트', 즉 AI에 전달하는 정보의 덩어리를 코드와 마찬가지로 버전 관리함으로써 재현성과 추적 가능성을 확보하는 것이다. 세 번째는 '외부화된 메모리 뱅크'로, AI의 기억을 외부 데이터 스토어로 분리하여 필요한 정보만 선택해서 참조할 수 있도록 한다. 네 번째는 'LLM-as-a-judge(AI에 의한 평가)'로, AI의 출력 품질을 별도의 AI가 자동으로 검사하는 평가 프레임워크다.

더 나아가 그들은 원본 Markdown 파일 같은 비구조화된 문서를 신뢰성 높은 에이전트형 워크플로우로 변환하는 접근법도 제시하고 있다. 이는 문서 정비가 불충분한 상태에서 운영되는 현장의 실태에 대응한 것이라고 할 수 있다.

이번 발표가 제시하는 본질적인 질문은 'AI에 얼마나 많은 정보를 전달할 것인가'가 아니라 '무엇을, 언제, 어떻게 전달할 것인가'라는 설계의 문제라는 점이다. AI 에이전트의 정확도는 모델 자체의 성능뿐만 아니라 주어지는 정보의 질과 구조에 크게 좌우된다. 컨텍스트를 무계획으로 늘려도 정확도는 올라가지 않으며 오히려 떨어진다는 관점은, 많은 개발자가 직관적으로 느끼면서도 체계화하지 못했던 과제를 언어화한 것으로 위치지을 수 있다.

소프트웨어 아키텍트나 엔지니어링 리더에게 이번 발표는 에이전트 설계의 재검토를 향한 실용적인 출발점이 될 수 있다. 컨텍스트 엔지니어링은 향후 AI 시스템 개발에서 프롬프트 설계와 함께 중요한 전문 분야로서 인식이 확산될 가능성이 있다. 현재로서는 확립된 표준 방법론이 적은 분야인 만큼, 이러한 실무적 지식의 축적과 공유가 업계 전체의 수준 향상으로 이어진다고 볼 수 있다.