AI 에이전트의 다음 과제는 "기억" 설계

AI 에이전트 개발에서 처리하는 텍스트량(토큰 수)을 늘리는 것이 한때의 평가 지표로 확산되었지만, 그러한 생각 방식에 대한 반발이 퍼지고 있다. 2026년 상반기에 걸쳐 토큰 소비량을 경쟁하는 움직임이 보였으나, 그것이 성과가 아니라 활동량만 측정할 수 있다는 비판이 높아졌다. 그 논의의 그림자에 더욱 본질적인 설계상의 문제가 떠오르고 있다.

문제의 핵심은 "컨텍스트 윈도우"의 유한성에 있다. 컨텍스트 윈도우란 AI가 한 번에 참조할 수 있는 정보의 범위를 말하며, 여기에 집어넣을 수 있는 정보량에는 한계가 있다. 100건 이상의 고객과의 대화를 15개 도시·6개 국가에서 진행한 경험을 바탕으로 한 견해에 따르면, 많은 조직이 같은 결론에 도달하고 있다고 한다. 과제는 "더 많은 정보를 집어넣는 것"이 아니라 "무엇을 넣어야 할지를 판단하는 것"이다.

그 답으로 떠오르고 있는 것이 "기억(메모리)"의 개념이다. 다만 여기서 말하는 기억은 컨텍스트 윈도우 자체를 지칭하는 용어 사용 방식과는 다르다. 모델의 외부에 영구적으로 존재하며, 필요에 따라 검색·참조할 수 있는 독립적인 시스템으로서의 기억을 지칭한다. 현재의 세션이 끝나면 사라지는 정보가 아니라, 다음 처리에서도 재사용할 수 있는 형태로 축적·관리되는 구조이다.

적절히 설계된 에이전트용 기억 시스템에는 세 가지 기능이 요구된다고 정리되고 있다. 첫째는 과거 세션에서 AI가 생성한 결과를 저장하여, 비용을 들여 수행한 추론을 차후에도 활용할 수 있게 하는 것이다. 둘째는 저장된 기억에 접근할 수 있는 사람이나 팀을 제어하는 "역할 기반 접근 제어"를 적용하여, 기업 내 안전한 정보 공유를 가능케 하는 것이다. 셋째는 과거 정보를 "의미"로 검색할 수 있는 것, 즉 키워드의 완전 일치가 아니라 문장의 의도나 의미의 유사성에 기반하여 필요한 정보를 끌어내는 "의미론적 검색"을 갖추는 것이다.

이 세 번째 점은 데이터베이스의 역사와 깊게 연관되어 있다. 지난 60년간 데이터베이스 기술은 구조화된 데이터를 정확한 조건으로 저장·검색하는 것에 특화하여 진화해왔다. 한편 AI 에이전트가 다루는 정보는 생성 AI가 출력한 비구조화 텍스트이며, 의미의 근접성으로 검색하는 구조가 필요하다. 이는 종래형 데이터베이스 기술과는 다른 설계 사상이며, 양자를 동일한 플랫폼에서 다룰 수 있는지 여부가 구현의 난이도를 크게 좌우한다.

현 시점에서 잘 구현하고 있는 팀은 의미론적 검색·접근 제어·생성 콘텐츠 저장을 별개의 시스템을 이어 붙이는 것이 아니라 하나의 데이터 기반 내에서 완결시키고 있다고 알려졌다. AI 에이전트 개발은 아직 약 18개월의 역사만 있으며, 데이터베이스 기술의 60년과 비교하면 학습 곡선의 입구에 선 상태라고 할 수 있다. 웹 개발의 "LAMP 스택"과 같은 표준적인 구성이 에이전트 개발에는 아직 존재하지 않으며, 각 팀이 아키텍처를 처음부터 검토하고 있는 것이 현황이라 할 수 있다.

기억 시스템의 설계는 에이전트가 단발의 처리를 수행하는 도구에서 지속적으로 문맥을 유지하며 일하는 존재로 이행하기 위한 기반이 된다고 볼 수 있다. 컨텍스트 윈도우에 정보를 집어넣는다는 "양"의 발상에서 무엇을 언제 기억하고, 어떻게 끌어낼 것인가라는 "질과 설계"의 논의로 에이전트 개발의 관심이 옮겨지고 있는 단계에 있다.