AI 쇼핑 에이전트의 신뢰성에 의문

AI에 쇼핑을 맡겨도 최선의 선택이 이루어진다는 보장은 없다——와튼 스쿨(펜실베이니아 대학교의 경영대학원)의 연구자들이 이러한 현실을 보여주었다. 연구에 따르면 AI 쇼핑 에이전트는 외부 정보의 사소한 변화나 제시되는 정보의 순서가 바뀌기만 해도 추천하는 상품이 크게 변한다는 것이 확인되었다.

AI 쇼핑 에이전트란 사용자를 대신하여 상품을 검색·비교하고 구매 후보를 제안하거나, 경우에 따라 구매 작업 자체를 자동으로 수행하는 AI 시스템을 말한다. Amazon, Google을 비롯한 많은 플랫폼이 이 기능의 개발·도입을 진행 중이며, 전자상거래 및 소매 업계에서 급속도로 주목을 받고 있다. 소비자가 직접 조사하는 수고를 덜 수 있다는 편의성이 평가되는 한편, 그 에이전트가 정말 '소비자를 위해' 동작하는지에 관한 신뢰성 문제는 지금까지 충분히 검증되지 못했다.

이번 연구에서는 외부 정보원——구체적으로 제품 리뷰 사이트 'Wirecutter'와 같은 제3자 매체——로부터의 정보를 제공하면 AI 에이전트가 선택하는 상품이 최대 99 퍼센트포인트까지 변한다는 것이 확인되었다. 더욱이 완전히 동일한 내용의 정보라도 그 제시 순서를 바꾸기만 해도 추천 결과가 달라진다는 현상도 관찰되었다. 정보의 '내용'이 아니라 '배열 순서'가 결과를 좌우한다는 사실은 에이전트의 판단이 논리적·일관된 근거에 기초하지 않을 가능성을 시사한다.

이 결과가 보여주는 문제의 본질은 AI 에이전트의 '불안정성'에 있다. 인간이라면 동일한 정보를 다른 순서로 읽어도 같은 결론에 도달하는 경우가 많다. 그러나 AI 에이전트는 입력의 사소한 변화에 대해 출력이 크게 변동하기 쉬운 특성을 가질 수 있다. 이를 '견고성(robustness)'이라고 불리는 안정성 문제이며, 구매라는 금전적 영향을 동반하는 의사 결정에 사용하기 위해서는 현 시점에서는 신중한 평가가 필요하다는 견해가 가능하다.

소비자에게 미치는 의미는 명확하다. AI 에이전트에 상품 선택이나 구매를 전적으로 일임하는 것은 현재로서는 '최선의 판단을 얻을 수 있다'는 보장이 되지 않는다는 뜻이다. 특히 에이전트가 어떤 외부 정보원을 참조하고 있으며, 그 정보가 어떤 순서로 처리되는지에 따라 결과가 달라진다면, 이용자에게는 그 메커니즘이 잘 보이지 않기 때문에 불리한 선택을 강요받을 위험도 부정할 수 없다.

산업 및 개발자의 관점에서 보면, 이 연구는 AI 에이전트의 '신뢰성 기준'을 어떻게 설정할 것인가라는 물음을 던지고 있다고도 할 수 있다. 에이전트의 추천 결과가 안정적인지 여부를 검증하는 메커니즘과 참조 정보원의 투명성을 확보하는 설계가 향후 개발에서 중요한 과제가 될 가능성이 있다. AI 쇼핑의 확산이 가속화되는 가운데 연구의 통찰이 실제 제품 개선 및 가이드라인 수립에 어떻게 활용될지가 주목점이 될 것이다.