JioHotstar, AI 코딩용 검색 기법 비교 평가

인도의 동영상 스트리밍 서비스 JioHotstar가 AI 코딩 에이전트용 코드 검색 기법을 체계적으로 비교한 평가 결과를 공개했다. 대상이 된 것은 6가지 접근 방식이며, 여러 벤치마크와 사내 평가 기반을 조합하여 검증이 진행되었다.

AI 코딩 에이전트란 인간의 지시에 따라 코드 생성 및 수정을 자율적으로 수행하는 AI 시스템을 말한다. 이러한 에이전트가 적절한 코드를 생성하기 위해서는, 방대한 코드베이스에서 관련 정보를 빠르고 정확하게 끌어내는 '검색' 메커니즘이 필수적이다. 어떤 검색 기법을 사용하느냐에 따라 에이전트의 성능이 크게 좌우되므로, 각 기업이 최적해를 모색하는 단계에 있다.

JioHotstar의 평가에서는 SWE 벤치마크, CodeScale Bench, 그리고 사내에서 구축한 QA(질의응답) 하네스라는 3가지 평가 환경이 사용되었다. 비교 대상이 된 6가지 접근 방식은 모두 코드 검색 기법으로 위치지어지고 있으며, 각각 다른 특성을 갖는다. 평가의 축으로는 검색 정확도, AI 모델에 대한 입력량(토큰 사용량), 도구 설계의 복잡성이라는 3가지 관점이 설정되었다.

결과적으로 구조적 검색 기법은 구체적인 작업, 예를 들어 특정 함수명이나 클래스의 위치를 찾는 등 명확한 목적이 있는 업무에서 높은 성능을 보였다. 한편 요구사항이 모호한 경우나 의도를 말로 표현해야 하는 상황에서는 의미론적 유사성에 기반한 의미 검색이 효과적이었다는 것이다. 두 기법은 각각 잘하는 상황이 다르며, 한쪽이 다른 쪽을 완전히 능가하는 결과로 이어지지 않았다.

이 평가가 보여주는 중요한 시사점은 '만능의 검색 기법은 존재하지 않는다'는 점이다. 작업의 성질에 따라 적절한 검색 도구를 선택하는 설계 판단이 AI 코딩 에이전트 전체의 성능을 좌우한다고 볼 수 있다. 토큰 사용량의 관점도 간과할 수 없다. AI 모델에 대한 입력이 증가할수록 비용과 처리 시간이 증가하므로, 정확도와 효율성의 균형을 어디서 맞출 것인가 하는 문제는 실제 운영상의 중요한 과제로 위치지어진다.

AI 코딩 에이전트의 활용이 기업의 개발 현장에서 확대되고 있는 가운데, 이러한 실천적인 비교 평가의 공개는 유사한 과제에 대응하는 개발팀에게 참고 가치 있는 지식이 될 수 있다. JioHotstar와 같이 규모 있는 코드베이스를 가진 조직이 독자적인 평가 기반까지 구축하여 검증을 수행한 점은, 문제의 복잡성과 중요성을 보여주고 있다고 볼 수 있다.

향후 주목할 점은 단일 기법에 의존하지 않고, 작업의 종류를 자동으로 판별하여 검색 기법을 전환하는 하이브리드한 설계를 어떻게 구현할 것인가 하는 점이 될 것 같다. 검색 정확도, 비용, 도구의 복잡성이라는 트레이드오프를 어떻게 정리할 것인가는 AI 코딩 에이전트의 실용화를 추진함에 있어 공통 과제라고 할 수 있다.