Bug0, AI 브라우저 자동 테스트 'QA Agent' 공개

Bug0가 브라우저 회귀 테스트를 자동화하는 Playwright 라이브러리 'QA Agent'를 소스 에이블(소스코드를 공개하면서 이용 조건을 정하는 형식)의 라이선스로 공개했다. 이 도구는 AI 에이전트가 자율적으로 브라우저를 조작하면서 테스트를 실행하는 것으로, 기존의 수동 테스트 관리를 크게 줄일 수 있는 가능성이 있다.

소프트웨어 개발에서 '회귀 테스트'는 코드를 변경한 후 기존 기능이 손상되지 않았는지 확인하는 작업을 뜻한다. 웹 서비스의 규모가 커질수록 확인해야 할 부분이 증가하고, 이 작업은 개발 팀에게 큰 부담이 되기 쉽다. 특히 화면의 디자인이나 구조가 바뀔 때마다 테스트 설정을 다시 작성해야 하며, 지속적인 운영 비용이 과제가 되어왔다.

QA Agent가 채택한 핵심적인 접근법은 자연어로 테스트 내용을 기술할 수 있다는 점이다. 개발자가 프로그래밍 코드가 아닌 '이 버튼을 클릭하면 로그인할 수 있는지 확인한다'와 같은 일상적인 언어로 테스트 절차를 표현하면, 에이전트가 그 의도를 해석하여 브라우저상의 작업으로 변환한다. 더욱이 한 번 학습한 작업 절차를 캐시(임시 저장)하는 메커니즘도 갖추고 있으며, CI(지속적 통합)라고 불리는 자동 빌드·테스트 공정에서 재실행할 때의 속도 향상이 도모되고 있다.

더하여 화면의 UI가 변경된 경우에도 대응하는 메커니즘이 내장되어 있다. 캐시된 작업을 새로운 UI 구조에 자동으로 대응시킴으로써, 화면의 모습이 바뀌어도 기존의 테스트 설정을 대대적으로 다시 작성할 필요가 없는 설계가 되어 있다. 이는 빈번한 UI 변경이 발생하는 애자일 개발 현장에서의 이용을 염두에 둔 것으로 보인다.

테스트 결과의 검증에는 여러 AI 모델의 판단을 비교하는 '멀티모델 컨센서스'와 화면을 시각적으로 분석하는 비전 모델의 평가가 사용된다. 단일 모델에 의존하지 않고 여러 관점을 결합함으로써, 오탐과 누락을 줄이는 것을 목표로 한다. 이 접근 방식은 AI의 판단 신뢰성을 시스템 설계로 보완하려는 것으로, QA 도구로서의 실용성을 높이는 고안으로 자리매김된다.

QA Agent는 AI 에이전트가 소프트웨어 개발 공정 자체를 지원하는 'AI DevOps'의 흐름을 따른 도구라고 할 수 있다. 개발 사이클의 고속화가 요구되는 가운데, 테스트 공정의 자동화는 비용 절감과 품질 유지의 양립을 목표로 하는 팀에게 관심이 높은 영역이다. 앞으로는 정확도나 대응 범위의 확충, 그리고 실제 개발 현장에서의 채택 동향이 주목되는 바이다.