Perplexity, 완전 로컬 동작 AI에이전트 공개

Perplexity는 AI에이전트 플랫폼 「Computer」의 로컬 동작 버전 「Portable Computer」를 발표했다. Nvidia의 DGX Spark(데스크톱용 슈퍼컴퓨터) 및 Nvidia RTX GPU를 탑재한 Linux 머신을 대상으로 하며, Nvidia와 긴밀하게 연계하여 개발되었다. 모든 처리를 사용자 자신의 디바이스 위에서 완결시키는 것이 최대의 특징이다.

AI에이전트란 여러 절차를 자율적으로 실행하여 작업을 완료하는 AI 시스템을 가리킨다. 현재 많은 AI에이전트는 클라우드 상의 서버에서 동작하고 있으며, 이용할 때마다 비용이 발생하고 파일이나 입력 내용이 외부로 전송되는 구조가 되어 있다. 이러한 과제에 대해 Portable Computer는 로컬 처리를 기본으로 하며, 작업은 먼저 디바이스 위에서 시작된다. 클라우드 상의 더 높은 성능의 모델에 데이터를 보내는 경우에는, 매번 사용자에게 허가를 구하는 설계가 되어 있다.

처리가 로컬에서 완결된 작업에는 과금 크레딧이 소비되지 않는다. 또한 AI 모델·사용자의 파일·작업 결과의 모든 것을 단말기 내에 머물게 할 수 있기 때문에, 기밀성이 높은 정보를 다루는 장면에서도 외부 유출 위험을 줄일 수 있다. 월요일 데모에서는 여러 확정 신고 서류(1099 형식) 및 투자 관련 서류가 들어 있는 폴더를 대상으로, 로컬 환경에서의 서류 검토를 시연했다. 클라우드로의 업로드를 꺼리게 되는 민감한 금융 데이터를 다루는 용도를 상정한 내용이었다.

기술적인 작동 원리로서 Portable Computer는 로컬 모델·에이전트 제어 기구·추론 엔진·각종 도구·앱 연계 기능·보안 샌드박스를 하나의 시스템에 통합하고 있다. 종래에는 로컬에서 AI 스택(AI를 동작시키기 위해 필요한 일련의 소프트웨어군)을 구축하려면 모델의 다운로드나 추론 서버의 구동, 도구의 접속 설정 등 여러 절차를 개별적으로 수행해야 했다. Perplexity의 인프라·엔터프라이즈 담당 부사장 Nate 씨는 프레스 브리핑에서 「로컬 AI 스택의 구축은 지금까지 매우 번거로웠다」고 말하며, Portable Computer에서는 바로 사용을 시작할 수 있는 경험의 실현에 주력했다고 설명했다.

Nvidia 쪽에게도 이번 발표는 전략적인 의미를 가진다. 동사의 개발자 기술 담당 디렉터 Nader 씨는 「로컬 AI는 전환점을 맞이했다」고 말하며, 지금까지는 모델을 극단적으로 압축(양자화)한 상태에서 동작시키는 애호가 용도가 중심이었지만, 실용성이 높은 오픈소스 모델의 대두에 의해 상황이 바뀌었다고 말했다. Nvidia는 지난 몇 년간 대규모 AI 데이터센터용 반도체 판매에 주력해 왔지만, 이번 움직임은 로컬 AI용 하드웨어 시장에 대한 본격적인 약속으로 자리매김된다.

로컬 AI의 보급은 지금까지 클라우드 의존이 당연시되어 왔던 AI에이전트 이용의 방식을 바꿀 수 있는 움직임이라고 볼 수 있다. 특히 의료·법률·금융과 같이 데이터의 취급에 엄격한 기준이 요구되는 분야에서는 로컬 처리에 의한 정보 관리의 우위성이 평가되기 쉽다. 앞으로는 대응 하드웨어의 확대나 더 많은 앱·도구와의 연계가 진행되는지 여부가 Portable Computer의 보급을 좌우하는 포인트가 될 것으로 보인다.