QCon AI NY, 현장 엔지니어가 본번 AI를 말하다

기술 컨퍼런스 'QCon AI New York 2026'이 2026년 12월 15~16일 개최를 향한 전체 프로그램을 공개했다. LinkedIn, Netflix, DoorDash, Figma, Pinterest, Honeycomb, Harvey, Google DeepMind, OpenAI의 엔지니어가 등단하며, 자사에서 실제로 운영 중인 AI 시스템에 대해 발표한다.

AI를 둘러싼 논의는 '무엇을 할 수 있는가'에서 '어떻게 운영할 것인가'로 빠르게 전환되고 있다. 과거 컨퍼런스에서 연구 단계의 성과 발표가 많았던 것과 달리, 이번에는 본번 환경(프로덕션)에서의 운영 실적을 가진 엔지니어가 주역이다. 기업 규모나 업종을 막론하고, AI를 실제 서비스에 통합할 때의 과제를 공유하는 자리로 위치지어진다.

발표 주제로 공개된 것은 AI 에이전트의 권한 설정과 가드레일(안전한 동작을 지키기 위한 제약), 평가 루프(evals), 추론 비용, AI를 통한 코드 리뷰, 그리고 팀으로의 도입 프로세스의 5개 분야다. 이들은 모두 AI를 '만드는' 것보다 '계속 사용하기' 위해 필요한 과제군이며, 현장 엔지니어가 일상적으로 직면하는 문제에 직결된다.

특히 AI 에이전트의 가드레일과 평가 루프는 최근 주목이 높아지고 있는 주제다. 에이전트란 지시에 따라 자율적으로 작업을 수행하는 AI 시스템을 가리킨다. 이러한 시스템을 본번 환경에서 안전하게 운영하려면, 어느 정도의 권한을 부여할지, 동작이 의도대로인지를 지속적으로 측정하는 체계를 어떻게 설계할지가 문제된다. 여러 대형 테크 기업이 이 문제에 어떻게 대응하고 있는지는 업계 전체의 지식으로서 가치가 높다고 할 수 있다.

추론 비용도 중요한 논점이다. AI 모델을 호출할 때마다 발생하는 컴퓨터 자원의 비용은 사용자 규모가 커질수록 경영과 직결된다. Netflix나 DoorDash 같은 대규모 서비스가 어떻게 비용을 관리하고 있는지는 유사한 과제를 안고 있는 기업에게 참고가 될 만한 사례가 될 수 있다.

AI를 통한 코드 리뷰와 팀 도입 세션은 기술적 측면과 별개의 과제에 빛을 비추고 있다. 우수한 AI 도구가 있어도 개발팀이 이를 능숙하게 활용하지 못하면 의미가 없다. 엔지니어 조직으로서 어떻게 변화를 받아들이고 실무에 녹여낼지라는 물음은 많은 기업이 직면하고 있는 조직적 과제와 맞닿아 있다.

본번 AI 시스템의 운영 노하우가 공개 자리에서 공유되는 것은 업계 전체에 중요한 의미를 갖는다. 개별 기업이 시행착오로 얻은 지식이 횡단적으로 축적됨으로써, AI의 안전하고 지속 가능한 활용 수준이 밑바닥부터 상향될 가능성이 있다. 앞으로는 발표 내용의 상세와 등단 각사가 보여주는 구체적인 설계·운영의 지식에 주목이 집중될 것으로 보인다.