AI 코드 생성, 생산성 향상으로 이어지지 않음——하버드 연구

AI를 통한 코드 생성 도구를 사용해도 소프트웨어 개발 팀의 생산성은 기대만큼 향상되지 않는다——이러한 조사 결과를 하버드 대학교 연구팀이 발표했다. 개발 현장에서는 "AI가 작성하는 코드의 양"과 "실제로 완성되는 업무의 양"이 비례하지 않는다는 실태가 명백히 드러나고 있다.

이 연구는 소프트웨어 개발 분석 플랫폼 "Jellyfish"를 통해 수집한 데이터를 바탕으로 718개 기업을 대상으로 실시되었다. 규모와 업종을 불문하고 여러 기업이 대상이 되었으며, AI 활용이 진행되는 현재의 개발 현장의 실태를 폭넓게 포착한 조사라고 할 수 있다.

조사로부터 드러난 점은 AI 코딩 지원 도구나 AI 에이전트(자율적으로 작업을 수행하는 AI 시스템)를 도입하면 생성되는 코드의 총량이 확실히 증가한다는 사실이다. 그러나 이것이 개발 작업 전체의 완료량 증가로 이어지지 않았다. 주요 원인으로 지적되는 것은 개발 프로세스의 후반에 발생하는 병목, 특히 "코드 리뷰"의 부담 증가다.

코드 리뷰란 작성된 코드를 인간 엔지니어가 확인·검증하는 단계로, 품질을 보장하기 위해 필수적인 작업이다. AI가 코드를 대량으로 생성할수록 리뷰해야 할 양도 증가한다. 그 결과 후속 단계가 지체되고 전체 진행이 부진한다는 구조가 생겨났다. 말하자면 입구만 넓혀도 출구가 같은 너비로 유지되면 흐름은 빨라지지 않는 상황에 가깝다고 할 수 있다.

이 결과는 AI 활용에 따른 "보이지 않는 비용"을 드러낸다는 점에서 중요한 의미를 갖는다. AI 도구의 도입으로 일부 단계는 자동화·고속화할 수 있는 한편, 그것이 하류 단계에 새로운 부하를 가할 가능성이 있다는 점은 지금까지 충분히 논의되어 왔다고 할 수 없었다. 생산성 지표로 "코드량"만을 보면 현장의 실태를 오판할 위험이 있다는 견해가 가능하다.

소프트웨어 개발의 생산성을 평가할 때는 코드가 작성되는 속도뿐만 아니라 리뷰·테스트·배포 등 후속 단계를 포함한 프로세스 전체를 조감하는 것이 더욱 근본적인 지표가 될 수 있다. 이번 연구는 그러한 관점을 뒷받침하는 하나의 근거로 자리매김된다.

AI 코딩 도구의 보급이 가속화되는 가운데, 기업이 어떻게 리뷰 체제를 정비하고 개발 플로우 전체를 재설계해나갈 것인가가 향후 현장의 실질적인 과제가 된다는 견해가 가능하다. 도구 선정이나 도입 효과 측정에 있어서도 코드 생성량이 아닌 완성된 성과물의 양과 품질에 주목한 평가 축이 더욱 현실에 부합하는 것이 될 것으로 생각된다.