LinkedIn이 AI 구인 검색 학습 속도 8배 향상

LinkedIn은 AI를 활용한 구인 검색 기능의 학습 인프라에 대한 세부사항을 공개했다. 여러 대규모 모델에서 지식을 압축·이전하는 '멀티티처 증류'라고 불리는 기법을 도입하여, 최종적으로 6억 개의 파라미터를 가진 컴팩트한 랭킹 모델을 구축했다고 한다. 이 시도는 실용적인 시스템에서 AI 효율화의 구체적인 사례로 주목할 수 있다.

AI 모델의 '파라미터 수'란 모델의 학습을 통해 조정되는 내부 변수의 수를 의미하며, 일반적으로 수가 많을수록 높은 표현력을 가지는 것으로 알려져 있다. 한편, 파라미터 수가 늘어날수록 계산 비용과 처리 시간도 증가하므로, 대규모 모델을 그대로 본운영 서비스에 적용하기는 어렵다. 이러한 과제에 대응하기 위해 나타난 기법이 '지식 증류(Knowledge Distillation)'로, 큰 모델(교사 모델)이 학습한 지식을 더 작은 모델(학생 모델)에 전승시키는 것을 목적으로 한다.

LinkedIn이 채택한 것은 이 증류 기법을 여러 교사 모델에서 동시에 수행하는 '멀티티처 증류' 파이프라인이다. 여러 대규모 교사 모델이 가진 다양한 지식을 결합함으로써, 단일 교사 모델에서 증류하는 경우와 비교하여 더욱 풍부한 정보를 학생 모델에 학습시킬 수 있다는 사고방식에 기반하고 있다. 그 결과로 완성된 것이 6억 개의 파라미터라는 상대적으로 소규모이면서도 높은 정확도를 갖춘 구인 랭킹 모델이다.

공개된 제목에 따르면, 이 파이프라인으로 인해 학습 속도가 8배 향상되었다고 한다. 다만 이 수치가 무엇과 비교했을 때의 배율인지, 원문에서는 세부사항을 확인할 수 없다. 어쨌든, 학습의 고속화는 모델의 개선 사이클을 단축하고, 서비스 품질 향상을 더욱 신속하게 반영할 수 있음을 의미한다.

LinkedIn 같은 대규모 전문가 SNS에게 있어 구인 검색의 정확도는 서비스의 핵심 가치와 직결된다. 이용자에게 있어 '자신에게 맞는 구인이 표시되는가'는 플랫폼에 대한 신뢰도 자체와 관련된 문제다. 이 때문에 검색·랭킹의 정확도 향상에 대한 지속적인 투자는 사업적으로도 중요한 시도로 자리매김된다.

이번 공개가 보여주는 것은, 최첨단의 성능을 추구하는 것만이 아니라 '실제 서비스에서 동작할 수 있는 효율적인 모델을 어떻게 만드는가'라는 질문에 대한 실천적인 답변의 하나라는 관점에서 볼 수 있다. 대규모 모델을 압축하여 실용 모델을 만드는 지식 증류의 기법은 AI 분야 전체에서도 광범위하게 연구되고 있으며, LinkedIn의 사례는 그 구체적인 응용으로서 참고가 된다. 학습 속도·모델 크기·정확도의 균형을 어떻게 설계할지는 AI 시스템을 본운영하는 데 있어 보편적인 과제이며, 본 사례는 그 하나의 해답 사례라고 할 수 있다.

향후로는, 동일한 접근 방식이 구인 검색 이외의 기능—예를 들어, 콘텐츠 추천이나 광고 타깃팅 등—으로도 전개될지 여부가 하나의 주목점이 된다. 또한, 멀티티처 증류의 효과를 어떻게 측정·검증할지라는 기법의 투명성도 업계 전체의 참고가 될 수 있다. LinkedIn이 이러한 학습 인프라의 세부사항을 외부에 공개한 것 자체, 기술 커뮤니티로의 지식 공유라는 측면에서도 의의가 있다고 할 수 있다.