Google, 표 데이터 전용 기반 모델 「TabFM」 제안

Google Research는 표 형식 데이터(테이블 데이터)에 특화한 새로운 기반 모델 「TabFM」을 제안했다. 기존처럼 개별 데이터셋마다 모델을 처음부터 학습시키는 것이 아니라, 지금까지 본 적 없는 새로운 테이블에 대해서도 한 번의 추론 처리만으로 예측을 생성할 수 있는 아키텍처를 채택하고 있다.

비즈니스 데이터의 대부분은 데이터 웨어하우스, 고객관리 시스템, 재무 대장 같은 표 형식으로 관리되고 있다. 하지만 이러한 데이터로부터 예측 모델을 만들기 위해서는 지금까지 데이터 전처리, 결측값 보완, 범주형 변수의 수치 변환, 특성 엔지니어링 같은 복잡한 준비 작업이 필요했다. 더욱이 학습 후에도 하이퍼파라미터 최적화를 반복하고, 데이터 분포가 변할 때마다 재학습 파이프라인을 계속 돌려야 하는 지속적인 운영 비용이 발생한다. Google Research의 연구 과학자 Weihao Kong은 이 상황을 「데이터 변화에 대응하기 위한 지속적인 운영 부채가 발생한다」고 표현하고 있다.

이러한 과제에 대해 텍스트와 이미지를 다루는 생성 AI 분야에서는 「제로샷 추론」, 즉 추가 학습 없이 프롬프트만으로 새로운 태스크를 수행하는 기법이 이미 보편화되어 있다. 그렇다면 기존의 대규모 언어 모델(LLM)에 테이블을 그대로 입력하면 되지 않을까 하는 발상도 자연스럽게 떠오른다. 하지만 LLM은 자연언어로 학습되어 있기 때문에 구조화된 데이터 처리가 약하다. 수천 행, 수백 열이 되는 것만으로도 컨텍스트 상한에 도달해 버리고, 숫자의 토큰 분할로 정확도가 떨어지며, 2차원의 테이블을 1차원의 텍스트로 변환할 때 행과 열의 대응 관계를 잃어버린다는 문제가 있다. Kong은 「현재 LLM에 테이블을 직접 읽히는 것보다 LLM에 코드를 작성하게 해서 XGBoost를 호출하는 것이 훨씬 효과적이다」라고도 말하고 있다.

TabFM은 이 문제를 「인컨텍스트 학습」이라는 기법으로 해결하려고 한다. 인컨텍스트 학습이란 모델의 가중치를 업데이트(재학습)하지 않고, 알려진 데이터와 예측하려는 새로운 데이터를 하나의 프롬프트로 함께 넘기면, 모델이 실행 시간에 열과 행의 관계를 스스로 해석해서 예측을 출력하는 메커니즘이다. 즉, 새로운 테이블이 올 때마다 다시 학습할 필요가 없고, 단일의 「포워드 패스(전향 계산)」로 추론이 완결된다.

실무상의 변화는 크다. 기존 접근 방식에서는 데이터 파이프라인 구축부터 본번 환경 배포까지 수주 단위의 작업이 필요했다. TabFM의 틀에서는 이것이 원칙적으로 API를 한 번 호출하는 것만으로 단축될 수 있다고 설명되고 있다. 기업의 개발자나 AI 엔지니어에게는 예측 모델 도입에 걸리는 리드 타임을 대폭 압축할 가능성이 있다.

TabFM이 보여주는 방향성은 기계학습의 운영 모델 자체를 재검토한다는 점에서 주목할 가치가 있다. 지금까지 표 데이터 예측은 데이터 과학자에 의한 수준 높은 튜닝이 전제되어 왔으나, 기반 모델이 그 역할의 일부를 담당할 수 있다면, AI 활용의 입구가 넓어질 것으로 생각된다. 한편 실제 업무 데이터에서의 정확도나 대규모 테이블 대응 능력에 대해서는 향후 검증이 필요한 단계에 있다고 볼 수 있다. TabFM이 산업 활용에 견딜 수 있는 수준에 도달할지 여부가 다음 주목점이 될 것이다.