통신이 인용한 익명의 소식통들에 따르면 마윈이 설립한 중국 최대 전자상거래업체 알리바바그룹의 계열사 앤트그룹은 알리바바와 통신장비업체 화웨이 등 중국 업체들이 만든 반도체를 사용해 이른바 '전문가 혼합'(MoE·Mixture of experts) 방식으로 AI 모델을 훈련시켰으며 그 결과 엔비디아의 H800 반도체를 사용한 것과 유사한 결과를 얻은 것으로 전해졌다.
이 기술을 사용할 경우 고가의 미국 엔비디아 제품을 쓸 때보다 훈련 비용이 20%가량 절감되는 것으로 전해졌다.
고성능 하드웨어를 사용해 1조 개의 토큰을 훈련하는 데 약 635만 위안(약 12억8000만원)이 들지만, 앤트그룹이 개발한 최적화된 접근 방식을 사용하면 저사양 하드웨어를 사용해도 되기 때문에 비용이 510만 위안(약 10억3000만원)으로 줄어든다는 것이다.
토큰은 AI 모델이 학습하고 사용자 요구에 유용한 답을 제공하기 위해 수집하는 정보의 단위다. 앤트그룹은 아직 AI 모델 개발에 엔비디아 제품도 사용하고 있지만, 최신 모델에는 미국 반도체 기업 AMD나 중국 업체가 만든 칩 사용을 늘리고 있다고 소식통은 전했다.
이 같은 소식은 중국 스타트업 딥시크가 미국의 오픈AI나 구글보다 훨씬 적은 비용으로 AI 모델을 훈련시킬 수 있음을 보여준 이후 중국과 미국 간 격화되고 있는 AI 산업 경쟁에 앤트그룹이 가세했음을 의미하는 것이라고 블룸버그는 평가했다.
엔비디아의 H800은 최첨단은 아니지만 비교적 강력한 프로세서로, 미국 당국이 중국 수출을 금지하는 제품이다.
앤트그룹은 자사의 AI 모델이 특정 평가항목에서 메타 플랫폼보다 성능이 뛰어난 경우가 있었다고 주장한 연구 논문을 발표한 바 있다. 이 주장이 맞다면 앤트그룹의 기술은 추론이나 AI 서비스 지원 비용을 절감함으로써 중국 AI 개발에 또 다른 진전을 이루는 것이 된다.
지금까지 전문가 혼합 방식 훈련은 주로 엔비디아의 그래픽 처리장치와 같은 고성능 반도체에 의존해왔다. 하지만 비용이 많이 들어 소규모 기업은 감당하지 못했고, 따라서 널리 쓰이지도 않았다.
앤트그룹의 경우 이런 제약을 없애고 대규모언어모델(LLM)을 더 효율적으로 훈련시킬 방법을 연구해 왔다. 고성능 GPU 없이 모델을 확장하는 것이 목표다.
김광태기자 ktkim@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
