30B 이하 사이즈 최고 성능
알리바바 '큐원'보다 뛰어나
알리바바 '큐원'보다 뛰어나
업스테이지는 세계 최대 머신러닝 플랫폼 허깅페이스에서 운영하는 '오픈 LLM 리더보드'에서 세계 1위를 차지한 사전학습 LLM 솔라를 14일 공개했다. 소형 LLM(SLM)의 기준으로 여겨지는 300억 매개변수(30B) 이하 사이즈로 글로벌 최고 성능 모델로 유의미하다.
허깅페이스 오픈 LLM 리더보드는 오픈소스 생성 AI 모델의 바로미터로 꼽힌다. 전 세계 500여개의 오픈 모델들이 추론과 상식 능력, 언어 이해 종합능력 및 환각현상(할루시네이션) 방지, 대명사 참조 및 수학 해결 능력 등 6가지 지표의 평균 점수로 경쟁, 공신력 있는 순위가 매겨진다.
'솔라'는 기업들이 활용하기 좋은 프라이빗 LLM을 위해 작은 크기로 구성된 사전학습 모델로 세계 최초의 107억 매개변수(10.7B) 모델로 고도의 지능과 컴팩함이라는 균형점을 찾은 모델이라고 업스테이지는 소개했다. 리더보드 평가에서 74.2점을 기록하며 전체 1위를 차지하기도 했다. 이는 알리바바의 최신 모델인 '큐원'(Qwen)의 6분의 1도 안되는 크기임에도 보다 뛰어난 성능을 보유한 것이다.
업스테이지는 다양한 연구를 통해 작은 사이즈의 솔라 모델 성능을 최적화해 업스테이지는 3조 개가 넘는 토큰의 우수한 데이터를 통해 확장된 10.7B를 완성, 크기와 성능의 최적의 조합으로 모델을 구축했다고 밝혔다.
아울러 사전 학습 및 파인튜닝(훈련된 모델의 추가 학습) 단계에서는 리더보드 벤치마킹 데이터 셋을 사용하지 않고 자체적으로 구축한 데이터를 적용, 리더보드 점수를 높이기 위해 벤치마크 셋을 직접 적용하는 모델들의 사례와 달리 솔라는 다양한 태스크의 실제 업무 활용 등 일반적인 경우 높은 사용성을 보였다.
김성훈 업스테이지 대표는 "세계 AI회사들을 압도하는 모델을 공개하게 되어 기쁘고 업스테이지 솔라가 모두를 위한 모델이 되기를 희망한다" 며 "KT의 전략투자를 통한 지원이 큰 도움이 되었고 앞으로 지속적으로 더 큰 격차를 벌릴 수 있는 최고 성능의 솔라 모델을 활용, B2B 시장에서의 협력도 추진할 것"이라고 말했다.
한편 KT는 지난 9월 업스테이지에 100억원의 지분투자를 진행, 기업 전용 대형 언어모델 솔루션과 AI 분야 B2B 시장 공략을 본격화하겠다고 밝힌 바 있다.김영욱기자 wook95@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
