ETRI, 한국어 기반 '이글' 개발..외국 모델 대비 우수
적은 연산으로 성능 극대화..중소·중견기업에 특화
적은 연산으로 성능 극대화..중소·중견기업에 특화
한국전자통신연구원(ETRI)은 30억개 파라미터(3B)급 신경망 기반 한국어 특화형 생성형 SLM '이글'을 개발했다고 28일 밝혔다.
생성형 언어모델은 방대한 텍스트 데이터를 토대로 인간의 언어능력을 학습해 사용자의 질문이나 지시에 따라 자연스러운 대화나 다양한 텍스크 콘텐츠를 만들어 준다. 글로벌 빅테크들은 100억∼1000억개 파라미터 규모 이상의 초거대언어모델(LLM) 개발에 주력하면서, 최근에는 10억∼40억개 파라미터 규모의 SLM도 잇따라 내놓고 있다.
하지만, 이런 모델들은 한국어 어휘를 음절이나 바이트 단위로 처리해 동일한 문장을 표현하는 데 많은 연산이 더 필요하다. 또 학습된 데이터 중 한국어 데이터는 전체의 5%에 못 미쳐 한국어 이해와 생성 능력이 상대적으로 낮은 한계가 있다.
이글은 한국어 데이터 비중을 높여 연산 횟수를 줄이면서 효율적인 학습과 추론이 가능하다. 특히 한국어로 주어진 숫자 연산을 수행하는 미세조정(파인 튜닝) 실험에서 13억 파라미터의 글로벌 기업 모델보다 파라미터 수가 절반 수준임에도 특정 작업에서 15% 이상 더 높은 성능을 보였다.
아울러, 미세조정을 거치지 않은 기초 모델로 제공, 학습시간을 20% 내외로 단축시켜 우수한 성능을 발휘한다. 이글은 생성형 AI 응용개발 과정에서 연산 비용 부담이 있는 중소·중견기업에 유용할 것으로 보인다. 기초 모델에 특화된 용도를 반영해 추가 학습을 할 수 있어 기업에 맞게 활용할 수 있는 연장 학습이 쉽다. 이글은 오픈소스 플랫폼인 허깅페이스 허브에 공개됐다.
연구팀은 기존 SLM에서 수행하기 어려웠던 복합 추론을 할 수 있도록 연구를 이어가고 있다. 내년에는 70억개 파라미터 규모의 모델과 사전 정렬을 통해 추가 학습 없이 사용자 요청에 맞게 응답할 수 있는 생성형 언어모델을 공개할 계획이다.
권오옥 ETRI 언어지능연구실장은 "언어모델들이 풍부한 자원을 기반으로 개발되지 않아 모든 면에서 해외 우수 모델들보다 나을 수는 없다"며 "상대적으로 작은 한국어 토종 모델이 필요한 산학연의 연구개발에 도움이 되길 바란다"고 말했다.이준기기자 bongchu@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
