큐원2.5-옴니-7B는 텍스트, 이미지, 음성, 영상 등 다양한 형태의 입력 데이터를 실시간으로 처리하고, 텍스트 또는 음성으로 응답할 수 있는 기능을 갖췄다. 특히 70억개 파라미터 규모의 경량 모델로, 지능형 음성 애플리케이션 개발에 적합한 성능과 효율성을 제공한다. 시각 장애인을 위한 음성 안내, 영상 기반 요리 가이드, 고객 응대 시스템 등 다양한 분야에서 활용이 가능하다.
알리바바 클라우드는 이 모델에 △텍스트 생성과 음성 합성을 분리한 '생각자-화자 아키텍처' △영상과 오디오를 동기화하는 위치 임베딩 기술 'TMRoPE(Time-aligned Multimodal RoPE)' △저지연 음성 응답을 위한 스트리밍 처리 기술 등이 적용됐다고 강조했다.
큐원2.5-옴니-7B는 이미지-텍스트, 영상-텍스트, 음성-텍스트 등 다양한 조합의 멀티모달 데이터를 기반으로 사전학습됐다. 또 시각·청각·텍스트 정보를 통합적으로 처리하는 벤치마크 '옴니벤치'에서 최고 수준의 성능을 기록했다고 회사 측은 설명했다.
또 인컨텍스트 학습 기능과 강화학습 기반 최적화를 통해 음성 응답의 자연스러움과 안정성을 높였다는 평가다.
큐원2.5-옴니-7B는 현재 허깅페이스, 깃허브, 알리바바 클라우드의 오픈소스 커뮤니티인 모델스코프 등을 통해 공개됐다.
유진아기자 gnyu4@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
