디노티시아는 "최근 챗GPT와 같은 대규모언어모델(LLM)이 주목받으면서 AI 기술의 활용 범위가 넓어지고 있지만, 이런 모델은 높은 연산량과 메모리 사용으로 실제 서비스나 개인용 컴퓨터 및 스마트폰에 적용하기 어렵다"며 "이를 해결하기 위한 방법이 양자화 기술"이라고 설명했다.
양자화는 AI 모델의 계산 정밀도를 낮춰 더 빠르게 만드는 기술이다. 큰 숫자를 작은 숫자로 압축하는 방식이다. 이를 통해 AI 모델은 원래 성능을 유지하면서도 메모리 사용량과 연산 속도를 크게 줄일 수 있다. 하지만 지금까지 다양한 양자화 알고리즘이 서로 다른 환경과 조건에서 평가돼 어느 기술이 더 좋은지 객관적으로 비교하기 어려웠다고 회사 측은 설명했다.
디노티시아와 한양대는 이런 문제를 해결하고자 표준화된 환경에서 알고리즘 성능을 정확히 비교할 수 있는 플랫폼을 만들었다. 최근 3년 동안 가장 주목받은 양자화 기술 8가지를 선정해 동일한 조건에서 객관적으로 평가했다는 것이 회사 측의 설명이다.
정무경 디노티시아 대표는 "LLM 서비스가 널리 상용화되기 위해서는 양자화를 통한 모델 경량화가 필수적이지만 어떤 양자화 기술이 타깃 응용과 시스템에 더 유효한지 판단이 어렵다"며 "'QLLM-INFER'는 양자화 알고리즘의 성능을 객관적이고 투명하게 비교할 수 있는 오픈소스 플랫폼으로 최적의 양자화 솔루션을 선택하거나 새로운 양자화 기술을 개발할 때 큰 도움을 줄 것"이라고 말했다. 박순원기자 ssun@dt.co.kr
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
