이번 협력은 디노티시아의 벡터 데이터 연산 가속기 칩(VDPU)과 하이퍼엑셀의 거대언어모델(LLM) 가속기 칩인 'LLM 프로세싱 유닛(LPU)'을 결합해 하나의 통합 시스템으로 구현하는 방식으로 진행된다.
디노티시아에 따르면 AI 서비스 분야에서 데이터 검색의 중요성이 점차 커지면서, 더 빠른 데이터 검색이 점점 더 요구되고 있다. 기존 시스템은 소프트웨어에 의존해 데이터를 검색하고, LLM 기반의 GenAI 과정을 별도로 처리해 응답 속도가 느리고 전력 소모가 많았다.
이에 디노티시아는 벡터 데이터베이스 연산 가속기 칩과 VDPU를 활용해 AI가 대규모 멀티모달 (Multi-modal) 데이터를 실시간으로 검색·활용할 수 있도록 제공하고, 하이퍼엑셀은 LPU 칩을 통해 AI 모델의 연산 성능을 극대화 하기로 했다. 양사는 이 두 칩을 결합해 검색과 추론을 동시에 처리하는 세계 최초의 RAG 특화 AI 시스템을 완성할 계획이다.
정무경 디노티시아 대표는 "LLM 서비스가 확산되면서 데이터 검색에 대한 요구사항이 급격히 늘어나고 있다"며 "이번 협력을 통해 AI 모델의 추론뿐 아니라 데이터 검색 기능까지 최적화한 새로운 개념의 AI 시스템을 선보이겠다"고 말했다.
김주영 하이퍼엑셀 대표는 "AI 연산의 병목 현상을 해결하고, 성능과 효율성을 동시에 확보하는 것이 AI 반도체의 핵심 과제"라며 "이번 협력을 통해 RAG와 LLM을 최적화한 AI 시스템을 구축함으로써, AI 시스템 운영 방식을 혁신하는 중요한 전환점이 될 것"이라고 전했다. 박순원기자 ssun@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
