'RDP 1'은 평가 항목별 평균 0.9 이상, 일부 항목에선 0.95 이상을 기록해 상용 수준의 고신뢰 거대언어모델(LLM)+RAG 시스템으로서의 기술적 완성도를 입증했다.
RAGAS는 RAG 시스템의 응답 품질을 정량적으로 평가하기 위한 오픈소스 프레임워크로, 충실성(Faithfulness), 답변 관련성(Answer Relevancy), 문맥 정밀도(Context Precision), 문맥 재현율(Context Recall) 등 네 가지 핵심 지표를 기준으로 평가가 이뤄진다.
'RDP 1'은 주요 지표에서 △답변 관련성 0.8881점 △문맥 재현율 0.9222점 △문맥 정밀도 0.9697점 △충실성 0.8533점을 기록해 기존 RAGAS 논문 모델 대비 성능이 크게 향상됐다.
특히 정보의 정합성과 원문 충실도 측면에서 탁월한 응답 품질을 보이며, 뉴스 요약을 넘어 사실 기반 자동 응답 시스템으로서의 기술적 완성도와 실용성을 갖춘 것으로 평가된다.
비큐AI 관계자는 "실시간 데이터 플랫폼 RDPLine을 통해 다양한 산업에 AI 뉴스 서비스를 실시간으로 연동할 계획"이라며, "금융, 통신, 자동차, 언론 등 분야별 파트너십을 확대해 나가고 있다"고 밝혔다.
김지영기자 jy1008@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
