크라우드웍스는 검색 증강 생성(RAG) 기반의 AI 에이전트 개발에 필수적인 비정형 데이터 전처리 과정에서 문서의 특징을 고려하지 않고 일괄 자동화를 적용할 경우, 복잡한 문서에서 인식률이 떨어지고 데이터 전처리 품질이 하락하는 문제를 해결하고자 이번 기술을 개발했다.
실제 전처리 대상 문서가 수십만 페이지에 달하는 방대한 문서가 투입되는 경우도 적지 않아, 문서 복잡도를 기반으로 자동화 범위를 판단하고 전문가 투입 여부를 사전에 결정하는 것은 전처리 품질 확보와 리소스 효율화를 통해 비용을 최적화하는 데 있어서 필수적 전략이다.
이번에 출원한 기술은 처리할 문서의 복잡도를 정량적으로 분석해 클레스 1부터 클레스 4까지 4단계로 분류한다. 구조가 단순한 수준의 문서는 자동화 전처리를 우선 적용하고, 구조가 복잡해 오류 발생 가능성이 높은 문서는 전문가 파싱을 병행해 맥락과 판단을 반영하여 전처리할 수 있는 기준을 제시한다.
김우승 크라우드웍스 대표는 "문서 복잡도 분석을 통해 AI 데이터 전처리의 효율성을 높인 것은 국내외 업계 최초 사례로, 이번 특허 출원을 통해 AI 데이터 전문성을 바탕으로 차별화된 경쟁력을 다시 한번 입증했다"며 "알피 날리지 컴파일러는 이미 데이터 전처리 방식을 고민하던 많은 기업들로부터 문의가 이어지고 있다"고 말했다.유진아기자 gnyu4@dt.co.kr
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
