김세준 디노도코리아 기술영업 총괄 상무
![[기고] LLM·데이터 통합으로 기업 경쟁력 높여야](http://contents.dt.co.kr/images/202405/2024052402102369081001[1].jpg "[기고] LLM·데이터 통합으로 기업 경쟁력 높여야")
LLM은 방대한 정보를 보유하고 있으나, 엔터프라이즈 환경에 도입할 경우 해당 조직에 대한 지식 부재로 유의미한 결과를 도출해내지 못하는 한계가 있다. 이를 해결하기 위해 기업은 자사의 최신 데이터를 LLM에게 반복적으로 학습시킬 수 있지만, 이는 불필요한 비용과 복잡성을 야기하고 데이터 유출 위험으로 이어질 수도 있다. 따라서 기업은 효과적인 LLM 구축을 위해 생성형AI 애플리케이션으로 필요한 데이터를 효율적으로 제공하는 방법을 중요 과제로 보고 있다.
디노도는 생성형 AI와 LLM 기술의 잠재력을 최대로 이끌어낼 수 있는 방안으로 논리적 데이터 패브릭 채택, 유연하고 민첩한 데이터 관리 기반 구축, 그리고 검색증강생성(RAG) 아키텍처 구현을 해법으로 제시한다.
기존 머신러닝 방식에서는 데이터 선행학습 과정이 필수요소인 반면, RAG 아키텍처는 데이터 학습 없이 프롬프트 처리 과정에서 외부의 지식 데이터베이스(DB)를 참조해 필요한 응답을 제공한다. 즉, LLM의 지식을 증강시키는 중간 레이어로서 별도의 데이터 저장소와 정보를 활용해 효과적이고 안전하게 LLM을 강화한다. RAG 아키텍처가 적용된 생성형 AI 애플리케이션은 LLM의 코드 생성 기능과 결합돼 기업이 데이터 가치를 실현할 수 있는 새로운 방식을 제시한다.
RAG 아키텍처를 구현하기 위해서는 강력한 데이터 관리 기반 구축이 핵심이다. LLM과 데이터 간의 통합은 엔터프라이즈 환경에 존재하는 데이터 사일로, 복잡한 데이터 딜리버리 파이프라인 등의 문제를 피할 수 없다. 그러므로 기업은 새로운 데이터 소스를 신속히 추가할 수 있고 유연성과 민첩성을 갖춘 데이터 관리 기반을 구축해야 한다.
이를 충족하는 데이터 기반의 시맨틱 레이어는 정형화된 데이터 뷰에 대해 풍부한 콘텍스트를 제공, AI 애플리케이션으로 하여금 임베딩 모델 및 벡터 DB 등을 활용해 적절한 데이터를 확보·활용할 수 있도록 돕는다. 풍부한 시맨틱 레이어를 갖춘 논리적 데이터 기반은 복잡성을 최소화하고 LLM 기반 AI 애플리케이션 개발 과정을 크게 간소화할 수 있다.
강력한 데이터 관리 기반은 모든 데이터 저장소에 대해 최적화된 액세스를 제공하는 쿼리 엔진 역할을 해야 한다. 이는 원천 DB 및 데이터레이크 기술의 특성과 한계에 대한 충분한 이해를 바탕으로 한다. 현재 LLM은 이 같은 이해가 부족하므로, 성숙하고 검증된 최적화 기술을 통해 모든 데이터 저장소를 가장 효율적으로 쿼리할 수 있는 데이터 관리 계층이 필요한 것이다.
또한, LLM 및 프롬프트 해킹과 데이터 유출 위협이 높아진 상황에서 높은 수준의 데이터 거버넌스와 데이터 보안 요건을 갖춘 데이터 관리 기반을 마련해야 한다. 데이터에 대한 액세스를 실시간으로 모니터링하고 보호하기 위한 보안 정책 엔진이 필요하다.
생성형 AI 애플리케이션을 강화하는 데이터 기반을 마련하기 위해선 논리적 데이터 패브릭 전략에도 주목해야 한다. 디노도 플랫폼은 데이터 이동·복제 작업 없이 통합된 데이터에 대해 일관되고 안전한 액세스를 제공함으로써 생성형 AI 애플리케이션의 환각 현상을 해결한다. 애플리케이션 및 LLM이 필요로 하는 정보를 아우르는 메타데이터를 보유하고 있어 RAG 아키텍처의 원활한 적용도 지원한다.
새로운 엔터프라이즈 환경에서도 기업 경쟁력은 여전히 데이터에 좌우될 것이다. 생성형 AI, LLM 등 혁신기술을 활용하기 위해 데이터 관리에 대한 새로운 시각은 선택이 아닌 필수다. 기업에서 강력한 데이터 아키텍처와 관리 기반을 실현한다면 생성형 AI를 효과적으로 활용할 수 있을 뿐 아니라 지속가능한 경쟁력까지 갖추게 될 것이다.
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
