"모든 업무는 문서로 시작해서 문서로 끝난다. 문서를 제대로 읽지 못한다면 인공지능(AI)은 실무에 들어올 수 없다. 생성형 AI가 현장에서 실제로 쓰이려면 텍스트에 대한 깊이 있는 이해가 전제돼야 한다."
서울 강남구 역삼동 올거나이즈 본사에서 만난 신기빈(사진) 최고AI책임자(CAIO)는 "답을 잘하는 것보다 어디서 어떤 정보를 찾아와 어떻게 요약하는지가 더 중요하다"면서 이같이 말했다.
지난해부터 AI 에이전트 기술이 주목받고 있지만 실무에서는 '그래서 어디에 어떻게 써야 하느냐'는 질문이 여전히 남아 있다. 기업이 보는 건 기술의 완성도가 아니라, 실제 업무에 제대로 적용할 수 있는지 때문이다.
기업들은 특히 챗GPT 같은 대화형 LLM을 도입하면서도 'AI가 문서를 못 읽는다'는 점에 가장 큰 불만을 드러낸다. 신 CAIO는 "요즘은 에이전트를 쓰고 싶다는 수요가 많지만 대형언어모델(LLM)이 어디까지 할 수 있는지에 대한 이해가 부족하다"며 "결국 고객이 기술의 가능성을 알지 못하면 도입도 어렵다. 실질적인 활용을 위해선 기업 내부의 비정형 문서를 정리하고 이해하는 과정이 선행돼야 한다"고 강조했다.
올거나이즈가 집중하고 있는 것은 검색증강생성(RAG) 기술이다. RAG는 문서 기반 정보를 검색하고 응답에 반영하는 방식으로 에이전트가 실무에 투입될 수 있는 가장 현실적인 접근법이다. 올거나이즈는 자체 검색엔진을 활용해 기존 LLM의 한계였던 문서 응답 정확도를 끌어올리고 있다. 기존처럼 단순히 문서를 검색하는 데 그치지 않고 계약서나 매뉴얼, 회의록처럼 복잡한 문서를 요약·분류한 뒤 질문에 맞춘 구체적인 답변을 생성하는 구조다.
신 CAIO는 "기존 RAG는 단순한 문서 검색에 머물렀다면 올거나이즈는 그 위에 문서 요약과 분류, 이해 과정을 덧붙였다. 고객사가 원하는 건 단순한 텍스트 요약이 아니라 실무자가 참고할 수 있는 형태의 답변"이라며 "예를 들어 매뉴얼 100장을 요약해달라는 요구가 들어오면 '누가 써야 하고 어떤 순서로 진행해야 하는지'가 드러나야 진짜 요약"이라고 말했다.
단순한 자연어 처리 능력만으로는 업무에 적용하는 데 한계가 있다. 문서 기반 AI가 현장에서 제대로 작동하려면 '지나치게 똑똑한 AI'보다 '일을 잘하는 AI'가 필요하다는 설명이다. 신 CAIO는 "AI가 질문에 답하는 수준은 이미 가능하다"면서 "하지만 실제로 업무에 쓸 수 있으려면 내부 문서를 요약하고, 핵심을 뽑아내고, 필요한 맥락을 정리할 수 있어야 한다"고 말했다.
에이전트 기술이 확산되면서 단순 대화 품질이 아닌 '업무 실행 능력'을 객관적으로 평가하려는 흐름도 나타나고 있다. 올거나이즈는 최근 에이전트의 실행 능력을 수치화한 벤치마크를 공개했다. 기준은 단순 응답 정확도가 아니라 외부 도구를 호출하는 펑션콜을 얼마나 적절하게 수행하느냐다.
신 CAIO는 "지금 LLM은 대화 안에 갇혀 있으면 그냥 챗GPT에서 놀다가 끝나는 것"이라며 "외부에서 정보를 받아오고, 이를 바탕으로 판단해 작업까지 실행되는 구조가 돼야 한다"고 설명했다.
이어 "에이전트의 성능은 결국 펑션콜을 얼마나 정확히 수행하느냐에 달려 있다"며 "이를 객관적으로 측정할 수 있어야 기술 간 비교도 가능하다"고 덧붙였다.
여기에 한국어 LLM의 구조적 한계는 기술 확산에 또 다른 장애물이다. 한국어는 비표준화된 문서 형식과 복잡한 문법 구조 탓에 대형 언어모델이 훈련만으로 충분한 성능을 내기 어렵다. 그는 "한국어는 데이터 수가 부족하고 주어·동사 구조가 어색하기 때문에 외산 모델처럼 학습만 시켜서는 현장에 맞지 않는다"며 "결국 직접 파인튜닝하고 튜닝하는 작업이 병행돼야 한다"고 지적했다.
또 하나의 장애물은 국내 기업 환경의 제약이다. 해외에서는 서비스형 소프트웨어(SaaS) 기반 AI 서비스가 빠르게 확산되고 있지만 한국은 여전히 온프레미스 중심의 폐쇄형 시스템을 고수하는 경우가 많다. 그는 "한국은 아직 GPT-4 같은 고성능 모델을 사용하기 어렵다"며 "대부분 온프레미스 설치를 요구하기 때문에 실제로 활용할 수 있는 모델이 제한적이다. 이런 환경에서는 앱 구조를 얼마나 탄탄하게 설계하느냐가 더 중요해졌고 이에 맞춰 에이전트를 빠르게 구현할 수 있도록 지원하고 있다"고 말했다.
클라우드 사용이 제한적인 국내 기업 환경도 변수다. 온프레미스 기반 시스템에서 작게 구성해 정확한 기능에 집중하는 방식이 현실적인 대안으로 떠오르고 있다. 신 CAIO는 "국내 금융사나 공공기관은 클라우드를 쓰기 어려운 경우가 많다"며 "온프레미스 기반의 내부 설치형 시스템으로도 문서 기반 AI를 도입할 수 있도록 구성하고 있다"고 말했다.
이어 "대형 모델 하나로 모든 문제를 풀 수 있는 시대는 끝났다"며 "이제는 기업 환경에 맞춰 작게 구성하고, 필요한 기능에 집중하는 AI가 요구된다"고 강조했다.올거나이즈는 앞으로도 기술적으로 '체급'을 키우기보다, 이용자의 요구를 핀포인트로 해결하는 모델을 계속 만들 계획이다. 신 CAIO는 "날마다 사람들이 자주 쓰는, 일에 꼭 필요한 AI 제품을 만들고 싶다"며 "누군가의 하루가 이 AI 덕분에 조금이라도 편해지는 것이 제일 바라는 목표"라고 밝혔다.
