오픈AI, 데이터 부족으로 GPT-5 개발 지연
2026년 이전 고품질 언어 데이터가 고갈 우려 ↑
"AI 학습 데이터, 저작권과 품질 확보가 관건"
2026년 이전 고품질 언어 데이터가 고갈 우려 ↑
"AI 학습 데이터, 저작권과 품질 확보가 관건"
세계적인 생성형 인공지능(AI) 열풍을 이어가기 위해 필수적인 고품질 학습 데이터가 바닥나고 있는 경고가 나오고 있다. 챗GPT 개발사 오픈AI의 차세대 주력 AI모델 개발이 당초 목표보다 늦어지는 것도 이 때문인 것으로 알려졌다. 이에 신뢰성 있는 라이선스 데이터셋 확보가 AI 경쟁력의 핵심으로 부각되고 있다.
◇늦어지는 GPT-5 개발, 학습 데이터 한계?= 22일(현지시간) 월스트리트저널(WSJ)는 오픈AI의 차세대 주력 AI모델 개발이 당초 목표보다 훨씬 늦어지고 있다고 보도했다.
오픈AI가 코드명 '오리온'(Orion)으로 알려진 GPT-5를 위해 18개월 이상 대규모 훈련을 했지만 예상한 결과를 얻지 못하고 여러 난관에 봉착한 상황이라는 것이다. WSJ은 "새 모델은 기존 GPT-4보다는 성능이 낫지만, 여기에 투입된 막대한 비용을 정당화할 만큼의 충분한 진보는 보여주지 못했다"고 전했다.
당초 오픈AI의 최대 투자사인 마이크로소프트(MS)는 올해 중반께 새 모델이 나올 것으로 예상했으나, 오픈AI는 이 기대에 부응하지 못했다. 샘 올트먼 오픈AI 최고경영자(CEO)는 지난 20일 고급 추론 AI 모델 'o3'를 공개했지만, GPT-5 출시 시점은 언급하지 않았다.
오픈AI는 18개월 넘는 개발 기간 중 방대한 양의 데이터를 처리하는 대규모 훈련을 최소 2차례 했다. 하지만 매번 새로운 문제가 발생해 기대한 결과를 얻지 못한 것으로 알려졌다. 업계에선 이 정도 대규모 AI 훈련에는 6개월간 컴퓨팅 비용만 약 5억달러(약 7247억5000만원)가 들었을 것으로 추정한다. 이전 모델에서는 인터넷에서 수집한 뉴스 기사나 소셜미디어 게시물, 과학 논문 등의 데이터를 AI 훈련에 사용했는데, 더 진화한 모델을 개발하는 데 필요한 학습 데이터가 충분하지 않았던 것이다.
이 문제를 해결하기 위해 오픈AI는 새로운 데이터를 직접 만들기로 하고, 소프트웨어 엔지니어나 수학자들을 고용해 소프트웨어 코드를 만들거나 복잡한 수학 문제를 풀도록 해 AI가 이를 학습하는 방식을 시도하고 있다. 하지만 이런 방식은 시간과 비용이 훨씬 많이 든다. 게다가 경쟁업체에서 수백만 달러를 제시하며 최고 연구원을 빼가려는 시도가 끊이지 않아 비용 부담을 키우고 있다.
실제로 데이터 부족 문제는 AI 산업에서 꾸준히 제기돼 왔다. 방대한 양의 데이터를 확보하는 데 드는 시간과 비용이 AI 개발 속도를 제한하는 주된 이유로 지적되는 것. 미국 AI 연구기관 에포크 AI는 2026년 이전에 고품질 언어 데이터가 고갈되고, 2030년부터 2060년 사이에는 언어 및 비전 데이터까지 부족해질 것으로 예상했다. 영국 과학전문지 뉴사이언티스트도 언어 데이터 부족으로 인해 2026년 AI 챗봇 발전이 정체될 수 있다고 경고한 바 있다. 글로벌 AI 챗봇 훈련에 필요한 언어 데이터 수요는 매년 50% 증가하고 있지만, 사람이 만든 데이터는 7% 증가에 그친다는 것이다.
◇AI 성장 발목 잡는 데이터 부족 현상 해결방법은?= 빅테크 기업들은 AI 학습용 뉴스 콘텐츠를 확보하기 위해 언론사와 제휴를 맺고 있다. 구글은 뉴스코퍼레이션과 AI 콘텐츠 이용 및 제품 개발 계약을 체결했으며, 마이크로소프트는 로이터와 파트너십을 맺어 뉴스 데이터를 제공받고 있다. 오픈AI도 미국 뉴스코퍼레이션, 독일의 악셀 스프링거·AP통신, 프랑스의 르몽드 등과 콘텐츠 사용 협약을 체결한 바 있다.
하지만 언론 데이터만으로도 부족하다는 분석이 나오면서 데이터 전문 기업들의 역할이 주목받고 있다. 실제로 AI 학습 데이터셋 시장은 빠르게 성장 중이다. 마켓앤마켓 보고서에 따르면, AI 학습 데이터셋 시장은 2024년 28억2000만달러(약 4조937억원)에서 2029년 95억8000만달러(약 13조9072억원)로 연평균 27.7% 성장할 전망이다.
해외에는 관련 기업으로 스케일 AI, 애펜(Appen)이 있다. 스케일 AI는 자율주행, 의료, 금융 등 다양한 산업에 특화된 데이터를 제공하며, 데이터 품질과 정확성을 보장하는 시스템을 갖추고 있다. 애펜은 크라우드소싱을 기반으로 다양한 언어와 이미지 데이터를 라벨링해 AI 학습에 필요한 데이터를 제공한다. 국내에도 관련 기업들이 있다. 크라우드웍스는 광고, 건강 등 산업 특화 데이터셋과 저작권 문제를 해결한 고품질 데이터를 제공한다. 비큐AI는 소셜 Q&A 커뮤니티 '아하앤컴퍼니'와 협력해 전문가 답변 기반의 '전문지식 질의응답(QA) 데이터셋'을 출시했으며, 셀렉트스타는 도서, 이미지, 영상 등 다양한 데이터 저작권자와 협력해 AI 훈련용 데이터를 유통하고 있다.
김우승 크라우드웍스 대표는 "AI 프로젝트가 성공하려면 데이터의 양적 확대보다 품질에 집중해야 한다 "며 "신뢰할 수 있는 데이터셋 공급을 통해 기업의 AI 프로젝트 성공을 돕고 건강한 AI 생태계를 만드는 노력이 필요하다"고 밝혔다.유진아기자 gnyu4@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
