수츠케버 "사전학습 모델 부족에 AI 한계 다가와"
르쿤 교수 "목표 주도 AI 아키텍처 구현돼야"
르쿤 교수 "목표 주도 AI 아키텍처 구현돼야"
![[팽동현의 테크픽] AI 학습 데이터 정점 도달… 추론 성능 강화 `주목`](http://contents.dt.co.kr/images/202412/2024121602109931081001[1].jpg "[팽동현의 테크픽] AI 학습 데이터 정점 도달… 추론 성능 강화 `주목`")
일리야 수츠케버 전 오픈AI 수석과학자 겸 공동창립자는 지난 13일(이하 현지시간) 캐나다 밴쿠버에서 열린 세계최고권위 AI학술대회 신경정보처리시스템학회(뉴립스) 강연에서 "지금의 사전학습 방식은 의심할 여지없이 끝날 것"이라 밝혀 화제가 되고 있다. 그는 오픈AI에서 챗GPT 개발을 주도했고, 지난 5월 회사를 떠나 AI스타트업 세이프슈퍼인텔리전스(SSI)를 차렸다.
수츠케버는 GPT 같은 사전학습모델이 한계에 다다를 이유로 '데이터 부족'을 꼽았다. 컴퓨팅과 하드웨어 혁신은 지속되는 반면, 인터넷 상의 데이터는 화석연료처럼 유한하다고 비유하며 "우리는 데이터의 정점에 도달했다"고 발언했다. 기술발전을 이루려면 새로운 접근방식이 필요하다는 것이다.
앞서 미국 비영리 AI리서치기업 에포크AI가 지난 6월 업데이트한 자료에 따르면, 사람이 생성해 공개한 텍스트 데이터 재고는 약 300조 토큰 규모로 추정된다. AI 언어모델에 공급되는 텍스트 데이터 양은 매년 약 2.5배씩 증가하고 있어, 이런 추세가 계속되면 2026년부터 2032년 사이에 데이터 재고가 모두 소진될 전망이다. 또 경량화·효율화 흐름에 따라 모델 규모보다 학습 토큰 수를 늘리는 시도가 확산될수록 소진 속도는 더 빨라질 전망이다.
AI기업들이 눈을 돌린 대안은 합성데이터(재현데이터)다. 실제 데이터와 유사한 특성을 지니도록 재현한 가상의 데이터를 AI 등으로 만들어낸 것이다. 따로 라벨링을 거칠 필요도 없고 개인정보·민감정보 문제도 원천적으로 없다. 오픈AI 대항마로 평가받는 앤스로픽의 경우 AI 안전성을 위한 '헌법적AI' 구현에도 합성데이터를 적극 활용한다.
하지만 실제 데이터 재현 수준과 그로부터 발생 가능한 편향 때문에 임시방편일 뿐이란 지적도 존재한다.
최근 주목받는 것은 추론 성능 강화다. 여러 기업들이 나서서 '추론 르네상스'란 말도 나온다. 오픈AI가 o1(오원)모델 프리뷰 버전을 지난 9월 선보이면서 이런 움직임이 본격화됐다. '규모의 법칙'(스케일링 로)을 사전학습 데이터양뿐 아니라 추론 시간에도 적용, 모델 규모가 곧 성능으로 이어지는 공식을 빗겨간 것이다.
수츠케버도 "지금까지 AI모델은 주로 이전에 입력된 것을 기반으로 패턴을 일치시키는 방식이었지만, 미래에는 새로운 학습 없이도 자체적으로 추론할 수 있게 될 것"이라 내다봤다.
다만 추론모델 역시 비용 문제에서 자유롭지 못하다. 분석에 따르면 오픈AI의 응용프로그램인터페이스(API) 이용료 기준으로 o1모델은 75만 단어 분석에 15달러, 모델이 생성하는 75만 단어에 60달러씩 든다. 이는 추론모델이 아닌 GPT-4o의 3~4배에 달하는 액수다. 추론 과정에서 그만큼 컴퓨팅 자원이 더 필요하기 때문이다. 또 일부 경쟁사들은 o1으로 답변을 생성하고 그 사고사슬(CoT) 등을 자사 모델에 학습시키고 있다. 이는 진정한 '추론 르네상스'가 왔는지 지켜보게 하는 대목이다.
대형언어모델(LLM)의 진화가 거듭되던 지난해에도 상당수 AI 전문가는 생성형AI 만능론을 경계하는 모습을 보여 왔다. 최근 한국을 찾은 얀 르쿤 뉴욕대 교수 겸 메타 수석AI과학자도 "실질적인 AI 혁명은 아직 오지 않았다"면서 "챗GPT, 라마 등 LLM을 포함해 지금의 AI 기술은 이를 구현하는 데 충분치 않다"고 지적했다.
![[팽동현의 테크픽] AI 학습 데이터 정점 도달… 추론 성능 강화 `주목`](http://contents.dt.co.kr/images/202412/2024121602109931081001[2].jpg "[팽동현의 테크픽] AI 학습 데이터 정점 도달… 추론 성능 강화 `주목`")
이와 관련해 '월드모델'도 주목받고 있다. 주변 환경과 상호작용 및 시뮬레이션을 통해 현실세계를 이해하는 데 쓰이는 내부모델이다. 마치 타자가 강속구에 대해 사고가 아니라 본능적으로 예측하듯, 주변세계를 인식하는 기반이다.
이로써 '모라벡의 역설'을 극복하면서 영상AI를 비롯한 디지털과 현실 세계 모두에서 보다 정교한 예측과 계획이 가능해질 전망이다. 다만 컴퓨팅 자원이 지금의 AI모델보다도 훨씬 더 많이 드는 등 난관도 많다.
이런 변화 속에 주목도가 높아지는 키워드는 'AI에이전트'다. 마치 조직 내 구성원들처럼 특정 목표 달성을 위해 자율적으로 작업을 하도록 설계된 지능형 소프트웨어(SW) 시스템으로, 인간뿐 아니라 다른 에이전트끼리도 상호작용하며 작동한다. 수츠케버도 AI에이전트들이 스스로 상호작용하며 추론 능력을 향상시킬 것으로 봤고, 르쿤 등은 여러 AI에이전트를 위해 다양한 AI모델이 쓰일 것으로 보고 있다.
AI업계 최대 화두로 자리한 AI에이전트지만 숙제가 없는 것은 아니다. 현장에서 이를 뒷받침할 레거시 시스템이 개선돼야 하는 것은 물론, AI에이전트가 여러 시스템에 액세스하면서 발생할 수 있는 문제도 해결해야 한다. AI에이전트의 범람 속에 로봇프로세스자동화(RPA)가 겪었던 문제가 되풀이될 가능성도 있다. 잊혀진 봇이 되지 않도록 체계적인 설계·관리도 중요하다. 팽동현기자 dhp@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
