'라마' 신모델 공개·전략 발표
메타버스 대신 생성형 AI 온힘
개방·비용효율성 등 선두 주장
저물어가는 메타버스 대신 생성형 인공지능(AI)에 힘을 쏟고 있는 메타플랫폼(옛 페이스북)의 행보가 예사롭지 않다. 오픈소스 AI 진영의 맏형으로서 입지를 다져가는 데 이어 장차 AI업계 헤게모니를 쥐겠다는 야망을 숨기지 않는다. 오픈소스 소프트웨어(SW) 커뮤니티의 힘을 내세우고 있는 이 글로벌 빅테크에게는 최근 글로벌 IT대란으로 재점화된 탈중앙화 논의도 순풍으로 작용할 수 있다.
메타는 자사 대형언어모델(LLM) 라마(Llama)의 3.1버전으로 파라미터(매개변수) 80억·700억개의 기존 모델뿐 아니라 새롭게 4050억개를 지닌 '라마 3.1 405B' 모델을 지난 23일(현지시간) 공개했다. 회사는 엔비디아 H100 GPU 1만6000여개 기반으로 15조개가 넘는 토큰을 훈련시킨 이 모델을 두고 "최초의 프론티어급 오픈소스 AI모델"이라며 "그동안 대체로 폐쇄형 모델에 뒤쳐졌던 것과 달리 오픈소스가 주도하는 새 시대가 열리고 있다"고 소개했다.메타에 따르면 학습 안전성을 위해 전문가혼합(MoE) 모델 대신 표준 디코더 전용 트랜스포머 아키텍처를 조정해 적용했고, 단계별 지도미세조정(SFT)과 직접선호최적화(DPO)를 통해 추가적인 합성데이터 생성·학습을 거쳐 성능을 높였다. 자체 평가 결과에서 현재 AI업계를 선도하는 기반모델(FM)들인 오픈AI 'GPT-4o' 및 앤스로픽 '클로드 3.5 소네트'와 비교해도 경쟁력을 갖춘 것으로 나타났다. 콘텍스트창에 입력 가능한 토큰 규모는 12만8000개다.
메타 '라마'는 상용 AI모델과 달리 모델 가중치를 다운로드해 커스터마이즈하고 새로운 데이터세트를 학습시킬 수 있도록 제공된다. 이번에 라이선스를 변경해 결과물을 다른 모델 개선에도 사용할 수 있게 했다. 다만 기반모델의 학습데이터는 공개되지 않는다는 점에서 기존 오픈소스 취지·의미에 맞지 않는다는 지적도 제기되고 있어 이런 AI모델들을 따로 '오픈모델'이라 부르기도 한다.
메타의 이 '오픈소스 AI' 전략은 마크 저커버그 창업자 겸 최고경영자(CEO)가 직접 주도하고 있다. 그는 '라마 3.1'을 발표하면서 자사 블로그를 통해 "오늘날 몇몇 기술기업들은 선도적인 폐쇄형 모델을 개발하고 있다. 하지만 오픈소스가 그 격차를 빠르게 좁혀가고 있다"며 "'라마'는 내년부터 업계에서 가장 진보된 모델이 될 것으로 예상한다. 개방성, 수정가능성, 비용효율성 측면에선 이미 선두를 달리고 있다"고 언급했다.
저커버그는 조직 고유 데이터 기반 자체 모델 구축과 정보보호의 필요성 및 비용효율성 등을 그 근거로 내세운다. 오픈소스SW 생태계를 통해 지속적 개선이 이뤄지는 게 더욱 투명하고 안전하다는 주장이다. 특히 이로써 모델·플랫폼 종속에서 탈피, 스스로 AI를 관리·제어할 수 있어야 한다고 강조한다. 업계에선 최근 마이크로소프트(MS) 애저 클라우드 고객 대상으로 벌어졌던 크라우드스트라이크발 IT대란과 연관지어, AI 또한 탈중앙화 차원에서 이런 방향성에 공감한다는 반응이 나오고 있다.
저커버그는 자사 전략에 대해 과거 오픈소스 리눅스가 폐쇄형인 유닉스를 제치고 서버 운영체제(OS) 등에서 업계 표준으로 자리한 것을 예시로 들었다. 뉴욕타임스(NYT) 등 외신들은 리눅스 기반인 구글 안드로이드가 취했던 전략을 메타가 AI분야에서 유사하게 가져갈 것으로 바라보기도 한다. 안드로이드OS 덕분에 구글이 검색과 브라우저 및 플레이스토어 등의 저변을 확대하며 모바일 시장에서 성공을 거뒀기 때문이다.
메타의 경우 페이스북과 인스타그램 및 왓츠앱 등 자사 플랫폼에 AI 기능을 적용함으로써 광고 수익이나 기업용 메시징 등의 수익을 높이는 데 우선 초점을 맞추는 것도 AI모델기업들과의 차이점이다. 성과도 점차 거두기 시작, 투자회사 번스타인은 최근 보고서에서 "AI 기반 알고리즘에 의해 이용자들이 메타의 앱에서 보내는 시간이 늘어나고 있다"고 밝히기도 했다.
저커버그는 "폐쇄형 모델 제공업체와의 주요 차이점은 AI모델 액세스 권한을 판매하는 게 우리 비즈니스모델이 아니라는 것이다. 라마를 공개한다고 해서 그들처럼 수익이나 지속가능성 또는 연구투자역량이 저하되지 않는다"며 "이는 몇몇 업체가 오픈소스에 반해 정부에 지속적으로 로비를 하는 이유 중 하나"라고 덧붙였다.
다만 메타의 '오픈소스 AI' 전략이 목표한 대로 '업계 표준' 자리를 차지하며 밝은 미래로 이어질진 미지수다. 성능도 관건이지만 가장 큰 걸림돌은 AI업계 전반에 대한 우려로도 이어지고 있는 비용 문제다. 격화되는 경쟁 속에 이 같은 전략을 취하는 것은 경쟁사들보다 더 큰 부담을 안게 되는 측면도 있다. 올해 초 메타는 연말까지 35만개의 엔비디아 H100 GPU를 추가로 구매해 총 60만개로 이뤄진 컴퓨팅 인프라를 마련한다면서 2021년의 두 배 수준인 400억달러 규모 자본투자 계획을 발표한 바 있다.
LSEG 추산에 따르면 메타는 AI 투자 관련해 향후 3년 동안 1200억달러의 자본지출을 할 것으로 예상된다. 이를 통해 20%의 이익을 창출하려면 메타는 연간 240억달러를 추가로 벌어들여야 한다. 현재 이익률로 따지면 750억달러 규모 매출에 해당하며, 이는 올해 예상 매출의 절반가량에 이른다. 이에 대해 로이터통신은 "AI모델에 대한 과금이 아니라면 그 많은 추가 수익이 어디서 나올 것인지 문제"라고 짚었다.팽동현기자 dhp@dt.co.kr
![[팽동현의 테크픽] 인공지능도 탈중앙화… 메타 "오픈소스가 답"](//contents.dt.co.kr/images/202407/2024072802109931081003[1].jpg "[팽동현의 테크픽] 인공지능도 탈중앙화… 메타 \"오픈소스가 답\"")
![[팽동현의 테크픽] 인공지능도 탈중앙화… 메타 "오픈소스가 답"](http://contents.dt.co.kr/images/202407/2024072802109931081003[1].jpg "[팽동현의 테크픽] 인공지능도 탈중앙화… 메타 \"오픈소스가 답\"")
