권영준 삼성SDS 부사장(연구소장)
![[기고] 창작으로 진화하는 `AI 르네상스`](http://contents.dt.co.kr/images/202303/2023032702102369650001[1].jpg "[기고] 창작으로 진화하는 `AI 르네상스`")
지능을 쌓는데 가장 필수가 되는 요소는 표현이며, 무언가를 제대로 묘사하거나 표현해 나타낼 수 없다면 누구를 이해시키거나 학습시키는 게 불가능할 것이다. 머신러닝에서는 계산을 위한 기계인 컴퓨터에서 잘 받아들여지고 계산이 가능한 표현의 방식이 학습을 위한 주요 구성요소가 된다.
인간은 언어지능으로 자신의 이해와 학습을 도울 뿐 아니라 책이나 문서 또는 다른 인간과의 직접적인 소통으로 '논리, 감정, 아름다움'을 발전시키는 능력을 발휘한다. 언어지능이야말로 인간이 다른 동물과 확연히 구분되는, 가장 높은 레벨의 지성이라고 할 수 있다. 특히 인간의 전유물로 여겨지는 창작 행위, 즉 재창조나 편집, 의역을 넘어 무에서 원작을 만드는 창의적 지성이야말로 가장 높은 가치를 지닌다.
2000년대에 접어들기까지 AI는 사실 이론뿐인 학문이었다. 복잡하고 많은 양의 벡터-매트릭스 계산을 빨리 하는 기계가 등장하면서 비로소 실리적인 분야로 자리매김했다. 무수히 많은 단계의 벡터연산을 하는 딥러닝은 현존하는 가장 강력한 AI 계산 방법론이다.
인간의 언어지능을 무수히 많은 곱셈·덧셈·뺄셈·나눗셈을 통해 구현한다는 데 많은 이들이 놀라고 생소해하는데, 계산언어학에서의 표현학습은 텍스트 데이터에 존재하는 단어, 문장, 문단 등을 벡터(혹은 매트릭스)로 잘 변환해 표현하는 기법이다.
비슷한 의미의 단어나 문장이 얼마나 비슷하고 다른 의미의 단어들과 문장들이 얼마나 다른지 계산을 통해 정량적으로 알 수 있다. 이러한 표현의 벡터들은 임의의 n-차원 의미공간 안에서 뜻이 비슷한 것들이 서로 모여 군집하고 다른 것들은 멀어져 자리잡게 학습되기 때문이다.
언어지능의 혁명을 가지고 온 것은 2017년 NeurIPS학회에서 발표된 구글의 트랜스포머다. 코덱(codec) 아키텍처 형태의 딥러닝 신경망으로, 입력된 텍스트를 벡터포맷으로 압축해 표현하는 인코더와, 텍스트의 벡터표현을 자연어로 복원하는 디코더 구조다. 유명한 버트(BERT)가 바로 트랜스포머의 인코더만 따로 떼어 학습시켜 자연어 이해로 활용하는 경우다. 반대로 벡터표현으로부터 자연어를 생성하는 디코더를 가지고 구현한 것이 GPT다.
챗GPT가 인간과 대화하는 듯한 자연스러운 글을 생성하는 능력에 대해서는 말할 필요가 없을 것 같다. 언어지능의 문법적, 의미적 요소로 챗GPT를 평가해도 수준급이다.
챗GPT의 진가는 실제 언어구사에서 가장 중요한 요소인 화용론(pragmatics)에서 발휘된다.
챗GPT는 단일 모델로 모든 질문에 대한 답변과 멀티턴 대화용 챗봇을 구동할 수 있는 엔진이다. 이전의 어떤 언어모델이나 챗봇도 하지 못했던, 실제 화법이나 글의 작풍을 자유롭게 구사하며 작문하는 능력을 갖췄다. 챗GPT 혁신에는 오픈AI의 GPT-3 거대언어모델(LLM)이 있다.
GPT-3는 총 파라미터 개수가 이전 버전인 GPT-2의 15억개에서 1760억개로 늘어남에 따라 40GB 학습 데이터를 570GB로 늘렸다. 자연어 처리의 중요한 패러다임은 각종 텍스트 데이터로 편향 없이 사전 학습된 언어모델을 바탕으로 소량의 레이블이 있는 태스크 특성 데이터에 지도학습을 적용해 미세조정을 하는 것이다. 언어모델 사이즈가 클수록 사전학습이 길어지고 많은 자원이 투입되지만, 미세조정 노력은 현저히 적게 든다. 즉, 소량의 레이블 데이터 대신 몇 개의 레이블 데이터를 쓰거나 미세조정 자체가 필요 없이 챗GPT 같은 만물박사가 된다는 뜻이다.
챗GPT의 학습 방법은 인스트럭트GPT라고 알려져 있다. 인스트럭트GPT 의 핵심은 프롬프트 튜닝이라는 머신러닝 기법이다. 어떤 지문이 있을 때 그것에 대한 간단한 질문(prompt)을 만들어 GPT 같은 생성적 언어모델이 지도학습을 반복한다. 여기에다 챗GPT는 자신이 만들어낸 답에 대해 옳다 또는 그르다 같은 단순한 피드백 이상의 점수를 보상해 주는 강화학습 과정을 거친다.
이 모든 것을 위해 어마어마한 규모의 인적자원을 두 단계에 거쳐 투입해 보상모델이 GPT의 답에 정확하게 부합하는 점수를 주는 능력을 갖추게 한 뒤, 마지막 단계에서 보상모델을 활용해 학습을 자동화한다. 이를 통해 말 그대로 어떠한 질문이 와도 그럴듯한 답을 내도록 하는 것이다.
지구상에 있는 모든 문서의 양은 얼마나 될까. 인터넷에 존재하는 데이터의 총량이 수십 제타바이트라고 하니, 챗GPT의 1테라바이트가 채 되지 않는 교육자료는 10억분의 1이 채 안 된다. 정보이론적으로, 챗GPT는 지구에 존재하는 접근 가능한 문서들의 어마어마한 손실압축 버전이라 할 수 있다.
이 압축기계는 어떠한 정보를 복구하라는 요구를 다음과 같이 수행한다. 사람의 질문에 대한 이해력이 좋으며, 무언가 불확실할 때 마치 실제 사람이 되묻듯 친절하게 의역해 이해력을 높일 줄 안다. 이해를 한 질문에 대해 실제 사람이 대답하듯 자연스런 문장의 답을 준다.
그러나, 그 내면에서는 99.99% 이상의 오리지널 정보를 버리는 압축기가 있고, 적당히 큰 학습자료를 통해 만든 확률적 모델을 가지고 복구작업을 한다. 공교롭게도 복구작업의 본질은 확률적 샘플링으로 시드(seed)를 설정한 조작이다. 압축 정도는 학습된 텍스트 자료의 이해도와 정비례하기 때문에, 오픈AI의 뛰어난 텍스트 생성능력을 감안한다면 인스트럭트GPT는 거대언어모델을 길들이는 혁명적 교육 방침이라 할 수 있다.
챗GPT는 B2B·B2C 시스템과 애플리케이션 개발에 있어 센세이션을 일으킬 것이 분명하다. 검색엔진 고도화, 고객대응 서비스 자동화, 작문 도우미로 각종 리포트와 요약문을 생성하는 데 도움이 되는 것은 물론이고 콘텐츠 생성, 세일즈와 마케팅, 번역 등에서도 유용하게 쓰일 것이다. 속단하긴 어려우나, 챗GPT 같은 거대 AI모델이 학습한 자료와 동등하거나 뛰어넘는 수준의 결과물을 생성해내는 날이 온다면, 앞서 말한 손실압축과 조작된 복구(fabricated recovery)를 우려하지 않아도 될 것 같다. 단, 팩트 체크는 필수다.
만약 조작된 복구가 통제불능이 돼 왜곡만 양산한다면 문제가 심각하다. 예를 들어 딥페이크 같은 경우, 인터넷 같은 공공 정보체계는 온통 방해물과 노이즈로 뒤덥힐 것이다. 검색이나 온라인에서 얻은 정보를 예전처럼 신뢰할 수 없는 문제에 봉착할 것이 분명하다.
'AI는 인간의 원작 창조행위에 도움을 줄 수 있는가'라는 처음 질문을 되짚어 본다면, 지금의 내 결론은 AI가 인간의 창조적 생각을 대체할 수 없다는 것이다. 이 글을 포함해 내가 쓴 모든 글의 초벌은 구성과 문장 완성도가 높지 않지만, 적어도 한 개 이상의 독창성을 갖추도록 하고 있다.
아주 슬림하더라도, 그 독창성이 주는 희망이야말로 내 창작의 모티브이며 여러 차례에 걸쳐 글을 수정하고 다듬으며 완성해 가는 원동력이다. 챗GPT가 바로 뽑아내는, 처음부터 매끈하고 그럴 듯한 논리로 보이지만 독창성이 결여된 글은 내가 필요로 하는 초벌이 아니라는 얘기다.
물론 챗GPT가 학습을 통해 많은 장르와 스타일의 글을 생성해 내는 능력은 매우 훌륭하다. 언어학적 요소를 충족하는 잘 블렌딩된 콘텐츠의 결과물을 만드는 것을 넘어 창작을 목표로 진화 중인 초거대 AI 모델들의 르네상스 시대를 환영한다.
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
