GPT-4 터보 정확도 46%…LLM 중 가장 높아
모델 별로 답변도 달라…"해석과 이해 필요한 영역에선 한계"
모델 별로 답변도 달라…"해석과 이해 필요한 영역에선 한계"
19일(현지시간) 테크크런치 등 외신에 따르면 오스트리아의 민관 연구기관 '복잡성 과학 허브(Complexity Science Hub) 연구진은 캐나다 밴쿠버에서 열린 신경정보처리시스템학회(NeurIPS)에서 LLM의 역사적 지식 이해도와 성능 한계를 평가한 연구 결과를 발표했다.
이번 연구는 처음으로 LLM이 세사트(Seshat) 글로벌 역사 데이터베이스를 기반으로 대학원 및 전문가 수준의 질문에 도전하도록 설계된 첫 평가다. 세샤트는 600개 이상의 사회와 3만6000개 이상의 데이터 포인트와 2700개 이상의 학술 참고 문헌을 포함한 역사 데이터베이스다. 연구진은 세사트를 고대사부터 현대사까지 다양한 시기와 주제에 대한 질문을 사지선다형으로 구성해 테스트를 진행했다.
이번 연구에는 제미나이(Gemini), 오픈AI(OpenAI), 라마(Llama) 계열을 포함한 총 7가지 모델이 사용됐다. 가장 높은 성능을 보인 모델은 GPT-4 터보로 무작위 추측 기준선(아무 정보 없이 임의로 정답을 선택했을 경우 예상되는 정확도)인 25%를 상회해 46%의 정확도를 기록했다. 가장 낮은 정확도를 기록한 모델은 라마-3.1-8B(Llama-3.1-8B)로 33.6%에 그쳤다.
다만 GPT-4 터보도 여전히 기대를 크게 밑도는 수준으로 평가됐다. 연구진은 "AI 챗봇이 인간보다 더 잘 알 것이라고 생각했지만 역사에 필요한 깊은 이해는 인간에 미치지 못한다는 것을 발견했다"며 "LLM이 법무보조원을 대체하는 데는 성공했어도 이해와 해석이 필요한 부분에서는 여전히 미흡하다"고 강조했다.
연구 결과 LLM은 고대사(기원전 8000년~기원전 3000년)와 같은 주제에서는 비교적 높은 정확도를 보였지만 근현대사(1500년 이후)와 관련된 질문에서는 성능이 급격히 떨어졌다. 또 사하라 사막 이남 아프리카와 오세아니아 등 특정 지역에 대한 질문에서는 정확도가 낮아 훈련 데이터의 지역적 편향성이 드러났다.
모델의 성능이 지역별로도 격차도 보였다. 오픈AI 모델은 라틴아메리카와 카리브해 지역에서 더 나은 성과를 보였지만 라마는 북미에서 가장 잘 작동하는 것으로 나타났다. 반면 사하라 사막 이남 아프리카와 오세아니아에 대해서는 오픈AI와 라마 모델 모두 저조한 성능을 보였다.
이에 LLM은 여전히 복잡한 해석이 필요한 영역에서는 한계를 보인다는 지적이 나온다. 델 리오-차노나 유니버시티칼리지 런던 컴퓨터학과 교수는 "LLM이 저명한 역사 데이터를 기반으로 추론하는 경향이 있어 더 희귀한 역사 지식을 검색하는 데 어려움을 겪는 것"이라며 "LLM은 단순 사실에는 뛰어나지만 미묘한 박사 수준의 역사적 탐구에는 아직 적합하지 않다"고 강조했다.
피터 터친 CHS 교수는 "이번 연구 결과는 LLM이 특정 분야에서 인간을 대체할 수 없음을 보여준다"며 "훈련 데이터의 편향성 때문에 특정 지역과 시기에 대한 질문에서 오답이 자주 발생했다. LLM이 전 세계의 역사를 균형 있게 이해할 수 있도록 개선이 필요하다"고 말했다.
다만 LLM이 향후 역사학자들에게 도움을 줄 수 있을 것이라는 희망은 있다며 "종합적으로 보면 이번 연구 결과는 LLM이 개선해야 할 분야를 강조하는 한편 이 모델들이 역사 연구에 기여할 잠재력을 강조한다"고 설명했다.
유진아기자 gnyu4@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
