"시인의 시와 AI의 시 구분 안돼…사람들은 AI 시 더 선호"
美 연구팀 "생성형 AI, 시에서도 사람들의 기대치 뛰어넘어"
사람들이 유명 시인의 시와 인공지능(AI)의 시를 구분하지 못할 뿐 아니라 AI 시를 더 선호하는 것으로 나타났다.
미국 피츠버그대의 브라이언 포터 박사팀은 과학 저널 사이언티픽 리포트에서 일반인들에게 유명 시인 10명의 시와 이들의 시를 모방해 챗GPT3.5가 지어낸 시를 제시한 뒤 이를 구분하고 평가하게 하는 두 가지 실험에서 이런 결과를 얻었다고 15일 밝혔다.
연구팀은 이 연구에서 첫 실험으로 1634명을 대상으로 AI가 생성한 시와 유명 시인의 시를 구별하는 테스트를 했다. 두 번째 실험에서는 696명을 대상으로 AI의 시와 시인들의 시에 대해 아름다움, 리듬, 독창성 등 14가지 특성을 평가하게 했다.
실험에는 14세기 시인 제프리 초서부터 윌리엄 셰익스피어, 월트 휘트먼, TS 엘리엇, 현대의 도러시아 라스키 등 유명 시인 10명의 시 50편과 챗GPT3.5가 이들의 시를 모방해 지은 시 50편이 사용됐다.
첫 번째 실험으로 유명 시인의 시 5편과 AI의 시 5편을 무작위로 제시한 다음 시인과 AI의 시를 구별하도록 한 결과, 정확도가 46.6%로 우연히 맞힐 수 있는 확률에도 미치지 못했다.
참가자들은 AI가 쓴 시를 사람이 쓴 것이라고 판단할 가능성이 더 높았다. 심지어 시인이 썼을 가능성이 가장 낮다고 평가한 시 5편은 모두 실제 시인이 쓴 것으로 나타났다.
두 번째 실험에서는 참가자들을 세 그룹으로 나눈 뒤 각 그룹에 시를 제시할 때 시에 대해 '사람이 쓴 시', 'AI가 쓴 시', '출처 정보 없음' 등 정보를 주고 그 시의 질과 아름다움, 감정, 리듬, 독창성 등 14가지 특성을 평가하게 했다.
'AI가 쓴 시'라는 말을 들은 참가자들은 실제 시인이 쓴 시인지 AI가 쓴 시인지 관계없이 '사람이 쓴 시'라는 말을 들은 참가자들에 비해 13가지 특성에서 낮은 점수를 줬다.
시의 출처 정보가 없다는 말을 들은 참가자들은 AI가 생성한 시에 시인들이 쓴 시보다 더 높은 점수를 줬다.
연구팀은 이처럼 AI의 시를 긍정적으로 평가하는 경향은 사람이 쓴 시의 복잡성을 AI가 만들어낸 '일관성 없음'으로 착각하고, 생성형 AI가 얼마나 인간과 유사해 보일 수 있는지에 대해 과소평가하고 있기 때문일 수 있다고 설명했다.
이어 "시는 생성형 AI가 아직 인간과 구별할 수 없는 수준의 작품을 쓰지 못하는 텍스트 영역 중 하나로 여겨져왔다"며 "하지만 이 연구 결과는 생성형 AI의 능력이 시에서도 이미 사람들의 기대를 넘어섰음을 보여준다"고 말했다.
임주희기자 ju2@dt.co.kr
오픈AI 로고. 로이터=연합뉴스
美 연구팀 "생성형 AI, 시에서도 사람들의 기대치 뛰어넘어"
사람들이 유명 시인의 시와 인공지능(AI)의 시를 구분하지 못할 뿐 아니라 AI 시를 더 선호하는 것으로 나타났다.
미국 피츠버그대의 브라이언 포터 박사팀은 과학 저널 사이언티픽 리포트에서 일반인들에게 유명 시인 10명의 시와 이들의 시를 모방해 챗GPT3.5가 지어낸 시를 제시한 뒤 이를 구분하고 평가하게 하는 두 가지 실험에서 이런 결과를 얻었다고 15일 밝혔다.
연구팀은 이 연구에서 첫 실험으로 1634명을 대상으로 AI가 생성한 시와 유명 시인의 시를 구별하는 테스트를 했다. 두 번째 실험에서는 696명을 대상으로 AI의 시와 시인들의 시에 대해 아름다움, 리듬, 독창성 등 14가지 특성을 평가하게 했다.
실험에는 14세기 시인 제프리 초서부터 윌리엄 셰익스피어, 월트 휘트먼, TS 엘리엇, 현대의 도러시아 라스키 등 유명 시인 10명의 시 50편과 챗GPT3.5가 이들의 시를 모방해 지은 시 50편이 사용됐다.
첫 번째 실험으로 유명 시인의 시 5편과 AI의 시 5편을 무작위로 제시한 다음 시인과 AI의 시를 구별하도록 한 결과, 정확도가 46.6%로 우연히 맞힐 수 있는 확률에도 미치지 못했다.
참가자들은 AI가 쓴 시를 사람이 쓴 것이라고 판단할 가능성이 더 높았다. 심지어 시인이 썼을 가능성이 가장 낮다고 평가한 시 5편은 모두 실제 시인이 쓴 것으로 나타났다.
두 번째 실험에서는 참가자들을 세 그룹으로 나눈 뒤 각 그룹에 시를 제시할 때 시에 대해 '사람이 쓴 시', 'AI가 쓴 시', '출처 정보 없음' 등 정보를 주고 그 시의 질과 아름다움, 감정, 리듬, 독창성 등 14가지 특성을 평가하게 했다.
'AI가 쓴 시'라는 말을 들은 참가자들은 실제 시인이 쓴 시인지 AI가 쓴 시인지 관계없이 '사람이 쓴 시'라는 말을 들은 참가자들에 비해 13가지 특성에서 낮은 점수를 줬다.
시의 출처 정보가 없다는 말을 들은 참가자들은 AI가 생성한 시에 시인들이 쓴 시보다 더 높은 점수를 줬다.
연구팀은 이처럼 AI의 시를 긍정적으로 평가하는 경향은 사람이 쓴 시의 복잡성을 AI가 만들어낸 '일관성 없음'으로 착각하고, 생성형 AI가 얼마나 인간과 유사해 보일 수 있는지에 대해 과소평가하고 있기 때문일 수 있다고 설명했다.
이어 "시는 생성형 AI가 아직 인간과 구별할 수 없는 수준의 작품을 쓰지 못하는 텍스트 영역 중 하나로 여겨져왔다"며 "하지만 이 연구 결과는 생성형 AI의 능력이 시에서도 이미 사람들의 기대를 넘어섰음을 보여준다"고 말했다.
임주희기자 ju2@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
