AI 영수증 이미지, 얼룩·구김까지 정교하게 구현
“실제와 구분 어려워…식별 장치 시급”
“실제와 구분 어려워…식별 장치 시급”
31일(현지 시각) 테크크런치에 따르면 소셜미디어에서 활발히 활동 중인 벤처캐피털리스트 디디 다스는 최근 GPT-4o로 만든 미국 샌프란시스코의 한 유명 스테이크하우스의 가짜 영수증을 소셜미디어(SNS)에 공개했다. 이 이미지엔 금액, 메뉴 항목뿐 아니라 음식 얼룩, 종이 구김 등 실제 영수증처럼 보이게 하는 시각적 요소가 포함됐다.
해당 게시물이 공개되자 SNS 이용자들은 이를 따라 만든 가짜 영수증 이미지를 잇따라 공유했다. 일부는 포토샵이나 추가 프롬프트를 활용해 얼룩을 넣거나 배경을 조작해 더 정교한 이미지를 만들었다. 프랑스에서는 현지 레스토랑 체인의 영수증을 흉내 낸 이미지가 링크드인에 올라오며 실제로 오인될 정도의 수준을 보이기도 했다.
GPT-4o로 만든 가짜 영수증에도 몇 가지 허술한 점은 존재한다. AI가 완벽하게 숫자 계산을 하지 못하므로 일부 생성된 영수증엔 금액 표시에 쉼표와 마침표가 혼재됐거나 금액 합산 결과에 오류가 있는 등 기본적인 숫자 오류가 나타났다. GPT를 포함한 대형언어모델(LLM)이 기본적인 연산 능력에서 여전히 어려움을 겪고 있기 때문이다.
그러나 이런 미세한 오류는 사진 편집 프로그램 등을 이용해 쉽게 보완할 수 있어 악용 가능성을 우려하는 목소리가 커지고 있다. AI로 생성한 가짜 영수증 이미지를 악용하려는 이들이 포토샵 등 사진 편집 프로그램이나 보다 정교한 AI 명령어(프롬프트)를 통해 얼마든지 현실적인 수준으로 보완할 수 있기 때문이다. 최근에는 이미지에 삽입된 워터마크조차 지워내는 AI 기술까지 등장하면서 조작 여부를 식별하는 것 자체가 더욱 어려워지고 있다.
전문가들 또한 이런 허점이 큰 걸림돌이 되지 않을 것으로 우려한다. 가장 큰 문제는 일반 눈으로는 구분이 불가능하다는 점이다. 사용자가 가짜 영수증을 악용할 경우 실제로 지출되지 않은 비용에 대한 허위 청구나 가짜 영수증을 통한 환급 사기가 가능해지는 것이다. 특히 기업의 경비 처리나 회계 감사 절차가 단순한 구조일수록 피해 가능성은 더 높아진다.
김명주 서울여대 정보보호학과 교수(AI안전연구소장)는 "현재 생성형 AI로 만든 영수증 이미지는 시각적으로만 보면 실제와 거의 구별되지 않는다"며 "지금은 영수증에 그치지만 머지않아 금융 문서나 공문서 등 더 민감한 영역까지 위조 대상이 될 수 있다"고 말했다.
이어 "AI 조작물이 쏟아지면 디지털 콘텐츠에 대한 신뢰가 무너지고 진짜와 가짜를 가리는 기준 자체가 사라질 수 있다"며 "사람이 만든 것과 AI가 만든 것은 일반인도 구분할 수 있어야 한다. 모든 영수증을 사람이 일일이 확인할 수는 없기 때문에 일반인도 눈으로 생성 이미지임을 명확히 확인할 수 있는 장치가 반드시 필요하다"고 강조했다.
이에 대해 오픈AI 측은 기술적 악용 가능성은 인정하면서도 창의적 목적으로 기술의 개방성을 유지할 것이라는 입장이다. 오픈AI 타야 크리스티안슨 대변인은 "모든 챗GPT 이미지에는 생성 사실을 명시하는 메타데이터가 포함됐다. 사용자가 정책을 위반할 경우 조치를 취한다"며 "가짜 영수증 생성 같은 기능도 원칙적으로는 금융 교육이나 광고 제작 등 긍정적인 목적을 가진 창작 활동을 위해 개방한 것"이라 설명했다.
한편 오픈AI도 딥시크 등장 이후 한층 가속화된 오픈모델 대열에 합류하기로 했다. 샘 올트먼 CEO는 "수개월 내에 GPT-2 이후 처음으로 추론 능력을 갖춘 오픈웨이트(가중치 공개) 언어모델을 선보일 예정"이라 밝혔다. 회사는 이를 위해 미국을 시작으로 유럽과 아시아에서도 개발자 대상 설명회를 개최할 예정이다.
유진아기자 gnyu4@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
