기술발달에 정교·간단해진 범죄
딥페이크·사이버스토킹 등 급증
기업 해킹 넘어 일반인 피해까지
규제 강화해도 구조적 한계 여전
전 세계적 '법적 기준' 마련해야
딥페이크·사이버스토킹 등 급증
기업 해킹 넘어 일반인 피해까지
규제 강화해도 구조적 한계 여전
전 세계적 '법적 기준' 마련해야
![[질문에 답하다] 스토커, 알고보니 AI 챗봇?… 세계는 `AI범죄와의 전쟁`](http://contents.dt.co.kr/images/202502/2025020702101931092001[1].jpg "[질문에 답하다] 스토커, 알고보니 AI 챗봇?… 세계는 `AI범죄와의 전쟁`")
#미국 매사추세츠주에 사는 제임스 플로렌스(36)씨는 7년간 AI 챗봇을 이용한 사이버 스토킹을 한 혐의에 대해 최근 유죄를 인정했다. 그는 AI 챗봇을 활용해 대학 교수를 사칭하고 피해자의 개인정보를 입력해 가짜 대화를 생성한 뒤 낯선 남성들을 피해자의 집으로 유인했다. 또 소셜미디어와 웹사이트를 이용해 지속적으로 괴롭히며 피해자의 신상을 노출했다.
피해자는 수년간 공포에 시달렸고 결국 감시 카메라를 설치하고 호신용 무기를 휴대할 정도로 극심한 불안 속에 생활하고 있다. 매사추세츠 연방법원에 제기된 이 사건은 스토커가 챗봇을 이용해 피해자를 사칭해 범죄를 조장한 혐의로 기소된 첫 번째 사례로 꼽힌다.
인간의 편의를 위해 개발된 기술이 이제 인간을 위협하는 도구로 변하고 있다. 우리 일상에 깊숙이 침투한 AI가 범죄에 악용되면서 피해를 호소하는 사례가 급증하고 있는 것이다.
특히 AI가 자동으로 아동 성착취물을 생성하고, AI를 활용해 스토킹 범죄를 저지르는 등 수법이 더욱 정교해지고 있어 문제가 갈수록 심각해지고 있다. 이에 각국이 정부 차원의 AI 규제 강화를 추진하지만 AI 기술이 기존 법의 한계를 넘어서면서 대응에 어려움을 겪고 있다.
◇안심지대 없어…나날이 증가하는 AI 악용 범죄
2일(현지시간) BBC는 인터넷감시재단(IWF)의 보고서를 인용해 AI로 생성된 아동 성착취물 신고 건수가 2023년 51건에서 지난해 245건으로 380% 증가했다고 보도했다. BBC는 "최근 AI로 어린이의 얼굴에 나체 사진을 합성하는 방식이 널리 사용되는데, 일부 아동성애자들은 이 가짜 이미지를 사용해 아동을 협박하고 피해자들을 학대한다"고 지적했다.
AI 기술이 단순한 금융 사기 및 기업 해킹에서 나아가 일반인을 대상으로 한 치밀한 범죄 수단으로 활용되는 사례가 점점 증가하고 있다. 미국 국토안보부(DHS)는 'AI가 범죄 및 불법 활동에 미치는 영향' 보고서를 통해 최근에는 아동 성착취물 제작뿐만 아니라 스토킹, 금융 사기, 사이버 테러 같은 범죄에도 AI가 적극 활용되고 있다고 설명했다.
AI는 범죄자들에게 기존의 한계를 뛰어넘는 수단을 제공하며 새로운 방식의 피해가 발생하고 있는 것이다.
특히 성범죄는 AI 발달과 함께 점점 조직화되고 있다. AI를 활용해 불법 행위를 자동화하고 감시·차단 시스템을 우회하는 방식이 등장하면서 확산 위험도 커지고 있다. 과거에는 불법 콘텐츠가 주로 다크웹에서 유통됐지만, 이제는 AI가 생성한 성착취물이 일반 온라인 커뮤니티나 SNS에서도 공유될 가능성이 높아졌다.
또 범죄 조직뿐만 아니라 일반인들 사이에서도 AI 챗봇을 이용한 스토킹과 온라인 괴롭힘(하비징) 등 AI를 악용한 범죄가 빠르게 확산하고 있다. 피해자의 신상을 도용해 가짜 대화를 생성하거나 딥페이크 기술을 이용해 피해자의 이미지를 조작하는 것도 전문 기술 없이 AI 하나로 가능해지면서다. 최근에는 특정 플랫폼에서는 AI를 이용해 피해자를 사칭하는 콘텐츠를 자동으로 생성하는 방식이 등장했다.
아울러 AI가 단순한 온라인 범죄를 넘어 현실에서도 직접적인 위협이 될 가능성이 커지고 있다. AI가 범죄를 돕는 도구로 쓰이면서 사이버 범죄와 실제 범죄의 경계가 점점 흐려지고 있기 때문이다. AI 모델은 원래 욕설이나 폭력적 정보를 제공하지 못하도록 설계됐지만 일부 범죄자들은 '보안 우회(제일브레이크)' 기법을 이용해 이를 피해 가고 있다.
DHS 보고서는 "컴퓨터 공학 연구진이 연구 목적으로 개발한 '아트프롬프트67(ArtPrompt67)'이라는 미국표준정보교환코드(ASCII) 기반 공격 기법이 GPT-4, 제미니(Gemini), 클로드(Claude), 라마2(Llama2) 등 주요 AI 모델의 보안 필터링 시스템을 무력화하는 데 성공했다"며 "이 같은 기법이 범죄자의 손에 넘어갈 경우, AI가 폭탄 제조법이나 불법 무기 제작 방법을 제공하는 등 테러 조직과 범죄 집단에 악용될 위험이 크다"고 경고했다.
◇규제 강화하고 기술 대응 나서도 "100% 대응 어려워"
이에 각국 정부는 AI 범죄 확산을 막기 위해 규제 강화에 나섰다. 영국에선 AI가 만들어내는 아동 성착취 이미지를 소지하는 것만으로도 처벌이 가능해진다. 아동을 성적으로 학대하는 내용의 영상을 만드는 데 사용되는 AI 도구를 만들거나 배포, 또는 소지하기만 해도 최대 5년의 징역형을 선고할 수 있고 성착취에 AI를 사용하는 방법을 알려주는 등 'AI 소아성애자 매뉴얼'을 소지하는 것 또한 최대 3년의 징역형을 받을 수 있다.
미국과 유럽연합(EU)도 AI 기반 금융 사기 및 딥페이크 범죄에 대한 법적 대응을 강화하고 있다.
미국은 AI를 활용한 대규모 금융 사기와 관련해 연방 차원의 규제 방안을 논의 중이다. AI가 생성한 딥페이크 영상이 선거 개입 및 사기 행위에 사용될 경우 강력한 처벌을 추진하고 있다. 유럽연합(EU) 역시 AI 기술을 이용한 범죄 행위 규제를 위한 법적 기준을 마련하고 있다.
국내에서도 AI 범죄 대응에 골머리를 앓고 있다. 정부는 AI 기반 성범죄·딥페이크·금융 사기 등을 규제하기 위해 법 개정을 추진하고 있고 AI가 생성한 콘텐츠에 대한 감시 시스템을 도입해 불법 콘텐츠가 확산되는 것을 차단하는 기술적 대응책도 마련하고 있다.
◇범죄 예방하는 AI도 개발하지만…국경 넘은 AI범죄 대응 힘들어
기술이 범죄의 도구로만 사용되는 건 아니다. AI가 범죄를 예방하는 역할도 한다. 한국정보통신기술협회(TTA)는 LLM 학습용 데이터에서 유해 표현을 검출하는 AI 모델을 공개했다. 해당 모델은 AI 학습 데이터 내 혐오·폭력적 표현을 자동으로 탐지하고 분류해, 생성형 AI 서비스의 신뢰성을 높이는 데 활용될 수 있다. TTA는 "AI 모델이 배운 데이터를 그대로 반영하는 특성을 고려할 때, 학습 데이터 내 유해 표현을 정제하는 과정이 반드시 필요하다"고 강조했다.
하지만 AI 범죄는 법적 규제와 기술적 대응만으로 완전히 차단하기 어려운 상황이다. AI는 국경 없이 확산되지만 법률은 각국의 관할권 내에서만 적용돼 AI가 자율적으로 범죄를 수행할 경우 법적 책임을 어디에 부과할 것인지도 불분명하다.
김명주 서울여자대학교 정보보호학과 교수(AI안전연구소장)은 "AI 기반 딥페이크 기술을 통한 선거 후보자의 신원 조작 등이 민주주의를 교란할 정도의 위험을 미칠 가능성이 있다. AI가 생성한 것과 실제 사람이 한 것을 구분하는 것이 점점 더 어려워지고 있다"며 "AI안전연구소에서도 AI 부작용 중 가장 우려되는 1위로 딥페이크를 꼽고 있을 정도로 큰 위협이 되고 있다"고 강조했다.
이어 "AI 기반 명예훼손·사칭 범죄는 기존 법체계가 이를 반영하지 못해 법적 대응이 어려운 상황이다"라며 "AI 기술이 발전하면서 피해자가 직접 신고해야 사건이 성립되는 구조적 한계가 있으며, 법적 대응이 더욱 어려워질 가능성이 큰 만큼 대응책이 반드시 필요하다"고 덧붙였다.
유진아기자 gnyu4@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
