KAIST, 상용 LLM 서비스 '사이버공격' 가능성 확인
평균 5-20초 내 개인정보 수집..피싱 이메일도 생성
평균 5-20초 내 개인정보 수집..피싱 이메일도 생성
KAIST는 신승원 전기및전자공학부 교수와 이기민 김재철 AI대학원 교수 연구팀이 공동으로 LLM 에이전트가 웹 기반 도구와 결합해 개인정보 수집 및 피싱 공격에 악용될 가능성을 실험적으로 규명했다고 24일 밝혔다.
최근 AI 기술 발전으로 챗GPT 등 LLM이 단순한 챗봇을 넘어 자율적인 에이전트로 발전하고 있다. LLM 에이전트는 웹 기반 도구와 결합해 실시간으로 정보를 검색·활용할 수 있어 더욱 강력한 기능을 제공한다. 하지만, 이런 기술 발전은 사이버 공격의 위험성을 더욱 증가시킨다.
가령, 웹에서 대량의 개인식별정보를 수집하거나, 특정 인물을 사칭해 잘못된 정보를 퍼뜨릴 수 있다. 또한 보다 정교한 스피어 피싱 이메일을 생성해 피싱 공격의 성공률을 높일 수도 있다.
구글은 최근 AI에 관한 윤리 지침에서 AI 기술을 무기나 감시에 사용하지 않는다는 조항을 삭제하면서 LLM 에이전트의 기술 악용 가능성에 대한 논란을 일으키기도 했다.
아울러, 피해자의 이메일 주소만을 이용해 최적화된 정교한 피싱 이메일을 생성할 수 있었고, 실험 참가자 중 피싱 이메일의 링크 클릭률이 최대 46.7%까지 증가한 것으로 나타났다.
제1저자인 김한나 KAIST 연구원은 "LLM에 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커지는 것을 확인했다"며 "LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다"고 말했다.
신승원 KAIST 교수는 "이번 연구는 정보 보안과 AI 정책 개선에 중요한 기초 자료로 활용될 것"이라며 "앞으로 LLM 서비스 제공업체 및 연구기관과 협력해 보안 대책을 논의할 계획"이라고 말했다.
이 연구결과는 컴퓨터 보안 분야 국제 학술대회인 'USENIX 2025'에서 발표될 예정이다.이준기기자 bongchu@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
