한국인터넷진흥원(KISA)은 26일 2025년 사이버보안 핵심 트렌드로 '생성형AI 기반 사이버공격 다양화'를 꼽았다. 앞으로 이뤄질 'AI 일상화'는 사이버범죄자들에게도 예외가 아니다.
지난 2월 챗GPT 개발사 오픈AI와 마이크로소프트(MS)는 북한·중국·러시아·이란 정부 등과 연계된 해커들이 챗GPT를 사이버 범죄에 활용한 사실을 확인하고 차단 조치 한 바 있다. 당시엔 표적의 심리나 행동 등을 공략하는 사회공학적 기법으로 피싱메일을 작성하는 데 주로 쓰였는데 AI 사용수준이 점차 높아지는 것으로 파악됐다.
박용규 KISA 디지털위협대응본부 위협분석단장은 26일 과학기술정보통신부와 한국정보보호산업협회(KISIA)가 개최한 ICT융합산업보안 콘퍼런스에서 "최근 공격조직들을 추적해 공격에 쓰인 IT인프라를 분석하다가 이들이 생성형AI를 쓰고 있다는 증거를 찾아냈다"며 "예컨대 '이 사람의 주소로 다른 기본정보도 알려줘', '어떤 주소와 주로 거래하는지 알아낼 수 있는 악성코드를 만들어줘' 등을 생성형AI에 요구해 얻은 데이터가 남아있었다"고 설명했다.
해외에서는 생성형AI를 악용한 공격사례가 이미 발생하고 있다. SK쉴더스에 따르면 홍콩 금융사에서는 AI 딥페이크 공격으로 340억원을 송금한 사고가 발생했고, 독일을 겨냥한 악성메일 공격에서는 대형언어모델(LLM)로 생성된 악성스크립트가 쓰였다.
안랩도 '2025년 5대 사이버 보안위협 전망'을 발표하면서 생성형AI 기반 사이버공격의 고도화를 예상했다. 딥페이크·딥보이스 등 사회공학적 해킹뿐 아니라 프로그램·시스템 '취약점 발견' 시도나, 백신 등 탐지 회피를 위한 '적응형 멀웨어' 제작에도 생성형AI가 악용될 것으로 전망된다. 생성형AI로 랜섬웨어 등 사이버범죄의 허들이 낮아졌다.
AI모델 자체도 주요 공격 대상이다. 악의적 프롬프트 등으로 AI모델의 안전장치를 벗어나게 하는 '탈옥'이나 '학습데이터 추출' 시도, 학습데이터에 악성 데이터를 심어 특정입력에 대해 잘못된 값을 내도록 조작하는 '데이터 오염·중독 공격', 입력데이터에 노이즈를 추가해 AI모델을 기만하는 '회피 공격' 등이다.
김 본부장은 그 예시로 사이버보안 특화 소형언어모델(SLM)을 들었다. "생성형AI로 사이버위협과 그에 대한 대응까지 생성해낼 수 있다"면서 "공방이 계속 함께 이뤄지면서 지속적인 고도화가 이뤄질 수 있다"고 부연했다.
정보보호업계도 AI 역량을 자사 솔루션·서비스에 속속 녹이고 있다. 안랩은 AI기반 확장형탐지대응(XDR) 서비스를, 이글루코퍼레이션은 생성형AI 기반 탐지모델 서비스 '에어'를 선보였다. 파수는 자사 문서보안 역량을 녹인 SLM '엘름(ELLM)'을, S2W은 다크웹 특화 '다크버트'와 보안 특화 '사이버튠'을, 샌즈랩은 구축형 SLM '샌디' 등을 내놨다.
가트너는 2028년까지 기업 보안침해 사고의 25%가 AI 에이전트 악용으로 인해 발생할 것이란 전망을 최근 내놨다. 또 2028년에는 최고정보책임자(CIO)의 40%가 자율적으로 AI에이전트를 관리하는 '가디언 에이전트'를 요구할 것으로 예측했다.
박 단장은 "올해까진 생성형AI가 어떻게 악용되는지 증거를 찾기 어려웠다. 이제 증거가 나왔다는 것은 곧 해커그룹들이 이를 십분 활용하고 익숙해진다는 것"이라며 "공격을 당할 때는 그게 AI로 인한 것인지 알 수 없으므로, 제로트러스트(ZT) 보안 등을 적용해 대응체계를 세분화할 필요가 있다. 무엇보다 AI에 대해 더 잘 이해하고 더 잘 사용하면서 취약점 분석과 보안체계를 강화해야 한다"고 덧붙였다.글·사진=
팽동현기자 dhp@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
