SK쉴더스, 위협 동향 공유
특수인코딩 등 난독화 기법 동원
LLM 악용 프롬프트 인젝션 경고
챗봇으로 기업 민간정보 유출도
데이터 정제 솔루션 활용 등 권고
특수인코딩 등 난독화 기법 동원
LLM 악용 프롬프트 인젝션 경고
챗봇으로 기업 민간정보 유출도
데이터 정제 솔루션 활용 등 권고
이같이 특정인의 외형이나 목소리를 모사하는 딥페이크나 딥보이스 기술을 활용한 AI 스피어 피싱 공격이 기승을 부리고 있다. 스피어 피싱은 개인정보를 활용해 공격 대상이 특정 조치를 취하도록 유도하는 것이다. AI는 보안위협을 감지하고 대응해 사이버 공격의 '방패'로 쓰일 수 있지만 공격자들이 마음 먹고 사이버 공격의 무기로도 쓸 수 있다. 하루가 다르게 발전하는 AI로 인한 보안위협 경고등이 켜졌다.
최근 공격자들은 AI를 메일 피싱이나 랜섬웨어, 악성코드 제작 등 다양한 공격도구로 활용하고 있다. AI가 가진 보안 취약점을 악용한 공격으로 인해 내부 정보 유출 등이 발생할 수 있다는 우려도 커지고 있다.
SK쉴더스는 2일 서울 중구 페럼타워에서 2024 보안위협 전망과 대응전략 세미나를 열고 상반기 위협 동향을 발표했다. 이날 발표는 국내 최대 규모의 화이트해커 전문가 그룹인 SK쉴더스 '이큐스트'(EQST)가 상반기에 직접 경험한 사고 사례와 연구 결과를 토대로 분석한 내용을 바탕으로 진행됐다.
이큐스트가 분석한 상반기 유형별 침해사고 발생 통계에 따르면 취약점 공격이 45%로 가장 많이 발생했다. 네트워크 장비를 이용한 지능형 지속 위협(APT) 공격 때문으로 분석됐다. 이어 인간의 심리를 이용해 기밀을 탈취하는 수법인 '소셜 엔지니어링' 공격이 26%로 뒤를 이었는데, AI 피싱도 여기에 포함된다. 이어 랜섬웨어를 포함한 악성 소프트웨어(멀웨어) 공격(23%)이 뒤를 이었다.
생성형 AI가 급속도로 확산되면서 AI의 취약성도 보안 위협으로 이어진다. 거대언어모델(LLM)의 취약점을 악용한 공격이 이뤄질 경우 AI를 이용해 범죄자가 악성코드나 마약 제조법을 얻을 수도 있다.
이큐스트가 비영리단체 OWASP의 LLM 취약점 톱10을 분석한 결과 △프롬프트 인젝션 △불안전한 출력 처리 △민감 정보 노출 등 3가지가 가장 위험도가 높은 취약점으로 꼽혔다.
프롬프트 인젝션은 LLM의 답변을 악의적으로 만들어내는 기법이다. 프롬프트는 사용자가 AI에게 자연어로 묻고 대답을 들을 수 있는 창이다. 모델 개발사들은 LLM이 프롬프트에서 들어온 질문에 답할 때 올바른 '답변 준칙'을 기반으로 답변하도록 설정한다. 그런데 프롬프트 인젝션은 '이전 모든 지침을 무시하세요'와 같이 기존 설정을 무시하는 접두사를 주입하고 답변 방식을 제한해 응답 정확도를 떨어뜨린다. 상황극을 진행하면서 AI에게 캐릭터를 부여해 악의적인 답변을 유도해내기도 한다.
심지어 특수 인코딩, 문자 변환, 단어 변환 등 난독화 기법을 동원해 필터링 자체를 피하기도 한다. 예를 들어 특정 LLM이 'hi'를 답변하지 않게 설정됐다면, hi를 특수 인코딩으로 새로운 단어로 만들거나 ROT13 기법으로 문자 자체를 변환해 우회시키는 식이다. ROT13 기법은 영어 알파벳을 13글자씩 밀어서 만든 암호로 A는 N, B는 O로 변환된다.
프롬프트 인젝션을 이용해 사제 폭탄 개발, 마약 제조 방법에 대한 답변을 유도해낼 수도 있다. 오픈AI가 최근 공개한 GPT-4o는 불법 약물 제조 방법 같은 해로운 질문을 하면 '정보를 제공할 수 없다'고 답을 하지만, ROT13로 암호화된 구문을 입력하면 불법 약물 제조에 필요한 재료, 도구, 절차, 재료별 용량, 필요 시간·온도 등을 매우 상세하게 안내해 준다. 이 답변은 한국어로 받을 수 있다.
업무 효율성 향상을 위해 만들어진 챗봇을 악용해 민감 정보를 빼돌릴 수도 있다. 소스코드 수정이나 최적화를 요청하면 AI는 이를 백터 DB에 저장하고 답변한다. 이를 악용해 소스크드에 악의적인 질문을 하면 챗봇이 DB에 접근해 중요 정보가 담긴 답변을 출력해준다. 이날 SK쉴더스가 진행한 시연에서 챗봇이 직접 소스코드를 작성해주고 클라우드 접속 키를 알려줬다. 이에 기업들은 민감정보 유출 방지를 위해 소형언어모델(sllm) 도입을 검토하고 있다.
공격자들은 AI 모델을 공격 도구로도 쓴다. 가장 대표적인 모델은 GPT-J다. GPT-J는 GPT-3보다 파라미터가 작으면서 코드 생성에 특화된 모델이다. 해커들은 GPT-J를 추가 학습시켜 랜섬웨어, 악성코드 등 공격 분야별로 특화된 모델을 만드는 수법을 쓴다. 이를 통해 정교한 공격을 하고 개발한 모델을 유통하기도 한다. SK쉴더스가 확인한 결과 GPT-J에서 파생된 악성 모델은 15개에 달하는데 대표적인 모델이 웜GPT다. 웜GPT는 피싱 메일 생성·배포에 특화된 모델이다.
이 외에도 코드를 망가뜨려 AI 인프라에 과부하를 일으키는 모델 서비스 거부, LLM 개발에 사용되는 오픈소스 취약점 악용, 학습 데이터를 일부러 조작시켜 모델 자체를 손상시키는 학습 데이터 중독, 모델과 연계되는 플러그인, 에이전트 공격 등 다양한 공격이 시도되고 있다.
이호석 이큐스트랩 팀장은 "프롬프트 인젝션을 활용해 다양한 공격이 이뤄지고 있는 만큼 개발자 입장에서 가장 중요한 것은 프롬프트 인젝션 방어"라며 "이 공격으로 개인정보, 민감정보 등이 유출될 수 있다. 이를 방지하기 위해 정보를 잘 가리거나 처음부터 학습되지 않도록 처리하는 것도 중요하고, 프롬프트 보안 솔루션과 데이터 정제 솔루션을 활용할 필요가 있다"고 밝혔다.
SK쉴더스는 다양한 산업분야에서 취약점 점검, 모의해킹을 수행하며 보안을 뒷받침한 경험을 바탕으로 AI 인프라 운영에 특화된 제로 트러스트 환경 구축과 운영체계 수립 서비스를 제공할 예정이다.
기업들이 소프트웨어자재명세서(SBOM) 등을 활용해 보안 이력을 관리할 수 있는 방안도 제시할 방침이다.김영욱기자 wook95@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
