어릴적 꿈은 천체물리학자
대학전공 성경처럼 제비뽑아
인기없던 컴공, 지금은 만족
대학전공 성경처럼 제비뽑아
인기없던 컴공, 지금은 만족
![[오늘의 DT인/팽동현의 AI인] "일만 잘하는 AI는 옛말… 사람심리 악용하는 보안위협도 나올수 있죠"](http://contents.dt.co.kr/images/202306/2023062302102131081001[1].jpg "[오늘의 DT인/팽동현의 AI인] \"일만 잘하는 AI는 옛말… 사람심리 악용하는 보안위협도 나올수 있죠\"")
'AI보안 전문가' 이상근 고려대 정보보호대학원 교수
챗GPT를 비롯한 생성형AI(인공지능)가 화두다. 인터넷·모바일에 이어 거대한 혁신의 물결을 일으키리란 기대가 크다. 하지만 그 안에 잠재된 위험성을 경계하는 시선도 늘고 있다.
챗GPT부터 이용자 결제정보가 일부 유출되는 일이 있었다. 무분별한 프롬프트(명령어) 입력을 통한 기업 기밀정보 유출 우려도 현실화됐다. 무엇보다 갈수록 심각해지는 사이버위협에 생성형AI가 끼칠 영향은 아직 가늠하기도 힘들다. 다크웹 등에선 이미 생성형AI로 악성코드를 만드는 시도가 포착됐다.
세계 주요국 정상들이 AI 규범을 논하고 각국 정부가 AI 규제를 준비하는 가운데, 이 같은 보안위협에 대한 파악과 대응역량은 우리의 안전뿐 아니라 SW(소프트웨어) 등 관련 산업과 국가 경쟁력까지 좌우할 전망이다.
이상근(46·사진) 고려대학교 정보보호대학원 교수는 '세계 최고 AI보안 연구실'을 목표로 연구에 매진하고 있다.
"어릴 적 꿈은 천체물리학자였고 수학도 매우 좋아했습니다. 대학 들어갈 때 전공 선택을 고심하다가, 성경에서 배운 대로 제비뽑기로 정하기로 했죠. 컴퓨터공학이 나오더라고요. 당시엔 인기 과가 아니다 보니 주변에서 말렸지만 소신대로 갔는데, 결과적으로 만족합니다."
서울대 컴퓨터공학과 96학번인 이 교수는 대학 재학 시절부터 해킹공부를 취미로 삼았다. 넥슨 '크레이지아케이드'의 서버 구축에 잠시 참여하며 게임개발에도 발을 들이는 등 다방면에 관심을 가졌다. AI에 집중하게 된 것은 IMF 외환위기로 서둘렀던 병역에서 돌아온 뒤, 장병탁 교수의 AI 강의를 접하면서다. 과 수석 졸업이라 다른 선택지도 많았지만 "기술 발전은 예측할 수 없으니 소신대로 가라"는 조언을 듣고 결심을 굳혔다.
장 교수의 AI연구실에서 수학한 그는 석사를 마친 뒤 미국으로 유학을 떠나 위스콘신-매디슨 대학에서 2011년 박사 학위를 받았다. 이때 AI모델 구조화를 위해 딥러닝 학습시간을 줄일 수 있는 수학적 최적화 알고리즘 아이디어를 담은 논문이 ICML(국제머신러닝학회)과 JMLR(머신러닝연구저널)에 게재됐다. GPU(그래픽처리장치) 가속도 일찍이 접하며 기술 흐름에 앞서갔다. 이후 독일 TU도르트문트대학 연구원으로 재직할 때는 인더스트리4.0의 본고장에서 독일 현지 교수들도 맡기 힘들다는 국책과제의 리더(PI)로서 의료 분야의 대용량 고차원 데이터를 분석하는 일을 수행했다.
이런 과정을 거치며 이 교수는 AI보안 연구를 파고들기 시작했다. 특이하다면 특이할 수 있는 그의 연구 영역은 수학과 해킹을 좋아하는 성향에다 '다가올 AI시대에 최고의 전문가가 되기 위해 어떤 차별점을 가질 수 있을까'란 고민에서 비롯됐다. 2017년 귀국해 한양대학교에서 교편을 잡기 시작한 후 국가보안기술연구소 등과 관련 연구를 수행했다. 2020년 고려대 정보보호대학원에 합류해 AI보안 연구실을 차렸다.
"과거 AI는 특정 영역에서 주어진 일만 잘하는 물건이었습니다. 하지만 GPT를 비롯한 LLM(거대언어모델)의 등장 이후 그 경계가 점점 흐릿해지고 있죠. 장차 AGI(범용AI)로 향해갈수록 사람의 심리를 악용하는 것을 포함해 기존에 보지 못한 유형의 보안위협이 등장할 수 있습니다."
이 교수는 AI에 대한 보안취약점 공격을 크게 △회피 공격 △데이터오염 공격 △백도어 공격 △모델복제 공격의 네 가지로 나눈다. 회피 공격은 이미 학습 완료된 모델을 대상으로 공격자가 변조된 입력을 통해 오동작을 유도하는 것이다. 도로표지판 오인식 등 문제를 유발할 수 있어 주로 자율주행 관련 대책이 연구되고 있다.
데이터오염 공격은 학습이 진행 중인 모델에 대해 특정 트리거에 반응하도록 오염된 데이터를 제공하는 것이다. 과거 MS(마이크로소프트) '테이' 등 챗봇이 악성 이용자들의 유도에 따라 비윤리적 발언을 한 사례가 이에 해당한다. 백도어 공격은 AI모델의 공급자가 사전에 특정 트리거에 반응하도록 백도어 요소를 심는 것으로, AI서비스 확산에 따라 위협범위가 넓어질 수 있다. 미군도 이를 예방하기 위한 연구를 하고 있다.
모델복제 공격은 이 교수가 최근 가장 관심을 갖고 연구하는 분야다. 통상 클라우드 기반으로 서비스되는 LLM 등에 공격자가 특정 질의에 대한 응답을 계속 수집하는 방식으로 SW 불법복제처럼 AI모델 복제품을 만드는 것이다. 작게는 AI서비스 요금을 피하는 의도부터 크게는 모델 내 개인정보·민감정보 탈취 목적으로 행해질 수 있다. 복제품에 통하는 공격이면 원본에도 시도할 수 있는 만큼 다른 공격으로 연쇄적으로 이어질 수 있다는 점에서도 위험성이 크다.
이 교수는 이런 모델복제가 공격 대상 모델의 확률적 응답을 직접 사용한다는 점을 역이용, 일반 사용자에게는 영향을 주지 않도록 미세하게 모델 응답을 변조함으로써 결과적으로 복제가 어렵게 하는 기법을 개발했다. 그가 "현재 세계 최고의 방어기법"이라 자부하는 이 연구는 2022년 IJCAI(AI국제학회)에 발표됐고 관련 특허로도 이어졌다.
"보안은 사고가 터진 뒤에야 잠깐 관심 받고 또 잊히기 일쑤죠. 아직 AI와 AI의 본격적인 공방까지 가진 않은 것 같지만 이미 벌어지고 있는지도 모릅니다. 확률통계적 측면 때문에 기존 논리적 방식과는 다른 양상을 띠는 AI 보안위협에 경각심을 갖고, XAI(설명 가능한 AI)를 비롯한 다양한 노력을 병행해야 합니다."
이 교수는 AI 보안위협을 예방하기 위해 더 많은 이들이 생성형AI를 써볼 것을 권한다. "운전을 해보면 도로에서 차를 더 조심하게 된다"고 말한다. 보안위협 대응역량을 비롯해 한국 AI 발전을 위해서는 캐나다와 같이 국가적 R&D(연구개발) 거점 클러스터를 조성할 것을 제안한다. "몇 년 전에는 연구에 쓸 GPU가 부족해 학생들과 PC방을 찾기도 했다"는 이 교수는 "대학이나 소규모 연구소도 소외되지 않고 민·관·학·군이 아울러 공동의 과제나 비영리적인 연구도 협력해 수행하는 장이 필요하다"고 강조했다.
생성형AI가 세계적 화두로 떠오르면서 바삐 지내는 그는 앞으로도 AI보안 연구에 집중할 계획이다. 그는 "세계 최고 AI보안 연구실로 자리매김하겠다"면서 "DX(디지털전환)를 계기로 정보보호 기술이 요구되는 영역이 넓어지는 만큼 광의의 보안 개념으로 심리·환경·예술 등 융합영역까지 AI보안위협 관련 연구를 확대해 나가겠다"고 말했다.
팽동현기자 dhp@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
