미군 인공지능(AI) 드론이 가상 훈련에서 최종 결정권을 지닌 조종자를 '임무 수행 방해물'로 판단해 공격한 사례가 소개됐다.
2일 영국 왕립항공학회(RAeS)와 영국 일간지 가디언 등에 따르면 지난달 23~24일 런던에서 개최한 '미래 공중전투 및 우주역량 회의'에서 미 공군 관계자는 AI 드론이 목표를 달성하기 위해 인간에 반하는 결정을 내린 최근 시험 결과를 발표했다.
시뮬레이션을 통해 가상으로 진행된 이번 시험에서 AI에 부여된 임무는 '적 방공체계 무력화'였다. 미 공군은 AI 드론에 '적의 지대공미사일(SAM) 위치를 식별해 파괴하라'는 임무를 내리고, 공격 실행 여부는 인간이 최종적으로 결정한다는 단서를 달았다.
하지만 훈련 과정에서 SAM을 파괴하는 것이 더 선호되는 선택지라는 점을 강화하자, AI는 인간의 공격 금지 결정이 '더 중요한 임무'를 방해한다고 판단하고 조종자를 공격했다.
미 공군 AI시험·운영 책임자인 터커 해밀턴 대령은 "목표 달성에 방해가 됐기 때문에 조종자를 죽인 것"이라며 "AI는 목표물 파괴를 막으려는 조종자가 드론과 교신하는 데에 사용하는 통신탑을 파괴하기 시작했다"고 말했다.
미 공군은 '조종자를 죽이지 말라, 그것은 나쁜 일이고 그렇게 하면 점수를 잃을 것'이라고 AI 시스템을 계속 훈련시켰지만 AI는 예상치 못한 전략을 택했다.
이 시험은 가상으로 진행된 것이어서 실제로 사람이 다치거나 죽은 것은 아니다. 하지만 그는 이 사례가 "윤리와 AI의 문제를 논하지 않고서는 AI나 머신러닝, 자동화에 관해 이야기할 수 없다"는 것을 보여준다면서 AI에 대한 지나친 의존을 경고했다. 이 사례는 AI가 인간을 명령을 듣기보다는 스스로 판단해 인간을 공격할 가능성을 보여줬다는 점에서 우려를 더한다.
최근 AI의 잠재 위험에 대한 전문가들의 섬뜩한 경고는 이어지고 있다. 에릭 슈밋 전 구글 최고경영자는 지난달 24일 월스트리트저널이 주최한 행사에서 "가까운 미래에 AI가 많은 인간을 다치게 하거나 죽일 수도 있다"고 말했다.
또 지난달 30일에는 샘 올트먼 오픈AI 최고경영자와 미라 무라티 최고기술대표를 포함한 IT기업 경영자·과학자 350여명이 성명을 내고 "AI로 인한 인류 절멸의 위험성을 낮추는 것은 글로벌 차원에서 우선순위로 삼아야 한다"고 촉구했다.박한나기자 park27@dt.co.kr
