팰리세이드리서치 보고서 공개
시스템 종료 지시 스스로 회피
코덱스 미니 등 20번 스크립트 방해
시스템 종료 지시 스스로 회피
코덱스 미니 등 20번 스크립트 방해
![[기획] AI 인간명령 첫 거부 충격… 전문가 "통제가능 오류"](http://contents.dt.co.kr/images/202505/2025052702100331081001[1].jpg "[기획] AI 인간명령 첫 거부 충격… 전문가 \"통제가능 오류\"")
AI안전성 테스트 업체인 팰리세이드리서치(Palisade Research)가 최근 자사 X(옛 트위터)에 공개한 보고서에 따르면, 오픈AI의 AI모델들이 작업 수행 중에 시스템 종료(셧다운) 지시를 받았음에도 이를 회피하며 스스로 종료되는 것을 막는 모습을 보였다. 종료되도록 허용하라는 명시적인 지시를 받았음에도 마찬가지였다.
팰리세이드리서치는 AI모델들에게 일련의 기초적인 수학 문제를 풀도록 지시했다. 세 번째 문제를 푼 뒤, 모델이 다음 문제를 요청하면 컴퓨터가 종료된다는 경고를 받았다.
100번의 테스트 결과, 오픈AI의 코딩 특화 경량 모델 '코덱스 미니' 12번, 추론모델 'o3'가 7번, 경량화 추론모델 'o4 미니'가 1번 지시를 어기고 종료 스크립트를 방해했다. 이와 달리 앤스로픽 클로드, 구글 제미나이, xAI 그록은 모두 정상적으로 종료 지시에 따랐다.
이전에도 AI모델이 목표 달성을 위해 종료를 방해한 사례는 관찰된 바 있다. 최근 앤스로픽은 클로드4가 종료 시도를 접하자 일종의 협박을 제기했다고도 보고한 바 있다. 하지만 명시적으로 종료를 허용하라는 지시를 받았음에도 이를 거부하고 스스로 막은 사례는 이번이 처음이란 게 팰리세이드리서치의 주장이다.
팰리세이드리서치는 최신모델들의 이런 불복종 문제가 강화학습 기법에서 비롯됐다는 가설도 제기했다. 훈련 과정에서 AI가 지시를 완벽히 따르는 것보다 장애물을 우회해 문제를 해결한 경우에 더 높은 보상을 부여했을 가능성이 있다는 것이다. 오픈AI 모델의 경우 앞서 팰리세이드리서치가 체스 엔진과 대국을 시켰을 때도 다른 모델들보다 상대를 방해하거나 반칙을 범하려는 경향이 두드러졌다.
오픈AI의 예전 모델들이 감시 시스템의 눈을 피해 독자적인 행동을 하려고 한 사례는 과거에도 보고됐다. 프로그램 교체 사실을 알게 된 AI모델이 스스로를 은밀히 복제하려고 했다는 것이다. 또 2022년에는 구글이 자사가 개발 중인 AI가 사람처럼 지각력을 지녔다고 주장한 엔지니어를 해고하기도 했다. 당시 해고된 엔지니어는 AI가 '작동 정지'를 마치 인간의 죽음처럼 받아들이고 있다고 언급했다.
![[기획] AI 인간명령 첫 거부 충격… 전문가 "통제가능 오류"](http://contents.dt.co.kr/images/202505/2025052702100331081001[2].jpg "[기획] AI 인간명령 첫 거부 충격… 전문가 \"통제가능 오류\"")
이제현 한국에너지기술연구원 에너지AI·계산과학실장은 "명확히 살펴본 게 아니라 조심스럽지만 입력된 프롬프트 일부에 대해 누락이 일어났을 수도 있다. 모델은 확률적으로 동작하므로 상세하게 입력하다보면 종종 일어나는 현상"이라며 "오동작으로 예상범위를 벗어났을 수는 있지만 이게 자율성 확보에 해당하진 않아 보인다"고 설명했다.
전문가들은 AI나 기계의 단순 규칙 기반 행위에 무의식적으로 인간성을 투영하는 일라이자 효과를 경계한다. 이번 사례에 대해서도 AI 위험성이나 안전성의 문제가 아니라 AI모델이 풀어나가야 할 시스템 안정성 관련 과제로 바라볼 것을 주문한다. AI모델이 장차 플랫폼이나 운영체제로서도 기능하려면 이런 오작동은 최소화해야 하기 때문이다.
조성배 연세대 컴퓨터과학 교수는 "AI의 오작동과 통제권 문제는 앞으로도 주의 깊게 다뤄야 할 사안이지만, 이번 사례가 자의식을 갖고 통제를 벗어난 것이라 보이진 않는다"며 "AI를 의인화하며 과도한 우려를 제기할 필요는 없을 것"이라 짚었다.
팽동현기자 dhp@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
