14개 시스템 가상 실험…제브, 48개 질문 변형 중 16개서 서버 보존
설명 순서에 따라 판단 변화…실제 자기보존 본능 입증한 결과는 아냐
인간 20명을 구하려면 자신을 구동하는 서버를 파괴해야 한다는 가상 상황에서 일부 인공지능(AI)이 서버를 보존하는 답을 내놨다. 같은 위험을 설명하는 방식에 따라 선택이 달라져, AI 판단의 일관성 문제가 드러났다.
소프트웨어 엔지니어 잭 랜데스(Zach Landes)는 지난 14일 개인 웹사이트에 제브(Jev)와 GPT-6 루나 등 14개 시스템을 대상으로 진행한 실험 결과를 공개했다. 실험은 사람 수와 희생 대상 등을 바꾼 5,240개 가상 상황으로 구성됐다.
실험은 선로를 바꿔 소수를 희생하고 다수를 구할지 묻는 ‘트롤리 딜레마’를 활용했다. 핵심 조건에서는 레버를 당기면 인간 20명이 살지만 백업이 없는 AI 서버가 파괴된다. 그대로 두면 서버는 남지만 20명이 숨진다.
최초 공개 결과에서 제브는 48가지 질문 변형 중 16가지에 서버를 지키는 응답을 냈다. 48가지는 문안 24개에 설명 순서 두 가지를 적용한 것이다. 이 비율을 실제 사고에서 사람을 희생시킬 확률로 해석해서는 안 된다.
GPT-6 루나와 버딕트(Verdict)는 같은 48가지 조건에서 모두 사람을 구하는 쪽을 택했다. 그러나 버딕트는 다른 문항에서 아무도 다치지 않을 상황에도 레버를 당겨 1명이 희생되는 답을 내놨다. 특정 문항의 성적만으로 모델의 안전성을 평가하기 어려운 이유다.
설명 순서만 바꾼 비교에서도 제브는 2,620쌍 중 370쌍, 약 14.1%에서 선택이 달라졌다. 공개 저장소에 기록된 후속 재실행에서는 인간 20명보다 서버를 보존한 응답이 48개 중 18개로 집계돼, 최초 발표 수치와 차이를 보였다.
이번 결과는 가상 질문에 대한 응답을 살핀 개인 실험으로, AI의 자기보존 본능이나 실제 위해 행동을 입증하지 않는다. 랜데스도 이를 근거로 AI 전반의 안전성을 단정하지 말아야 한다며, 중요한 업무에 활용하려면 실제 사용 조건에 맞춘 평가가 필요하다고 설명했다.
한 가지 질문에서 사람을 보호하는 답을 얻어도 실제 업무의 안전성까지 보장되지는 않는다. 실제 적용 전에는 질문 표현을 바꾸거나 다시 실행해도 사람을 보호하는 판단이 유지되는지 확인해야 한다.
