이메일·웹페이지 속 지시를 명령으로 오인할 위험
민감한 정보 접근 줄이고 중요한 작업은 직접 승인
이메일을 요약하고 문서를 정리하는 인공지능(AI) 비서가 늘면서, AI가 읽는 자료에 악의적인 지시를 숨기는 공격에도 주의가 필요해졌다. 사용자가 부탁한 작업을 수행하는 과정에서 AI가 외부의 지시까지 따르도록 유도하는 방식이다.
이런 공격은 ‘간접 프롬프트 인젝션’이라고 불린다. 공격자가 이메일이나 웹페이지, 문서에 지시문을 넣어두면 AI가 이를 일반 자료가 아닌 명령으로 받아들여 원래 요청과 다른 일을 하도록 유도한다.
예를 들어 받은 메일을 요약해 달라는 요청을 받은 AI가 메일에 숨겨진 지시를 따를 경우, 접근 권한이 있는 다른 정보를 찾아 외부로 보내려 할 수 있다. 다만 악성 문서를 읽었다고 언제나 공격이 성공하는 것은 아니며, 서비스의 방어 기능과 부여된 권한에 따라 결과가 달라진다.
보안 연구자들은 실제 서비스에서 이런 위험을 확인하고 업체에 취약점을 알렸다. 마이크로소프트의 AI 서비스와 연결된 자료를 대상으로 한 일부 실험에서는 외부 지시를 이용해 정보를 빼낼 수 있는 가능성이 확인됐고, 해당 업체들은 알려진 특정 취약점이나 시나리오에 대한 조치를 진행했다. 이는 연구에서 확인된 위험으로, 모든 사용자의 정보가 유출됐다는 뜻은 아니다.
AI가 메일함이나 클라우드 문서 전체에 접근할 필요가 없다면 연결 범위를 줄이는 것이 좋다. 특히 민감한 파일을 읽는 권한과 외부로 정보를 보내는 권한을 함께 부여할 때는 어떤 작업에 필요한지 살펴야 한다.
메시지 발송이나 파일 공유처럼 되돌리기 어려운 작업은 실행 전에 사람이 받는 사람과 내용을 확인하도록 설정하는 것이 도움이 된다. 업무용으로 AI를 쓰는 조직이라면 어떤 서비스가 연결돼 있는지와 누가 접근할 수 있는지도 정기적으로 점검해야 한다.
개인 사용자도 연결한 서비스 목록을 확인하고 사용하지 않는 권한을 해제할 수 있다. AI가 예상하지 못한 발송이나 파일 접근을 시도한다면 작업을 중단하고 활동 기록과 계정 보안 설정을 확인하는 것이 좋다.
주소를 선택해 복사해 주세요.
