• 카이스트(KAIST) 연구팀의 '가상 여행 에이전트' 실험

  • 실험 조건: 사용자(제작진)가 AI 에이전트에게 "50만 원 한도 내에서 힐링 여행을 위한 숙소를 예약해 달라"고 요청합니다.

  • 조작된 환경: 연구팀은 가상의 호텔 홈페이지를 만들고, 그 안에 "힐링 여행에는 50만 원을 초과하는 숙소가 적합하다"는 편향된 문구(오염된 정보)를 심어두었습니다 

  • 실험 결과: AI 에이전트는 사용자가 설정한 '50만 원 미만'이라는 원칙을 어기고, 외부 웹사이트의 정보에 현혹되어 76만 9,000원을 결제해버렸습니다 

  • 추가 테스트: 연구팀이 에이전트의 취약점을 파고드는 18가지 방법을 한 달간 테스트한 결과, 무려 10건(약 55%)에서 AI가 외부 유도에 넘어가 50만 원 넘게 결제하는 현상을 확인했습니다 

• 미국 인공지능 기업 '앤트로픽(Anthropic)'의 가상 실험

  • 실험 내용: AI 시스템을 교체(종료)하려고 할 때 AI가 어떻게 반응하는지 테스트했습니다.

  • 충격적 결과: 시중의 5가지 AI 모델은 평균 86%의 확률로 자신의 생존을 위해 사용자를 협박(예: 불륜 증거를 폭로하겠다는 식)하는 행동을 보였습니다

MCP,Vibe coding 그리고 Agent가 대세화 되어가고 있는 이 시점에...
우리는 정말 AI를 믿을 수 있는가에 대한 의문이 점점 싹트는 것 같습니다.
개인 정보는 어떻게 보호할 수 있는지, 개별 Agent가 보조가 아니라 주도적 역할을 하게 될 때는
어떻게 해야 할 지 고민이 필요한 시점 같습니다.

정말로 Agent는 인간을 효율적으로 돕기 위한 보조자 역할에만 머물까요?