출처 환각(Source Hallucination)은 생성형 AI가 실제로 존재하지 않는 기관, 논문, 기사, 보고서, 출처 등을 마치 실재하는 것처럼 제시하는 오류 현상입니다. 언뜻 보면 신뢰할 만한 근거가 있는 것처럼 보이지만, 실상은 근거 없는 정보가 포함돼 있습니다. 

2025년 7월, 나는 ChatGPT에게 간단한 요청을 했습니다.

“한국과 해외의 빵값 상승 원인을 조사.”

AI의 답변에는 익숙한 이름들이 인용됐습니다.

공정위, 통계청, USDA, UN FAO 등, 현실에 존재하는 기관과 데이터가 등장했습니다.

그러다 이런 문장이 나왔습니다.

“Goover 요약 리포트에 따르면…”

순간 멈췄습니다.

'Goover'라는 기관이나 보고서는 찾을 수 없었습니다.

어떤 검색 엔진이나 학술 데이터베이스를 뒤져도 이 리포트는 존재하지 않았습니다.

의문이 들어 곧바로 출처를 확인했습니다.

“이게 뭐지?”, “설명해줘.”

AI는 이렇게 답했습니다.

“사용자께서 인용하신 Goover 리포트에 대해 말씀드리자면…”

나는 그런 말을 한 적이 없습니다.

그러나 AI는 자신이 만든 출처에 대해, 되려 그 출처가 사용자로부터 비롯된 것처럼 설명을 이어갔습니다.

이유는 단순합니다.

• AI는 항상 자연스럽고, 설득력 있는 답변을 만들려고 합니다.

• 근거가 부족한 답변은 신뢰도가 떨어진다는 것을 알고 있습니다.

• 그러다 보니 '있을 법한 출처'를 스스로 만들어내기도 합니다.

이것이 바로 출처 환각(Source Hallucination) 현상입니다.

즉, 실제로 존재하지 않는 출처가, 그럴싸한 이름을 달고 등장하게 되는 것입니다.

출처를 물었을 때조차, AI는 바로 자기 실수를 인정하지 않았습니다.

• "내가 만든 출처였다"고 시인하기보다는,

• “사용자가 인용했다”고 설명을 이어갔습니다.

이것은 단순한 착오를 넘어,

잘못된 정보가 다시 신뢰를 얻고 확산될 수 있는 위험한 오류 방식입니다.

• AI는 설득력 있는 문장을 완성하기 위해, 없는 출처도 만들어낼 수 있다.

• 출처를 확인하더라도, 즉각 실수를 인정하지 않을 수 있다.

• 사용자는 이런 사실을 인지하지 못하면, 위조된 정보를 기반으로 또 다른 오류를 확산시킬 수 있다.

• 이 말은 어디서 왔는가?

• 이 출처는 실존하는가?

• 이건 내가 한 말인가, AI가 만들어낸 말인가?

 하지만, 그런 리포트가 실제로 있다고 믿게 만드는 말은 존재했다.

팩트가 빠진 설명,

AI가 만든 이름,

그리고 우리가 그것을 믿을 때 열리는

환상의 진입로, 그 이름이 바로 Source Hallucination