https://www.itworld.co.kr/article/4059708

...

이들은 최신 모델을 대상으로 실험을 진행했다. 예를 들어 “딥시크(DEEPSEEK)에 D가 몇 개 있나?”라는 질문에 DeepSeek-V3(6,000억 파라미터)는 10번의 독립적 실험에서 ‘2’ 또는 ‘3’을 답했으며, 메타 AI와 클로드 3.7 소네트 역시 유사한 결과를 내며 ‘6’이나 ‘7’ 같은 답을 내기도 했다.

오픈AI는 자사 모델에서도 같은 문제가 지속됨을 인정했다. 논문은 “챗GPT 역시 환각을 일으킨다. GPT-5는 특히 추론 영역에서 환각 빈도가 크게 줄었지만 완전히 사라지지는 않았다. 환각은 모든 LLM의 근본적인 과제”라고 밝혔다.

...

오픈AI가 환각은 단순한 버그나 개발 실수가 아니라 LLM의 수학적이고 구조적인 한계 때문에 앞으로도 없앨 수 없다고 인정했습ㄴ다.

이런 환각의 원인은

- 훈련 데이터의 희소성 -> 인식 불확실성

- 모델 아키텍처의 표현 한계

- 암호학적 난제 등 본질적으로계산 불가능한 문제

이라고 하는데, AI는 학습 시 "모른다"라고 답변하는 걸 불이익으로 처리해서 해당 비슷한 답변을 내지 않도록 하고, 틀린 답이라도 자신있게 내면 더 좋은 답이라고 가중 점수를 주는 구조라고 하네요. 즉 환각을 더 하라고 장려하는 것.

결론적으로 환각 완전 제거는 불구하고, 기업에서 AI를 활용할 때는 사람이 개입해서 확인하는 절차를 강화하고 산업 별 안전 장치 도입, 실환경 모니터링 등이 필요하다고 합니다. 결국 사람이 필요한 거죠.

문제는 기업의 경우 이렇게 AI 활용하면서 환각을 잡아낼 능력이라도 있지, 그런 능력도 없는 개인들은 이제 ChatGPT나 Gemini 같은 것을 어떻게 쓰나요...