최근 애플의 머신러닝 연구팀이 발표한 한 편의 논문이 AI 논쟁을 일으키고 있습니다. 

"생각의 환상(The Illusion of Thinking)"이라는 제목의 이 연구는 ChatGPT나 클로드 같은 최신 추론 모델이 실제로는 훈련된 데이터로부터 독립적인 '사고'나 '추론'을 수행하지 않는다고 주장합니다.

애플 연구진은 하노이의 탑, 블록 쌓기, 강 건너기 등 고전적인 퍼즐 게임을 AI에게 풀게 했습니다. 

처음에는 AI가 문제를 잘 해결했지만, 문제가 복잡해질수록 성능이 급격히 떨어졌습니다. 

가장 어려운 문제에서는 아예 답을 내지 못했습니다. 

더 흥미로운 점은 AI가 문제 해결 과정을 설명하는 텍스트의 길이도 함께 줄어들었다는 것입니다. 

연구진은 이를 AI가 어려운 문제 앞에서 '포기'하는 증거라고 해석했습니다.

이 논문은 X의 머신러닝 커뮤니티 등에 퍼졌고,  EasyGen의 창시자 루벤 하시드(Ruben Hassid)는 "애플이 Claude, DeepSeek-R1, o3-mini와 같은 AI '추론' 모델들이 실제로는 전혀 추론하지 않는다는 것을 증명했다"며 "그들은 단지 패턴을 정말 잘 암기할 뿐이다."

라고 언급하기도 했습니다.

즉각적인 반박도 뒤따랐습니다. 

가장 주목받은 반론은 ‘생각의 환상의 환상(The Illusion of the Illusion of Thinking)’이라는 제목의 논문이었습니다. 

이 논문은 추론 LLM 자체인 Claude Opus 4와 기술 작가이자 연구자인 알렉스 로슨이  공동 집필한 것으로, 애플의 연구 방법론에 치명적인 결함이 있었다고 지적합니다. 

특히 토큰 제한 문제를 성능 저하의 주 원인으로 지목했습니다.

예를 들어, 하노이의 탑 퍼즐의 경우, 디스크 수가 많아질수록 요구되는 출력 단계는 기하급수적으로 늘어납니다. 

15개의 디스크가 필요로 하는 단계 수는 32,000이 넘습니다. 

이처럼 출력 자체가 모델의 컨텍스트 윈도우를 넘어서게 되면, 설령 올바른 전략을 세웠더라도 모델은 결과를 다 표현할 수 없어 틀린 것으로 간주됐다는 것입니다.

X에서도 다양한 반론이 제기됐습니다. 

일부 연구자들은 애플이 모델의 성능 저하를 추론 실패로 잘못 해석했다고 주장했고, 퍼즐의 복잡성이 증가할수록 출력 양도 비례해 증가한다는 점을 간과했다고 지적했습니다. 

어떤 퍼즐은 해를 구하는 것보다 그 해를 출력하는 것이 더 어렵다는 점에서, 모델이 출력할 수 있는 ‘종이’가 부족했던 것일 수 있습니다. 

또 인간조차도 메모리 보조 도구 없이는 같은 퍼즐에서 성능이 낮을 수 있으므로, 인간과의 비교 없이 추론 실패를 단정짓는 것도 신중해야 한다는 의견도 있었습니다.