AI의 하네스가 중요해진 이유는 달리 말하면,

답변의 방향과 범위를 좁혀 그 안에서 보다 더 깊이 생각하게 하기 위함이나

생각 보다 생각의 깊이가 큰 차이는 아닌 듯 싶습니다.

그저 규칙이나 도구를 더해 효율과 방향을 잘 잡아 주는 것.

잘못된 방향일 때 여러 번 거쳐야 하는 과정을 줄여 줍니다.

그럼에도 기본적인 모델의 한계를 하네스로 극복하는 것은 어려운 일 같습니다.

중국 모델 중에서는 KIMI 쪽이 그나마 가장 낫다는 평가가 있습니다.

결국 복잡한 장기 작업(Long-horizon tasks)과 같은...

거대한 컨텍스트를 필요로 하는 작업에서는 여전히 미국 모델이 크게 앞서 있다는 것입니다.

바꿔 말하면...

비교적 단순한 작업일수록 중국 모델의 싼 API가격이 의미가 있다는 말이 되겠습니다.

미국 모델 중에서는 제미나이가 가장 쳐집니다.

조금 전에 어떤 하나의 질문을 제미나이 3.5 플래시로 돌려 봤는데,

답변 중에 환각이 너무 심해서,

일일이 자료를 제가 찾아서 제시해 주기를 대여섯번 반복해서 겨우 원하는 비교표를 얻을 수 있었습니다.

속이 터지죠.

인터넷에 자료가 없는 것이 아니라 전부 있는 자료들인데 말입니다.

나름 환각 방지 시스템 프롬프트를 넣어 두었는데도... 

답변이 이상하면 그 이상한 지점을 찾아내 입력해주고,

이렇게 또 그러길 ... 끝까지 제미나이는 환각을 붙잡고 놓치려 하지 않는 것처럼 보일 정도로...

제대로 된 답변이 나오지 않더군요.

현재 가장 가성비와 성능의 균형이 잡혀 있는 모델은 지피티5.5인 것 같습니다.

예전에 딥시크를 비롯해 장기 기억... 기준으로 한 성능 비교에선,

중국 모델 중 단 하나도 제대로 된 것이 없었습니다.

그럼 지금도 그러한가... 제가 알기로는 많이 좋아졌습니다.

그래서 이제 상대적으로 더 좋다고 하긴 어려워도

크게 문제 수준은 아닌 것 같습니다.

진짜 문제는 테스크의 완성 문제입니다.

앞서 말한 일을 완성하는데 있어서 중국 모델은 토큰 낭비가 너무나 심각하다는 것입니다.

에러가 발생하고 그걸 또 고치는 루프가 반복되는 것이 가장 흔한 예입니다.

최근에 나온 Qwen3.7 맥스만 해도 벤치 성능이 미쳐 돌아가는데,

정작 테스크를 수행하는데는 여전히 애로사항이...

테스크 완성 시점의 최종 토큰에서,

지피티 5.5 와 클로드 오푸스 4.7은 비약적인 발전을 했습니다. 

근데 또 여기서 생각해 볼 지점이 있습니다.

중국 모델에 하네스를 아주 잘 끼운다면?... 이란 생각을 해보자면,

나름 좋은 결과물이 나온다는 말이 있습니다.

이미 잘 적용해서 쓰는 분들도 있고요.

그럼에도 모델 자체에서 벌어지는 한계가 아직은 뚜렷한 것 같습니다.

구글도 이런 점에서 아쉬움이 많습니다.

최근에 나온 소식에 의하면 컨텍스트를 두배 늘렸다고 합니다.

원성이 자자 했던 것 같습니다.

질문을 하는 와중에 까먹는....지경이라...

아무래도 이대로라면,

엔트로픽이 콜로서스의 자원을 활용할 수 있게 되었고, 

경량화에 조금 만 더 성과를 내게 된다면...

이 쪽이 한동안 흥 할 것 같다는 생각이 듭니다.

어찌 되었든 눈에 보이는 비용 보다

실제 결과물이 나왔을 때를 기준 삼았을 때 현재 가장 나으니까요.