일전에 쓴 글에서...

치명적인 문제가 드러나기 전에는 신뢰성의 의문을 갖기는 무리라고 했던 적이 있습니다.

그런데 아스트라의 점수가 이상하게 나오다 보니...

결국 찾아 내는 사람들이 생겼네요.

https://arxiv.org/pdf/2608.04975

이런 벤치 자체의 결함이 있는 것을 찾아 내거나 

보다 객관성을 향상시킨 인덱스가 되기 위해 AAII 측은 지나치게 신중한 태도를 벗어나

과감한 결단과 벤치간의 점수 반영 비중의 변화 등이 필요한 것 같습니다.

특히 과거에 유용했었을지라도 

현재 단계에 적합하지 않을 뿐더러 점수의 평균을 올리는 옛 벤치를 과감히 털어내는 것이 좋아 보입니다.

물론 현재도 그렇게 하고 있지만... 모델의 성능 향상이 더 빠른 상태이니 말입니다.

https://epoch.ai/eci?view=graph&tab=leaderboard&subset-view=graph&subset-tab=Software+engineering

(현재 상대적으로 객관적이라 알려진 대안 인덱스.)

흥미로운 점은 중국 모델 간의 편차였습니다.
KIMI3 와 GLM5.2와 5.3의 경우 상대적으로 과평가 되어 있었음을 알 수 있고,
오히려 딥시크와 Qwen이 저 평가 되고 있었습니다.

물론 전체적으로 중국 모델 전반이 약간의 과평가이고,
KIMI3는 약간...GLM 쪽이 적잖은 과평가에...딥시크와 큐웬은 약간의 저평가 정도 인 것 같습니다.

그렇다고 완전히 허구냐 하면 그것도 아닙니다.
즉, 인덱스라 하려면 말 그대로 육각형 모델로서의 다방면의 성능을 종합 검증해야 하는 것인데,
KIMI와 GLM도 나름 쓸모가 있지만 육각형으로 고르게 최상단은 아니었다는 말입니다.

이건 클로드도 마찬가지인데, 사용자들 중 상당수가 작업 성능에서 더 나은 점수를 주고 있었던 것에 비해
순수한 모델 성능은 GPT 시리즈에 비해 밀리고 있었습니다.
그간 오히려 결함 있는 일부 벤치 및 벤치 간의 비중 문제가 있는 상태에서,
사용자의 주요 사용 방법에 장점이 있는 덕에,
클로드는 이득을 본 것 같습니다.

오히려 GPT가 뾰족 지능으로 의심 받아왔지만,
알고 보니... 다소 그런 면이 없지 않아 있긴 하나, 전체 모델 대비 상대적으로 봐야 하므로,
GPT가 가장 육각형에 가까운 전반적으로 가장 우수한 것 같습니다.

AAII가 신뢰를 회복하기 전까지는 아무래도 epoch 쪽을 대안으로 보는 사람들도 제법 늘어날 것 같습니다.
왜냐면 현재 기준으로 보다 더 신뢰성 있는 인덱스를 제공하고 있으니까요.

물론 더 오랜 기간 대표 인덱스로 자리 잡고 있었던 만큼 한 번에 판이 뒤집혀지진 않겠지만,
쌍두 마차로 가게 된다던지 아니면 AAII가 대대적 개편을 한다던지 하면,
다시 기존대로 돌아갈 가능성도 있어 보입니다.

아스트라의 최신 벤치... 즉 에이전트 시대에 맞으면서 AGI에 근접하기 위해 만들어 지고 있는
계속 발전하고 있는 벤치마크들의 기준에서 아스트라가 압도적인데 반해,
종합 성능이 페이블보다 낮게 나온 것이 너무 이상한 나머지...
이렇게 결함이 발견 되고 비중의 문제가 두드러지고... 하는 것을 보면,
왜 기존에는 진즉 드러나지 않았을까.. 하는 생각도 듭니다.