전에도 종종 언급했었지만,

모델의 크기는 그 안에 녹여낸 지식의 양과 깊이에 모두 영향을 줍니다.

이번에 K엑사원 신 모델은 모델 사이즈가 이전보다 훨씬 커졌는데,

벤치 성능은 10% 가량 향상되었으니...

결과치 자체는 괜찮다고 볼 수 있으나 기대에는 미치지 못하는 형국입니다.

다만 모델의 용량으로 드러나는...학습 데이터의 양은

실 사용에서의 체감을 끌어 올려 줍니다.

즉, K엑사원은 모델의 수치적 평가에서 아쉬울 뿐

체감은 더 좋을 수 밖에 없습니다. 물론 동 성능 지표 내에서요.

K엑사원의 2.0의 벤치 성능은 업스테이지의 더 옹량이 작은 모델 보다 낮습니다.

이것은 선두였던 곳의 차기 모델로서는 아쉽다고 하지 않을 수 없습니다.

최근 추세를 보면 AI모델에 숨은 기술이 있다는 것을 체감하고 있습니다.

무슨 말이냐면... 모델 성능의 차별화를 이루는 혁신적인 방법론을

아는 것과 아닌 것의 차이가 생기고 있다는 것이고,

좋은 예로 허깅페이스가 전에 들어 본 적 없는 (제가 소개도 했던) 27B짜리

새 모델이 등장하여 동급 최고(Qwen3.6) 근처거나 상회 하는 놀라운 모습을 보인 적이 있습니다. 

즉, 새로운 모델을 훈련할 때... 기존에 알려진 기술은 점점 더 상향 평준화 되어 가고 있다는 점,

그리고 그 가운데 차별화된 저 마다의 비법이 있다는 것입니다.

조금 더 쉽게 말하자면, 이제 과거 대비 Qwen3.6 정도의 성능을 만들어 내는 것은

보다 더 수월해졌고 수월해질 것인데, 

대신 그 이상으로 가기 위한 차별화는 여전히 어렵다는 것입니다.

이번에 SKT가 훈련한 데이터를 보면 공개 자료들이 다수 였습니다.

이런 공개 데이터의 수준도 갈수록 좋아집니다.

그런데 기술 가이드를 보면 공개 할 수 없는 훈련 데이터가 있더군요.

생각 보다 그 비중은 꽤 적었습니다.

그 적은 양으로 차이를 만들어 내고 있는 것임을 이 때 알 수 있었습니다.

벤치 항목도 최신 트랜드의 반영이 잘 안 된 모습입니다.

그럼 어느 정도였어야 좋다고 말할 수 있을까요.

업스테이지의 솔라 오픈2 를 소폭 상회 했어야 합니다. 

이 모델의 사이즈가 K-EXAONE 대비 훨씬 작기 때문에

비등하거나 조금 못하다는 것은... 좀 생각해 볼 문제입니다.

독파모 우승 후보였던 엑사원의 최신 모델을 보면....

다른 우승자가 나올 가능성을 생각해 보지 않을 수 없게 합니다.