그록3와 4의 파라미터는 3T였다고 합니다.

최근에 가장 큰 주목을 받은 오픈소스 K2 씽킹이 1T라는 점을 감안하면,

상당히 크다고 할 수 있습니다.

애초에 프런티어 모델의 크기는 거의 공개하지 않으려 하는 판이라,

추정만 하다 이번에 그록5가 6T라는 말이 나오면서 같이 묻어 나온 정보입니다.

여기서 유추해 볼 수 있는 것은...

오픈AI와 구글의 파운데이션 모델의 크기가... 생각 보다 더 클 것 같다는 것입니다.

아무래도 제 개인적 느낌은...이들 역시 3T전후가 아닐까 싶습니다.

제가 xAI를 무시하려는 것은 아니고 그록을 사용하면서 느낀 ...

아주 근거 없는...그저 주관에 의거한 생각을 한 번 풀어보겠습니다.

구글의 경우 타이탄즈에 이어 호프까지...기억 문제 및 종합적인 지능 및 활용성 극대화를 위한

.. 즉 트랜스포머를 갈아 엎는 수준으로 다른 생명을 갖게 하기 위한 투자를 계속해왔습니다.

나노바나나가 일관성을 해결하며 주목 받았던 것도 그렇고,

그 이전에 백만 컨텍스트 제공의 포문을 연 것도 그렇고,

모두 타사 대비 한 발 앞서서 중요한 길목에 도달했습니다.

즉, 모델의 최대 극복 난관...뚫어야 할 절대관문 같은...

그것을 벗어날 방법이 없고, 오로지 정면으로 뚫어야 다음이 가능한 난관을

선제적으로 풀어냈습니다.

일관성 없이 이미자와 영상의 상업성은....현저히 떨어질 것이고,

컨텍스트 길이 확장은 보다 심도 깊은 세부 분야의 진출의 바틀넥 부수기가 됩니다.  

제미나이 2.5프로가 종합 점수 면에서는 지피티5에...밀렸고, 지피티5.1에는 더 크게 밀리지만,

언어 작문 같은 것과 지식이 필요한 것에 대한 질문에 가장 두루 무난하고,

나아가 종합점수에서는 제법 큰 차이가 나는 지금 시점에도 여전히 일부에선 뒤지지 않거나

저마다 다르며 일부는 아직도 더 좋습니다.

그래서 추정해 보는 것이 이런 능력치는 주로 크기에서 비롯 되는 경우가 많습니다.

구글의 파운데이션 모델이 적어도 3T이상일 것임을 짐작해 보게 되는 이유입니다.

그런데 xAI와 구글, 오픈AI가 다르게 느껴지는 점은...

스케일을 키우는 것 자체가 큰 난관이자 어려움인데,

xAI는 이 부분을 막대한 투자로 그 겉모습은 따라 하는데 이미 성공했고,

앞으로도 성공할 것 같은데, 내실은.... 에서... 질문을 갖게 합니다.

구글과 오픈AI는 이 내실 다지기를 다지면서 동시에 활용성 ,수익성을 위한 여러 사업도 병행하고 있습니다.

이 두 곳 외에는... 비슷한 시도는 있지만... 미미 합니다.

제조업으로 비유하자면, 상품을 찍어 파는 것에 급급한 것이 아니라

신상품 및 시장 확대를 동시에 연구하고 투자하는 것과 비슷합니다.

지피티5.1은 이제 화제도 잘 안 되지만,

단순 벤치마크를 위한 점수가 아니라 실제 5에 이어 연속 SOTA를 찍습니다.

스케일을 키우는 것 외에 뭔가 인텔리젼스를 올리기 위한 방법을 찾아 낸 것이 아닌가 싶습니다.

5.1은  0.1이 붙은 정도가 아니라 앞자리 수가 바뀌어야 할 정도가 된 것 같습니다.  

조금 지나간 이야기 일 수도 있지만,

엄청나게 큰 데이터를 한 꺼 번에 엄청난 GPU로 학습하고,

그것을 생각의 사슬로 다시 반복...

이렇게 나온 합성 데이터를 인간이 검수 하고,

또 반복...

GPU 숫자가 필요한 이유를 말해주는 이런 스케일의 싸움 외에도

같은 크기에서 더 뛰어난 지능을 만들기 위한 

온갖 방법론을 ... 연구하고 적용시키고 있는 두 선두 기업들에 비해

그록은 이런 관문을 뚫는 연구...가 부족한 것이 아닌가...

이런 생각을 해보았습니다.

그나마 스케일로만 보면 넘어설 수도 있는 유일한 곳이 xAI임에도

실 성능에서 체감적으로 부족한 이유를 생각해 보았습니다.