https://twitter.com/konstiwohlwend/status/2097164513527357608
이건 아스타라가 롤을 복사했다고 하여 화제여서 가져와 봤습니다.
본론은....
근래 중국 AI기업의 속내가 매우 복잡하다는 후문입니다.
이런 거죠.
문제의 핵심을 찾아가는 경로 추적의 능력에 있어서 너무나 현격한 차이가 있어서,
중국 모델이 100번의 내부 추론 과정을 거쳐야 할 것을... 아스트라는 20번이면 되는 식입니다.
그리하여 아스트라가 더 빠르고 좋은 답을 내면서
결과물에 따르는 최종 비용마저 더 싼 것이 가능하게 되었습니다.
https://twitter.com/dtzy_88/status/2096898220949708909?s=20

제가 자주 이야기 하는.... 순수 지능 + 문제 해결 과정이 잘 결합하여,
복잡한 문제를 풀기 위해 무수히 반복하는 방식의 중국 모델들과 차별화를 이룬 것으로 볼 수 있습니다.
즉, 검토하고 검증하는 과정을 계속해서 반복하며 벤치 점수를 올리는 중국 모델과 달리
실제 문제 해결을 위한 직접적인 접근에 필요한....지능 자체를 올리는 방식을 선택한 것이 이제야 승부를 낸 것 같습니다.
보이는 점수와 달리 이렇게 기술을 쌓아 올리는 것은,
생각보다 강한 해자로 작용하게 됩니다.
왜냐면 그 때만이 아니라 그 다음도 봐야 하는데,
아스트라의 방식은 자가 발전의 효율이 훨씬 좋기 때문입니다.
아스트라가 이렇게 좋게 되면, 아스트라가 다음 모델의 성능을 끌어 올리는 역할을 하게 됩니다.
당장의 모델만 비교 대상이 되는 것이 아니라 지금의 모델이 다음 모델에 영향을 주게 되고,
이 선순환의 효율에서... 오픈AI가 크게 앞서 있다는 것입니다.
달리 말하면.... 생각 보다 중국 모델이 가까이 와 있는 것처럼 보였던 것은 착시였던 것입니다.
아스트라가 곧 구형 모델이 될 것(내부 모델은 아스트라와 급이 다르다고 합니다)이라고 하는 챗지피티 측의 이야기를 감안하면.....당분간이 아니라 못해도 1년은 미중 양국 기업 간의 격차는 줄어들지 않을 것 같습니다.
어떤 기술이든 축적 된 기술과 노하우에 기반하여 발전하다
그 성장 곡선이 둔화 될 시기에 보다 더 나은 아키텍쳐로 재설계 하는 도약의 과정을 필요로 하는데,
이 방향 자체에서 미중 간의 갈림길이 발생했고,
지금의 결과는 미국의 기술 축적 방식이 맞았던 것 같습니다.
중국이 방향을 틀려고 하더라도, 이미 벌어진 격차는... 상당 기간 메우기 어려워 보이네요.
더 많은 데이터 센터
더 많은 GPU, 더 많은 전력
더더더 많은 HBM...
눈앞에 무엇인가 잡힐 듯한 것이 어른 거리는데
투자를 계속해서 끝장을 보고 싶을 것 같네요.
AI코딩 스킬 배우는게 의미 없어질 날이 올 것 같네요.
sol extra high보다 더 만족…;;
그런데 뭐 지금도 역할분담하고 있어서 큰 타격은 아닐거 같습니다.
모두 복잡한 업무만 있는 건 아니어서 싼마이 필요한 곳에는 중국산을 쓰고, 복잡한건 미국꺼쓰구 할 거 같아요.
온프레미스로 데이터 유출 꺼리는 건 직접 오픈소스로 돌릴 거 같네요.
성능이 비슷해지면 결국은 가성비죠.
음... 가끔 이런 댓글이 좀 당황스러울 때가 있습니다.
미국이 보이는 토큰 가격이 아니라 총 가성비에서 더 앞서고 있는 이유를 말하는 글인데 말입니다.
이 글의 핵심은 실제 성능에서 비슷해 진 적이 없고, 가성비도 앞서는 중이라는 얘깁니다.
미국과 중국의 격차는 이제 일년 이상으로 벌어진 것으로 보입니다.