많은 분들이 구글에 거는 기대 중에는

구글 생태계가 가장 중요한 기준이 되고 있을 것입니다만...

돈을 잘 벌고 있는 가운데 새로운 AI 산업에 있어서도 가장 무리하지 않으면서

AI 로 자사 서비스를 융합하고 있는 현실도 한 몫을 하고 있을 것입니다.

그런데, 제미나이를 써 보신 분들은 아시겠지만,

생각 보다 그렇게 쾌적하진 않습니다.

천하의 구글도 서비스 병목이 있다는 것입니다.

지금이야 과도기이므로 이 정도 불편함을 감수 하는 것이지,

어느 정도 성숙 단계에 들어서면...답답함은 곧 이탈로 이어질 공산이 있습니다.

이 병목 현상을 줄여 보기 위해 오늘 화제가 된 KV캐쉬 압축 기술이 소개 된 것이기도 하고,

또한 소라 동영상 서비스를 중단하는 이유가 되기도 할 것입니다.

오픈AI의 경우 다른 서비스를 곁들이지 않고 오로지 AI 전문이지만,

그럼에도 종종 답변이 느리게 나올 때가 있습니다.

언제일까요? 추측이지만 사실이라 생각하는 대목이 바로...

AI 모델 학습 및 런칭 하기 직전의 기간입니다.

유저들의 반응 중에 여러 불만의 소리가 나오고 얼마 지나지 않아

새로운 모델이 공개 될 것이라는 소식이 들리는... 이런 패턴이 여러 번 반복 되었었거든요.

지피티5부터.. 조금 줄어 들어 예민하지 않으면 잘 못 느낄 수도 있게 되었는데,

아무래도 외부에 알려지지 않은 최적화 기술이 들어간 것으로 추측해 볼 수 있겠습니다.

KV 캐시 압축은 ... 이미 하고 있었을 가능성이 높습니다. 전 거의 그렇다고 봅니다.

(물론 KV캐쉬 압축 방식이 구글의 신기술과 다른 구현이겠거니... 하고 보는 중입니다.)

파운데이션 모델이 7T라는 말도 있었는데,

서비스 되는 일반.. (무료로도 쓰는) 모드에서 400B 이하의 MoE 모델이라는 이야기도 있었습니다.

여튼, 구글은 동영상 생성에 크레딧을 부과 하며 제한을 두고 있지만...

당시 분위기로는...안 할 수는 없고, 

소라 공개 당시 샘 알트만이 이 때문에 언론에 대고 하소연 한 적이 있었습니다.

컴퓨팅 자원이 너무 많이 들어가니 스케쥴에 지장이 있을 정도였으니까요.

많이들 기억하시겠지요.

즉, 구글이든 오픈AI든 데이터센터의 부족은 절감하고 있을 것이라는 말입니다.

무슨 말이냐면...지금은 회사 내에서 해야 할 일들에 비해

컴퓨팅 자원이 부족하여 동시에 각자 쓰기에는 벅차니,

스케쥴에 따라 나누어 분배하고 있지만, 이렇게 하다 보면 뒤쳐질 확률이 얼마라도 높아질 것이니까요.

그런데, 또 발목을 잡는 대목이 있습니다.

바로 에이전트인데요.

에이전트는 말 그대로 토큰 잡아 먹는 귀신입니다.

아마 관련 응용 능력이 좋아진 지금과 달리,

준비가 덜 된 상태의 과거의 어느 시점에 에이전트가 활성화 되었다면 더 지옥이었을지도 모릅니다.

지금은 많은 보조 도구들이 개발 되어 있고,

각 서비스 기업들도 노하우가 많이 쌓여 있어서 버티는 것이지,

오픈클로 사용자가 지금 보다 더 많이 늘어나면...

아마 감당이 쉽지 않을 것입니다.

그래서 몇몇 곳은 계정 인증을 막기 위한 조치도 하고,

엔트로픽은 하드한 사용자에게 과금을 조금 더  많이 내게 합니다.

물론 이런 조치 이전에 중국 개발자들이 엄청나게 긁어대서,

무려 맥스 구독 가격의 10배 .. 나아가 100배씩 뽑아 먹었다는 사례가 있다 보니,

아무리 일반 유저들이 이 리스크를 나누어 주고 있긴 하지만,

그럼에도 부담이 아니 될 순 없었을 것입니다.

그렇다고 에이전트 서비스를 하지 않을 수는 없습니다.

에이전트는 그러니까 AI 확산의 중요 발판이 되어 줍니다.

앞으로 데이터 센터가 추가 되고, 컴퓨팅 자원이 많아지잖아요?

그럼 지금의 에이전트가 아니라 온갖 분야에 AI 에이전트로 도배 될 것입니다.

특히 하드웨어 제어까지 해야 하는 경우,

온갖 체크해야 할 것들이 많아집니다.

개발도 그렇고 글쓰기도 그렇고,

앞서 말한 터보퀀트 및 여러 신기술을 도입이 되면,

같은 AI를 써도 상업적이거나 학술적 가치를 극대화 하기 위해

검증 설계를 더 촘좀하게 하는 등의 신규 수요가 발생하게 됩니다.

부담으로 느끼지 않고 도입 할 가격이 되면...

개인 만이 아니라 기업 사용자는 더 폭발적으로 늘어날 수 있습니다.

AI 동영상 서비스를 중단하고, 월드 모델을 개발하겠다는 것도

실은 성장 우선이었던 과거와 달리,

이제는 실용성도 더하는 판으로 바뀌어 가려 하는,

현 시점의 대응 계획이라는 것입니다.