엔비디아 생각이 나지 않을 수 없습니다.

항상 우려 먹던 이슈로, 매번 실적으로 증명해도 따라 붙던...

구글의 터보퀀트는 그러니까 kv캐시 압축 기술인데,

이 압축이 쓸모는 있어도 손실이 있어서 쓰는 사람만 쓰던 것을,

손실이 없는 알고리즘을 개발했다하여...

그렇다고 엔비디아가 아직 갈길이 많은 데이터센터에

HBM을 쪼금 달고 나갈리는 없는데...

설레발로 주가를 눌러 버리는군요.

메모리를 덜 사용하면 더 큰 모델 더 고성능 모델,

장기 컨텍스트를 늘리는 방향으로 가지,

메모리 사용량을 줄일 거라는 논리는 당최...

온디바이스 때문에 엔비디아 GPU가 덜 팔릴 거라던..

작년 이슈가  떠오르는 대목입니다.