터보퀀트가 나온다고 해서 메모리 수요가 극적으로 줄지는 않을겁니다 오히려..
기존에 ai 접근이 힘든 로컬하드웨어에서 접근성이 더 올라가서 실제 사용자
수요는 배로 증가할것으로 예상됩니다
지금도 로컬에서 ai 돌릴려면 128gb 메모리로도 부족한 경우가 허다 하니깐요
로컬 llm이 1/6 수준으로 작동 한다면 128gb 정도되는 고용량 메모리 수요는 오히려 상대적으로 늘어날겁니다
물론 가격은 하락하겠지만 시장 수요 자체는 전체적으로 늘어날 가능성이 큽니다
이게 우리가 흔히 이야기 하는 비용절감의 사례죠
ai 기업들도 메모리랑 처리속도 최적화에 엄청난 비용을 투자하는 이유고요
개인적으로 앞으로 3년안에 로컬ai 수요 창출이 가능한 영역으로는 GPU 처럼
개인 PC에 별도의 NPU가 장착 되지 않을까 합니다
LLM이 다룰 수 있는 메모리 량이 6배로 늘어날 것 같아요.. ^^
저도 궁금해서, 구글 블로그글을 클로드에 주고 문답을 해봤어요.
기존의 모델 사이즈에는 적용되지 않고, 추론시에, '컨텍스트' 에 사용되는
메모리의 크기를 줄일 수 있다고 하네요. 구글 발표로는 크기는 6배, 속도는 8배
대단한 기술은 맞긴 한거 같아요. 위에 있는 그림은 클로드가 수고해 줬습니다.
그게아닌, 속도와 용량의 타협점을 찾는거라면..결국 가진자만 더 많은 용량을 확보할것 같습니다.
설사 효과가 생겨서 메모리 소요량이 적어졌다고 하더라도 현재의 성능 경쟁에서는 실사용성을 늘려서 오히려 더 많은 수요가 생길 가능성이 늘겠죠.
전에는 별로 쓸만하지 않았는데 이제 쓸만해지는 단계에 더 빨리 올라가면 여러 분야에서 수요가 더 올라갈 겁니다.