@푸풍푸님 글쎄요. LLM 모델도 구조가 바뀌어가면서 범용적 연산기 즉 GPU 가 그 변화에 신속히 대응하고 있는 부분은 다른 NPU 에서 쫓아가기 힘든 부분이죠. llama3.1 세대만 해도 행렬곱만 때려박으면 되는 수준이었지만. 최신 모델은 GDN 이니 n-gram 등으로 KV cache 까지 최적화 하려고 convolution 까지 다시 들고 오기 시작했어요. 기존 NPU 는 새로운 구조에 맞게 설계하면 나오는데 최소 2년은 걸리니 늘 이런 새로운 설계에 대해서 최적화 부분에서 뒤쳐지고요. 추론 최적화 업계에서 하는 얘기가 그거예요. 아직은 공짜로 NPU 를 갖다 써도 토큰 생산 원가 생각하면 GPU 가 더 싼 거라고.
엔비디아 하나 값으로 2분의1성능 3개를 사고 세팅하면 같은 돈으로 더 빠르게 구축할 수 있죠.
문제는 옛날 게임들마냥 엔비디아만 지원하는게 대부분이라 이 부분만 인정받는 소프트가 나오면 양강구도로 가지 않을까 싶습니다.
혹시 맥 스튜디오 등에서 LLM 돌리는거도 쿠다불러서 돌리는걸까요?
제가 ai 나 S/W쪽으론 아는게 없어서
전에 H/W 설계자였습니다. 지금은 그만둔지 20년 됐긴 했습니다만... 디지털로직 쪽입니다.
추론 최적화 업계에서 하는 얘기가 그거예요. 아직은 공짜로 NPU 를 갖다 써도 토큰 생산 원가 생각하면 GPU 가 더 싼 거라고.
GPU나 NPU가 하는일이 행렬로 벡터비트연산 하는거 아닌가요?
그걸 왜 행렬연산하는지 제머리로는 도무지 이해가 안가네요