물론 HBM이 있으면 무조건 좋겠지만....
가성비를 따졌을 때
HBM 16GB vs GDDR 128GB vs LPDDR 256GB
이런 구도라면 GDDR이나 LPDDR이 더 좋을 수도요....
GB10플랫폼 LPDDR 273GB/s로도 토큰 생성속도가 좀 느리긴 하지만 또 아주 느리진 않더라고요.
램 대역폭이 400~500GB/s만 되어도 개인이 혼자 쓸 로컬LLM용으로는 괜찮은 성능 같아요.
물론 HBM이 있으면 무조건 좋겠지만....
가성비를 따졌을 때
HBM 16GB vs GDDR 128GB vs LPDDR 256GB
이런 구도라면 GDDR이나 LPDDR이 더 좋을 수도요....
GB10플랫폼 LPDDR 273GB/s로도 토큰 생성속도가 좀 느리긴 하지만 또 아주 느리진 않더라고요.
램 대역폭이 400~500GB/s만 되어도 개인이 혼자 쓸 로컬LLM용으로는 괜찮은 성능 같아요.
A sana mens sana in corpore sano
물론 제 사양이나 제 실력이 허접한 것도 있지만요.
1500만원이라는 저렴한 가격에 96기가 메모리..
개인용은 다 떠나서 일단 메모리 용량이 먼저 아닌가 해요.
근데 정말로 AI기술을 바닥부터 연구하는 사람말고 응용하는 사람이면 그냥 상용 AI 서비스 쓰는게 맞지 않나 싶어요.
좀 괜찮은 local llm 모델을 얹을려면 64GB 나 128GB 는 필요한데, 일단 메모리 가격부터가 문제인 상황이라.