@에일리언님 일반상식을 위한 범용 llm은 파라미터가 워낙 커서 꽤 괜찮은거 돌리려면 vram이 80gb는 되야겠더군요 rtx pro 6000. gpu 값이면 그냥 월 200불 플랜 쓰는게 싼거 같기도.
저희는 코딩에 특화된 qwen3-coder 같은 모델 써보고 있는데 굉장히 빠르고 코딩 잘해주더군요. claude code cli에 연결해서 사용해보니 얼추 돌아가긴 하더라구요. nvlink로 연결된 rtx a5000 두장으로 돌리는데 아마 5090 한장으로도 돌아갈듯합니다. 근데 결국 돌고 돌아 sonnet 4.6을 쓰더라도 상용llm이 맘이 놓이더라구요.
제법 괜찮은 로컬 LLM에 투자가치가 커지나요...?
저희는 코딩에 특화된 qwen3-coder 같은 모델 써보고 있는데 굉장히 빠르고 코딩 잘해주더군요. claude code cli에 연결해서 사용해보니 얼추 돌아가긴 하더라구요. nvlink로 연결된 rtx a5000 두장으로 돌리는데 아마 5090 한장으로도 돌아갈듯합니다. 근데 결국 돌고 돌아 sonnet 4.6을 쓰더라도 상용llm이 맘이 놓이더라구요.
주섬주섬 저기 누워있는 맥미니 M4 32G 를 꺼네봅니다... 방치플레이할거면 M5기다릴걸 그랬나봐요
M5 맥미니가 곧 나올 분위기던데 가성비 등극하면 타협점일지도 모르겠군요