M1 Max 32GB로 로컬LLM 어느 정도가 가장 적당할까요?

댓글 5

1. 행복주식회사 · 2026-09-30 06:42:33 · 공감 1

   원활히 쓰려면 현 맥에서는 Qwen 2.5 14B가 실사용 가능한 정도입니다. 물론 현재 사용하는 Qwen3.8 27B도 가능한데, 그러면 질문하신대로 속도 저하가 발생할 겁니다. 만약 현 모델과 유사한 수준의 추론을 유지하면서 속도를 높히고 싶다면 DeepSeek-R1 14B 정도가 현실적일 겁니다.
   
   Neural Engine 때문에 아직은 맥 시스템에서는 LLM을 사용하기 위한 다른 대안의 os가 없습니다. 현재의 Qwen3.8 27B를 사용하면서 속도 향상이라도 하고 싶으면, Context Window을 4K로 제한하거나 Q3_K_M 모델로 바꾸면 초당 토큰 수가 체감할 정도로 향상됩니다. 그 외 좀 하드하지만 llama.cpp/koboldCPP로 터미널 구동하여 오버헤드를 없애는 방법입니다.
2. c1guy · 2026-09-30 15:22:02

   @행복주식회사님 댓글 감사합니다. 자꾸 성능 저하가 되서 GPT 6.0-Luna를 사용하려고 했는데. 조금더 테스트 해봐야겠습니다. 딱 맞는 용도 찾기가 쉽지 않네요.
3. 천둥산 · 2026-09-30 17:39:42

   M1max 64G를 사용중인데
   재미(?)용도를 제외하면 실사용으로 사용은 조금 무리라고 생각해서
   코덱스(Pro5x) 6Luna를 메인으로 헤르메스 에이전트 4개를 돌리고 있습니다.
4. 가전삼신기 · 2026-10-03 02:49:30

   https://github.com/incoai/splash 이 프로젝트 참고하세요. Qwen3.8 27B 4비트라도 쓰는 게 맞습니다. 더 이전 버전이거나 가중치가 더 작은 다른 모델은 사실상 쓸만한 게 없기 때문에 권장하지 않습니다.
5. joo720 · 2026-10-04 00:28:52

   맥에서 돌릴순 있는대 그걸로 뭘 한다기엔 택도 없는 성능이라...