· 톺아보기

질문

맥북 프로 M4 pro 48GB LM studio에서 돌릴만한 모델 추천부탁드립니다.

정승집머슴 ·

조회 2,400 · 공감 0 · 댓글 7

openclaude라는 하네스 에 넣고 써보려고 하는데하는데

gemma-4-e4b-it-mlx 모델은 빠른대신 많이 멍청한거 같고.
gemma-4-31B 는 팬 엄청 돌리면서 생각하더니 타임아웃 나서 뻗고...
Qwen 3.8 27B 4비트 양자화는 오래 걸리긴 하는데 그래도 답을 내놓긴 하네요.

혹시 다른 모델 추천해 주시면 올려서 써보겠습니다.

댓글 7

  1. WhoIsIt ·
    48GB 로 넉넉해 보이니, Qwen 3.8 27B 5비트 혹은 6비트 사용 하시면 '현 시점' 최고가 아닐까요?
  2. 정승집머슴 · · 공감 1
    @WhoIsIt님 본문에 썼듯이 일단 4bit모델을 openclaude 란 하네스에 올려서 돌리고있는데 많이 느리더라구요 ㅜㅜ

    혹시 추천하실만한 하네스나 lm studio 말고 다른 방법으로 서빙하면 더 좋은게ㅜ있을까요?
  3. WhoIsIt · · 공감 1
    @정승집머슴님 아래 글과 댓글 참조 하시면 도움되지 않을까요? 저는 IDE 내에서만 응용 중이라 고수분들께 문의 해 보시면 좋을 듯 합니다.
    https://www.clien.net/service/board/park/19252438CLIEN
  4. 정승집머슴 ·
    @WhoIsIt님 오 감사합니다 파라미터를 조정해 보아야겠네요
  5. 정승집머슴 ·
    @물ㅎㅎㅎ님 아이콘이 귀여워서 땡기네요 ㅋㅋㅋㅋ
  6. Charles_hi · · 공감 1
    저랑 같은 사양이시네요 전 gemma4 26b 사용 중입니다
    큐원 저도 써볼려고 하는데 궁금하네요

AI당 최근 글

AI당 목록 더 보기