· 톺아보기

요즘 맥스튜디오 M5 울트라가 끌립니다(?) 31B 로컬 LLM도 원래는 쓸만하네요

SHERLOCK ·

조회 2,814 · 공감 0 · 댓글 14

물론 끌린다고 살 수 있는 가격대가 아니라는 게 문제인데요...


올라마에 보면 로컬 LLM을 클라우드로 돌리는 옵션이 있던데 이걸 오픈클로에 물려 쓰니 젬마4 30B인가 하는 녀석도 그럭저럭 쓸만하게 구동되더라고요.


맥미니 M4 32GB: 인사 주고 받는데만 답변 돌아오는데 수분 이상 걸려서 포기

젬마4 클라우드: GPT보다 약간 느린 정도


물론 답변이 빨리 온다와 어느 정도 정확도를 보여주는가는 다른 문자고 젬마4 클라우드도 월 한도가 있는걸로 알아서 매우 제한적인 용도로 쓰는 중이긴 합니다.


근데 로컬아 스물스물 생각나는 이유가요.....


- 지금 GPT 29만원짜리 쓰고 있는데 이거 3년 쓸거라고 계산하면 그냥 맥스튜디오가 나을지도 모르겠고

- 오픈 AI가 정책상 틀어막는 기능들이 간혹가다 튀어나오는데 결국 오픈 AI가 기능을 막는다는 거 자체가 짜증나네요.


문제는 맥 스튜디오 들여놔도 지금 올라마 클라우드 버전과 어느 정도 스피드 차이가 있을지 장담을 못하겠다는 문제가 하나 있고 설령로컬로 돌리더라도 GPT 유료를 완전히 끊을 수 없다는 문제 정도겠네요....


M5 울트라가 올라마에서 클라우드 올린 젬마 4 정도의 구동속도가 나온다면 진지하게 고민해봐야겠습니다 ㄷㄷ (DGX 스파크도...)

댓글 14

  1. memories_ ·
    31B 급 로컬 모델(qwen, gemma, glimmer)은 cerebras 쓰면 1초만에 응답 옵니다.
    겨우 저정도 모델 돌리려고 울트라 사는건 너무 무의미한 행동같네요.
  2. SHERLOCK ·
    @memories_님 올라마 채팅용으로 쓸거면 30b 정도의 모델도 맥미니 m4 32기가에서 그럭저럭은 돌아가더군요. 그런데 에이전트 물리면 너무 못 쓸 정도로 느려지는 문제점이 있고,

    올라마 클라우드 로컬 llm들은 이런 딜레이가 거의 없어서 고성능 로컬이 필요한 건 아닐까 하는 생각을 해봤고요 ㄷㄷㄷ

    Hw 성능이 올라가면 파라미터값도 그에 걸맞게 올릴 수가 있죠 ㅋㅋ
  3. 지나가는아저씨 · · 공감 3
    무슨 일을 하시는지 모르겠지만 몆달만 지나도 모델 바뀌는게 눈에 보이는데, 로컬로 돌리는건 가격대비 경쟁력이 너무없어요
  4. SHERLOCK ·
    @지나가는아저씨님

    1. 공개되는 로컬 모델들도 성능이 올라가고
    2. Gpt의 경우 가격이 낮아지고 있고
    3. 이 두 가지를 섞을 경우 코딩은 gpt가, 매니지먼트는 로컬로 이원화시키면 어떨까?

    가 생각의 출발점입니다 ㄷㄷ

    뤱 db를 긁어와서 헤르메스가 sql lite, ftffs인가 하는 걸로 20gb 정도 내부 db 구축해서 꺼내 쓰고 있는데 풀 로컬로 돌리면 어떨까? 하는 생각이죠 ㄷㄷ
  5. 목민 ·
    형편되는대로 최고 사양 사시는게 이득일 거 같네요
    저는 마음은 m5u 512 사고 싶었으나 256이 구매했네요
  6. OLIVER ·
    m1max 64gb 맥스튜디오인데 젬마4 26b 올리면 대략 50tps정도 나오더라구요.. 근데 이게 함정이 프리필 시간이 꽤 길어요. 암튼 m5울트라 업글하고싶습니다...
  7. SHERLOCK ·
    포깁니다 ㅋㅋㅋ 판단이 필요한 영역으로 들어가니 클라우드고 나발이고 빧네요 ㅋㅋ
  8. 도로롱좋아 ·
    속도를 생각하신다면 rtx6000, 최소 5090가셔야 합니다. 말씀하신 기기들은 llm을 돌릴 수 있긴 하지만 애초에 대역폭이 낮기 때문에 속도는 현저히 느려요. 결국 로컬로 에이전틱 ai를 구성하려면 5090에 준하는 대역폭이 있어야 하기 때문에 그것들 가격이 하늘 높이 치솟고 있죠...
  9. HakeC ·
    사실 뭐 사고나서 보면 어떻게든 기능을 붙여서 쓰긴 쓰더라고요.
    ...라고 생각하며 저는 m5 max 맥스튜디오를 샀습니다만...
  10. SHERLOCK ·
    @HakeC님 월 29만원의 GPT 구독비를 HW로 대체하면 어떨까? 의 발상해서 출발한건데 아직은 GPT가 짱이네요 ㅠㅠ (맥 스튜디오 천만원짜리 사서 24개월 무이자 끊으면 월 40 초반인가 중반이더라고요 ㄷㄷ)
  11. HakeC ·
    @SHERLOCK님 에 뭐...헤레틱 모델 붙이면 지피티로 못하는 것도 가능하고, 헤르메스+지피티(저는 3만원 요금제입니다만)+로컬llm에 제 데이터 전체 인덱싱 붙이고 하면 한 3~4년 쓰면 본전 뽑고 남겠다 싶더라구요. nas 연동 붙이면 더 많은 활용도 가능하고...
  12. 아제로써 ·
    결국 '가지고 있다!' 말고는 큰 의미 없는 상황으로 이해하고 있습니다.
  13. 하루세끼 · · 공감 1
    젬마4를 예로 들기에는 M5U는 너무 과하게 비싼 머신인 건 맞는데 찍어 먹어보기 전까지는 그 갈증 안 풀립니다. 제가 그렇거든요. 하지만 말씀하신 사용 패턴으로 봐서는 오픈라우터 쓰시다가 명확한 목적이 생겼을 때 구매하시는 게 나아보입니다. M5U로 돌리는 LLM 테스트들 보시면 빠르긴 합니다만 의외로 기대한 만큼은 아니라는 평이 많아요.
  14. pluto248 ·
    한다면 31B보다 이번에 나온 qwen 3.8 flash next와 같이 160-a16b와 같은 거대 모델의 moe 모델 동작 시키는데 최적화가 되어 있습니다.
    근데 성능이 아주 좋아졌다고 해도 프론티어 대비 한계가 있어 복잡한 메인 설계와 같은 그런건 프론티어로 하고 로컬 LLM은 서브에이전트 형태로 사용을 하시는게 맞을것 같습니다.

모두의공원 최근 글

모두의공원 목록 더 보기