· 톺아보기

5090 듀얼 써보고 맥 스튜디오 지름신

nariyada ·

조회 3,586 · 공감 1 · 댓글 20

회사에 5090 듀얼 시스템이 있습니다.

이거 갖고 일하는(노는) 담당자가 따로 있기는 한데
요청하면다 열어주는 편이라 저도 이것저것 다 건드려봤습니다.

요즘은 간단한 프로젝트 같은 건 로컬 모델 활용해서 야간 작업으로 돌리고 있는데요.
Qwen 27B 모델 베이스에 설계랑 리뷰 같은 고난도 작업은 Astra가 맡고
전체적인 컨트롤은 GLM 5.3으로 돌리는 구조입니다.


야간에 로컬 모델이 밤새 코딩해 두면
출근 전에 Astra가 리뷰하고 수정 작업 분류해서
적당한 에이전트에 전달해 작업시키는 방식이죠.


초반에는 로컬 코딩 모델 돌려서 얻는 이점보다 리뷰 후 수정하는 데 드는 리소스가 더 컸습니다.
코딩이랑 테스트는 20분 만에 끝났는데 리뷰하고 재수정하는 데 2시간씩 걸리는 상황이었죠.


그래서 일반적으로 추천되는 비싼모델설계 -> 저렴한모델 구현 -> 비싼모델 리뷰 구조가 꼭 맞는건 아니더군요.
지금은 어느 정도 정리가 되었는데, 혹시 이런 구성 생각하시는 분들은 이쪽 하네스 맞추는 게 제일 큰 이슈일 겁니다.

이건 언제 한번 따로 정리할께요. 

솔직히 쉬지 않고 간단한 작업이 계속 돌아가는 상황이 아니면 

별 매력 없는 시스템이긴 해요.


저희야 테스트 삼아 이것저것 업무 받아다가 다 던지고 있고

구독 중인 AI 서비스 토큰 남으면 주말에 전부 이쪽으로 몰아 돌리고 있어서 의미가 있는 거고요.


그런 목적이 아니시라면 사실 이거 구축하는 비용으로 클라우드 구독 플랜을 올리시는 게 훨씬 유리합니다.


머리로는 이걸 잘 아는데도 괜히 개인 시스템 구축 욕심이 나네요.

이번에 나온 맥미니나 맥스튜디오 보고 있는데

큰 의미 없는 거 알면서도 계속 혼자 명분만 만들고 있습니다. 


야간 코딩도 돌리고, 로컬 이미지 생성 모델도 돌리고, 숏츠도 만들고... 하면서요.


최소 스펙으로 잡아도 최상위 플랜 2년 치 비용이라 가성비 안 나오는 거 잘 아는데

오랜만에 진짜 사고 싶은 장난감이 생겼습니다.


집에다 두면 전기요금 많이 나와서 몰래 숨기기도 어렵고

일단 지르고 용서받기도 만만치 않아 보이는데 큰일이네요.


댓글 20

  1. 사진찍당 ·
    사무실에 두 대 이용중인데요, 중고로 구입하세요 요즘 애플에서 가성비라고 할만한 제품이 하나도 없는 것 같습니다.
  2. nariyada ·
    @사진찍당님 32기가 이상 제품 중고도 잘 없고, 있어도 가격이 너무하더군요. 일단 신제품 뉴럴엔진이랑 메모리 대역 궁금하기도 하구요.
  3. 아띠팡 ·
    맥스튜디오면 전기도 나름 괜찮아서 지름시닝 오신건가요 ㄷㄷ....
  4. mineralwater ·
    맥스튜디오는 전기요금 많이 안나올겁니다ㅎㅎㅎ
  5. nariyada ·
    @mineralwater님 집에서 워낙 써서 24시간 돌리면 티가 나기는 할거예요.
  6. hidnbox · · 공감 1
    맥스튜디오 가격이 어마어마 하더라구요.
    개인이 큰 모델 고속으로 돌리는 것 보면 부럽기는 하더군요.

    건 그렇고 프론티어로 구성하고, 로컬로 짜고, 다시 프론티어로 검수하는게 효율이 안나는가 보군요. 그렇다고 프론티어로 구현하면 조금만 수정해도 토큰이 녹아서 점점 가성비가 안나오지 않을까 싶기도 하던데요.
  7. nariyada · · 공감 1
    @hidnbox님 사전에 작업을 분석해서 적절한 에이전트에 배당하고 저렴한 에이전트는 딱 그수준에 맞는 작업지시를 해서 작업시키는게 핵심입니다. 리뷰도 프로젝트 수준에 맞춰서 진행하구요.

    프론티어 모델의 설계를 저렴한 모델한테 그냥 던지면 설계했던 수준으로 개발을 못하고 리뷰시에 토큰만 반복 사용해서 재작업합니다.
  8. 빽곰탱이 ·
    @nariyada님 아.. 그래서 프론티어 로 하위 작업 돌리게 시킬때도, 작업난이도를 봐서 적정한 모델 지정해서 시키라고 하면 astra, sol, luna 섞어가면서 잘 하더하고요, 로컬도 같은 풀에 넣고 세팅하면 되겠네요. 프론티어로 재검수 하는게 더 오래걸릴거라 생각을 안했는데.. 인사이트 얻어갑니다
  9. 빽곰탱이 ·
    @nariyada님 맥스튜디오 m3 울트라 256기가 6월에 주문한거 아직 못받았는데 가격이 800만원 이상 뛰어서 취소후 재주문 m5 엄두가 안나고, 그냥 m3이라도 만족하면서 써야겠네요. 미리사길 잘했군요
  10. nariyada ·
    @빽곰탱이님 갈수록 머진 가격이 오를거 같아서 뭐든 들고 있고 싶은 마음도 있습니다.
  11. Mr.UN ·
    맥스튜디오에 M5 풀칩 들어가 봐야 아웃풋 성능을 기대하기는 어렵지 않을까요? 내년 M6 모델 나오면 쓸만해질 거라고 보고 기대를 안 하고 있습니다.
  12. OLIVER ·
    @Mr.UN님 m5 울트라는 메모리 대역폭이 1.2TB/s라서요...
  13. nariyada ·
    @Mr.UN님 챗봇으로 쓰기는 무리고, 야간 코딩 작업은 느려도 계속 돌리면 되니까 작업만 있으면 쓸만하더라구요.
  14. Mr.UN ·
    @OLIVER님 대역폭 보다도 연산 효율과 능력 차이가 GPU대비 너무 떨어지는 것 같습니다. 3090 만 해도 200tok/s 가 나오는데 M3, M4 에서 몇십tok/s가 가까스로 나오는 거 보고 그냥 계정 여러 개 쓰는 걸로 맘을 접었습니다.
  15. OLIVER ·
    @Mr.UN님 속도 빠르면 당연히 좋은거긴 한데, 대신 맥은 올릴 수 있는 모델 선택의 폭이 넓고, 그 덕에 퀄리티가 상승하는 장점도 중요하지 않을까해서요.
  16. Mr.UN · · 공감 1
    @OLIVER님 RDMA over Thunderbolt 에 흥미를 가져서 M6 맥미니에서 쓰면 되겠다 했었는데 M6 모델들은 썬더볼트 4 라서 안 되는군요....말씀대로 M5 울트라의 1.2TB 대역폭이 어느 정도의 퍼포먼스를 내는지 다른분들이 검증해주시는 걸 보고 판단해야 하겠습니다.

    다만...월 150만원 내외의 이용료로 일 주일 풀타임 커버가 된다면 연간 1800만원 내고 프론티어 모델을 쓰는 것이 오히려 시간과 효율 모두에서 정답이 아닐까 싶습니다.
  17. 브라이안 ·
    저는 gpt plus terra로 작업 지시 감독 맡기고 opencode go 저렴이 모델로 일시키고 어려운건 astra로 했는데요. 5시간 한도에 갑갑해서 pro결재하고 3일동안 씨름하던 작업을 걍 astra ultra모드로 하니까 반나절도 안되서 끝내버렸네요. 토큰도 30%만 쓰구요. 제가 지식이 부족해서 그런걸 수도 있는데 하네스 구성이랑 작업지시서 잘만들어야 효율이 있지 울트라가 갓입니다. 로컬은 엄청난 투자 아니고는 장난감이라는 말이 맞더라구요.
  18. nariyada · · 공감 1
    @브라이안님 일반적인 챗봇 수준을 기대하면 5090에 30b 모델정도는 돌려야하구요. 욕심 좀 버리고 야간에 반복적으로 돌릴 가벼운 코딩 작업이 있으면 이번에 나온 맥은 괜찮은거 같습니다.
  19. 틸렌 ·
    그런데 로컬을 아무리 세팅해도 GPT-5.6 Luna Max 보다 나은가? 라고 하면 가격대 성능비 애매하더라구요. 그거 설비는 매년 감가상각되는데 새 프론티어 모델 라인들은 너무 발전속도가 빨라서... 저도 구축 고민하다 접었습니다 ㅋㅋㅋ
  20. 니케니케 ·
    일의 난이도에 따라 다르긴 한데, 멍청한 모델에게 일정 이상 어려운 일을 통째로 시키면, 그걸 검수하는대 사용되는 비싼 모델읠 cache read 비용이, 그냥 처음 부터 그 모델에게 시켰을 때 보다 더 들어 가더군요..
    제 방법은, 일을 아주 잘게 쪼개 주는 거였어요. 일단 똘똘한 유료 모델로 해야 할 일을 작게 만들어 구분하고, 소분한 작업들 중 쉬운것만 멍청한 모델에게 주고, 그걸 똘똘한 모델에게 검사 시키는 방법으로 했더니, (멍청한 모델은 무료라는 전제 하에..) 토큰 비용이 조금(그렇게 큰 차이는 없는) 줄더라구요.
    근데 작업에 걸린 시간까지 생각하면.. 그냥 똘똘한 모델에게 시키는게 나아 보이기도 하구요..

모두의공원 최근 글

모두의공원 목록 더 보기