Unsloth Kimi K3 1비트 양자화 모델

댓글 13

1. Forecasting · 2026-07-31 07:54:22

   78%라도 쓸만하려나요? DGX Spark에서도 돌겠군요
2. memories_ · 2026-07-31 08:11:56

   @Forecasting님 실사용과는 거리가 멀지 않을까 싶어요.
   돌려놓고 자고오면 결과가 나오지 않을까요.
3. 그로구 · 2026-07-31 08:02:42

   다시 읽어보니, DGX Spark가 아니라 DGX Station이라고 되어있고, MBP도 128GB가 있음에도 Mac Studio만 언급한 거 보면, 128GB만으로 되는 게 아닌 것 같습니다. Mac Studio connected to a 128GB RAM device. 램을 따로 어떻게 연결하는 지는 모르겠지만 따로 128GB RAM device에 연결해서 쓴거라 보이고요 - 아마 512GB 맥스튜디오에 128GB더해서 640GB를 만든걸까요?
   밑에 Hardware requirements 보면 최소가 610GB라서요.
4. memories_ · 2026-07-31 08:11:18

   @님 설명에는 클러스터라는 말이 없고 아마 gguf라 디스크 1.56tb가 필요하다는 부분리 있는걸로보아 오프로딩으로 돌아가는거일겁니다.
5. 그로구 · 2026-07-31 08:18:23

   @memories_님 문장을 다시 보면 "Mac Studio connected to a 128GB RAM device"입니다. 즉 128GB짜리 머신 한 대로 돌린다는 뜻이 아니라, Mac Studio(최대 512GB 통합메모리) + 128GB 장치를 연결해서 합산 메모리를 만든다는 의미예요.
6. memories_ · 2026-07-31 08:27:18

   @님 아 그렇군요.
   정정해주셔서 감사합니다.
   해당부분은 수정하였습니다.
7. SIMCGA · 2026-07-31 08:58:34

   @님 맥은 rdma기능이 있어서 512맥스튜디오에 128맥스튜디오 하나더 썬더볼트 케이블로 연결해서 돌린거 같네요.
8. 에일리언 · 2026-07-31 08:03:48

   제 가정용은...
   128... 하.. 글카 메몰 2개 합쳐도 24+16 40기가...PC
   32기가 맥미니한대....
   
   저건 아무리 작게 잡아도 중소기업이상이 쓰겠다 싶네요.
   메몰가격이 원할때 싸질리는 없고...
   
   128 맥의 가격은 좀 비현실적 + 토큰속도도 별로겠죠?
   
   정말 메모리 회사들 주가 죽쑤는 이유를 요즘 표현으로 펀더멘탈 적? 으로는 잘 이해가 안갑니다
9. memories_ · 2026-07-31 08:10:28

   @에일리언님 어디까지나 소비자용 기기로는 돌아는 간다 수준이지 실사용이 가능하다 하고는 거리가 멉니다.
   1비트 양자화라는것도 최대로 낮춘거니까요.
10. 에일리언 · 2026-07-31 08:19:02

    @memories_님
    글쿤요. 적당한 경쟁으로 적당한 가격이 나와서 기업도 잘벌고 유저도 무리않고 쓸만한 세상이오면 좋겠네요
11. 그로구 · 2026-07-31 08:25:20

    @에일리언님 128이 아니라 원문 보면 최소 610GB입니다. 오프로딩 되면 속도가 못쓸정도로 나와요.
12. Forecasting · 2026-07-31 08:35:28

    GPT 5.6은 물고기가 제자리군요 ㅎㅎ
13. SIMCGA · 2026-07-31 09:00:02

    코딩 전용으로 파라미터를 줄이고 양자화되서 256 맥스튜디오에서 돌아가면 좋을거 같네요.