https://unsloth.ai/docs/models/kimi-k3
로컬 모델을 돌려보고 싶다면 다 필요없이 이 팀이 만든 모델하고 llama.cpp와 조합하여 사용하면 될 정도로 유명한 그룹입니다.
128GB 맥 스튜디오 여러대를 연결해서 구동 했다고 하네요.
정확도는 원본 대비 78% 정도의 정확도를 보인다고 합니다.
현재 로컬에서 돌아가는 가장 강력한 모델이라고 합니다.
https://unsloth.ai/docs/models/kimi-k3
로컬 모델을 돌려보고 싶다면 다 필요없이 이 팀이 만든 모델하고 llama.cpp와 조합하여 사용하면 될 정도로 유명한 그룹입니다.
128GB 맥 스튜디오 여러대를 연결해서 구동 했다고 하네요.
정확도는 원본 대비 78% 정도의 정확도를 보인다고 합니다.
현재 로컬에서 돌아가는 가장 강력한 모델이라고 합니다.
돌려놓고 자고오면 결과가 나오지 않을까요.
밑에 Hardware requirements 보면 최소가 610GB라서요.
정정해주셔서 감사합니다.
해당부분은 수정하였습니다.
128... 하.. 글카 메몰 2개 합쳐도 24+16 40기가...PC
32기가 맥미니한대....
저건 아무리 작게 잡아도 중소기업이상이 쓰겠다 싶네요.
메몰가격이 원할때 싸질리는 없고...
128 맥의 가격은 좀 비현실적 + 토큰속도도 별로겠죠?
정말 메모리 회사들 주가 죽쑤는 이유를 요즘 표현으로 펀더멘탈 적? 으로는 잘 이해가 안갑니다
1비트 양자화라는것도 최대로 낮춘거니까요.
글쿤요. 적당한 경쟁으로 적당한 가격이 나와서 기업도 잘벌고 유저도 무리않고 쓸만한 세상이오면 좋겠네요