안녕하세요.
요즘 AI Agent에 절여져서 더 이상 기존 방식으로 코딩을 할 수 없게 된 사람입니다.
사내에서는 GLM 5을 무제한으로 사용할 수 있어 별 문제가 없는데
집에서 취미용 코딩을 할 땐 무료 토큰이 순식간에 바닥나네요.
그렇다고 유료 결제를 하자니 토큰 비용이 불편한 게 사실이라
로컬로 적당한 모델을 돌려볼까 합니다.
혹시 현재 시스템(M4 Max 36GB)에서 가성비 좋게 사용할만한 로컬 LLM 추천이 가능할까요?
미리 감사드립니다.
느립니다. 너무 느립니다. 로컬LLM은 돌릴만한 물건이 아닙니다. 그냥 2~4만원 짜리 구독하셔서 쓰시는게 정신건강에 이로울 거에요 ㅠㅠ
그리고 네 배라니 역시 체급의 격차는 어마어마하군요. 현 세대 GPU도 아닌데... 와
최소 64G 나 그 이상의 램을 가지고 계신 분들은 다를 수 있을 거 같네요..
저도 m4max( 36GB ) 를 사용하지만서도, AI 를 하나만 돌리는 것도 아니잖아요. 클로드 cli, 클로드 app, chatgpt 3개 멀티로만 돌리면서 사용만 해도 맥이 .. 인텔맥 처럼 느려지는 경우들이 종종 발생합니다. ㅎㅎ
코딩 용도라는 분야로 한정한다면.. ClaudCode 외 다른 것을 사용할 필요가 있을 까 라는 것이 제 결론이기도 합니다.