24GB 모델 사용중입니다

기존에 4070 super 12GB 사용했는데

VRAM 이 부족해서 Ollama 로 돌리면 뻣어버리기 일쑤였는데요

오히려 맥미니로 MLX 지원 모델로 돌렸더니 속도는 좀 부족하지만 쓸만하네요

cuda 보다 오히려 tool calling 안정성도 더 높은 것 같습니다

LLM 은 oMLX 로 돌리고있습니다

그리고 openclaw 사용했는데 초기에 MD 파일 주입이 컨텍스트 많이 잡아먹어서 버거웠는데 Hermes agent 로 갈아타봤는데 나쁘지 않네요

여러 모델 테스트해본결과 gpt-oss-20b 모델이 가장 괜찮네요