참고로 제 맥북프로 사양은 M5 32GB입니다.

LM Studio 쓰시는 분들은 Settings(좌측하단 톱니바퀴) → Runtime → Check for updates를 통해 LM Studio MLX를 v1.6.0으로 업데이트 해 주시면 Gemma 4 MLX를 돌리실 수 있습니다. Gemma 4 출시 이후 GGUF 포맷은 가능했으나 이번 MLX 지원으로 애플의 메탈을 활용한 성능 극대화가 LM Studio 상에서 가능하게 되었습니다.

제가 쓰는 Gemma 4 모델은 26B 파라미터 4-bit 양자화 모델입니다. Gemma 4 26B에서 파생한 fine-tuning 모델 선택지가 몇가지 있겠습니다만 저는 mlx-community/gemma-4-26b-a4b-it-4bit를 쓰고 있으며 LM Studio상에서 컨텍스트 윈도우를 256K(262,144토큰) 최대로 쓰고 초당 약 42토큰 정도의 출력 속도 나옵니다. 256K 토큰은 책 두 권에 해당하는 컨텍스트(맥락)입니다. 메모리 사용량은 약 16GB입니다만 컨텍스트가 늘어나면서 얼마나 급증하는지는 지켜봐야 할 사안이겠습니다. (단, 최근 발표된 구글의 TurboQuant 기술이 AI 실 사용에 구현되면 이 컨텍스트 메모리 마저도 1/6로 줄어들게 되겠습니다.)

현재 메모리 여유가 있으신 분(64GB 이상)은 Gemma 4 31B 모델도 사용해 봄 직 합니다. 속도냐(26B) 퀄리티냐(31B)의 미묘한 비교를 통해 결정하시면 되겠습니다.

Qwen 같은 쟁쟁한 모델들도 최근 많이 나왔습니다만 저는 철 지난 GPT-OSS-20B 모델만 써오다 이번에 Gemma 4를 사용하면서 좋은 인상을 받았습니다.

로컬 AI를 쓰는 이유는 옵시디언과 통합한 RAG입니다.