최근 커뮤니티를 뜨겁게 달군 'OpenClaw 대란'에 힘입어, 저도 결국 로컬 AI 환경 구축을 위해 맥미니 M4를 주문했습니다.

1. 하드웨어 선택: 맥미니 M4 (RAM 32GB / SSD 256GB)

• RAM 32GB를 선택한 이유: 애플 실리콘은 구조상 RAM 업그레이드가 불가능하며, CPU와 GPU가 메모리를 공유하는 '통합 메모리' 방식입니다. GPU VRAM으로도 활용되기 때문에 M4 기본 칩셋에서 선택 가능한 최대 용량인 32GB를 선택했습니다. (M4 Pro는 64GB까지 가능하지만, 가격 부담으로 32GB와 타협했습니다.)

• SSD 256GB를 선택한 이유: 애플의 저장장치 옵션은 악명이 높죠. 1TB 추가 비용이 60만 원에 달하는 반면, 외부 알리발 업그레이드 키트는 30만 원 수준입니다. 우선 기본 사양으로 써본 뒤 추후 업그레이드를 결정하기로 했습니다.

2. 환경 세팅: OpenClaw 설치 및 API 연동

• 설치 팁: npm install -g openclaw 손쉽게 설치가능 (보통 여기서 실패사유는 SUDO가 아니어서)

• 주의사항: 특정 버전(예: 2026년 3월 23일 배포본)에서 UI 리소스가 누락되는 이슈가 있습니다. 저도 2시간 동안 사투 끝에 이전 버전으로 재설치하는 고통을 겪었으니 설치 시 배포 노트를 꼭 확인하세요.

• Gemini API 연동: 처음엔 Google AI One 구독권으로 해결하려 했으나, API 호출은 별도의 과금 체계(Google AI Studio)를 따릅니다. 결제 정보를 등록하지 않으면 Context exceed error가 발생할 수 있으니 주의가 필요합니다.

• 체감 성능: 로컬 파일 분석 및 요약 기능은 매우 만족스러웠습니다. 다만, 실시간으로 차감되는 API 비용을 보니 결국 로컬 LLM으로 눈을 돌리게 되더군요. (3일만에 2만원 소비)

3. 로컬 LLM 서버(Runner) 선택

로컬에서 모델을 돌리기 위해 3가지 플랫폼을 테스트해 보았습니다.

구분	장점	단점
LM Studio	직관적인 UI, 쉬운 모델 관리 및 서버 설정	MLX 최적화 미흡, KV Cache 관련 오류 잦음
vLLM-MLX / mlx-lm	애플 실리콘 최적화, 낮은 메모리 점유율	터미널 기반 설정의 번거로움, 재시작 필수

최종 선택은 LM Studio: 일부 모델이 MLX 계열에서 답변 반복이나 404 에러를 일으키는 경우가 있었으나, LM Studio는 상대적으로 안정적인 구동이 가능했습니다.

4. 사양별 모델 테스트 및 추천

32GB 램 환경에서 여러 모델을 올려본 결과입니다.

• 경량 모델 (Qwen 2.5 9B 등): 속도는 쾌적하지만 지능 면에서 아쉬움이 남습니다.

• Speculative Decoding (1.5B + 14B): 작은 모델(Draft)이 초안을 잡고 큰 모델이 검증하는 방식입니다. 응답은 즉각적이지만, 작은 모델이 맥락을 놓치면 대화가 산으로 가는 경향이 있어 결국 포기했습니다.

• 중량 모델 (Qwen 3.5 32B): 답변을 기다리다 '늙어 죽겠다'는 생각이 들 정도로 느립니다. 32GB 램으로는 버거운 느낌입니다.

• 최적의 추천 (OpenAI-OSS-20B): 현재 제가 메인으로 사용하는 모델입니다. 속도는 상용 AI보다 느리지만, 문서 요약이나 녹음 파일 마크업 변환 등 실무용으로 충분히 쓸만한 퍼포먼스를 보여줍니다.

• 엔비디아 네모 (Nemotron-3-Super) : 온라인에서 무료로 사용 가능합니다. 언어가 투박하고 기대한 수준의 품질이 안나오는것 같습니다. (https://openrouter.ai/ 에서 무료로 사용가능)

5. 할루시네이션 방지를 위한 System Prompt 설정

로컬 모델 특유의 '투머치토커' 기질과 환각 현상을 잡기 위해 아래와 같은 가이드라인을 설정했습니다.

1. 한국어로 답변할 것 (3문장 이내 요약)

2. 모르는 내용은 지어내지 말고 '모른다'고 답할 것

3. 제공된 텍스트 근거 외의 추측은 금지하며, 의견 제시 시 사실과 명확히 구분할 것

4. 외부 작업 수행 시 반드시 사전 승인을 받을 것

6. 외부 스킬 추천

Web Serach 는 Tavily web search API 사용합니다. 월 1천건까지 무료입니다. BRave 등 API들이 유료화 해버려서 현재 쓸마한녀석이 tavily 인것 같습니다. (WEB Search 스킬이 없으면 AI가 더욱더 멍청해지는느낌입니다)

---

💡 결론

32GB 램으로 로컬 LLM을 쾌적하게 돌리기는 솔직히 '팍팍합니다.' 유료 API의 속도와 지능을 기대한다면 실망할 수도 있습니다.

하지만 배치 작업(파일 던져두고 딴짓하기) 용도로는 충분히 훌륭하며, 메모리 압박(활성상태보기 메모리 탭에서 노란불)을 견디는 맥미니를 보면 32GB 사양으로 선택하길 잘했다"는 셍긱닙나디 로컬 AI에 입문하시려는 분들께 제 경험이 도움이 되길 바랍니다!