안녕하세요.
친구가 로컬LLM 구축하고 이것 저것 자랑질을 하길래..
까짓거 나도 잘 할수있거덩??하면서 구매를 했는데 9주 걸린다고 ㅠㅠ
작은 호텔운영을 잘 해보겠다고.. 로컬LLM 구축을 위해 아래 사양을 구매했는데
잘 한 걸까요?
---------
M4 Pro 칩 탑재 Mac mini
하드웨어:
- 48GB 통합 메모리
- 10 기가비트 이더넷
- 액세서리 키트
- 1TB SSD 저장 장치
- 14코어 CPU, 20코어 GPU, 16코어 Neural Engine
감이 잘 안 오네요.
일단 M5부터 이전과 달라집니다.
M4까지는 로컬이 좀 느리고 답답할 거에요.
M5에서 큰 도약을 이루었죠.
그 동안 수기로 했던것들 자동화에요.
음... 오기 전에 컴퓨터로 체감을 좀 해보시는 것은 어떨까 싶습니다.
PC에 Lmstudio를 깔고, 초당 토큰수가 나오는 것을 비교해 보는 거죠.
그 속도로도 괜찮다 싶으면... M4를 기다리시고,
업무 속도가 그 정도로 안 되겠다 싶으면 바꾸시고요.
참고로 전 그래픽카드가 9070인데, 이 정도 성능에서 나오는 출력 속도에 전 만족하는 편입니다.
정리하면,
M4 출력 속도 검색해 보시고,
lmstudio에서 로컬 모델(gemma4 26B의 Q3_K_S) 나오는 속도를 체감해 보시고,
비교해서 그 정도면 되겠다...를 판단해 보시는 것이 어떨까 싶습니다.
cost-effective 만 봤을때는 일반 LLM 비즈니스용 플랜이 성능은 (훨씬) 더 좋고 편의성도 잘 되어있고, 가격도 더 저렴하고 보안을 고려했을때, 해커 입장에선 기업에서 제공하는 보안이 개인이 세팅한 시스템보더 훨씬 공격이 어렵다고 느낄 수 있으니. 서비스 제공하는 대기업에 신뢰가 있으시다면 + 법적 보호까지 계약서상으로 보장이 되니 , 이 부분도 고려하시면 도움이 될것 같습니다. 근데 성능좋은 맥미니 하나쯤은 있으면 든든하니 좋죠..ㅎㅎ