맥 스튜디오 3대로 구축한 로컬 AI 인프라
한 개인 개발자가 애플 맥 스튜디오(Mac Studio) 3대와 맥 미니 1대를 조합해 세계 최고 수준의 오픈소스 AI 모델 여러 개를 동시에 로컬로 구동하는 환경을 직접 구축했다는 X (구 트위터)의 글 입니다.
소개 내용(인용) https://x.com/babybluecream/status/2024661387579183374
원 글 https://x.com/AlexFinn/status/2024611636246695951
완전한 로컬 AI 환경이라니 놀랍네요. 미래엔 어떻게 될지 모르겠습니다.
.
문돌이는 웁니다....
기본 본체 (M3 Ultra 칩셋 모델): 약 6,590,000원부터 시작
통합 메모리 업그레이드 (512GB): 약 8,000,000원 ~ 9,000,000원 추가
참고: 기본 모델에서 메모리 용량을 최대로 높일 때 발생하는 추가 비용입니다.
저장 장치 및 기타 옵션: 최소 1TB~2TB 기준 약 600,000원 ~ 1,200,000원 추가
총 예상 금액: 약 15,440,000원 ~ 16,000,000원 (VAT 포함)
2. 세 대를 병렬로 연결할 경우 (게시물 사례)
게시물 속 인물은 이 사양의 Mac Studio를 3대 연결했으므로, 순수 본체 가격으로만 약 4,600만 원 ~ 4,800만 원 정도를 지출한 셈입니다.
3. 왜 이렇게 비싼가요?
일반적인 PC의 RAM과 달리, Mac의 **통합 메모리(Unified Memory)**는 GPU와 CPU가 초고속으로 공유하는 구조입니다. 이 때문에 AI 모델(LLM)을 돌릴 때 고가의 NVIDIA H100 GPU 같은 역할을 대신할 수 있어, 전문가들 사이에서는 오히려 "가성비 있는 AI 워크스테이션"으로 불리기도 합니다.
로컬 AI 체험: Mac Studio 기본형에 메모리만 64GB나 128GB로 올려도 현존하는 대부분의 강력한 AI 모델을 개인용으로 쓰는 데 아무런 지장이 없습니다.
결국 트위터 사례는 **"클라우드 구독료 대신 하드웨어에 몰빵해서 나만의 슈퍼컴퓨터를 갖겠다"**는 상징적인 플렉스(Flex)에 가깝습니다
라고..하네요
구독모델 돌리는게 더 저렴합니다. 구독모델급 성능도 안나오고요.
이 정도 사양이면 현재 지구상에 나온 거의 모든 오픈소스 AI 모델을 단 한 대로 구동할 수 있습니다.
DeepSeek-R1 (671B): 현존 최강 추론 모델 중 하나인 DeepSeek도 4비트 양자화(용량 압축)를 거치면 이 기기 한 대에서 돌아갑니다.
Llama 3.1 405B: 메타의 가장 큰 모델 역시 쾌적하게 구동 가능합니다.
이점: 일반 PC는 그래픽카드 여러 개를 꽂느라 전기를 엄청나게 먹고 소음도 심하지만, 맥 스튜디오는 책상 위에 두고 조용히 쓸 수 있다는 게 최대 장점입니다.
만약 1,600만 원이라는 금액이 부담스럽다면, 현시점에서 가장 효율적인 '입문용 고사양' 구성은 다음과 같습니다.
Mac Studio (M4 Max 모델)
메모리 128GB 구성 (약 600~700만 원대)
이 정도만 되어도 현업에서 쓰이는 웬만한 모델(Llama 3 70B 등)은 아주 빠르게 돌릴 수 있어, 웹사이트 관리나 개인 IT 프로젝트용으로는 차고 넘칩니다.
라고 하네요...
난 이 내용이 뭔소린지 모르겠고 저 글쓴이는 저걸로 돈을 버는데 난 무방비상태로 시간이 지나간다고 생각하니...ㅠ
그리고 일단 512GB라는 미친 램 용량때문에 무거운 모델을 올려서 쓸 수 있다는 엄청난 장점이 있죠.
초기 구축비 생각하면 일반인이라면 claude나 codex 제일 비싼 구독 + API 사용량 켜는게 더 나을지도 모릅니다...
근데 러프하게 전기를 시간당 머신 4대가 총 1000w 쓴다고해도 한달 30일 30kw정도 쓰는거니 엄청 경제적이긴하겠네요.
초기 구축 비용 생각하면 정말 부자 아니면 힘들어보입니다 ㅋㅋㅋ
솔직히 저정도 구축할 돈이면 그냥 구독료 + API 비용 켜고 쓰는게 더 성능과 가성비 측면에서 더 좋지 않나 싶습니다. 그런부분에서는 opus보다 좀 구리지만 gemini ultra 구독만 해도 gemini pro3.1 preview만 돌려도 정말 가성비가 넘치긴하죠.
"내가 왜 900만 원(256GB)을 써야 할까?" 고민되신다면 아래 기준으로 판단해 보세요.
128GB로 충분한 경우:
현재 유료 ChatGPT(GPT-4) 정도의 성능만 로컬로 구현하고 싶다.
웹사이트 코딩 보조, 블로그 글쓰기, 상담 초안 작성이 주 용도다.
결론: 이 정도로도 3080 Ti보다는 훨씬 똑똑한 비서를 얻게 됩니다.
256GB가 필요한 경우:
DeepSeek-R1 같은 '추론형 AI'의 끝판왕 성능을 경험하고 싶다.
외부 AI(OpenAI, Anthropic) 구독을 아예 끊고, 내 컴퓨터만으로 모든 전문 업무를 완결하고 싶다.
한 번 사서 향후 3~4년간 나올 거대 모델들도 다 돌려보고 싶다.
256 검색해보니 836만원 하네요...
사고싶당...
일단 문제는 비용이죠... "아직은" 램 폭등 가격을 반영하지 않은 맥스튜디오... 그것도 대당 1000만원 넘어가는 것 세대를 연결한건데... 게다가 속도도 상대적으로 매우 느리고, 성능(품질) 자체도 클로드 제미니 gpt 등의 비공개(?) 모델에 비해 많이 떨어지는 오픈소스 모델밖에 못쓰고, 평생 쓸수도 없으니 몇년 지나면 업그레이드 고려하고 고장률 생각하고, 전기요금 등을 생각하면... 저런 연구목적(?)이 아닌 개인은 그냥 제미니 적당한 요금제로 평생 구독하는게 낫습니다.
비용에 조금 더 자유로운 기업/연구소 입장에서는 저런 조합은 다른거 없이 통합 메모리에 대형 모델을 올릴 수 있고 저렴한(?) 비용으로 구축 가능한 게 장점인데, 실제로는 nvidia 중심으로 구현된 ai 생태계에 비해 속도와 도구 면에서 압도적으로 밀립니다. 매우 가성비 있는 건 맞는데, ai 연구하는 사람들이 저런 구성을 안쓰고 비싼 랙서버에 gpu 8개씩 박아서 쓰는 건 돈이 남아돌아서가 아니죠.
물론 개인적인 호기심이라면 말릴 이유는 없지만 (저도 약간은 끌립니다), 저걸 쓰고 싶다면 일단 현재 쓰는 구독 api 사용량 맥스로 끌어 써도 부족하다고 생각될 정도에나 고려하시면 됩니다.
애플은 램 폭등전 부터 (램 가격이 사실상 원가이던 평시에도)8GB당 30만원 받아오고 있었습니다... 그래서 이번에 제품 가격 안올린다는 예상도 하더군요. 이번 기회에 맥 생태계를 넓히려는 목적으로요.
그리고 애플 램 옵션은 정확히는 현물 가격과 연동하는게 아니라 전자제품 옵션 같은 느낌이라 기가당 얼마로 계산이 맞진 않았습니다. 그냥 몇단계가 얼마 두단계 업글하면 얼마 이런 느낌..
글쎄요... 메모리 칩을 쌓아뒀다면 모를까... 쌓아뒀더라도 애플 입장에서 수익에 악영향을 주는 램값 상황을 가격에 안할 거라는 기대는 애플을 너무 착하게 보는게 아닐까 싶습니다.
물론 지금 당장도 아니고 개인적인 용도로도 아니고.. 예를들어 스타트업 창업하고 자본이 좀 있거나 시드 투자 받았다고 치면, 1명 채용 덜하는 대신 시원하게 지를거 같습니다. (물론 할부로...)
식대 커피간식 교통비 같은 복지지출부터 수당 연봉인상 과로 조퇴 결근 병가 없고, 연휴에 24시간 일시켜도 불평불만 없잖아요. 추가비용이나 인상요인 없는 고정비이고...
일단 부가세 10% 480만원은 세액공제 들어가고ㅎㅎ 계속 감가상각 처리하다 나중엔 중고로 처분해도 되구요..
여러모로 가성비인거 같은데요..
보안 완벽, 24시간 무제한 사용, (일 8시간 일하는)신입연봉 1.5년 분.
클라우드 서비스 사용할 때의 월당 수백~천 몇 백 사용료 절감.
지금 로컬 모델들(400B~1T) 수준이 클라우드 모델들 몇 달 전 수준인데, 따라서 잘 만 사용하면 1.5년 만에 본전 뽑고, 기술 개발에 맞춰서 강력한 로컬모델들 업데이트 해 가면서 사용.
완벽하죠.
현재든 미래든
클라우드든 로컬이든
AI처리의 매커니즘이 획기적으로 바뀌지 않는 한
제일 중요한건 '메모리' 반도체겠구나 싶네요
그 다음은 전력이고요
기승전 삼전닉스...
왠지 부럽습니다