일단 자체 LLM을 구축하여 연구용으로 논문 수집 등의 문서등을 모아서 연구에 활용하는것이 첫번째이고,
오픈소스 LLM + 멀티Agent(openclaw 등)을 활용해 업무에 활용하고자 하여 이것저것 알아보고 있습니다.
처음 Openclaw 나왔을때 맥미니가 많이 보여 맥미니를 사려고 하다가 이것저것 하다보면 메모리 높은게 좋을듯 하여
맥 스튜디오 64GB + M4 max 16Core CPU , 40Core GPU 제품을 구매할수 있을듯 하여 생각중인데요
오늘 이것저것 알아보니 DGX Spark 기반의 MSI나 ASUS 제품이 눈이 보이긴 하더라구요.
근데 또 막상 이리저리 알아보다보니
숏츠 댓글에
"llm 용도로는 맥을쓰는게 낫고 학습용도로는 걍rtx5090을 사는게 나음... 이걸 사는 사람들은 애매하게 추론하고 학습을 둘다 해야되는데 학습은 꼭 또 cuda여야하면서 맥보다 llm 속도 반절이하여도 괜찮아야하고 5090보다 학습속도 절반나와도 돈은 5090정가의 두배주고도 괜찮으면사도됨. " 이런글을 보게 되다 보니 갑자기 고민되는 상황입니다.
제가 윈도우만 써본 상황이고 그나마 실무 또는 업무에서 리눅스를 많이 쓰고 있어 DGX 기반으로 생각하고 있는데,
막상 또 알아보다보니 맥을 추천하는 경우가 많던데, 혹시 어떤 선택이 좋을지 조언 겸 해주실수 있으실까요?
구매를 한다면 나름대로 LLM 구동 및 학습도 시켜보고 싶고, 추론도 해보고싶고, 멀티 에이전트 운영도 해보고 싶긴한데,
뭐 어느정도 양보해야된다면 타협도 해볼생각이긴 합니다만 전문적이지 않다보니 고민됩니다. ㅠㅠ
DGX 스파크가 vLLM의 잇점도 있고 해서 (차라리 속도라도 빠르지) 괜찮아보이는데..
윈도우 믿고 AMD로 오신다면 좀 후회하실수도 있어요. (그래도 게임은 잘됩니...)
AMD에는 AI max+ 395 제품군이 있습니다.
128GB vram 구성으로 DGX 스파크와 비교되는 녀석이죠.
학습은 무리고 70B 모델정도 돌리는데 정말 돌아는 간다 수준입니다.
이럴수가 정말 흔치 않은데 반갑습니다.
저는 맥스튜디오로 갔어야 했는데 싶습니다.
후자 95% 이상
llm 토큰 속도가 중요 vs llm 모델 성능이 중요
후자 95% 이상
그래서 맥 추천이 많습니다
기기 하나에서 모델구동부터 개발까지 한번에 끝나고 심지어 최근 높아진 램값 때문에 가성비가 좋아요.
다다익램이라 여유가 되신다면 128GB 이상으로 추천드립니다.
그리고 곧 신제품 출시 예정이라 조금만 참으셨다가 구매하세요. 지금 공홈에서는 신제품 출시 때문인지 맥미니 맥스튜디오 판매중단 들어가는 중이예요.
단순 추론만 하고 싶고, 좀 느리더라도 좀 큰 모델을 돌리고 싶거나 vram 크기가 중요하다면 ... dgx spark
제한된 예산에서 빠른 추론이 필요하다 - 맥 스튜디오