M4 Pro MacMini
CPU : 14/20/16 (+27만원)
CTO : RAM 64GB (+81만원)
교육 할인 받아서 : 302만원 정도 될 것같은데..
LLM 돌리기에 어떨까요?
속도보다는 정기적으로 해야하는 작업이 API로 하기에는 토큰이 부담되서 그러는데..
GPU 성능은 nvidia가 훨씬 좋은 것 같긴하던데..
GPU 메모리 큰 PC로 구매하려니 더 비싼것 같더라구요.
전력사용량도 그렇구요..
LLM 용도라면 300만원에 가성비 괜찮은걸까요?
또 m4 종류별로 업데이트가 곧 나오지 않을 까 싶습니다.
맥을 이용하면서 공부하면서 테스트하는 용도로는 괜찮지만 llm 서버로만 돌리기엔 절대 좋지 않습니다.
이전에 3d 개발 관련해서도 질문하신걸 봤는데.. 맥으로 뭔가 할수 있는걸 찾으시는것 같은데 하시는 작업이 맥이랑 잘 안맞으시는건 아닐까요?
사실 꼭 맥일 필요는 없는데 그래픽 메모리 큰걸 찾다보니.. 맥미니 CTO를 좀 하면 올인원처럼 하나로 다 할 수 있지 않을까 하는 욕심이 생겨서...ㅋㅋㅋ
지금은 보통 개발은 맥으로 하고.. 윈도우 개발이나 게임 개발할때는 PC를 켜서 하고있거든요..
일반 gpu 중에 40b가 가능한 메모리를 가진 gpu가 있나요?
/Vollago
유튜브중에 맥을 여러대 연결해서 108b?를 돌리는 영상도 있습니다
/Vollago
탐나긴하는데 여러대는...... 너무 비싸네요ㅋㅋㅋ
근데 라마는 70b더라구요
젬마로 해보시는면 어떨까싶네요
/Vollago
맥이 공유메모리라 램 추가하면 가성비가 될 수도 있다네요. 또 더 최적화된 솔루션도 등장 중이라니 기대됩니다.