회사에서 제공해주는 M1 Pro 16/512 기본모델로
작업창 잔뜩 띄워놓은 상태에서 7b 모델 (요구치: 램8gb)을 실행하니까 시스템이 멈춰버리더라구요.
평소에 맥북 프로의 경우 128GB까지 램을 사용할 수 있는데
혹시 LLM들을 로컬자원을 활용해서 사용하시는분들중에
64GB 램이상 쓰시는분들, 성능차이 확실한가요?
회사에서 제공해주는 M1 Pro 16/512 기본모델로
작업창 잔뜩 띄워놓은 상태에서 7b 모델 (요구치: 램8gb)을 실행하니까 시스템이 멈춰버리더라구요.
평소에 맥북 프로의 경우 128GB까지 램을 사용할 수 있는데
혹시 LLM들을 로컬자원을 활용해서 사용하시는분들중에
64GB 램이상 쓰시는분들, 성능차이 확실한가요?
이거 보고 이럴땐 m이 좋네 싶더군요.
저도 궁금하긴 하네요.. M2 pro 16/1TB 모델이라 70B는 엄두도 못내서 차이가 많이 날까 싶어요