최근 맥북에 Vicuna를 설치했습니다
터미널에서 질문을 주고 받다가 python 라이브러리인 graido로 챗봇창을 만들려고 하면 맥에서는 어렵고
결국 리눅스 환경이 되야하는 거 같았어요
그럴바엔 gpu까지 넣어서 서버 구축하는게 좋다고 지인이 추천해줬어요. 3060 정도면 된다고 하는데
그래서 클리앙에 딥러닝 때문에 데탑이나 노트북을 사시는
분들이 보였던 것 같습니다.
직접 서버 구축해서 본인 연구나 프로젝트 실행 목작으로 운영하시는 분들 계신가요? 중고라도 좋으니 예산은 얼마정도 생각하면 될까요?
별도 데이타로 학습을 시키려고 하는건지 궁금합니다.. ㅎㅎ
비용이 생각보다 많이 드셨는데, 학습한 효과나 결과물이 좀 있는지도 궁금하고요..
알려주시면 감사하겠습니다.. ^^;
요새 AI쪽에 관심이 많아져서요..
구글 코랩은 무료로도 어느정도 가능하구요.
첨에는 저도 1060 정도로 시작했는데, 메모리 문제 때문에 24gb 인 3090으로 왔어요.
좀 헤비하게 돌릴 때는 연구소 서버를 사용하고 제 데탑은 개인적인 연구 목적으로 사용중인데 윈도도 듀얼부팅으로 깔아서 가끔 게임도 하고.. 만족합니다 ㅎ
저야 제가 이 정도면 하는 일에 충분하겠다 생각해서 3060으로도 잘 썼지만 (지금은 안씁니다..)
돌릴 workload에 따라 너무 천차만별이라 딱 짚어서 추천드리긴 어렵습니다.
그래도 VRAM은 무조건 큰 걸로, 이왕이면 16GB 이상 추천드리고
못해도 12GB 모델로 사시길 추천드립니다.
잘 아시겠지만 3060 12GB가 돌릴 수 있는 걸 이보다 훨씬 성능 좋은
3080 10GB가 못 돌리는 경우도 충분히 생깁니다.
게이밍 노트북 중고 알아보려 했는데 그건 또 아니다라고 말해주는 분도 계셔서 일단 고민만 하고 있습니다
답변 감사합니다 ^^