4090같은 고사양 그래픽카드로 로컬에서 직접 돌리시는 분들이 계시는것같은데요
이렇게하면 어떤 장점이 있나요?
공개모델들 직접 튜닝하시기 위한걸까요?
직접 언어모델을 학습시키기엔 4090도 모자란 성능인듯하고
남들이 만든 그나마 최적화된 모델을 돌리는 정도?인것같은데
직접 사용하기엔 월20불짜리 chat gpt보다 성능은 별로인것같아보이더라구요
학습은 코랩을 통해서도 충분히 가능해보이는데
개인용 머신러닝 대략500만원정도의 고사양 pc를 구축해서 사용하게 되면 어떤 장점이 있을지 궁금해서 올려봅니다
1. 오프라인에서 사용 가능. (보안 문제로 외부 접속이 어려운 환경 포함)
2. 온라인 접속이 가능하더라도, 사용 시간, 토큰 제한등으로 부터 자유로움.
3. 고급 사용자가 되면, 사용자 맞춤 AI 구현 가능?
저는 1, 2 번 이유 때문에 고민 중입니다. 장비는 가지고 있는데, 문제는 시간과 구축 실력이 없네요.
무료, 무 검열, 확장성 3가지가 장점이 있고
4090으로 하면 더 성능 좋은 모델을 빠르게 사용할 수 있죠.
llama 7b lora는 4090으로 훈련할 만 합니다.
5시간 걸려서 훈련시켜봤는데 이정도면 좋은 오픈 된 모델에 개인화 훈련을 해볼 만 할 것 같습니다.
앞으로가 기대됩니다
코드 작성시에 많이 활용하신다니 codealpaca 소개해드립니다
https://code-alpaca-demo.vercel.app/
3090TI+96GB RAM 개인컴 구축해서 하고있구요
1)사내망 Local 보안문제
2)7B(모델은 계속발전중이니) LoRA튜닝을 정도는 딱 개인용에서 가능한거같더라구요