LLM을 로컬로 돌려보고 있습니다

댓글 14

1. AKANAD · 2024-01-19 10:20:32

   저도 로컬 환경에서 langchain에 ollama물려서 좀 해봤는데, 느려서 못써먹겠더라고요.
   
   제한된 모델에서 긴 문서 요약은 이전 문단 요약문 + 다음 문단을 입력으로 한문단씩 요약하면 어떨까 싶네요.
2. 외않됬데? · 2024-01-19 10:22:55

   @AKANAD님 말씀해주신 방법을 써봐야겠습니다. 문단별로 파싱하고 개별 요약한 다음에 요약문을 모아서 요약하면 좀 더 퀄리티있게 나오려나 싶네요.
   로컬로 돌리는데 최소 4090이고 모델 빌딩도 아니고 파인튜닝도 4090으로 쉽지 않다는 걸 보면, LLM 하는 게 참 쉽진 않습니다.
3. 오떼블랑 · 2024-01-19 10:24:58

   뭔가 내 머리로 내 시간을 들여 할 일을 컴퓨터ai가 해주는 게 대단하다 느껴집니다.
4. 외않됬데? · 2024-01-19 10:27:15

   @오떼블랑님 챗GPT4가 참 대단하긴 합니다. 읽고 요약하는 일을 줄여주는 것만 해도 엄청난 효용입니다. 다달이 내는 구독비 좀 절약해볼까 로컬로 해보는 건데, 로컬로 돌리려면 아직 1~2년은 더 기다려야 하나 싶습니다.
5. 괴발개발자 · 2024-01-19 10:28:37 · 공감 1

   4090도 택도없습니다요
6. 외않됬데? · 2024-01-19 10:31:54

   @괴발개발자님 '4090으로 로컬 가동은 가능은 하다'는 걸 봤습니다. 파인튜닝은 택도 없어보이더군요.
7. nariyada · 2024-01-19 10:29:35

   논문 내용이 방대한게 아니라면 gpts에서 돌리는게 가장 현실적인 방법인듯 합니다.
   
   여건만 된다면 별도로 돌리는게 충분히 가치있는 일이기는 한데 쉽지 않죠.
8. 외않됬데? · 2024-01-19 10:33:10

   @nariyada님 현 시점에선 그런 거 같습니다. 로컬로 돌리는게 쉬운 일이 아니네요.
9. bayliner · 2024-01-19 10:29:45

   vram이 모자라기 때문에 비디오 카드로 모델 로딩이 안되는 겁니다. 돌리는데 의의를 두신다면 3090도 vram 24GB이기 때문에 가성비로는 제일 좋을겁니다.
10. 외않됬데? · 2024-01-19 10:35:02

    @bayliner님 안 그래도 3090 중고도 알아봤습니다만...중고 역시 가격부담이 만만치 않아서 일단은 접었습니다. PDF머신 만드려면 꽤 성능 좋은 모델을 돌려야 하는데, 3090/4090 아니면 답이 없는 거 같네요.
11. 외않됬데? · 2024-01-19 10:32:49

    @보복의시님 네 저 영상도 스킵하면서 보긴 했습니다. 지금 가진 맥이 M2프로이긴 한데 램이 16기가라서 로컬로 돌릴 수는 있다는데 의의를 둬야 할 거 같네요.ㅠ
12. memories_ · 2024-01-19 10:33:33

    로컬로 돌릴거면 PC보단 애플 실리콘 맥으로 돌리는게 큰 모델 돌리기엔 낫더라구요.
13. 외않됬데? · 2024-01-19 10:35:53

    @memories_님 M2프로에서 7B까진 잘 돌아가는 거 확인했습니다. 13B로 올리고 성능 괜찮으면 PDF머신 테스트도 해봐야겠습니다.
14. 가이버2 · 2024-01-19 11:15:54

    엔비디아 아니면 실사 힘듭니다.