local LLM을 구성하려고 합니다.

요구 사항은 아래와 같습니다.

1. llama3 70b 모델

2. 다중 gpu 사용

 2.1 GPU 변경

3. 사용자 로컬 데이터(문서들) 학습 후 대화 (RGA)

4. GUI 인터페이스

5. 사용환경: 윈도우, 제한적 online  

1, 3, 4, 5은 성공했는데, 2번이 문제네요.

A. Gpt4all:  1, 3, 4, 5 지원 2번은 지원하지 않음.

B. Ollama: 1, 5 지원, 2번 지원하지 않음, 3번은 방법을 모르겠음, 4번은 직접 지원하지 않으나 구현 가능

C. LM stuido: 1, 4, 5 지원, 2번 지원하지 않음, 3번은 방법을 모르겠음.

2.1번 문제

제가 가지고 있는 GPU가

GPU0: vram 48GB

GPU1: vram 80GB

GPU2: vram 80GB

gpt4all는: gpu0 (GPU 1 or GPU 2번으로 변경 방법을 모르겠음)

ollama, LM stuido: gpu2을 사용합니다.

결론은 1~5번까지 다 지원하면서, GPU0~1까지 다 사용가능한 방법을 모르겠네요.

리눅스에서는 2번이 된다는 글이 있긴하네요.

혹시 관련 경험이 있는분 계신가요?