모두의공원

Nvidia Chat with RTX 설치 간단 후기 공유합니다. 8

2
2024-02-18 23:44:08 221.♡.117.55
saramio

로컬에서 작동하는 GPT에 관심이 있어서 Nvidia 에서 최근 공개한 chat with RTX 설치해 봤습니다.

답변을 시키면 RTX 3090에서 GPU 사용률과 RAM 점유율이 제법 높게 나옵니다.. 답변은 제법 합니다.

setup.png


chat.png


ram.png


saramio 님의 게시글 댓글
WhaleDocker
IP 112.♡.52.174
02-18 2024-02-18 23:45:35
·
4070ti 는 못돌리겠네요... 일부러 램칼질해서 내놓더니만..
말님
IP 182.♡.71.59
02-19 2024-02-19 00:24:57
·
@WhaleDocker님 4070ti정도면 충분히 돌릴 수 있을 거 같은데요.
Requirement spec.이 VRAM:8GB이상, Graphic Card:RTX 30xx, 40xx, RAM:16GB, OS:Windows11(혹은, 10?) 이거든요.
WhaleDocker
IP 112.♡.52.174
02-19 2024-02-19 00:34:07
·
@말님님 ML 쪽은 메모리부족해지면 걍 죽어버리거나 엄청나게 느려지거나하는데,
저거 한번쓰는데 14gb 먹는거보지 넉넉지 않은거 같네요.
TI SUPER 사라는... 황회장의 함정
매일한가한
IP 116.♡.172.239
02-18 2024-02-18 23:48:15
·
우왕~ 이런것도 나왔군요. 신기하네요. 모델은 여러가지 오픈소스 모델들 다 지원하는건가요?
saramio
IP 221.♡.117.55
02-19 2024-02-19 00:04:12
·
@매일한가한님 현재 Llama,mistral 지원합니다.
가이버2
IP 110.♡.52.204
02-18 2024-02-18 23:52:55
·
이동네 가성비라는 3090 이시네요. 왠만한건 다 돌릴겁니다.
따끈따끈
IP 220.♡.238.46
02-19 2024-02-19 01:16:48
·
오... VRAM 8GB 이상이면 램 12GB인 3060에서도 돌릴 수 있겠군요!?
saramio
IP 118.♡.12.4
02-19 2024-02-19 11:38:09
·
@따끈따끈님 모델 두개에서 Llama는 정상동작이 어렵지 싶습니다. 램을 많이 먹습니다.
목록으로
글쓰기
글쓰기
목록으로 댓글보기