RTX 5090으로 로컬 LLM 3개월 — 유료 API 안 쓰고 쓰는 법 (초보 사용기)

• RTX 5090으로 로컬 LLM 3개월 — 유료 API 안 쓰고 쓰는 법 (초보 사용기)
• 제미나이 프로 쓰다가 로컬 LLM으로 갈아탄 이야기 (5090 + RAM 128G)

안녕하세요. 회원분들 중에 로컬 LLM 종종 쓰시는 분들 보이더군요.

저는 기존에 구글 제미나이 프로를 싼맛에 쓰고 있었는데, 이번에 유튜브 소울시커님의 "QWEN 3.8 NEXT FLASH MoE" 소개 영상을 보고 시작하게 됐습니다. 어떻게 쓰는지 간단히 소개드릴게요.

■ 사양

• RTX 5090 32GB (예전에 운 좋게 싸게 맞췄습니다)
• RAM 64GB → 128GB로 증설 (요즘 RAM 값이 금값인데, 로컬 LLM 써보고 무리를 좀 했습니다...)

지금 돌리는 모델이 RAM을 100GB 정도 먹습니다. 모델에 따라 64GB에서도 돌아갑니다. 

이건 MoE(Mixture of Experts) 버전이 나오면서 가능해진 건데요, 많이 쓰는 전문가 모델은 VRAM에 올리고 덜 쓰는 건 

RAM으로 내려 관리하는 방식입니다. 혁신적이에요. 예전에는 QWEN 27B 쓰는 게 고작이었습니다.

■ 지금 쓰는 구성 OpenCode 프로그램에 QWEN 3.8 NEXT UNSLOTH Q4 (UD-IQ4_K_XS) 버전. UNSLOTH 버전이 동적 양자화라 일반 양자화(GGUF)보다 똑똑하다고 하네요. 토큰은 초당 130~160개 나옵니다.

쓰면 쓸수록 놀라운 게 많은데, 특히 마음에 드는 것들:

1. 웹검색 → DB화 (저는 순위 집계에 씁니다)
2. 유튜브 특정 채널 DB화
3. 텔레그램으로 리포트 수신 + 텔레그램으로 프롬프트 전달 (밖에서 PC 조종)
4. 폰 대화(피클) 내용을 OpenCode에 보고해서, 기기가 바뀌어도 대화를 자연스럽게 이어감
5. 중고 장터 모니터링 및 보고
6. 저장장치 중복파일 검사, 파일명 정리 + 영화 평점을 DB에서 검색해 붙이기 등
7. 로컬 LLM이 짠 코드를 구글 Antigravity CLI에 넘겨서 교차 검증 — 티키타카까지 됩니다

[이미지: 스킬 목록]

토큰 속도 입니다.  보통 140토큰 정도 나옵니다.

스킬은 만들기 나름인 것 같습니다. PC에 AI 에이전트를 둘 수 있다는 게 최대 장점이네요.

■ 단점도 있습니다

• 하나하나 가르치고 스킬화·DB화해야 할 게 많고, 실수도 자주 합니다
• 아무래도 그래픽 카드 사양이 높아야 토큰 속도도 나오고 고용량 모델도 쓸 수 있습니다
• 중국 모델이라 그런지 간혹 중국어·일본어가 섞여 나옵니다 (제일 거슬리는 단점)

■ 유료 API와 비교해보니 제 개인 체감으로는 지능이 제미나이 플래시보다 나은 것 같습니다. 특히 성의 면에서... 요즘 제미나이 답변은 좀 성의가 없다고 느껴져요. 물론 제미나이는 수백억 달러를 퍼부은 모델이라 단순 비교는 의미가 없겠지만요. 무료(?) 로컬 모델로는 충분히 만족합니다. 좀 더 좋은 양자화 MoE 모델이 더 나왔으면 좋겠네요.

RTX PRO 6000급 두 장이면 작은 기업에서도 충분히 쓸 만하겠다는 생각이 듭니다.

[이미지: Antigravity CLI]

마지막으로 구글 Antigravity CLI입니다. 로그인만 해두면 OpenCode이랑 알아서 티키타카로 대화합니다.
복잡한 코딩 같은거 서로 검수해주면 오류를 많이 줄일 수 있습니다.
단점은 하루 사용량 제한이 있다는 점.

어떤 분께는 걸음마로 보일 수도 있겠네요. 잘 쓰시는 분들, 좋은 팁 공유 같이 해주세요!
그리고 로컬 LLM 배우려면 어디로 가야하나요? 국내 커뮤니티 못찾겠네요. 클리앙에도 뜨문뜨문 글이 올라오는거 같아요.