로컬 LLM들은 확실히 멍청하긴 하네요

댓글 14

1. 오르테가 · 2026-10-22 20:42:00

   클로드는 안쓰시나요?
2. SHERLOCK · 2026-10-22 20:42:40

   @오르테가님 옙 29만원짜리 GPT만 쓰고 있습니다 ㄷㄷㄷ
3. 슬프다람쥐 · 2026-10-22 20:47:50

   strata 로 Qwen3.8-Flash-Next IQ2_XS d램 64기가로 3060으로 올려서 일시킬려고하는데 어느정도 qwen 3.5 35B / 120B 비해 어느정도 될지 걱정입니다. 일할때 쓰는 거라서... 구독을 하자니.. 토큰이 너무 많이 들고 고민입니다.
4. 게지히트 · 2026-10-22 20:52:21 · 공감 1

   @슬프다람쥐님 strata 는 2bit 양자화까지 너무 공격적이라 성능 하락을 감수할 수 밖에 없지 않을까요. 차라리 freetoken 을 써보시는건 어떨까요. 3060+64G 조합에서 돌지는 모르겠습니다.
5. 슬프다람쥐 · 2026-10-22 20:56:30

   @게지히트님 gpt 5.6luna gpt pro 로 opencode 로 코딩만 오픈코드 돌리고 하는데도 거의 무료토큰 다써가네요 자동화 할려고 지금 에러난거 수정하면서 만들면서 일하는데 미쳐버리겠네요 회사 내규에 맞게 만들어야 하고 그러면 에러가 남발하고 너무 어렵네요 외주를 주고싶은데.. 너무 많이 해버려서.. 그냥 하는게 ..아.
6. 구시대적인마인드 · 2026-10-22 20:59:54

   맞아요
   저도 작년추부터 처음에는 LLM을 직접 학습시키면 계속 데이터를 넣을수록 좋아질 것이라고 생각했지만,
   실제로는 Windows 환경에서는 학습 환경 구축이 어렵고,
   도커쓰다가 비디오 카드마다 쿠다 환경 맞추기도 힘들더라구요
   제일 셋팅이 잘된 케이스는 2090였는대 돌아가기는 잘 돌아가는 시간이 어마어마 하게 걸렸죠
   5090은 계속 쿠다에서 뭐가 안맞고 해결하면 딴대에서 안맞고
   한 몇달 고생해서 구성했습니다.
   결국은 원도우에서는 거의 불가능하더라구요
   결국은 우툰투로 갔다가
   여러 대의 저사양 컴퓨터를 재설치해서 돌리는 방식도 해봤는대
   전기료와 유지 비용이 생각보다 많이 들었습니다.
   
   LLM에 문서를 청킹하고 토큰화한 뒤 검색해서 넣어주는 LLM + RAG 방식으로 전환한 것이 현실적이였는대
   생각보다 파인튜닝할떄 시간이 많이 걸리고
   새 모델이 나오면 학습도 다시 해야하고
   결국은 로컬 파인튜닝 + 구독 연결 + 토큰 구입해서 연결
   했는대 요새는 토큰 비중이 커지고 있네요
   
   아시는 분은
   CPU+RAM만으로 2-8B짜리 LLM 로컬로 돌린다고 하시는대
   뭐 제대로 돌아가는 지는 모르곘네요
7. 카이바시 · 2026-10-22 21:06:30

   폐쇄적 데이터베이스 활용 말고는 없는듯해요.
8. 구시대적인마인드 · 2026-10-22 21:12:44

   @카이바시님 다른 커뮤에서 어떤 돈많으신 치과 원장님은
   미니맥 몇대로 내부에서 서버설치 환자 관리 건강공단 관리까지
   전부 개발해서 내부에서만 돌리고
   외부 서버 차단해서 환자정보 못나가게 해서 돌리더라구요
   개인사업하시는 분들이 폐쇄적으로 돌리시면 가능성이 좋쵸
   요즘 같은 보안이슈에서도 차별화되고
9. Forecasting · 2026-10-22 21:23:23

   @구시대적인마인드님 12대를 돌리면 가능성은 그만큼 더 커지겠죠 ㅎㅎ
   미니맥 아니고 DGX Spark 12대..
   
   매니맥은 아마 보조일겁니다..
10. 카이바시 · 2026-10-22 21:25:07

    @구시대적인마인드님 그정도되면 가정용이 아니라 기업용이 되자나요.
11. Scalpel · 2026-10-22 21:25:30

    아무래도 프론티어 모델이랑 비교하기에는 체급차이부터 크죠 ㄷㄷ
    내부 시스템 관리 에이전트에 Qwen 3.8 27b나 QFN 물려서 사용 중인데 제 기준으로는 쓸만하더라구요.
12. 320i · 2026-10-22 21:29:33

    3.5는 성능 구립니다..
13. pluto248 · 2026-10-22 21:35:52

    너무 예전 버전을 쓰고 계신것 같은데요?
    프론티어로 따지면 gpt-5.5이하 버전을 쓰는 셈이라..
    qwen 최신 버전으로 바꿔보세요. 성능이 비약적으로 향상 했습니다.
    특히 3.8 37B는 localllm에 대한 인지를 바꾸었고 3.8 flash next의 경우는 예전 수준의 프론티어급 능력을 보여줍니다
14. Esca · 2026-10-22 21:39:33

    3.5 말고 최소 3.8 이상으로 쓰세요.. 살짝 맛보기만 했지만 3.5는 멍청합니다.
    최근 3.8은 그나마 조금 낫더라구요.