CLIEN

본문 바로가기 메뉴 바로가기 보기설정 테마설정
톺아보기 공감글
커뮤니티 커뮤니티전체 C 모두의광장 F 모두의공원 I 사진게시판 Q 아무거나질문 D 정보와자료 N 새로운소식 T 유용한사이트 P 자료실 E 강좌/사용기 L 팁과강좌 U 사용기 · 체험단사용기 W 사고팔고 J 알뜰구매 S 회원중고장터 B 직접홍보 · 보험상담실 H 클리앙홈
소모임 소모임전체 ·굴러간당 ·주식한당 ·아이포니앙 ·방탄소년당 ·MaClien ·일본산당 ·자전거당 ·개발한당 ·안드로메당 ·AI당 ·이륜차당 ·소시당 ·냐옹이당 ·바다건너당 ·소셜게임한당 ·오른당 ·걸그룹당 ·클다방 ·와인마신당 ·위스키당 ·PC튜닝한당 ·스팀한당 ·패스오브엑자일당 ·어학당 ·노젓는당 ·나스당 ·골프당 ·키보드당 ·퐁당퐁당 ·육아당 ·IoT당 ·날아간당 ·리눅서당 ·찰칵찍당 ·가상화폐당 ·방송한당 ·달린당 ·3D메이킹 ·X세대당 ·ADHD당 ·AI그림당 ·사과시계당 ·배드민턴당 ·야구당 ·농구당 ·블랙베리당 ·곰돌이당 ·비어있당 ·FM당구당 ·블록체인당 ·보드게임당 ·활자중독당 ·볼링친당 ·캠핑간당 ·문명하셨당 ·클래시앙 ·콘솔한당 ·요리한당 ·쿠키런당 ·대구당 ·DANGER당 ·뚝딱뚝당 ·디아블로당 ·개판이당 ·동숲한당 ·날아올랑 ·전기자전거당 ·e북본당 ·갖고다닌당 ·이브한당 ·패셔니앙 ·물고기당 ·도시어부당 ·FM한당 ·맛있겠당 ·포뮬러당 ·젬워한당 ·안경쓴당 ·차턴당 ·총쏜당 ·땀흘린당 ·하스스톤한당 ·히어로즈한당 ·인스타한당 ·KARA당 ·꼬들한당 ·덕질한당 ·가죽당 ·레고당 ·LOLien ·Mabinogien ·임시소모임 ·미드당 ·밀리터리당 ·땅판당 ·헌팅한당 ·영화본당 ·MTG한당 ·소리당 ·노키앙 ·적는당 ·그림그린당 ·소풍간당 ·심는당 ·라즈베리파이당 ·품앱이당 ·리듬탄당 ·Sea마당 ·SimSim하당 ·심야식당 ·윈태블릿당 ·미끄러진당 ·축구당 ·나혼자산당 ·스타한당 ·파도탄당 ·테니스친당 ·테스트당 ·빨콩이당 ·공대시계당 ·여행을떠난당 ·터치패드당 ·트윗당 ·창업한당 ·VR당 ·시계찬당 ·WebOs당 ·WOW당 ·윈폰이당
임시소모임
고객지원
  • 게시물 삭제 요청
  • 불법촬영물등 신고
  • 쪽지 신고
  • 닉네임 신고
  • 제보 및 기타 제안
© CLIEN.NET
공지[점검] 잠시후 서비스 점검을 위해 약 30분간 접속이 차단됩니다. (금일 18:15 ~ 18:45)

팁과강좌

PC/모바일 무료로 로컬 ai를 무한정으로 써보자 69

72
2025-08-26 10:30:48 수정일 : 2025-08-26 18:48:21 211.♡.231.247
행복주식회사

클리앙 사이트는 IT 현업도 계시겠지만 전혀 문외한도 계실테니, IT린이 수준에 맞춰 소개하고자 글을 써 봅니다.

현업분들은 읽을 가치도 없을 것 같아요^^


ai 하면 chatgpt, gemini, deepseek, grok 등 많은 ai 서비스가 있습니다. 사실 이제 ai를 막 써보거나 단순 이용만 하시는 분들은 어떤 ai를 써야 하는지 부터 쉽게 결정하기 어려울 것 같습니다. 사실 무료라고 하지만 하루 사용량, 버전, 서비스 제한이 있는 게 사실이기 때문이고, 제대로 사용하려면 어쨌든 유료 서비스를 이용할 수 밖에 없기 때문입니다.


그래서 많이 권장하는 게....


1. 많은 ai 서비를 무료로 체험해서 본인에게 필요한 것을 고르라는 것입니다. 가장 흔하게 보편적으로 권장하는 방법입니다.


2. 무료 사용이 많은 뤼튼, deepseek 등을 먼저 아웃라인을 잡고 제한된 무료 서비스의 chatgpt나 gemini에서 사용하는 방식으로 무료 활용을 최대한 사용하는 방식을 권장하기도 합니다.


3. 유료 결제를 한다면, chatgpt, gemini를 기본으로 업무적으로 필요한 것으로 추가 결제하는 방식으로 ai 서비스를 활용하는 것을 권장하기도 합니다. 


IT 개발자 입장에서는 접근 견해가 다르겠지만, 일반인들의 업무 활용 측면에서 보면 업무적으로 보안이 필요하거나 버전이 낮더라도 데이타 축적을 통해 구버전을 활용해 볼때 생각해 볼수 있는 로컬 ai가 아닐까 해서 정리해보겠습니다. 


로컬 ai 구축이 과거와 비교해 매우 쉽고 간단해졌습니다.


1. 로컬 ai 플랫폼 결정

- ollama : 최근 대중적으로 많이 주목받고 익숙한 UI를 제공하고 많은 ai 모델을 제공합니다. https://ollama.com/

- LM Studio : 코딩 관련해 결과물이 좋아 주목 받는 측면이 있고, 세부 설정이 잘 지원됩니다. 특히 맥에 최적화된 것으로 알려져 있습니다. https://lmstudio.ai/

- Jan : UI가 쉽고 다양한 모델을 지원하나 업데이트가 느린 편입니다. https://jan.ai/


하지만 대표적인 ai 모델은 위 셋 플랫폼 모두 지원하니 본인 취향에 맞춰 선택하면 될 것 같습니다.


2. 로켈 ai의 모델 및 한글화 모델

대표적으로 open ai, deepseek 등이 다양하게 지원하고 용량도 1GB이하부터 60GB이상도 존재합니다.

한글화 지원되는 버전은 

  • EEVE-Korean-Instruct-10.8B-v1.0: 한국어에 가장 최적화된 모델 중 하나로, 자연스러운 답변과 높은 이해도를 자랑합니다(이게 바로 그 유명한 야놀자에서 개발한 한국어 ai 모델입니다).

  • Llama 3 (한국어 파인튜닝 버전): Meta의 Llama 3를 한국어 데이터로 추가 학습하여 성능을 개선한 모델입니다.

  • Upstage - SOLAR 시리즈: 업스테이지에서 개발한 모델로, 한국어 능력뿐만 아니라 추론 능력도 뛰어납니다.

  • Kanana: 카카오브레인에서 개발한 경량 모델로, 한국어 성능이 우수하며 상업적으로도 이용 가능합니다.

  • KoAlpaca, KoGPT: 고려대학교 등에서 한국어 데이터로 훈련시킨 모델들로, 다양한 파생 모델들이 존재합니다.


이제 한글화도 지원하고 일반인도 쉽게 사용할 수 있도록 프론트 페이지까지 지원하기도 하여 아무것도 모르는 일반인도 앱을 설치하고 모델 데이타를 다운로드를 받아 별도의 설정없이 바로 이용할 수 있어 가깝게 다가왔다고 생각드네요.


p.s. 로컬 ai에 대해 웹 수집을 하지 못하는 것으로 오해해서 막연히 안 좋다고 말씀하시는 분들이 계신데, 그럼에도 불구하고 굳이 입문자들을 위해 작성한 이유는 2가지입니다.

1. 전문적 자료를 작성해야 하는 분들은 로컬 ai가 비전문적 자료에 의한 오염을 사전에 차단되는 효과가 있으니 수년간 자신의 분야에 전문적 자료(논문, 보고서, PDF 변환 문서등)를 보유하고 있다면 이를 사전 학습시켜놓으면 오염되지 않은 좋은 결과물을 만들수도 있습니다.

2. ollama의 경우 turbo 기능은 웹자료 수집해서 작성도 하니 선택해서 사용하면 되고, 그러면 로컬 ai의 한계로 생각하는 문제가 근본적으로 해결됩니다. 다만 모델은 취향과 목적에 맞춰 잘 선택해서 잘 이용하세요^^



행복주식회사 님의 게시글 댓글
  • 주소복사
  • Facebook
  • X(Twitter)
댓글 • [69]
신겁
IP 164.♡.222.215
08-26 2025-08-26 10:51:01
·
Msty.ai를 썼더랬습니다. 예뻐요. 기능은 여러가지 있는데 그닥 유용하진 않고.
요즘은 Ollama GUI를 애용하고 있습니다.
행복주식회사
IP 211.♡.231.247
08-26 2025-08-26 11:00:33
·
@신겁님
네, 많은 로컬 ai가 있지만 위 3가지를 소개한 게 앱 설치, 그리고 그 앱에서 원하는 모델을 다운로드를 바로 받아서 별도의 설정없이 바로 사용할 수 있을 정도로 쉬워졌고, ai 모델도 다양해져서 선택권도 생겼고, 완성도의 차이는 있지만 야놀자 외에도 한글 지원하는 모델도 다양해졌어요. 온라인 데이타 수집과 병행해서 쓰면 결과물도 나쁘지 않아요.
v030v
IP 119.♡.212.2
08-26 2025-08-26 10:53:38
·
소개 감사드립니다.
저는 개발과는 거리가 먼데 이미지 생성형 ai 프롬프트 자동화 연동 목적이나 로컬ai 모델들이 어떻게 돌아가는지 궁금해서 ollama나 LM Studio를 잠깐 맛봤었습니다.
온라인 서비스와는 달리 로컬PC의 자원이 많이 한정적이라 모델 선택이 조금은 제한적이고, 속도가 아쉬울 때도 있었지만
잠깐의 설치, 다운로드 과정만 거치면 AI를 사용할 수 있다는 방법적인 면에서는 정말 편하더라구요.
세상이 많이 변하고 있구나 싶었습니다. (PC 업글 욕구가 상승한다는 부작용이.. ㅎㅎ)
행복주식회사
IP 211.♡.231.247
08-26 2025-08-26 11:02:54
·
@v030v님

과거 phi 수준에서 지금은 많은 모델들이 있어요. 속도도 본인 PC에 맞춰서 고르면 그렇게 느리지 않아요. 또한 웹 자료 수집과 병행해서 결과물 작성하면 나쁘지 않아요. 그리고 업무는 어차피 업로드 자료가 계속 쌓일테니 온라인 ai 보다 신뢰성이 높고요. 간단하게는 참고자료를 모두 업로드해서 정리한 후 원하는 내용을 채팅을 통해 만들어보세요. 그러면 로컬도 쓸만해요.
v030v
IP 119.♡.212.2
08-26 2025-08-26 11:17:39
·
@행복주식회사님
가이드 감사드립니다. 조만간 시간내서 다시 접해봐야겠습니다 ㅎ
잿빛토끼
IP 61.♡.19.149
08-26 2025-08-26 11:33:42
·
LG 엑사원이 쫌 하더라구요.
행복주식회사
IP 211.♡.231.247
08-26 2025-08-26 16:42:48 / 수정일: 2025-08-27 00:02:40
·
@잿빛토끼님

최적화 덜 된 것과 버그 이슈가 있는 것으로 알아요.
s난다s
IP 168.♡.55.50
08-26 2025-08-26 11:41:43
·
cursor 처럼 vscode에 연결할 수 있는 local ai가 있을까요? 코딩에 local 활용해보고 성능을 비교해보고 싶네요.
조용히
IP 39.♡.230.15
08-26 2025-08-26 14:00:45 / 수정일: 2025-08-26 14:01:28
·
@s난다s님 ollama 지원 합니다. Qwen...
minux
IP 211.♡.61.194
08-26 2025-08-26 21:50:45
·
@s난다s님 실제 코딩에 적용하시려면 그냥 deepseek api 같이 저렴한거 쓰시는게 시간, 에너지 상 나을거에요. 성능비교는 유툽에 남들이 해논거 보심이.
s난다s
IP 49.♡.218.38
08-26 2025-08-26 23:11:03
·
@minux님 네 감사합니다. 제 분야에서는 cursor.ai로 충분하기는 하지만 vscode에 저렴한 ai를 붙이는 것도 장기적으로 좋을 것 같아서 찾아보려 합니다.
camsho
IP 112.♡.53.149
08-26 2025-08-26 14:43:55
·
코알파카는 허깅페이스에서 다운받아서 써야될까요? ollama에서는 찾지를 못하더라구요 ㅎ
행복주식회사
IP 211.♡.231.247
08-26 2025-08-26 16:37:50
·
@camsho님
https://huggingface.co/models?other=KoAlpaca
D - DAY ™ ☆
IP 59.♡.241.190
08-26 2025-08-26 16:48:07
·
실사용 해보면 바로 한계에 부딛치고 온라인으로 가게 됩니다.
온라인 무료 토큰 다 써서 못슬때 급하면 로컬에서 쓰세요.

클라우드에서 실행되는 버젼과 로컬에서 실행되는 llm은 성능이 하늘과 땅차이 입니다.
행복주식회사
IP 211.♡.231.247
08-26 2025-08-26 17:00:23 / 수정일: 2025-08-26 18:20:12
·
@D - DAY ™ ☆님

네, 한계 존재합니다.

그럼에도 불구하고 로컬 ai를 소개하는 건, 본 게시글에서 밝힌대로 보안과 유료 결제 이전에 ai를 옮겨가기 전 경험하는 차원으로 소개하는 것으로 이해하시면 될 것 같습니다.

그리고 클라우드나 NAS에 참고자료를 풍부히 관리하고 있다면 인용문헌을 이용해서 학습 시켜놓으면 보안도 유지되면서 그런대로 쓸만해져서 소개한 이유이기도 합니다. 오히려 잘못된 자료가 끼어들어 오염되는 것이 없어서 더 좋은 결과를 내놓는 경우도 있기도 해요^^

그리고 부족하지만 ollama는 turbo 기능을 이용하면 웹 자료도 수집해서 선택된 모델로 작성해주기도 해요.
너키빅키잔아
IP 118.♡.12.105
08-27 2025-08-27 09:56:24
·
@행복주식회사님 어떤 방식으로 자료를 학습 시키는지도 말씀 해주실 수 있을까요? 파인튜닝은 엄두가 안나고 rag로 다 만들자니 번거롭고...
혹시 저 툴들이 지원하는 쉬운 방법이 있는지도 궁금합니다.
D - DAY ™ ☆
IP 59.♡.241.190
08-29 2025-08-29 09:53:12 / 수정일: 2025-08-29 09:56:40
·
@행복주식회사님 네 말씀해주신 부분은 잘 알겠습니다.

하지만 내용상으로 볼때 성능이 말도 안되게 차이 나는 부분에 대해서는 내용이 없기 때문 입니다.
이걸 따라서 해보려면 어느정도 장비투자(그래픽카드, 메모리)가 선행 되어야 하는데 어느정도 투자를 해야 어느정도 성능을 얻을수 있다는 내용은 보이질 않습니다.

EEVE 10.8 B 정도만 되어도 3080이상 정도 되는 그래픽 카드는 가지고 있어야 어느정도 돌아 간다고 생각 되는데,
3080 정도 되는 그래픽 카드를 구매해야 하는것과 그정도를 풀로 돌리기 위해 소모되는 전력을 생각하면 과연 무료라고 할수 있을까요? 클라우드 보다 로컬의 구축 비용이 결코 그렇게 저렴하지 않다고 생각 됩니다.

내 데이터를 공개하지 않아야 하고 학습을 통해 더욱 결과를 제대로 활용하고 싶다 라고 한다면 로컬 장비 구축비용이 몇천단위를 넘어가야 합니다.

그렇지 않으면.. 정말 말그대로 실행이 된다.. 수준밖에는 되지 않는것 같습니다.
단순한 질문에 답변을 준다는 것과, 내 자료를 학습을 통해 결과를 낼 정도의 실사용은 천지 차이라고 생각 합니다.

적어도 나는 어떤 수준의 하드웨어에서 어느정도의 자료를 학습해서 어느정도의 시간을 통해 결과를 얻을수 있다 라는 실사용 정보라도 있으면 좋겠네요.
행복주식회사
IP 125.♡.153.104
09-25 2025-09-25 05:49:23
·
@너키빅키잔아님

지금은 어떤 라이브러리가 필요한지 대충 알고 있으니 제가 필요한 라이브러리는 쉘 스크립트로 만들어서 쓰고 있어요. 이걸 만드는 건 여러가지 이유로 꼬여서 잘 안될때가 있어서 일일이 설치하는 것도 귀찮고 해서 초기화시킨 후 원하는 라이브러리를 재설치하는데 5~7분 정도 소요되요.

질문하신 것처럼 rag 구축은 파이썬이 제일 간단하고 수정도 편해서 실행하는 순간 특정 폴더에 넣어둔 pdf 파일을 학습하도록 만들어 놓았습니다. 그래서 pdf 파일 많거나 고용량이면 처음 구동시 시간이 좀 걸리지만 업무 보고서 쓸 때 기준으로 해도 200페이지 보고서 및 관련 학술 논문을 포함해서 이용할 때 1~3분 정도 소요됩니다.

그러면 초안 정도는 잘 만들어집니다. 이런 방식의 LLM이 좋은 게 어쨌든 한정된 자료에 제한해서 작성할 수 있으니 허위 정보에 기초한 작성이 거의 없어요. 지금의 성능 좋은 ai가 아무리 좋아도 전문 리포트 작성시에는 허위 정보가 너무 많고, 어떤 자료를 가져다 쓰는지 컨트롤하기 너무 어렵기도 해서요.
eels
IP 211.♡.180.56
08-26 2025-08-26 17:06:52
·
유익한 자료 감사드립니다. 혹시 영어 <-> 한국어 번역에 최적화된 모델도 있을까요?
행복주식회사
IP 211.♡.231.247
08-26 2025-08-26 17:18:08 / 수정일: 2025-08-26 18:38:08
·
@eels님

언급한 한글화 모델이 전부라 보시면 되고, 번역용으로는 현재 온라인 ai를 쓰는 걸 추천드리고, 보안이나 부담없이 쓰는 목적이라면 아직 어떤 것이 좋다는 평가자료나 로컬 모델은 없고, 자연스러운 한국어 대화로 야놀자에서 만든 EEVE-Korean-Instruct-10.8B-v1.0이 유명합니다. 아니면 최근 KoAlpaca가 주목받고 있고, hugging face에 가면 파생 모델도 있어요.

https://huggingface.co/models?other=KoAlpaca

개인적으로는 한국어보다 영어로 대화하는 게 같은 질문도 결과물이 더 좋은 거 같아서 번역이 아니라면 평상시에 영어 프롬프트를 주로 사용해서....deepseek 모델도 학습시켜 놓으니 한국어도 나름 쓸만해요.
하얀@구름
IP 106.♡.206.81
08-26 2025-08-26 18:16:59
·
어느 정도 pc 사양이면 위의 로컬을 돌릴수 있나요?
행복주식회사
IP 211.♡.231.247
08-26 2025-08-26 18:26:07 / 수정일: 2025-08-26 18:33:28
·
@하얀@구름님
윈도우 10과 맥 몬터레이 정도 돌아가면 상기의 앱은 설치되니....속도는 사용할 로컬 ai 모델에 따라 크게 달라집니다. 하지만 deepseek나 open ai 기반 모델 쓰면 학습량에 따라 점점 쓸만해지고, ollama가 주목받는 이유는 온라인에서 자료 수집도 함께 해요. 물론 airplane mode를 지원하기도 해서 해외 출장시 이용하면 참 좋아요(미리 레퍼런스로 학습시켜놓으세요).

개인적으로 NAS에 수많은 업무 관련 자료 및 보고서를 끌어와서 학습시켜놓고 다양한 시나리오로 아웃라인 작성해 놓고 turbo 옵션 이용해 가면서 온라인 자료 수집도 병행하면서 쓰면 로컬 ai의 단점을 못 느낄 정도로 좋아요. 그리고 이게 축적되면 온라인 ai의 가장 문제가 허위자료에 의한 오염인데 전문적인 자료 작성시 매우 심하기 때문에 로컬 ai가 더 낫다고 위안삼아....쓰고 있어요. 물론 6개 정도 유료 서비스도 병행해서 쓰고 있기도 하고요.

그리고 가급적 윈도우 랩탑보다 맥북 추천드러요. 특히 LM studio는 확실히 체감되요. 그리고 60GB open ai 모델은 너무 느려서 어떻게 세팅하면 달라질지 모르겠지만 저는 포기했어요^^
야함나르
IP 175.♡.89.217
08-27 2025-08-27 10:16:41
·
@행복주식회사님 개인 문서를 영구적으로 학습시켜 적용해놓는 방법이 있나요?. 단순히 첨부파일로 주면 영구적으로 학습이 되나요?.
행복주식회사
IP 125.♡.153.104
09-25 2025-09-25 05:52:55
·
@야함나르님
해당 채팅창을 그대로 유지된다면 가능하겠죠.

하지만 python으로 rag 구축하면 되요. 쉽게 말해서 특정 폴더의 pdf 파일을 참조해서 작성하라고 만들어 놓은 방식이죠. 이 구닥다리 방법을 고집하는 이유는 특정 폴더의 pdf 파일만 교체해주면 별도의 파이선 코드를 재작성하지 않아도 되고 코드 역시 얼마 되지 않으니 언제든지 수정 보완할수 있어서요. 폴더 변경 및 모델 변경 및 검색으로 자동으로 지정할 수 있도록 할 수도 있지만 그렇게 하면 속도도 느려지고(이게 가장 큰 이유이기도 함), 나중에 코드 변경할때 귀찮아집니다. 전 단순한게 좋거든요ㅠㅠ
야함나르
IP 218.♡.115.192
09-25 2025-09-25 11:35:36
·
@행복주식회사님 아 RAG 말씀하신 거군요.. 영구 학습으로 말씀하셔서.. LoRA 같은 adaptor model 을 만드시는 걸 말씀하시는 건가 했습니다.
답변 감사합니다.
행복주식회사
IP 118.♡.92.133
03-04 2026-03-04 14:57:23
·
@야함나르님 그것도 가능은 한데 h/w 투자가 좀 있어야 해서....이번 소개에서는 제외했습니다.
우디우디
IP 123.♡.37.124
08-26 2025-08-26 19:12:41
·
저는 비용보다는 보안문제 때문에 로컬LLM에 관심이 많네요. 주식회사님의 Use Case가 제가 꿈꾸는 모습인데 벌써 하고 계시다니 반갑습니다. NAS에 있는 자료를 학습을 시키셨다고 하셨는데, 혹시 어떤 방법으로 학습시키셨는지 여쭤볼 수 있을까요? 매번 로컬 LLM에 자료를 올려서 분석하자니 너무 번거롭고, 그렇다고 Q&A방식으로 학습을 시키자니 엄두가 안나고 그렇습니다 ^^;;
행복주식회사
IP 211.♡.231.247
08-26 2025-08-26 19:47:34 / 수정일: 2025-08-26 19:52:04
·
@우디우디님

PrivateGPT & 파이썬을 돌려야 하니 별도 강좌로 다뤄야 할 거 같아요. 그리고 전 맥북 사용자라서 크게 다르지 않지만, 최대한 쉽게 소개하는 게 목표이니 NAS는 빼고 로컬 드라이브의 자료를 자동 학습하는 맥북 환경에서 사용기는 시간이 날때(?) 하나 올려볼께요. 그런데 쉽게 쓸 방법으로 소개할수 있을지....는 모르겠네요. ㅠㅠ
Tiramisu
IP 106.♡.128.64
08-27 2025-08-27 06:41:12
·
행복주식회사님// 있는 그대로라도 올려주심 감사요 ㅠ 혼자 공부하면서 하려니 넘힘드네요..
야함나르
IP 175.♡.89.217
08-27 2025-08-27 10:18:23
·
@행복주식회사님 대략적으로라도 올려주시면 많이 참고해보겠습니다. Local LLM 에 영구 학습하는 게 어떤 방식인지 잘 모르겠네요?. 대략적인 기술 키워드라도 알려주심 검색해보겠습니다.
행복주식회사
IP 125.♡.153.104
09-25 2025-09-25 05:53:42
·
@야함나르님

파이선으로 rag 구축하는 거예요. 이게 제일 간단하고 속도도 빠르고 수정 보완도 쉬워요.
oxyzen
IP 61.♡.144.255
08-26 2025-08-26 19:43:07
·
맥미니 m4 면 로컬 ai ollama 를 설치할 수 있을까요?
행복주식회사
IP 211.♡.231.247
08-26 2025-08-26 19:50:46 / 수정일: 2025-08-26 23:59:05
·
@oxyzen님
충분해요.

몬터레이만 올라가면 인텔 맥북도 되요. 뭐 구버전은 카탈리나도 가능한 것 같지만요.
그림 생성만 하지 않으면 텍스트 중심의 문서 생성은 나름 쓸만해요. 사실 ai 그림 생성은 다른 좋은 툴도 많기도 해서.....지금 소개한 로컬 ai는 비추천이고요. 그런데 아직 접근성 좋은 쓸만한 그림 생성 무료 ai는 아직 없는 거 같아요.
__ei
IP 101.♡.149.164
08-27 2025-08-27 03:02:10 / 수정일: 2025-08-27 03:02:42
·
@oxyzen님
제가 맥미니 m4 기본형 쓰고 있는데 8b이상 쓰기 힘듭니다.
한국어 성능 필요 없으시면 그냥저냥 쓸만할수도 있겠지만.. 무료로 쓸 수 있는 툴에 비교해도 한참 떨어집니다. 개인적인 의견입니다.
행복주식회사
IP 125.♡.153.104
09-25 2025-09-25 05:55:55
·
@__ei님

생각하기 나름인데 성능 좋다고 하는 건 전문 영역의 리포트 작성시키면 허위 정보 및 참고자료 검증이 안되어서 전문 리포트 작성에는 부적합해서 부정적으로 보시는 LLM으로 초안 작성하고 있어요. rag 구축하면 크게 불편하지 않아서요. 심지어 시놀로지에다 걸어놓고 2~3일 후에 보기도 해요^^ 리포트 작성용이라서 허위 정보 없는 LLM가 시간 효율이 더 나은 것 같아서요.
달콩이남편알콩이
IP 211.♡.125.173
08-26 2025-08-26 20:29:28
·
혹시 local 컴퓨터 사양이 어떻게 되세요? 2000만원 이내에서 NVDIA 5090 같은걸 2-3개 묶어서 OpenAI 최근 opensource를 돌려보고 싶은데 ㅠ.ㅠ 참고할 사양이 없네여 ㅠ.ㅠ
행복주식회사
IP 211.♡.231.247
08-26 2025-08-26 20:50:09
·
@달콩이남편알콩이님

음, 이건 제가 게시한 목적과 다른 거 같아요. 제 게시글의 목적은 순수 개인 목적으로 랩탑에서 축적된 자료를 자동학습시키는 솔루션을 원하는 입문자...즉 아무 설정없이 앱 설치와 원하는 모델을 클릭 선택해서 이용하는 로컬 ai 소개예요. ㅎㅎㅎ

다시 질문으로 오면 nvdia rtx 5090은 안 써봐서 모르겠고, nvdia rtx 4090 2개, ram 256gb 사양에서 open ai 구축한 바 있는데 베타 테스트여서....상업목적으로 어떨지는 추천할 사양은 아니지 싶고요.

질문하신 취지로 볼 때 2천만원은 상업용 서비스라면 예산은 적지 않나 싶은데요.
단축키
IP 106.♡.200.113
08-26 2025-08-26 21:04:06
·
아직 무슨말인지는 모르지만 천천히 읽어 볼께요
지금 클로드 유료 쓰고 있습니다
사랑과평화
IP 218.♡.114.147
08-26 2025-08-26 23:25:15
·
제가 계속 고민하고 있는 부분이고 아마 많은 분들이 그렇게 쓰길 원할 것 같아요. 자료의 신뢰성과 보안성 때문이리라 생각이 되요. 이번에 local llm 고려하면서 맥북m4pro 사면서 ssd 용량을 2tb로 늘리고 램을 48로 샀는데 이정도면 괜찮을까 궁금합니다. 설치는 어찌어찌해볼 것 같은데 내 자료로 학습시키는 부분은 자신도 없지만 무엇보다 그걸 다시 배울 시간이 없네요. 최종 사용자입장에서는 내 자료만 이용하는 notebooklm 같은 서비스도 괜찮긴 한데, 방대하게 내 자료를 학습시키고 싶어요. 학습시키는 방법이 편해지면 좋겠습니다. 좋은 글 감사합니다.
바스모스
IP 114.♡.185.120
08-27 2025-08-27 07:20:18
·
@사랑과평화님 학습은 개인용 pc나 맥에서는 거의 어렵더라구요. 클라우드나 전용 머신 쓰셔야 합니다
MDgogo
IP 172.♡.3.111
08-27 2025-08-27 01:57:50
·
관련분야 사람으로서 첨언드리면, local llm 성능이 chatgpt 성능 따라가기는 굉장히 어렵습니다. 그냥 저렴하게 쓰고, 저의 데이터를 다른 곳에 안 넘기는 곳에 의미.
행복주식회사
IP 125.♡.153.104
09-25 2025-09-25 05:57:52
·
@MDgogo님

네, 보안도 문제고, 무엇보다 성능 좋다고 하는 것들은 허위 정보가 많아요. 그래서 테크니컬 리포트 작성에는 아직은 너무 부족하다고 판단되어서요. 허위 및 검증되지 않는 게시글에 기초해서 작성된 것을 골라내는 게 너무 너무 힘든 일이라서요. 그냥 제한된 전문 자료(학술논문 등)에 기초한 초안 작성시 LLM이 더 낫다고 판단되어서 초안 작성용으로 잘 쓰고 있어요.
외국인노동자2025
IP 174.♡.125.221
08-27 2025-08-27 04:42:50
·
개인적으로는 그래픽 카드가 20기가 이상인 경우 gemma-3 27b 추천합니다. LLM 공부하기에는 좋더군요.
참고로 라데온도 LLM에는 그닥 큰 무리가 없습니다.
젊은회원jr
IP 222.♡.105.175
08-27 2025-08-27 08:25:26
·
@외국인노동자2025님 오, 라데온도 LLM에서 잘 된다니 반가운 이야기네요, Nvidia너무 비싸요..ㅠㅠ
13B 모델 원활히 돌아가려면 어느 정도 스펙이면 될지 혹 여쭤봐도 될까요?
외국인노동자2025
IP 45.♡.141.195
08-27 2025-08-27 11:02:56
·
12b ggug k4_m이 7-8기가니까 최소 16기가, AI 챗이나 글을 쓰려면 20기가 이상 추천합니다. LM studio쓰면 엄청 편해요
이만늬개객끼
IP 118.♡.91.86
08-27 2025-08-27 05:39:14
·
Vllm으로 모델올리고 cline조합으로 사내 개발자들 사용하게 해봤는데 쳇gpt나 제미나이cli가 성능이 워낙 넘사다보니 만족도는 꽤 낮았습니다.
일단 소스코드의 오류나 분량에서 넘사벽이 있습니다.
오떼블랑
IP 58.♡.61.15
08-27 2025-08-27 06:53:09
·
제가 갖고 있는 데이터를 학습시키는게 어려운것이더군요. 데이터셋 구축이 일단 매우 어렵고 학습도 어려워서 참 고민입니다.
Rag도 병행해봤는데 이 역시 db가 빈곤하다고 할지 학습이 모자란건지 답을 잘 찾지 못해서 ....ai를 활용하겠다는 의욕이 식어가는 중입니다.
바스모스
IP 114.♡.185.120
08-27 2025-08-27 07:16:50
·
윈도우라면 최소 3060 이상 그래픽카드 있어야 합니다.
맥은 m1 이상이면 됩니다.
처음 쓰신다면 qwen3 4b 모델 써보세요.
ollama 설치하시고 models에 가서 다운로드 받아 설치 하시면 됩니다
젊은회원jr
IP 222.♡.105.175
08-27 2025-08-27 08:22:22
·
저는 nsfw(not suitable for work), 즉 성인용 창작물에 사용합니다. ㅋㅋ ㅋ
로컬에서는 대부분의 검열을 해제 할 수 있어 chatgpt나 엄근진의 대명사 클로드가 진지한 말투로 거절하는 내용을 내맘대로 시킬 수 있더군요.
근데 메모리를 96GB까지 올려도 결국 그래픽카드에서 병목이라 요즘은 중고 3090 알아보고 있습니다.
(voodoo카드 세대로서 중고 그래픽카드를 200만원가까이 주고 산다는게 도저히 받아들여지지 않지만...ㅠㅠ)
노트북을 좀 쎈걸로 살까 하닥가 보니 걍 집의 PC사양을 올린체 외부에서 원격으로 쓰는게 가장 가성비 좋더군요. 어차피 집의 PC 서버와 comm.은 대부분 text이니까, 뭐 성능차이는 못느낄 정도구여...
근데 좀 서글픈건 제가 직접 작성한 컨텐츠 보다 로컬 ai와 함께 만든 콘텐츠가 독자들 더 반응이 훨 좋네요
(생산성이야 뭐 비교도 안될만큼 더 좋고, 조회수야 뭐 제목 잘뽑으면 나오지만 추천수 같은 품질 지수는 냉정한 숫자인데 이게 제가 직접 쓴거보다 1.5~2배 정도 잘 나오네요. ㅠㅠ)
무료 커뮤니티에서의 반응으로 유료 연재 게제 및 분량으르 조절하는데 이 추세로는 이제 점점 제 분량이 줄어들.....
miscellany
IP 61.♡.25.149
08-27 2025-08-27 08:33:18
·
혹시 AGX Orin 64G 에 개발 소스나 문서용으로 올릴만한 것이 있을까요?
얘가 요즘 일이 없어서 놀고 있는데요. 일 좀 시켜볼까 해서요. 일 시키려고 NVME도 달아줬는데...
독고구패
IP 211.♡.198.42
08-27 2025-08-27 09:37:18
·
오호..최근에 계속해서 챗지피티와 퍼플렉시티에 물어보며 개인적으로 알아보고 있는 프로젝트네요..
말하자면 homeGPT랄까요..
사실 글카 vram도 대역폭도 DC에 들어가는 H100이나 라데온MI시리즈에는 비할 바가 못되어서
집에서 글카 성능에 맞춰 타협해서 구동할 모델에다 가진 학습데이터나 성능, 포텐셜 등을 그다지 기대를 하고있진 않습니다만
제가 일하고 있는 분야의 문서들을 토크나이저로 학습강화하면 가벼운 모델도 일반 상용모델들에 비해서 어느 정도 쓸만할까가 궁금해져서 ^^;;
아마 웹 크롤링도 어느 정도는 해야할 필요도 있을 것 같고 해서..충분히 플랜이 서게 되면 시도를 해보려고 합니다.
이런 프로젝트는 플랜만 세우면 끝도 없고 일단 부딪히는게 좋다는 건 잘 알지만
개인컴이 messed-up되는 걸 안 좋아해가지구..
주나파
IP 61.♡.170.150
08-27 2025-08-27 09:55:14
·
빅테크의 LLM 서비스보다는 못하지만 간단한 작업에 가능하고,
로컬에 설치해서 에이전트 설치하면 로컬PC의 문서검색이나 정리 같은거 하기에 괜찮아 보이더군요.
sLLM모델들 PC에서 돌리려면 메모리용량이 중요해서 RTX3090 중고가 가성비가 좋다고 생각합니다.
아라한장품
IP 114.♡.216.10
08-27 2025-08-27 10:02:58
·
ollama trubo 설명을 보면 지원하는 모델들을 데이터센터 그레이드의 환경에서 실행할수 있다라고 설명이 되어 있는데 외부의 데이터소스(웹검색 , rag 등) 를 활용할수 있다는건 어디서 확인할수 있을까요?
행복주식회사
IP 125.♡.153.104
09-25 2025-09-25 05:59:45
·
@아라한장품님

rag 구축은 파이선으로 직접 만드셔야 해요. 이건 파이선 프로그래밍이 들어가니 지금 강좌에서는 생략된 부분입니다만...개인적으로 파이선으로 rag 구축해서 쓰고 있어요. 지금은 LLM 소개 글 정도로 보시면 될 거 같아요. 시간이 되면 팁 정도 수준에서 작성해 볼까 하다가도 쉽게 쓸 자신이 없어서 고민이네요.
로드픽쳐
IP 180.♡.79.214
08-27 2025-08-27 10:06:41
·
제가 생각하던 ai 가 로컬 이었군요. ㅎㅎ
유료 버전 chat 사용하다 만들어준다고 하더니 갑자기 안된다고 거절하는 경우를 많이 봐서 이유인 즉슨 정책상 안된다는듯 뭘 위반하는지,, 단순 코드나 이미지 만들 용도로 제 자료를 축척한 최적화 AI 가고 싶네요. 말씀하신 맥용도 깔아보겠습니다.
행복주식회사
IP 125.♡.153.104
09-25 2025-09-25 06:01:12
·
@로드픽쳐님
LLM의 의미는 사실 rag 구축이라 생각되는데, 여기엔 스스로 구축해야 하는데 제일 쉬운 방법이라는 게 파이선이라서....진입 장벽이 좀 있어요.

가장 쉽게 구축하는 게 현재는 m 실리콘 맥북인 거 같고, 시놀로지에도 구축해서 쓰고는 있어요.
편한녀석
IP 222.♡.228.148
08-27 2025-08-27 10:38:45
·
잘 읽었습니다. 네이버에서 개발하고 있는 clova x에 대한 견해는 어떠신지 여쭤봐도 될런지요?
행복주식회사
IP 125.♡.153.104
09-25 2025-09-25 06:03:37
·
@편한녀석님

비교 대상과 그 기준에 따라 다른 문제겠죠.
제가 ai를 쓰는 가장 중요한 영역은 업무용으로 작성해야 하는 테크니컬 리포트들이라서 현재 ai가 성능이 좋아도 허위 정보 및 검증되지 않은 자료에 기반한 작성되는 게 있어서 이를 찾아서 수정하는 게 더 큰 고통이라서 LLM을 쓰는 이유예요. 물론 보안도 있지만요.

그래서 clova X에 대해 관심이 없지만 아무리 잘 진행되어도 3년안에는 주목 받기는 어렵다고 생각해요.
오히려종아
IP 154.♡.23.114
08-27 2025-08-27 10:55:10
·
로컬도 나름대로 의미는 있다고 생각합니다. 향후 하드웨어가 더 올라오고 성능좋은 작은모델이 많아지면 결국 엣지디바이스로 가게 될것이기도 하구요
외국인노동자2025
IP 45.♡.141.195
08-27 2025-08-27 12:06:23 / 수정일: 2025-08-27 12:43:10
·
혹시 야놀자 vs exaone 4.0 성능은 어떤가요? 엑사원이 미묘하게 말을 잘 못 알아듣는다...
(확인 결과 야놀자는 context 4k로....실사용이 어렵습니다..)
행복주식회사
IP 118.♡.92.133
03-04 2026-03-04 14:59:41
·
@외국인노동자2025님

deepseek - r1 / r3가 가성비(?)가 가장 좋은 거 같아요. 뭐 클리앙에서는 여러가지 불만을 제기하실지 모르겠지만.....llama3도 나름 괜찮습니다. 모델 버전은 본인 사양에 맞춰 선텍하면 될 거 같아요.
임라임
IP 220.♡.192.97
08-27 2025-08-27 14:31:33
·
이런거 하기 참 편한게 저희 서비스인데 말이죠 ㅎㅎㅎ
오라질
IP 106.♡.199.149
08-27 2025-08-27 20:57:04
·
이거 잘안됩니다. 라마는 특히 갑자기 한자나오고 난리나요. 집에서 뭐하려면 그돈으로 gpt api 돈내는게 훨 좋습니다
행복주식회사
IP 118.♡.92.133
03-04 2026-03-04 15:01:13
·
@오라질님

선택한 모델 차이이지 싶네요. 그리고 지금 소개한 건 돈이 한푼 안들어요^^ 그리고 과거와 달리 구축하고 모델 검색 및 설치가 쉬워져서 소개한 것이라고 보시면 될 거 가아요. 그리고 llama3 / deepseek r1 / r3은 한글 잘 되요.
오라질
IP 58.♡.112.223
03-04 2026-03-04 20:18:09
·
@행복주식회사님 저도 작년 8월 얘기였고 지금 시점에서는 달라졌다는걸 실감합니다!
아라미스
IP 211.♡.4.76
08-29 2025-08-29 13:24:03
·
4090 24g 짜리 그래픽카드가 있어서 chatgpt oss 제일큰거 뺴고 다 깔아봤는데
전부 이상한 대답투성이라 실제 사용은 좀 어려울것 같고 chatgpt oss 20b 모델정도가 실사용이 가능하네요
견련파산이라는 특이한 사항을 요청시에 제대로 답하는 애는 ghatgpt oss20b 모델만 제대로 말하고
나머지 녀석들은 괴상한 대답을 합니다
행복주식회사
IP 118.♡.92.133
03-04 2026-03-04 15:02:55
·
@아라미스님

그런데 정말 빨리 빨리 모델들이 개선되고 있어요. 모델마다 잘하는 분야가 다르니 자신의 업무 맞춰 골라 써야 겠죠.
아가로스
IP 121.♡.64.75
08-31 2025-08-31 01:44:36 / 수정일: 2025-08-31 01:47:10
·
ollama 와 LM Studio 플랫폼 설치후 이런저런 것들 엔진들 불러와 조금씩 쓰고있는데
학습 시킬 수있다는 건 첨 알았네요...혹시 간단하게라도 방법을 좀 ....
참고로 32램에 1660 6기가 vram 사용중인데 chatgpt oss 기준 제일 큰놈 말고 그아래 기준으로
답변속도는 10초에 한 줄 정도로 감 집으시먄 될듯하고
참고로 피노키오에서 wan2.1 올려서 동영상 테스트 해보는데 동영상은 480p 2초 짜리 만드는데 거의
한 두시간이라 그냥 포기했네여...
피노키오에서는 tts용 ai들이 쓸만한게 몇개 있으니 잘 찾아보시고 tts도 6램으론 많이 느리긴 하네요
결론적으로 브이램은 최소 16정도는 되야 그나마 로컬로 돌릴 맘이 생긴다 정도네요 ㅎ
행복주식회사
IP 115.♡.82.204
09-24 2025-09-24 12:58:10
·
@아가로스님

클리앙엔 현업이 있으니 다들 부정적이신데, 상업이 아닌 개인적 용도로 LLM 구축해서 RAG 방식으로 쓰면 유무료 ai를 떠나 유용하다고 생각합니다.
가장 간단한 게 ollama와 python 이용해서 구축하는 게 제일 쉽습니다. 속도는 사용 모델에 따라 차이가 심한데 open ai나 deepseek 정도면 그래도 쓸만하고 한글을 써야 한다면 한글 모델 끌어다 쓰면 되요.

시간나면 만들까 하다가도 현업인 분들은 낮은 수준이고 불만일 수 있겠고, 초심자분들은 python 장벽이 또 어렵다고 하실테고...그래서 설치 쉘 스크립트와 run.py 파일을 만들어서 올릴까 하다가도 다들 설정이 다를테니, 최소한의 파이썬을 모르는 분들은 수정도 못하실테니...

제 목적은 간단하게 구축하는 게 목표라서...제 실력이 부족한지...쉽게 전달할 방법을 찾고 있기는 해요. 그런데 막상 쉽게 설명하고 쉽게 쉘 스크립트를 만드는 걸 못하겠네요. 일단 지금까지 설치 한방팩과 실행팩은 만들어 놓았는데...모델이 바뀌면 또 뒤집어지는지라....모델 자동으로 검색해서 넣는 방법도 짜고 있는데 요즘 바빠서 미뤄 놓고 있어요.
새로운 댓글이 없습니다.
이미지 최대 업로드 용량 15 MB / 업로드 가능 확장자 jpg,gif,png,jpeg,webp
지나치게 큰 이미지의 크기는 조정될 수 있습니다.
목록으로
글쓰기
글쓰기
목록으로 댓글보기 이전글 다음글
아이디  ·  비밀번호 찾기 회원가입
이용규칙 운영알림판 운영소통 재검토요청 도움말 버그신고
개인정보처리방침 이용약관 책임의 한계와 법적고지 청소년 보호정책
©   •  CLIEN.NET
보안 강화를 위한 이메일 인증
안전한 서비스 이용을 위해 이메일 인증을 완료해 주세요. 현재 회원님은 이메일 인증이 완료되지 않은 상태입니다.
최근 급증하는 해킹 및 도용 시도로부터 계정을 보호하기 위해 인증 절차가 강화되었습니다.

  • 이메일 미인증 시 글쓰기, 댓글 작성 등 게시판 활동이 제한됩니다.
  • 이후 새로운 기기에서 로그인할 때마다 반드시 이메일 인증을 거쳐야 합니다.
  • 2단계 인증 사용 회원도 최초 1회는 반드시 인증하여야 합니다.
  • 개인정보에서도 이메일 인증을 할 수 있습니다.
지금 이메일 인증하기
등록된 이메일 주소를 확인하고 인증번호를 입력하여
인증을 완료해 주세요.