일단 ai, rag 전혀모르는 컴맹입니다. 지피티나 제미나이한테 물어보면서 구축할 예정입니다.
목적: 법령정보센터 법조문 api, 판례, 사규, 실무 pdf, scan ocr (아마 수천페이지) 등을 서버에 올려놓고 상황 제시(질문) 하고 관련된 법률, 실무사례 등을 검색 해주면 업무근거로 사용. 집설치, 1인 사용입니다.
cto말고 한 단계 올리려면(24g 512) 50만원정도가 더 들더라구요
Gpt 제미나이 각각 답변이 오락가락해서 돌려보신 분 있으면 답변 부탁드립니다. 16g는 스왑난다 안난다, 32g로 가라 등등
추론능력까지 더하려면 14b 모델 써야한다는데(24g 모델에서) 사실 결과 나오면 적용은 제가 하는거라, Gpt나 제미나이 급 아니면 추론은 크게 의미가 없지 않을까.. 생각중입니다. 전혀 경험을 안해봐서겠죠 ;;
이해한 바로는 기본모델에선 8b 모델에 한글임베딩 모델쓰면 될 것 같더라구요.
제 목적에 16g ram + 1tb nvme 스펙으로 안정적으로 스왑없이 돌 수 있을지 궁금합니다.
감사합니다
목적: 법령정보센터 법조문 api, 판례, 사규, 실무 pdf, scan ocr (아마 수천페이지) 등을 서버에 올려놓고 상황 제시(질문) 하고 관련된 법률, 실무사례 등을 검색 해주면 업무근거로 사용. 집설치, 1인 사용입니다.
cto말고 한 단계 올리려면(24g 512) 50만원정도가 더 들더라구요
Gpt 제미나이 각각 답변이 오락가락해서 돌려보신 분 있으면 답변 부탁드립니다. 16g는 스왑난다 안난다, 32g로 가라 등등
추론능력까지 더하려면 14b 모델 써야한다는데(24g 모델에서) 사실 결과 나오면 적용은 제가 하는거라, Gpt나 제미나이 급 아니면 추론은 크게 의미가 없지 않을까.. 생각중입니다. 전혀 경험을 안해봐서겠죠 ;;
이해한 바로는 기본모델에선 8b 모델에 한글임베딩 모델쓰면 될 것 같더라구요.
제 목적에 16g ram + 1tb nvme 스펙으로 안정적으로 스왑없이 돌 수 있을지 궁금합니다.
감사합니다
256도 충분할 것 같은데 예산 캡이 얼마인지 몰라도 기본형에 램을 최대로 올리는게 맞다고 생각합니다
그냥 장난감으로 쓰시려는게 아니면 램을 최고용량으로 사지 않을 이유가 없습니다
당장 내일 새로운 모델이 공개됐는데 메모리가 몇기가 모잘라서 못 돌리면 그게 무슨 손해에요
애초에 메모리를 많이 업그레이드 하고 싶어도 하지 못하게 만들어 놨습니다
애플도 아는거죠 너무 과도하게 좋아진다는걸..
데이터는 많아지면 외장으로 연결하면 그만이고요
서버에 다다익램이란 건 gpt가 알려줘서 알고 있습니다.
다만 윈도만 써와서 램 옵션이 16 다음이 32 가 아닌게 이상한데.. 싶었는데 옵션당 30만원은 기본모델 가격에 비해 심리적 저항이 세네요.
맥도 입문이고 그냥 제 쓸모에 충분히 돌아만가면 싶겠다싶어 질문드렸습니다.
답변 감사합니다. 차상위 옵션 or cto로 가든지 해야겠네요.
개인적으로 추천할때도 값어치 못하니까 업그레이드 하지 말라고 하고요
근데 VRAM 활용하면 완전히 다른 이야기 입니다
외장 그래픽카드로 32기가 램 사려면 기본 수백만원입니다
https://www.compuzone.co.kr/product/product_detail.htm?ProductNo=1286866&ViewGoodsPrd
근데 숫자 비례만 보면 이게 가성비같기도 하네요 ㅡㅡㅋ
실리콘 맥북이면 충분한데, 메모리가 적다고 여겨지네요. 기본 32GB이고, 추천은 64gb 정도입니다. 저장용량은 1TB 이상을 추천드립니다.
2. LLM 모델
1) 클라우드 api 활용시 가장 간편하지 싶은데 open ai를 기반으로 gpt-4o/mini 정도면 부담없이 api 호출해서 구축할 수 있습니다.
2) 로컬 구성....이게 문제네요. 보통은 Llama3 기반의 한국어 파인튜닝 모델을 찾아서 써야 겠지만 KoAlpaca, polyglot-ko 모델도 있습니다. langchain, llamalindex 프레임을 활용해서 구축해야 합니다.
3. rag 구축
- ocr 포함한 데이타 전처리 문제, 임베딩 모델 baai/bge-m3 등, 벡터 데이터베이스로 chroma db, qdrant, pinecone 등을 사용하면 되지 싶네요.
그러나 기술이나 경험이 없다면 google notebook lm/google drive로 pdf 파일을 넣고, 이를 gem으로 불러와서 rag처럼 사용할 수도 있으니 한번 사용해보시고 고유 llm구축할지 고민해보세요.
속도와 리소스 문제겠죠. LLM 모델을 소형으로 가면 16GB나....심지어 8GB도 가능은 해요.
그리고 RAG도 어떻게 구축하느냐에 따라 속도도 차이날테니....깡통 에어도 불가능한 건 아니예요.
모델 성능은 모델 자체도 좋아야겠지만 파라미터 수 큰 깡성능 무시 못합니다.
허깅페이스 가셔서 모델 용량 보시면 주로 인기 있는 모델은 다운로드 용량이 8~64기가 정도 할텐데요, 이거 거의 그대로 램에 올려서 쓴다고 생각하시면 됩니다.
심지어 맥은 VRAM 전용이 아니라 그 램이 시스템과 공유해서 쓰는거잖아요?
요즘 일반 사무용 컴도 16기가 정도 다는데,, 16은 정말정말 부족하실거에요.
단일 GPU가 커봤자 24GB 정도라서 많은 모델들이 24GB 이하에서 실행되도록 최적화되고 있기도 합니다.
이런저런거 고려해서 다다익램이지만 16은 정말 아닌 것 같네요.
그리고 한국어까지 잘 쓰려면.... 파라미터 사이즈가 더 커야 할거에요,, 그렇지 않으면 시도때도 없이 튀어나오는 중국어를 마주하시게 될겁니다....ㅋㅋㅋ
+ 저장공간,
윗 분은 텍스트 쓸건데 뭐 그리 큰 용량이 필요하냐.. 하시는데, 모델들 하나하나가 수십기가씩 하는데, 이것저것 테스트하며 받다보면 금방 용량 찰거에요. 모델 용량도 작을테고 다른 용도론 사용안하는 PC라면 512~1테라면 충분할 것 같긴 하네요.
물론 사용하는 모델이 한두개로 고정되어 있다면 상관없습니다ㅎ
혹은 매번 지우고 새로 받고 지우고 새로 받고....
아마 미니 cto ram만 32g 짜리로 구입할 것 같습니다.
gpt가 제 목적엔 기본모델 충분하다길래(8b), 문외한이 호기심에 계획을 시작했..
ai가 암거나 추천하는 안정화된 모델 쓰려구했는디..
답변들 보니 이모델 저모델 테스트 해봐야 되는것 같구요 ㅋㅋ
전 걍 윈도에 복잡한 프로그램 여러 개 까는거라고 생각했는데 잘못 생각한 거 같습니다 ㅋㅋ
답변 감사합니다.
하룻밤 자고 일어나면 바뀌어 있는게 현 ai 시장인걸요....
그래서 이 모델 저 모델 깔아보고 바꿔써보고 그러는거에요