이전부터 고민해오던 일이긴 합니다.
이번에 다른쪽으로 여유예산이 조금 생겨서 아이패드를 하나 구매하려고 보다가 맥미니가 눈에 띄여서...
저야 개인적 목적으로 지피티 플러스로 사용중이긴 한데 이정도면 개인 용도로는 차고 넘친다 생각하고 쓰고 있습니다.
이번 업뎃 전까지 딱히 쓰면서 토큰이 모자랐던적도 없고...
다만, 와이프도 간간히 쓸일이 있다고 하고, 애들도 앞으로 공부할때 잠깐씩 쓸거 생각하면 이후로 계속 개개인의 계정에다가 결재하기도 뭔가 아쉽고....
그래서 맥미니 하나 사서 로컬 LLM구성해서 편하게 사용하게 하면 괜찮으려나? 하고 생각해봤습니다.
근데 맥미니 가격이 오른걸 생각하면 차라리 맥미니를 살바에 비지니스 계정으로 해서 공유시키는게 나은게 아닌가? 하는 생각도 해보게 됩니다.
짹지피티가 이전 버전부터 성능이 확실히 좋아진게 체감되는 것도 있고....
로컬 LLM류의 성능이 그걸 감수할만큼의 성능을 보장해줄수 있느냐? 를 생각하면 굳이 그걸 구축할 수고로움이 좀 아쉽고....
물론 그걸 구축하는게 재미가 있는거라고 하지만....
음....
로컬 llm 용이 아니라 오픈클로 나 agentt 구축용으로는 많이들 사셨지요
업무를 원활하게 하는 비서로 사용한다면 계정을 공용으로 쓰는건 너무 불편한 일이라 생각됩니다.
그리고 로컬도 일반인이 지금 구축할 필요는 없다고 보고..
그냥 계정 여러개 쓰는게 어떨지요..
1.재미로llm구축해서 사용하는게 목적이다
=> 맥미니
2.실 생활에 유용하게 ai를 이용 목적이다
=> 상용ai서비스
LLM에 대한 지식이 있거나 그걸 잘 사용하는 사람들은 로컬 모델을 잘 쓰지만
일반 사람들은 그냥 구독모델이 오히려 가장 쌉니다.. 사용량이 얼마 안되면 api로 딥식이나 luna같은게 오히려 낫고요..
로컬의 장단점, 프론티어의 장단점이 있으니 그걸 적당히 조합해서 쓴다는 생각이면 구축해도 되고
그게 아니라 프론티어를 로컬로 대체한다는 관점이면...그건 아직 아닌거같긴 합니다.
말씀하신 내용이라면 직접 구축은 생각 안하시는게 맞습니다.
제 경우엔... M4 32G 모델로 클로드 추천 코딩 테스트 통과 시켜보려구요. 파일은 한개인데 매우 중요한 개념을 코딩하면서도 짧은...
.32기가에 맞는 모델 선정. 플러그인 비교, 맥미니를 튜닝해서 기본값이 아닌 냉각 설정반영, 강제 vram 설정, 모델로더 튜닝... 등등해서 성공해보고 싶네요.
... 그리고 성공하면 스샷남기고... 그 뒤 맥미닌 유튜브나 보겠죠...?
llm에 대한 어느 정도 지식이 있어야해요. 그리고 쓰다보면 1000만원 이상 장비가 있어야 그나마 쓸만해요.
몇백만원 수준으로는 택도 없습니다. 찾아보면 맥미니보다 훨씬 좋은 DGX 스파크 같은거 몇백만원 이상씩 투자해놓고 눈물 흘린 분들이 한두분이 아닙니다. 실제 구축했던 사람 중에 추천하는 사람 한명도 못 봤습니다.
이게 그렇게 성능이 나오면 클로드나 openai는 진즉 다 망했겠죠. ㅎㅎㅎ
맥미니가 인기를 끌었던건 24시간 켜놓을 조용하고 전기 적게먹는 오픈클로같은 에이전트를 돌리기 위해서지 모델 자체를 구동하기 위한 목적이 아니었습니다.
그마저도 용도에 비해서 너무나 과투자였구요.
사실 맥미니 사고 싶은데 살만한 핑계가 로컬 LLM이어서 각을 찾아보는데 이게 또 알아보면 알아볼수록 의미가 없어보이고......
그냥 얌전히 아이패드나 사야 겠네요;ㅅ;
VRAM 12~16GB 수준일텐데 어림도 없겠더라고요.