밥먹고 두통으로 두통약머꼬 잠시 농땡이중 검색한 내용입니다.
exo: 일상 기기로 가정용 AI 클러스터를 구축하는 실용적인 도구 - Snowball AI https://share.google/Jy7Tmp5ow7Fq6MWl1
이런 기술이 음... 기존 쿠버네티스나 K3s보다 더 편하게 접근하려하고 꽤 실적을 내서... 로컬 AI의 작동등에 더 적합한가 하고 흥미가 가네요.
생각해보면 클량에는 집에 다들(?) 기기가 남아돌 가능성이 높으니... 결과만 좋다면 해볼만한가도 싶네요.
가령 잠깐 생각해봐서... 보통(?) 비슷할거 같은데 집에 굴러다니는 M4 mac mini 32G, M1 8G, M4 Macbook Air 16G, 윈도우 노트북 몇대, 리눅스 sbc 16G, 8G, 8G... 정도만 해도 OS 제외하고 70G 정도의 LLM 모델을 작동시킬수 있다하네요.
그리고 코딩은 위와 별도로 메인 데스크탑에서 위 exo클러스터를 단일 API로 불러서 사용하는거죠.
보통 굴러다니는 (?) 2.5G 이상의 스위칭허브에 물리면 꽤 괜찮은 결과가 나온다니 흥미가 생기네요.
물론 기기가 집에 없는 분들은 구독이 낫겠지만 어디의 구독에 물리기 싫고 마침 좀 남는 노드 들이 있는 분들이면 꽤... 해볼만? 하진 않으려나요.
결국 슈퍼컴퓨터 같은 것도 다 이렇게 움직이지 않을까... 생각해봅니다. 개인 취미가 아닌 실무영역에서야 훨씬 고급 네트워크로 물려 돌겠지만 그건 또 별개의 이야기로 하고요...
* 대형 LLM 돌릴 때는 주 머신 그룹과 잡일하는 성능 좀 부족한 머신을 적절히 역할 분배도 되는 듯합니다. 🤔
요즘 음성이나 텍스트 정리 등 특정 목적으로 개발된 로컬 llm이 쓸만해져서
이쪽에 필요하신 분들은 세팅해볼만 하더군요.
특수용도 / 외부 의존안하고 돌리고 싶은 경우는 아무래도 있으니 말입니다.
오픈클로등에도 맞을까요
혹시 긴 녹음을 텍스트로 변환하거나 하는 일이 많으시면 qwen 시리즈 로컬 설치하시면 cloud api보다 성능이 좋습니다.
말씀하시는 주제로 살짝 찾아보니 대충 이런가봅니다
인터넷...은 아니고 로컬이고... 스위칭허브가격도 싸고...
애플이나 sbc계열 중심이면 win pc 계열보다 훨씬 전성비는 좋단말이죠...
문제는 실 성능이 궁금하네요.
그렇죠? 당연한 접근이니까 말입니다
가정집에서 돌리기는 부적절하고 지속가능하지 않습니다. 보통은 그래요. ㅎ
흐흐흐 아마 주로 할수 있으니까 해보고 서랍에 모시겠죠.
근데 궁금하단말이죠
오픈클로 유행으로 64GB 맥미니를 구입해서 80B모델을 올려봤는데 응답이 너무 느려서 실사용이 불가능하더라구요.
모델과 기본 채팅은 그럭저럭 속도가 나와서 쓸만하나, openclaw가 주는 응답을 받는데는 시간이 너무 많이 걸립니다.
코딩보조 위주 생각했는데 오픈클로도 그렇겠네요.
맥미니에 모델 올릴 때 반응이 빠른게 있고 느린게 있어서 양자화 레벨이랑 모델 잘 골라야한다더라구요
이거 좋은 비교 같은데 말입니다