밥먹고 두통으로 두통약머꼬 잠시 농땡이중 검색한 내용입니다.

exo: 일상 기기로 가정용 AI 클러스터를 구축하는 실용적인 도구 - Snowball AI https://share.google/Jy7Tmp5ow7Fq6MWl1

이런 기술이 음... 기존 쿠버네티스나 K3s보다 더 편하게 접근하려하고 꽤 실적을 내서... 로컬 AI의 작동등에 더 적합한가 하고 흥미가 가네요.

생각해보면 클량에는 집에 다들(?) 기기가 남아돌 가능성이 높으니... 결과만 좋다면 해볼만한가도 싶네요.

가령 잠깐 생각해봐서... 보통(?) 비슷할거 같은데 집에 굴러다니는 M4 mac mini 32G, M1 8G, M4 Macbook Air 16G, 윈도우 노트북 몇대, 리눅스 sbc 16G, 8G, 8G... 정도만 해도 OS 제외하고 70G 정도의 LLM 모델을 작동시킬수 있다하네요.

그리고 코딩은 위와 별도로 메인 데스크탑에서 위 exo클러스터를 단일 API로 불러서 사용하는거죠.

보통 굴러다니는 (?) 2.5G 이상의 스위칭허브에 물리면 꽤 괜찮은 결과가 나온다니 흥미가 생기네요.

물론 기기가 집에 없는 분들은 구독이 낫겠지만 어디의 구독에 물리기 싫고 마침 좀 남는 노드 들이 있는 분들이면 꽤... 해볼만? 하진 않으려나요.

결국 슈퍼컴퓨터 같은 것도 다 이렇게 움직이지 않을까... 생각해봅니다. 개인 취미가 아닌 실무영역에서야 훨씬 고급 네트워크로 물려 돌겠지만 그건 또 별개의 이야기로 하고요...

* 대형 LLM 돌릴 때는 주 머신 그룹과 잡일하는 성능 좀 부족한 머신을 적절히 역할 분배도 되는 듯합니다. 🤔