모델은 GPT를 Oauth 물려 쓰고 있구요 (매달 15만원씩 나갑니다;;;)

여러 대의 오픈클로/헤르메스 굴리면서 이런 거 저런 거를 많이 시키고 있는데요...

아마 전체 사용량의 60% 이상은 LLM 쓰는 게 아니고 로컬에서 이런 저런 오픈소스 붙여서 돌리게 되네요. (ffmpeg, opencv, yolo, 휘스퍼 등등...)

그럼 에이전트에서 LLM은 어따 쓰느냐? 저거 코딩해주는 용도입니다. 물론 나머지 40% 용도는 추론이나 탐색 요약 등등의 용도로 쓰니 여전히 GPT 5.6을 안 쓸 수는 없지만요.

그리고 결국 로컬 PC의 성능이 중요하다보니 처음엔 저성능 / 저발열만 찾다가 결국 집에서는 M4 32GB 맥미니(해비한 작업들), M1 8GB 맥미니 (이쪽은 거의 집사 수준으로 일하는 중) 두 대는 집에서 굴리고 사무실에선 사무실 지급품 그램 11세대 저전압판 i5하고 얼마 전에 산 카다스 마인드(코어 울트라 5 125H)까지 모두 에이전트 설치해서 그 나름대로의 용도로 쓰고 있습니다.

(한 대 머신에서 에이전트 분산시켜 쓰는 방법도 있겠지만 HW 성능 부족으로 로드 걸릴 때도 있어서 그냥 목적에 맞게 분산시켜 여러 대의 HW에 각각의 에이전트들을 개별로 구동하고 에이전트들끼리 공유할 내용들은 시놀로지 나스로 동기화시키는 공용폴더를 통해 공유할 내용들이나 인수인계 할 내용들을 여기에 모아서 할 거 하는 중...)

라즈베리 파이같은 저성능 머신에 에이전트 설치해서 쓴다는 건 에이전트 활용도의 10%도 못 쓴다.. 전 이렇게 생각합니다 ㄷㄷㄷ