오픈클로/헤르메스는 쓰기 나름입니다. (=설치된 컴터 성능이 중요한 이유)
조회 3,359 · 공감 2 · 댓글 12
모델은 GPT를 Oauth 물려 쓰고 있구요 (매달 15만원씩 나갑니다;;;)
여러 대의 오픈클로/헤르메스 굴리면서 이런 거 저런 거를 많이 시키고 있는데요...
아마 전체 사용량의 60% 이상은 LLM 쓰는 게 아니고 로컬에서 이런 저런 오픈소스 붙여서 돌리게 되네요. (ffmpeg, opencv, yolo, 휘스퍼 등등...)
그럼 에이전트에서 LLM은 어따 쓰느냐? 저거 코딩해주는 용도입니다. 물론 나머지 40% 용도는 추론이나 탐색 요약 등등의 용도로 쓰니 여전히 GPT 5.6을 안 쓸 수는 없지만요.
그리고 결국 로컬 PC의 성능이 중요하다보니 처음엔 저성능 / 저발열만 찾다가 결국 집에서는 M4 32GB 맥미니(해비한 작업들), M1 8GB 맥미니 (이쪽은 거의 집사 수준으로 일하는 중) 두 대는 집에서 굴리고 사무실에선 사무실 지급품 그램 11세대 저전압판 i5하고 얼마 전에 산 카다스 마인드(코어 울트라 5 125H)까지 모두 에이전트 설치해서 그 나름대로의 용도로 쓰고 있습니다.
(한 대 머신에서 에이전트 분산시켜 쓰는 방법도 있겠지만 HW 성능 부족으로 로드 걸릴 때도 있어서 그냥 목적에 맞게 분산시켜 여러 대의 HW에 각각의 에이전트들을 개별로 구동하고 에이전트들끼리 공유할 내용들은 시놀로지 나스로 동기화시키는 공용폴더를 통해 공유할 내용들이나 인수인계 할 내용들을 여기에 모아서 할 거 하는 중...)
라즈베리 파이같은 저성능 머신에 에이전트 설치해서 쓴다는 건 에이전트 활용도의 10%도 못 쓴다.. 전 이렇게 생각합니다 ㄷㄷㄷ
댓글 12
저도 맥미니 한대에 에이전트 여러게 돌려봤는데, 한대에 하나씩 쓰는게 좋더라구요^^
도커 쓰면 몇대 쓸수 도 있겠지만 그렇게 하면 또 활용도가 떨어져서요
원랜 M1에 다 맡겼는데 장시간 통화들은 M1에선 좀 힘들어하더군요 ㄷㄷㄷ
이런식으로 HW 리소스 많이 잡아먹는 작업은 M4나 코어 울트라 5가 작업을 해놓고 작업 결과물을 바탕으로 저성능 에이전트들이 활용하는 식으로 돌립니다 ㄷㄷㄷ
전사 작업을 로컬로 돌리시는 군요!, 저는 제미나이 Flash 쓰는데 사용량이 그리 많지는 않아서 인지 7천원 정도 나오더라구요
큰 차이는 없는데 헤르메스쪽이 과거 기억력이 더 좋은 느낌이고 말이 훨씬 더 많더군요 ㄷㄷㄷ
저는 오픈클로 키워놓은거 아까워서 계속 쓰고 있었는데, 이참에 헤르메스로 갈아 타려구요.
헤르메스 자가학습 기능이 너무 강력해서 이제 오픈클로 에서 헤르메스로 많이들 갈아 타시는 것 같아요.
엇!... 저 공부하고 싶습니다. 어떻게 가야 하는건지 공유 해주실 수 있으신가요?