물론 끌린다고 살 수 있는 가격대가 아니라는 게 문제인데요...

올라마에 보면 로컬 LLM을 클라우드로 돌리는 옵션이 있던데 이걸 오픈클로에 물려 쓰니 젬마4 30B인가 하는 녀석도 그럭저럭 쓸만하게 구동되더라고요.

맥미니 M4 32GB: 인사 주고 받는데만 답변 돌아오는데 수분 이상 걸려서 포기

젬마4 클라우드: GPT보다 약간 느린 정도

물론 답변이 빨리 온다와 어느 정도 정확도를 보여주는가는 다른 문자고 젬마4 클라우드도 월 한도가 있는걸로 알아서 매우 제한적인 용도로 쓰는 중이긴 합니다.

근데 로컬아 스물스물 생각나는 이유가요.....

- 지금 GPT 29만원짜리 쓰고 있는데 이거 3년 쓸거라고 계산하면 그냥 맥스튜디오가 나을지도 모르겠고

- 오픈 AI가 정책상 틀어막는 기능들이 간혹가다 튀어나오는데 결국 오픈 AI가 기능을 막는다는 거 자체가 짜증나네요.

문제는 맥 스튜디오 들여놔도 지금 올라마 클라우드 버전과 어느 정도 스피드 차이가 있을지 장담을 못하겠다는 문제가 하나 있고 설령로컬로 돌리더라도 GPT 유료를 완전히 끊을 수 없다는 문제 정도겠네요....

M5 울트라가 올라마에서 클라우드 올린 젬마 4 정도의 구동속도가 나온다면 진지하게 고민해봐야겠습니다 ㄷㄷ (DGX 스파크도...)