우리가 쉽게 쓰는 제미나이, ChatGPT, 클로드가 항공모함이라면.. 로컬 LLM은 모터보트 수준입니다.

컨텍스트 지원 범위도 작고 그 컨텍스트를 확실하게 다 처리한다는 보장도 없습니다.

맥미니가 가성비라는건 알지만 LLM에 구동 성능에서 엔비디아 카드랑 비교하면 처첨합니다.

엔비디아 카드도 4090정도나 되야 32B짜리 쓸만하게 돌립니다.

최저사양은 3090이구요.

오픈 클로 돌리실분들은 API연결해서 가상머신으로 일단 도려보고 이거다 싶을때  미니피씨 같은 전용머신을 구매하시는것을 추천합니다.

구글의 경우 처음 GCP결제 정보를 등록하면 버텍스 API 사용가능한 크레딧을 30만원인가 줍니다.

이걸로 제미나이 API공짜로 쓰시면 됩니다.

그리고 제미나이 프로 요금제 이상 구독중이신분들은 한달에 10달러씩 크레딧 주니 이것도 받으셔서 사용하시면 됩니다.