업무 환경이 폐쇠환경이라 내부고성능맥피씨(ultra, 192gb ram, gpu60코어)에 llm을 깔아서 클로드코드 프록시로 환경 설정을 했습니다. 사용한 모델은 qwen2.5-coder(32b), qwen3-coder(32b), gpt-oss-20b, gpt-oss-120b 등 입니다.
모바일 네이티브코드 (본수 3000본 이상) 프로젝트 루트로 전체 프로젝트 분석을 시켰는데 32b나 20b 모델은 응답속도는 좀 나오는데 품질이 영 엉망입니다. gemini cli랑 비교하면 10년차와 1년차 직원 수준 정도 차이 나네요.
120b 모델은 속도는 함흥 차사 인데 꽤 분석도 잘하고 수정도 잘해요. 그런데 그정도 시간이면 그냥 소스 한장한장 복사 붙여넣기 해서 수정하는게 나을 것 같습니다.
agent같이 전체를 관리 하고 분석하기는 어려운데 vscode continue에 연동해서 개별 소스 하나하나 수정 개발에는 로컬모델로도 충분해 보입니다. 특히 최근 중형 모델들이 상용 못지 않게 품질을 보여주니 인터넷 막힌 환경에서도 충분할 것 같습니다.
그래도 원래 원했던게 gemini cli 처럼 "해줘" 인데 이게 안되서 아쉽네요.
그리고 애초에 모델 크기부터가 너무 차이나서 절대적 성능차이는 어쩔수 없습니다. 512GB 맥스튜디오로 Qwen3-Coder-480B-A35B, GLM-4.5 (355B-A32B) 이런거 돌려야 클로드/제미나이랑 겨우 비교해볼만 할겁니다...
헉 램이512GB.... 192GB도 고성능이라 생각했는데 그정도는 되어야 하는군요.. GGLM-4.5-air 아 이거 안그래도 시도해보고 있는데, 올라마나 는 제대로 지원 안하는것 같더라구요. lmstudio는 지원하긴 하는데 먼가 느린거 같고.. 결국 사양문제 인가 보네요..
32B면 24기가 그래픽카드에서 돌리라고 나온거니까요.
오픈소스로 말이죠.
업무용으로 가능 할리가 없죠.
그냥 재미로 해보는 수준이면 몰라도.
자체 llm 품질이 높아지면, 자체 llm 구축 자체가 SI 화 될 것 같습니다.
본문 내용처럼 하드웨어 제약이 있어, 품질 높이는데 애로가 있어 보이네요.