gemma4 로는 한계가 느껴졌는데 Qwen 3.8 27B 모델은 차원이 다르네요 코딩 에이전트로 아주 쓸만합니다.

unsloth (unsloth/Qwen3.8-27B-GGUF · Hugging Face) 의 Qwen3.8-27B-UD-IQ3_XXS.gguf 모델은 10GB 정도라서 16G VRAM 에서 65K context 사이즈로 구동 가능합니다. 제 RTX4080 에서 llama.cpp(Llama.cpp - Run LLM Inference in C/C++) 로 구동하면 43 ~ 35 t/s 가 나오네요.

pi coding agent(Pi Coding Agent) 메인 모델로 Qwen3.8 27B 를 지정하고 advisor 로 codex 5.6 sol 모델을 지정해서 작업 계획은 advisor codex 5.6 sol 로 만들고 실제 작업은 로컬 모델 Qwen 3.8 로 사용중인데 기대 이상입니다.

65K 컨텍스트가 너무 작은거 아닌가 싶었는데 pi coding agent 는 context 가 초과되면 auto-compaction 이 자동으로 발동되고 현재 컨텍스트 중 최근 내용 일부는 그대로 유지하고 오래된 내용은 압축해서 컨텍스트를 줄여 새로운 세션에서 작업을 계속 진행합니다. 작업을 처음 시작할때 advisor 로 작업을 여러개의 부작업을 쪼개서 TODO 목록을 만들어 파일에 저장한 후 각 단계 별로 진행하는 과정을 반복하면 작은 65k 정도의 적은 context 공간으로도 중급 규모의 작업을 계속 이어서 작업할 수 있습니다.

이런 처리는 gemma4 12B 모델에서는 불가능했던 작업입니다. 

16G VRAM 에서 이 정도 코딩이 된다니 놀랍네요.

이 추세라면 클로드 코드의 위세가 그리 오래가지 않을 수 있겠다는 생각이 들었습니다. 

앤쓰로픽 관계자들의 발언들이나 문서, 발표문들을 보고 있자면 진짜 오만함이 팍팍 느껴지는데 중국이 한방 먹여주네요.