Qwen 3.8 27B 로컬 모델로 코딩 에이전트 쓸 만 하네요
조회 7,687 · 공감 10 · 댓글 18
gemma4 로는 한계가 느껴졌는데 Qwen 3.8 27B 모델은 차원이 다르네요 코딩 에이전트로 아주 쓸만합니다.
unsloth (unsloth/Qwen3.8-27B-GGUF · Hugging Face) 의 Qwen3.8-27B-UD-IQ3_XXS.gguf 모델은 10GB 정도라서 16G VRAM 에서 65K context 사이즈로 구동 가능합니다. 제 RTX4080 에서 llama.cpp(Llama.cpp - Run LLM Inference in C/C++) 로 구동하면 43 ~ 35 t/s 가 나오네요.
pi coding agent(Pi Coding Agent) 메인 모델로 Qwen3.8 27B 를 지정하고 advisor 로 codex 5.6 sol 모델을 지정해서 작업 계획은 advisor codex 5.6 sol 로 만들고 실제 작업은 로컬 모델 Qwen 3.8 로 사용중인데 기대 이상입니다.
65K 컨텍스트가 너무 작은거 아닌가 싶었는데 pi coding agent 는 context 가 초과되면 auto-compaction 이 자동으로 발동되고 현재 컨텍스트 중 최근 내용 일부는 그대로 유지하고 오래된 내용은 압축해서 컨텍스트를 줄여 새로운 세션에서 작업을 계속 진행합니다. 작업을 처음 시작할때 advisor 로 작업을 여러개의 부작업을 쪼개서 TODO 목록을 만들어 파일에 저장한 후 각 단계 별로 진행하는 과정을 반복하면 작은 65k 정도의 적은 context 공간으로도 중급 규모의 작업을 계속 이어서 작업할 수 있습니다.
이런 처리는 gemma4 12B 모델에서는 불가능했던 작업입니다.
16G VRAM 에서 이 정도 코딩이 된다니 놀랍네요.
이 추세라면 클로드 코드의 위세가 그리 오래가지 않을 수 있겠다는 생각이 들었습니다.
앤쓰로픽 관계자들의 발언들이나 문서, 발표문들을 보고 있자면 진짜 오만함이 팍팍 느껴지는데 중국이 한방 먹여주네요.
댓글 18
저는 맥북 M5 Max + 128GB 환경에서 oMLX 로 구동했는데 24~32 tok/s 정도 나오더라구요. 속도는 다소 느리긴 한데 또 못쓸정도는 아니기도 하구요.
무엇보다 Anthropic 관계자들의 오만함이라는 부분에 공감이 많이 갑니다. 중국모델이 이 정도로 따라잡는 상황에서 Anthropic 의 과금체계나 불안정한 서버, 오락가락하는 AI 품질들을 보면서 같은 생각이 들었습니다.
Pi 에 대해 사람들이 추천 많이 하던데 저도 한번 써봐야겠네요.
툴콜링 실패도 없고 리팩토링 결과물도 상당히 양호했습니다. 소넷과 오퍼스 사이의 어딘가 느낌.
로컬모델이라 응답이 느린게 문제지만 이제 부족해서 못쓴다는 느낌은 없어졌어요.
Ollama + Android studio + Cline 으로 취미로 하는 코드 코드 리뷰 시켰더니 쓸만한 지적을 했었고 몇개는 실제 적용 후 side effect 가 사라졌습니다.
추가로 다른 개인 프로젝트 DB 퀴리 부분(ROOM db) 2가지 조건으로 UI 요소 추가 하고 DB 조건 말해서 코딩을 한방에 잘 하더군요.
결론은 쪼금 느렸지만 쓸만한 수준 입니다.
본문중에도 모르는 키워드가 많네요.
평범하게 웹개발해서 먹고살고 있는데 일이하나 정리되는 시점이라 1달이라도 쉬면서 챙겨봐야할것인가 싶을정도네요
h200에 올려서 쓰고있어요 성능은 좋은데
3.8 이 3.6보다 답 나오는 시간이 조금 길어서 같이 일하는 친구들 한테 좀 확인해ㅡ보랬더니 뭔 사고 파라미터가 맥스로 기본설정 돼있다고 하더라구요 그거를 미듐으로 내려서 쓰면 된다고 합니다.
보스 꼬셔서 로컬모델용 머신 하나 사자고 해야겠네요
이거 괜찮아 보여서, 셋팅 중입니다.
해보고싶은데 몰라서...