
위 리스트에서
뭔가 그럴 듯 한 네이밍이 보입니다.
바로 fable5/Claude/Mythos 데이터를 수집해 학습시킨 경우인데요.
제 체감은... 별로 였습니다.
젬마든 큐웬이든... 기본 보다 낫긴 한데, 별 큰 체감은 느끼지 못했습니다.
현재 순위권 상위 중 주목할 모델은 바로
Qwen-AgentWorld-35B-A3B 입니다.
사용자 마다 각기 다른 경험을 하겠지만
제가 테스트 해본 결과 현존 로컬 중 최고입니다.
거의 맞먹는 것이 엊그제 소개한
ornith-1.0 이고요.
다른 것은 거의 볼 것이 없어 보이고,
두 가지를 다운 받아 비교 테스트 해보고 맞는 것을 골라 사용하시면 될 것 같습니다.
그 외에 주목할 것은 언어 모델은 아니지만 근래 꽤 의미 있는 진전을 이룬 Krea-2-Turbo입니다.

꽤 의미 있는 진전을 이룬 것으로 보이는 모델 소개 페이지입니다.
다만, 이것만 보아선 긴가 민가 하죠.
그래서 다운 받아 테스트를 해보았고... 놀랍게도 용량이 훨씬 큰 모델을 상회하는 능력을 보였습니다.
이 정도면 거의 몇 배 더 큰 어중간한 크기의 모델 보다 성능에서 상회합니다.
제가 사용하면서 느낀 점을 적어 봅니다. 이건 객관적이지 않은 주관적 느낌이니 참고만 바랍니다.
제가 느낀 부분은... 그러니까 모델 내부의 잠재력을 최대한 끌어 내는 모델이라는 생각입니다.
최적화를 통해 마른 수건 쥐어 짜듯... 최대한 짜내는 그런 느낌입니다.
이 정도 선이 이 사이즈의 최종 종착점 근처가 아닐까 싶은 느낌이랄까요.
로컬 모델 관심있는데 장비 구비 부터 큰 문턱입니다.
테스트는 어떻게 하셨나요?
전 뭐 그렇게 딥 하게 들어가는 타입은 아닙니다.
바이브 코딩 할 때는 여전히 프런티어 모델 사용하고요.
로컬을 테스트 하는 이유는 모니터링 겸 실제 사용하는 어떤 기능에 보조 용도로 쓰기 위함입니다.
장비는 RX9070 입니다.
가급적 여건이 되면 엔비디아 모델로 가시면 좋습니다.
사실 처음 구매 했을 때는 지금 보다 더 상황이 좋지 못했는데,
요즘은 Lmstudio 및 여러 서비스 앱이 AMD를 잘 지원합니다.
문제는 아직도 NVFP4 양자화 모델 사용이라던지,
특정 동영상/사진 모델을 특정 기법으로 더욱 성능을 끌어 올린 최적화 모델에서,
그 최적화 기법이 엔비디아 베이스라....사용할 수 없다는 점입니다.
마지막으로 테스트는... 비밀입니다. ㅎㅎ
일반적인 수학, 코딩이 아니라
그런 추론 능력이 필요한 작업 정도로 보시면 좋겠습니다.
자세한 답변 감사드립니다.
제가 요즘 사용하면서 느낀 것인데,
로컬은 Q4는 사용하지 않는 것이 좋습니다.
무조건 오프로딩하여 다소 느리더라도 vram 이상의 사이즈를 쓰는 것이 좋습니다.
즉각적인 답변을 요하는 작업보다 보조용도로 답변을 기다릴 수 있는 용도로 괜찮습니다.
다만 엔비디아의 NVFP4나 이에 대응하는 AMD 양자화 기술이 들어간 케이스는 Q4사이즈로도 괜찮습니다.
16GB 의 브램이라면 20~23GB 용량 되는 양자화 모델이 제 생각에는 가장 이상적인 것 같습니다. 그 이상 되면 느려도 너무 많이 느리기 때문에...
물론 5090을 가지고 있다면 조금 다른 얘기가 되겠지만...
가격이 너무 많이 부담 되죠.
여튼,
일반적인 접근 가능성을 감안하였을 때
16GB 브램에 오프로딩으로 23GB 내외의 양자화 모델이
성능에서 큰 손실 없이 괜찮은 답변으로, 보조 용도로 좋아 보입니다.
오프로딩으로 됩니다.
요즘은 lm studio 에 이런 옵션도 생겼습니다.
3090 안팔고 보관만 하다가 몇일전에 팔았죠..
아무래도 실업무용으로는 전력소모나, 가성비가 좀 떨어지더군요.
다만 저는 맥북 24g짜리로는 로컬 llm으로 뭔갈 하다보면 그냥 클라우드 llm 토큰비 추가 결재하는게 몸과마음이 편하긴 한것 같습니다.
이번에 말씀 주신 모델들 테스트 한번 해봐야겠네요 좋은 정보 감사합니다 ^^