모두의공원

구글 젬마4, 로컬LLM 전성기 오나요. 9

3
2026-04-03 02:28:00 122.♡.56.205
천문공

스크린샷 2026-04-03 021900.png


벤치 점수는 사실이라고 믿기 힘들 정도로 좋습니다.

얼마 전까지 Qwen3.5가 충격을 안기더니... 이젠 젬마가...


테스트 해보고 후기 남겨 보겠습니다.

천문공 님의 게시글 댓글
아띠팡
IP 58.♡.132.183
04-03 2026-04-03 02:54:26
·
아 아직 mlx는 안나왔네용 ㅜ
뿌꾸빠
IP 175.♡.133.194
04-03 2026-04-03 03:03:50
·
구글 제품들은 이상하게 막상 써보면 생각보다 성능에 만족을 못하겠더라구요.
코딩 능력이나 동영상 생성 능력도요.
천문공
IP 122.♡.56.205
04-03 2026-04-03 03:17:19
·
@뿌꾸빠님
로컬은 Qwen3.5 이전에는...
어디가 좀 낫고 좀 못하고... 해도, 크게 보면 도토리 키재기 였습니다.

벤치 보다 실 사용이 좋거나 나쁘거나... 그저 이것도 평가를 굳이 할 때 나오는 말일 뿐이지,
실제 사용하기에는 많이 모자랐으니까요.

즉, 사용할만 하다...는 어차피 Qwen3.5 부터라서,
아직 테스트 전인... 지금 제 생각은...
이 정도 지능이 되면... 큐웬이나 젬마나... 전과는 다른 체감이 오지 않을까 기대하고 있습니다.

물론 말씀하신... 벤치만 좋고 체감은 별로 일 수도 있는데요.
지금 다운 걸어 놓고 잘 생각이라... 후기는 내일 남겨야겠습니다.
뿌꾸빠
IP 175.♡.133.194
04-03 2026-04-03 03:20:25
·
@천문공님 파라미터 얼마짜리 쓰세요?
어떤 카드를 사용중이신가요?
저는 로컬은 생각도 못하고 있습니다. 부럽습니다.
천문공
IP 122.♡.56.205
04-03 2026-04-03 03:44:00 / 수정일: 2026-04-03 07:55:04
·
@뿌꾸빠님
테스트 해 볼 모델은 31B 의 4비트 양자화 모델입니다.
모델 용량이 제 9070 16GB 보다 크기 때문에 오프로딩 될 것이라 상당히 느릴 것 같습니다.

실제 사용할 때는 31B가 아닌 26B로 써야 할 것 같습니다.
26B의 양자화 모델은 14GB 보다 약간 적은 사이즈일거라서,
브램이 KV캐시까지 감안하면 꽉 찬 상태로 쓰게 될 것 같네요.
SHERLOCK
IP 211.♡.249.94
04-03 2026-04-03 03:34:29
·
아직 올라마로 구동할 수는 없겠죠?
SHERLOCK
IP 211.♡.249.94
04-03 2026-04-03 03:39:44
·
올라마 v.0.20인가로 구동 가능하네요 다운 중입니다 ㄷㄷㄷ
블루텀
IP 125.♡.139.19
04-03 2026-04-03 07:19:32
·
gpu 메모리 수요는 더 늘어나는 건가요 ㄷㄷ
김시인
IP 125.♡.231.21
04-03 2026-04-03 16:31:11
·
얘는 말로 대화가능하게 할수 있나요?
목록으로
글쓰기
글쓰기
목록으로 댓글보기