내부적으로 오랫동안 진행중인 로컬 LLM을 활용하는 프로젝트가 있는데,(토픽필터와 별개의...)

처음에는 Qwen을 쓰다가, 지금은 gemma4 26B-A4B를 활용해서 지속적으로 파인튜닝 하며 실험하고 있는 중이었습니다.

어제 Meta에서 Glimmer라는게 30B모델로 나와서 바로 다운받아서 테스트해봤는데 gemma4 대비 의미있는 수준의 향상이 보입니다.

학습하는데 간신히 ~85GB VRAM 사용으로 통과...

튜닝하면 얼마나 더 좋아질 지 기대됩니다.

1216건 학습하는데 6일 걸린다고 나와서, 온갖 최적화를 해서 64시간으로 줄여서 시도중입니다.

DFlash로 추론속도도 빠르고..(MoE보다는 느리지만..)

주말에 학습된 결과가 잘 나왔으면 좋겠어요.

H200 같은거 한대 있으면 64시간 걸릴거 두세시간안에 끝났을텐데...