300B로 이정도까지 해낸게 대단하네요

오픈소스모델 파인튜닝 한것도 아니고

자체 데이터셋으로 처음부터 구현한 모델인데

300B에 13B MoE라는 상대적 소형 사이즈로

이정도까지 해낸게 참 대단하네요

듣기로는 모티프가 칩도 독파모 타사대비 넉넉한 상황은 아니였다고 들었는데 (이번 모델 결과보고 모티프에 칩 추가공급 해준다는 카더라가 있습니다. 잘된일이죠. 찌라시가 아니였음 좋겠습니디)

후발주자가 이정도면 상당히 대단하다고 보여집니다

어텐션 구조 자체설계하고 옵티마이저도 뜯어고치고 했다고 하는데 (이번에 나온 키미가 이런 형태의 결정체입니다. 키미는 MoE Experts 구조까지 재설계했습니다)

점차 노하우가 쌓여가면서 1T이상 대형모델까지 진입하면

페이블 급은 아니여도 오푸스정도까지는 넘볼만하다고 생각이되는데 이정도만 되어도 정말 감지덕지죠

칩 지원 정부는 빠방하게 해줬으면 합니다