마이크로소프트는 "Phi-3 기술 보고서: 당신의 휴대폰에서 실행할 수 있는 강력한 언어 모델" 라는 논문과 함께 새로운 언어모델인 Phi-3-mini 를 공개했습니다. 이는 작년 12월 Phi-2 를 공개 후 4개월 만입니다.
마이크로소프트가 이번에 발표한 언어모델들은 아래와 같습니다.
Phi-3-mini (3.8B / 38억 매개변수)
Phi-3-small (7B / 70억 매개변수)
Phi-3-medium (14B / 140억 매개변수)
해당 논문에서 마이크로소프트는 Phi-3-mini는 휴대폰에서도 실행할 수 있을 정도로 작지만 몇몇 영역에서 GPT-3.5와 같은 훨씬 큰 모델과 비교할 만한 높은 성능을 자랑하며, MMLU에서 69%, MT-bench에서 8.38의 상당한 성능을 나타낸다고 소개하고 있습니다.
연구자들은 4bit으로 양자화 된 Phi-3-mini 모델은 약 1.3GB의 메모리만 차지하면서 아이폰에서 실행이 가능하며, A16 칩이 탑재된 아이폰 14 Pro 에서 초당 12토큰의 성능을 얻을 수 있었다고 밝혔습니다.
반쯤 농당삼아적는 글이지만, 중고 아이폰 가격 폭등 할 수도 있겠군요.
mistral이 나은거같아요...