https://www.aipostkorea.com/news/articleView.html?idxno=2844

"경량 모델 중 가장 빠르고 저렴"…오픈AI, 경량 버전 'GPT-4o 미니' 출시

어제 GPT-4o-mini 가 출시됐습니다. 

API용으로 출시가 됐는데요. 

저도 데이터 전처리 하는게 있어서 비용이슈로 GPT-3.5-turbo를 사용해왔습니다. 

대충 300번 API 호출에 2000원정도 쓰고 있는데요.

이걸 GPT-4o로 하면 10,000원정도 들었습니다. 

4o-mini가 3.5 대비 60% 저렴해졌다길래 써봤는데

성능은 당연히 3.5보다 만족스럽고 속도도 빠른데 비용이 대박이네요..

290번 호출했는데요.. 80원정도 들었습니다... ㄷㄷㄷ

좀더 써봐야 정확한 비용이 측정이 될텐데 말도안되게 싸서 뭐지? 했는데

좀더 찾아보니..

GPT-4o-mini부터 SLM에 사용되는 양자화가 적용됐지 않을까? 추측중입니다

양자화는..

gpt-4o-mini의 토큰 비용이 저렴한 이유 중 하나는 양자화 때문일 수 있습니다.
양자화(Quantization)는 모델의 파라미터(가중치)를 더 작은 정밀도로 변환하는 기술입니다.
이는 모델의 크기를 줄이고, 메모리 사용을 감소시키며, 계산 속도를 높이는 장점이 있습니다.
양자화는 모델이 사용하는 숫자의 비트를 줄임으로써 이루어집니다.
예를 들어, 일반적으로 32비트 부동 소수점 숫자를 사용하던 것을 8비트 정수로 변환하는 것입니다.
이렇게 하면 모델이 더 적은 자원을 사용하고, 비용을 절감할 수 있습니다.
이 기술을 사용하면 성능 저하가 있을 수 있지만,
적절하게 적용하면 대부분의 경우 그 차이를 감지하기 어렵습니다.
따라서 양자화된 모델은 비용 효율적인 동시에 충분히 높은 성능을 유지할 수 있습니다.

라고 하네요 ㅎ 

좀더 찾아보니 mini에 양자화가 적용됐다는 공식 문서는 없습니다. 아마 양자화 때문이지 않을까? 라는 추측입니다