text-embedding-ada-002 가 범용적으로 쓰일 수는 있을 듯 한데, KoBERT나 KoGPT같은 한국어 모델을 써 보시는 것은 어떨까요?

저는 https://huggingface.co/bespin-global/klue-sroberta-base-continue-learning-by-mnr 이 모델을 잘 쓰고 있습니다. 각종 점수가 높아서 믿고 씁니다. 이 모델로 고등학교 과학 질문답변 챗봇도 돌리고 있습니다. (https://acer2.snu.ac.kr)

@kungmo님 와~ 챗봇들어가보니 훌륭합니다!
이 모델로 과학과목 관련 내용을 embedding 시키고 사용자가 질문한 내용과 similarity가 높은 것을 보여주는 식인가요?
GPT 처럼 LLM쓰신건지 궁금하네요..

어떤 모델이든 openai쪽은 한글이 준수하다고 생각이 됩니다..

text-embedding-ada-002는 2세대용으로 디폴트로 많이 사용하는데..
text-embedding-3-small 이 더 효율적이고, 성능도 향상되었습니다. 가격이 ada002보다 싸고요..
(v3이라는데.. 3세대로 봐야 할지는 모르겠네요..)
https://openai.com/blog/new-embedding-models-and-api-updates 자세히 나옵니다..
아래가 발취한 내용입니다.

A new small text embedding model
text-embedding-3-small is our new highly efficient embedding model and provides a significant upgrade over its predecessor, the text-embedding-ada-002 model released in December 2022.

Stronger performance. Comparing text-embedding-ada-002 to text-embedding-3-small, the average score on a commonly used benchmark for multi-language retrieval (MIRACL) has increased from 31.4% to 44.0%, while the average score on a commonly used benchmark for English tasks (MTEB) has increased from 61.0% to 62.3%.

Reduced price. text-embedding-3-small is also substantially more efficient than our previous generation text-embedding-ada-002 model. Pricing for text-embedding-3-small has therefore been reduced by 5X compared to text-embedding-ada-002, from a price per 1k tokens of $0.0001 to $0.00002.