엔비디아는 "네모트론-4 340B" 모델을 출시하여 AI 혁신의 선두주자로 자리매김했습니다. 

이 모델은 대규모 언어 모델(LLM) 훈련을 위한 합성 데이터 생성에 특화되어 있습니다. 

네모트론-4 340B는 실제 데이터셋 없이도 다양한 분야에서 도메인 특화 LLM을 만드는 데 유용합니다. 

이 모델은 LMSys.org의 챗봇 아레나에서 "june-chatbot"이라는 별명으로 운영되었으며, 이제 공식적으로 공개되었습니다.

네모트론-4 340B는 베이스, 인스트럭트, 리워드 모델을 포함하는 제품군으로 구성되어 있으며, 고품질 합성 데이터를 생성하기 위한 포괄적인 파이프라인을 제공합니다. 

이 모델은 9조 개의 토큰으로 훈련되었으며, 4,000개의 컨텍스트 윈도우와 50개 이상의 자연어 및 40개의 프로그래밍 언어를 지원합니다.

 이러한 사양 덕분에 네모트론-4 340B는 GPT-4와 견줄 만한 성능을 자랑합니다.

네모트론-4 340B의 주요 특징 중 하나는 상업적으로 친화적인 라이선스입니다. 

선임 딥러닝 리서치 엔지니어인 Somshubra Majumdar는 네모트론-4 340B를 상업적 용도로 사용 가능하다고 강조했습니다. 

이 라이선스는 다양한 기업이 LLM을 활용하고 맞춤형 모델을 만들 수 있도록 돕습니다. 

또한, 허깅 페이스의 리워드벤치 리더보드에서 네모트론-4 340B 리워드 모델이 선두를 차지하였으며 LMSys.org 챗봇 아레나에서의 초기 피드백은 이 모델의 성능과 도메인 특화 지식에 대해 좋은 반응을 보였습니다. 

Nemotron-4 340B는 지금 Hugging Face 에서 다운로드할 수 있습니다.
개발자는 곧 ai.nvidia.com 에서 해당 모델에 액세스할 수 있게 되며, 여기서 해당 모델은 어디에서나 배포할 수 있는 표준 애플리케이션 프로그래밍 인터페이스를 갖춘 NVIDIA NIM 마이크로서비스로 패키징됩니다.

https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/