허깅 페이스 및 서비스나우, 코딩용 생성 AI 'StarCoder' 공개 : 클리앙

* 공식 : StarCoder: A State-of-the-Art LLM for Code

* VentureBeat 기사 : Hugging Face and ServiceNow open up generative AI for coding with StarCoder

https://venturebeat.com/ai/hugging-face-and-servicenow-open-up-generative-ai-for-coding-with-starcoder/

스타코더 이미지

* 아래는 공식 설명에서 인용

StarCoder와 StarCoderBase는 80개 이상의 프로그래밍 언어, Git 커밋, GitHub 이슈, Jupyter 노트북 등 GitHub에서 허가된 데이터로 학습된 코드용 대규모 언어 모델(Code LLM)입니다. LLaMA와 마찬가지로 1조 개 토큰에 대해 약 150억 개의 파라미터 모델을 학습시켰습니다. 그리고 350억 개의 파이썬 토큰에 대해 StarCoderBase 모델을 파인 튜닝하여 StarCoder라는 새로운 모델을 만들었습니다.

저희는 StarCoderBase가 널리 사용되는 프로그래밍 벤치마크에서 기존의 개방형 코드 LLM보다 성능이 뛰어나며, OpenAI의 code-cushman-001 (GitHub Copilot의 초기 버전을 구동한 오리지널 Codex 모델)과 같은 폐쇄형 모델과 같거나 능가한다는 사실을 발견했습니다. 8,000개가 넘는 토큰의 컨텍스트 길이를 가진 StarCoder 모델은 다른 어떤 개방형 LLM보다 더 많은 입력을 처리할 수 있어 다양하고 흥미로운 애플리케이션을 구현할 수 있습니다. [중략]

[모델] * 일부 링크만 인용

GitHub: StarCoder 이용 또는 파인 튜닝에 대해 알아야 할 모든 것.

https://github.com/bigcode-project/starcoder/

StarCoder: 파이썬에서 추가로 학습한 StarCoderBase.

https://huggingface.co/bigcode/starcoder

StarCoderBase: The Stack의 80개 이상의 언어에 대한 학습.

https://huggingface.co/bigcode/starcoderbase

[툴 & 데모]

StarCoder 채팅: 스타코더와 채팅하세요!

https://huggingface.co/chat/

VSCode 확장: 스타코더로 코딩하세요!

https://marketplace.visualstudio.com/items?itemName=HuggingFace.huggingface-vscode