7b 13b 70b 모델을 공개했고 이번에는 월간 7억명 이하 사용자에게는 상업적 용도도 오케이 입니다
1보다 많은 2T 토큰으로 학습시켰고
성능은 llama1 보다 한체급씩 올라가고 컨텍스트 길이도 2k에서 4k로 올라갔습니다
지금은 파인튜닝 안된 사전학습모델이지만 조만간 파인튜닝 모델이 쏟아져 나올것 같습니다
(chat모델로 파인튜닝한것도 같이 내놨는데 검열 수준이 높아서 별로인것 같습니다)
신청하면 금방 링크 보내주는데 TheBloke (Tom Jobbins) (huggingface.co) 이양반이 ggml gptq 버전 이미 올려놨으니 사용해보셔도 됩니다