한 트위터가 llama 13b를 finetuning(RLHF & SFT) 해서 훈련이 완료되면 repo에 공개한다고 합니다.
스샷을 보면 cloud 이용해서 A100 gpu 4대로 훈련중임을 알 수 있습니다.
llama 7b finetuning 버전인 stanford alpaca도 대단하다고 하는데
llama 13b finetuning 한 버전의 성능이 어느정도 일지 궁금합니다.
gpt3.5보다 우수하다고 주장 하고 있지만 어떤 근거인지는 모르겠습니다.
결국 이걸 돌려보고 싶어서 4090을 구매 했습니다. 출혈....
다양하게 파인튜닝 될 라마를 기대합니다
뽐뿌 넣어두세요