전문영역으로 가니 번역 성능이 많이 떨어지네요. 영문 원문으로 보는게 괜찮은것 같습니다 ㅎㅎ circulus/alpaca-doctor-7b-v2 · Hugging Face 이걸로 받으시면 inference 에 문제없이 동작되실겁니다. ㅁㅁ
16gb 급에서 사용 가능하실것 같습니다. 제가 쓰는게 24gb 랑 48gb인데, 13b는 4bit 양자화 안하면 올리기 힘든 것 같더라구요.