8B 부터 놀랍고,
70B도 놀랍네요.
라마3가 기대 이상의 성능으로 나왔으니
상용 서비스를 진행 중인 곳들은 경계의 눈초리로 보고 있을 것 같습니다.
개인 유저가 로컬로 돌리려면 70B짜리를 4비트 양자화를 해야...
고성능 컴퓨터로 겨우 가능하지 싶네요.
400B는 아직 훈련 중이어서 위 점수보다 더 높아 질 것 같다네요.
규모가 좀 있는 기업에선 라마3를 파인튜닝하고,
RAG로 사용 하려 할 수도 있어 보입니다.
8B 부터 놀랍고,
70B도 놀랍네요.
라마3가 기대 이상의 성능으로 나왔으니
상용 서비스를 진행 중인 곳들은 경계의 눈초리로 보고 있을 것 같습니다.
개인 유저가 로컬로 돌리려면 70B짜리를 4비트 양자화를 해야...
고성능 컴퓨터로 겨우 가능하지 싶네요.
400B는 아직 훈련 중이어서 위 점수보다 더 높아 질 것 같다네요.
규모가 좀 있는 기업에선 라마3를 파인튜닝하고,
RAG로 사용 하려 할 수도 있어 보입니다.
클로드3만해도 쳇지피티 넘어섰던데 ㄷㄷㄷ
참고로 opus는 400B 저기나온것보단 점수가 높습니다
400B는 학습이 완전히 완료 된 것이 아닌 상태에서벤치만 보여준 것이라고 합니다.
향후 정식으로 나올 때 성능을 봐야겠습니다.
또 체크해야 봐야 하는지.. 오픈소스라서 더 좋은거 같아요.. ㅎㅎ
14900K rtx4090 고클럭램 이런걸 여러대 연결해서쓰는건지?
개인은 그 이상이 어렵죠..
그래도 양자화만 잘 된다면....최고사양은 구동은 될 겁니다.
차라리 맘 편하게 8B쪽으로 보세요. 이건 양자화까지 하면 돌릴만 합니다.
m1 macmini, 16기가.
그리고 인텔맥에서도 느리지만 잘 돕니다.