https://github.com/ggerganov/llama.cpp/pull/1642
m2 max기준으로 65b llama로 5토큰 뽑습니다.....그리고 m1 ultra 기준으로 7.8토큰/s 요
a100 80기가보다 빠른 속도입니다
혹시 좋은(?)맥 갖고 계신분들 테스트해보세요
https://github.com/ggerganov/llama.cpp/pull/1642
m2 max기준으로 65b llama로 5토큰 뽑습니다.....그리고 m1 ultra 기준으로 7.8토큰/s 요
a100 80기가보다 빠른 속도입니다
혹시 좋은(?)맥 갖고 계신분들 테스트해보세요
답변 속도가 빠르단 건가요?
비교하면, 현재 서비스 중인 chatGPT4 는 몇 토큰 인건가요?