보통은 20b짜리 모델이나 7b 모델을 쓰면 빨라봐야 초당 20토큰이었습니다.
그런데 lfm2는 24b 모델임에도 초당 100토큰을 내서 정말 깜짝 놀랐습니다.
'이게 신기술인가?.. 이게 로컬 모델의 미래인가?'
제미나이급 답변속도에 잠시 흥분했다가
답변해준걸 읽어보니.. 아무소리 한 거였더군요...
로컬 llm 모델 잘 쓰시는 분들 존경합니다..
보통은 20b짜리 모델이나 7b 모델을 쓰면 빨라봐야 초당 20토큰이었습니다.
그런데 lfm2는 24b 모델임에도 초당 100토큰을 내서 정말 깜짝 놀랐습니다.
'이게 신기술인가?.. 이게 로컬 모델의 미래인가?'
제미나이급 답변속도에 잠시 흥분했다가
답변해준걸 읽어보니.. 아무소리 한 거였더군요...
로컬 llm 모델 잘 쓰시는 분들 존경합니다..
