안드로이드에서도 실행이 가능하네요
제 폰에서 테스트 해봤습니다
갤럭시 s23 울트라 기준으로
alpaca 7b native(no lora) 4bit 양자화 모델이 가장 성능이 좋습니다
(더 큰모델은 실행불가 ㅜㅜ)
램 12G 안되는 폰은 실행이 안될것 같습니다
속도(tokens/s) 표시가 되진 않지만 사용할만한 수준입니다
(짧은 답변은 3초내 응답)
https://github.com/antimatter15/alpaca.cpp
안드로이드에서도 실행이 가능하네요
제 폰에서 테스트 해봤습니다
갤럭시 s23 울트라 기준으로
alpaca 7b native(no lora) 4bit 양자화 모델이 가장 성능이 좋습니다
(더 큰모델은 실행불가 ㅜㅜ)
램 12G 안되는 폰은 실행이 안될것 같습니다
속도(tokens/s) 표시가 되진 않지만 사용할만한 수준입니다
(짧은 답변은 3초내 응답)
https://github.com/antimatter15/alpaca.cpp