https://github.com/antimatter15/alpaca.cpp
여기서 chat_mac 다운받고 ggml-alpaca-7b-q4.bin 다운받아서 같은 디렉토리(폴더)에 넣어준뒤에
터미널에서 ./chat_mac 으로 실행하면
어이없게도 그냥 실행이 됩니다
전 기본형 8기가 메모리인데 16기가인 분들은 13b도 가능하다고 합니다
세상에.....
https://github.com/antimatter15/alpaca.cpp
여기서 chat_mac 다운받고 ggml-alpaca-7b-q4.bin 다운받아서 같은 디렉토리(폴더)에 넣어준뒤에
터미널에서 ./chat_mac 으로 실행하면
어이없게도 그냥 실행이 됩니다
전 기본형 8기가 메모리인데 16기가인 분들은 13b도 가능하다고 합니다
세상에.....
https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/tree/main
이렇게 해보세요
chat_mac을 사용하시면됩니다.
-m 옵션으로 모델파일을 지정할 수 있습니다.