와.. Llama 나온지 얼마안된거같은데 벌서 poke에 Chat doc에 .... 많은것들이 바뀌고있습니다
진짜 이게 초입부 인 듯한데...
간만에 드래곤볼 모으고있습니다.
현재 시스템 사양은
파견나와서 쓰는 개인 컴퓨터라서
Win 11 Pro
라이젠 5600G / 16gb / 3060 12gb 입니다
저는 원래도 게임잘안해서 Vram 큰걸로 산건데 여기서 톡톡히 덕을 보네요
양자화가 잘되어서 4bit모델들은 아주 잘 굴러갑니다
근데..... Fine tuning 해볼라니까 어휴 한계가 저명하네요
집에서 게이밍으로 쓰던
i7-10700
16GB Ram -> 128GB 증설 (램주문완료)
RTX3080 8GB -> RTX3090Ti 24GB (지인에게 가져옴)
으로 변경예정입니다.
모듈은 이정도 돌려봤습니다
13b 4bit가 저용량 저RAM 고성능이고
Chavino gpt 4 x alpaca는 제가 램이 너무 작아서 (현재 16gb) SSD에 쓰고 불러오는터라 아직 잘 모르겠습니다
Alpaca-doctor은 12gb Vram에선 쉽지 않네요
현재 가장 잘돌아가는건
양자화된 llama-13b-4bit, anon8231489123_gpt4-x-alpaca-13b-native-4bit-128g 입니다
Finetuning빨리 해보고싶네요 ㅎㅎ
90Ti 쓰다보면 또 A100이 아른거릴거같아요
물론 제가 반은 취미로 건드리지만 정안되면 3090TI sli도 해볼요량으로 이번에 90ti로 갈아탑니다
vram 쓰는게 40gb 넘어가면 개인취미치곤 좀 크죠 ㅋㅋ
뭐 솔직히 6000이나 100이나 기업용이지 취미라해도 가정에서 쓸건 아니니 ㅎㅎ
90으로 타협봐야겠습니ㅏ ㄷ