8비트 양자화, 4비트 양자화가 되면
inference라는 말이 같이 따라 붙는 것 같아서요..
4090 을 먼저 사기 전에 3070 그래픽 카드 (8GB VRAM) 으로 7B 모델을 8비트 또는 4비트 양자화 해서 LLM 트레이닝을 한번 해보자... 하려는데 어디서부터 시작할지 좀 먹먹하네요
8비트 양자화, 4비트 양자화가 되면
inference라는 말이 같이 따라 붙는 것 같아서요..
4090 을 먼저 사기 전에 3070 그래픽 카드 (8GB VRAM) 으로 7B 모델을 8비트 또는 4비트 양자화 해서 LLM 트레이닝을 한번 해보자... 하려는데 어디서부터 시작할지 좀 먹먹하네요