집에 데탑 그래픽카드가 4090 이라서 요즘 llm 모델 돌려보고 있습니다. 

인터넷 벤치 자료를 보고 4090에서 가능하다고 하는 모델들 테스트해보는데.. 가능하다고 하는 70B급 모델 구동하다가 계속 죽길래.. 라이브러리 호환성 문제인줄알고 계속 삽질하다가.. 어제 원인을 알게 되었습니다. 

바로! GPU 메모리가 아니라 메인 RAM 용량이 부족해서 죽는 것이였습니다. GPU 메모리가 24G고 메인 메모리는 32G라서 낭낭할 줄알았는데.. 처음에 로딩할때 메인메모리를 엄청 먹고 시작하더라고요. 

물론 가상 메모리 잡아서 쓰면 되지만.. 도커로 여러 시스템 연동해서 뭔가 해보려던 생각이 와르르 무너져서 아쉽기만 합니다..

데탑 구입할때 나중에 필요하면 메모리 추가하자는 생각으로 32로 소박하게 샀는데.. 메모리 가격이 떡상해서 이게 이렇게 발목 잡을줄은 상상도 못했네요 ㅠㅠ

메모리 가격 언제 떨어지나요!!! 하소연 해봅니다..

추가로 혹시 비슷한 컴퓨팅 환경(램32, 4090)에서 LLM 모델 돌리시는 분들 중에 추천해주실만한 모델 있을까요?