30b넘는 모델로 60토큰/초 정도... 작은건 더 빠르군요. 큰 모델도 잘 고르면 80쯤 나와서 실용레벨 같습니다.

방랑기/고생담
집에 9070xt 16G외에 팔려다 까먹은 7600이 있는데 로컬에서 LLM을 돌릴 수 있다는 얘기에 흥미가 동해서...

근데 집의 z790메인 보드가 2그래픽 카드 고려해서 나온건 아니라서 나름 머리 굴린다고 nvme to pcie하다가... 보드를 날려먹었습니다. 나름 조심했는데 케이블 접어서 이리저리 대다가 보드 누를 때 자리가 안좋았던가 그럴 수 있겠죠. 

온갖 생 쑈를 해서... 나름 굴러다니던 파워 서플라이까지 들고 시험해서... 이건 파워가 나간게 아니고 보드를 내가 해먹은게 맞다...라고 심증을 굳힌뒤에... 갸는 수리 보내서 팔 생각을 하고는... 

나름 생각해보니 그럼 이왕 망한김에 애당초 글카 2개 지원하는 보드... 비싸지만 또 이게 연휴특가 중고로 나온게 있길래 당근보다는 조금 더 줘야하지만 단기간이지만 교환보증도 있고해서 하나 마련했습니다. 

썬더볼트도 있고, 글카용 PCIE 5.0 레인을 두개의 글카에 반땡해서 x8 x8씩 나눠주는 기능이 있는 ASRock Z790 Carrara보드로 갔습니다. 음... 사보니 조물딱 거리기 좋아하는 사람은... 이런 보드처럼 앞뒤로 강화되어 있고 메인보드에 각종 스테이터스 확인 장치 및 리셋/부팅/초기화 버튼이 달려 있는 보드도 나쁘지 않겠다 싶더군요. 덕분에 날려먹은 MSI보드용 각종 강화부품이 남아돌고 있습니다. 수리 받아오면 싹 팔든가 해야죠...

우쨋든 큰 꿈을 안고 조립했습니다. 

하는 김에 메모리도 열심 꽂아서 16*4장으로... 6400MHz오버클럭 메모리로 통일했습니다. 2장세트로 파는 걸 4장으로 했더니 역시나 속도는 좀 떨어져서 6200MHz가 되었지만 상정했던 것이고... cpu도 공랭으로 버틸라니 언더볼팅이 필요했습니다.

드디어 글카... 2개 꽂고 그리고 메인보드의 iGPU라고 내장 그래픽도 활성화 했습니다. 이유는, VGA의 VRAM은 LLM에 돌리고 화면출력은 게임용이 아니니까 최소한의 메인보드 기능으로 끝내자는 작전이었는데...

LM Studio라고 로컬 LLM용 모델 파일 올리는 툴로 돌려주니... AMD 드라이버가 크래쉬나면서 계속 죽네요...

AI에 상담해보니, 그거 잘 안된다. 글카 다른거 섞어쓰니 그렇지.. AMD가 원래그래요... AMD드라이버 크래쉬하면 레지스트리 만져서 글카가 반응없어도 기다리는 시간을 늘려줘야되 ... 너 보드 전압 언더볼팅해서 그래... 메모리4장 그렇게 하면 불안정하다등등 별 소리를 다 하는데 하나씩 그래 어케하면 되냐고 해서 제시하는 해결방법 다 해봤는데 안되더군요. 

다 해보고 안되니 AI도 그러지 말고 nVdia(750만원 -_-;;;)비싸서 부담스러우면 워크스테이션용으로 나온 덜 비싼 9700 AMD글카 그거 32기가(230만원 -.-...)인데 그런거 다는게 편할거야 근데 그래도 nVidia는 아니라서 힘든게 있을껄??? 등등 하길래... 에라 꽝인겨 속터지니까 나중에 삘받으면 그런거나 하나사서 쓰고 걍 접어야겠다... 하다가... 그래픽이나 그런게 그렇게 불안정하면... 내장 그래픽 활성화한건 문제 안되...? 라고 물어보니 문제 된다네요 -_-; 아니 내가 내장 글카 쓰고 있다고 몇번을 말했지말입니다...? 그래서 멱살좀 잡고 싶었지만 허상인 친구라 거기서 참고... 바이오스에서 iGPU 우선순위 떨구고 멀티모니터 옵션꺼서 이후 장치관리자에서 인텔 내장 그래픽이 안뜨게 바꾸고 들어와서 보니... 잘되네요... 16기가 rx9070xt한장 있을 때보다 8기가 rx7600 이라도 있으면 더해 주는게 훨 나은거 같습니다.. 한 3주 고생했는데, 쓸만한 것 같습니다. 속도는 32G M4 맥미니보다 훨 빠르네요. 변화가 빠른 분야니 그 3주사이에 프로그램 업뎃도 있었던것 같고 하니 속도 측정도 다시 해봐야겠지만... 듣던거보다 실망했던 맥미니보다 시원 시원한 것 같습니다. 물론 작업시만 켜두는 피씨와 상시 가동용으로 고려하는 맥은 따로 용도를 보는게 맞을 것 같습니다. 둘다 용도와 장단점이 있는 것 같네요. 

하여간 이번에 고생해보고 안 것은...

PC

ASRock 메인보드는 언더볼팅이 MSI보드보다 간단하고 직관적이다. 다만 좀더 프로페쇼날 한 사람은 미세조정은 힘들 수 있다는데 저는 그정도는 아니라 충분했구요...

6400오버램...2장 한세트가 기본인거도 6000말고 6200MHz선에서도 4장한세트가 작동할 수 있더라. 인터넷에서는 다 안된다고 하던데 말이죠.

AI Local

LM Studio가 나는 편하더라... 

LM Studio 가 AMD에  대해 Vulkan 환경에 Loading Evenly만 지원한다고 나와도 실망할 거 없더라... 실제로는 로딩하면서 각 AMD글카 메인메모리까지 적절히 써주더라 하는 것이네요.(모델 로딩뿐 아니라 다른 용도로도 VRAM은 필요하니 그런거에 썼을지도요) AI도 Evenly만 있어서 16 + 8G VRAM환경이라도 8 + 8 과 다른 것 없고 한쪽이 느리니 성능만 저하된다고 떠들던데 그런거 아니더군요. 옵션 이름이 오해를 사게는 생겼지만요.

그리고 iGPU지적하기 전에 언더볼팅이 문제니 램을 빼야하느니 글카를 하나만 박아볼래 등등 별소리를 AI가 해줬지만 다 헛소리였고... 올라오는 글카 인식되는거를 한회사로 몰아주는게 중요한 것 같습니다. 저는 메인보드 iGPU를 쓰는 방향으로 설정했더니 인텔 글카 하나 에 AMD 글카 2개 처럼 되어서 안되었던거 같습니다. 혹시 AMD 보드에 AMD 글카를 끼고 내장 글카까지 다 살리면 어케 될련가는 모르겠군요. > VRAM아낀다고 iGPU썼는데 뻑나면 걔가 문제일 수 있으니 걍 쓰지않는게 좋다.

글고 정말... 몇주 붙잡고 있었는데... PC 자주 주무를거면 메인보드도 좀 튼튼한거 기능 좋은거 사는게 맞는 것 같고... AI이놈들은 편집증아니면 환각 상태라... 고집만 세고 모르는거 모르겠다고 절대 안하니... 그냥 신뢰는 금물인거 같네요 -_-; 조금이라도 자기가 문제 가능성을 따로 예측해봐야 하는 것 같습니다.

막짤은 선정리는 언제할지 기약없고 저장장치도 SSD하나만 연결해서 나머지는 다 선도 안꽂고 놀고 있는 현 PC상태입니다.

케이스 무거운건 이걸 마지막으로 해야겠네요...