마침 요즘 이미 5070i 돌리고 여러가지 테스트 해주신 분들 데이터가 있어서 봤는데...
https://www.clien.net/service/board/use/19179765CLIEN
제 rx9070xt 는 55토큰/s 본게 답니다.
딱 5070ti 절반...
왜그러냐고 물어봤더니... GDDR7 보다 느린 GDDR6, 그리고 생태계가 CUDA라 거기 대응하는 AMD는 ROCm 이란게 있는데 이게 nVdia 만큼 성능이 안나와서 또 성능저하라 2.2배 까지 성능차이가 날수 있다네요. GEMMA4 로컬 작동으로 얻은 답입니다.
장점(?) 이... 어차피 연산이 느려서 메인보드 pcie 대역이 병목이 될 가능성이 nVidia 보다 훨씬 적다하네요
(-.- 어... 그래 기쁘군요;;; )
뭐... 별수없죠.
그래도 가능한 글카두개 꽂아도 성능좀 나오는 고급보드라도 가볼까 하다 그것도 그만두고... 느린대역이라도 메인메모리보다느 낫대서 글카하나 남는거 더 꽂아 주려구요.
4.0 x4라도 성능저하는 3~5%로 미미하고 메모리는 커지니 추론에는 유용하다고해서요.
간간히 코딩보조로 로컬에서 쓰는게 목표에요. 저는 실사용하려구요. 그리 대단한 코딩은 안하니까요.
전 다른 그래픽 디자인 (퓨전 360, 3디프린팅) 등도 하니까. 복잡한 모델 돌리는데 좋고, 나중엔 이미지 생성에도 쓸수 있을까 궁금하네요
음... 다만 그러고나면 슬롯이 부족해서 썬더볼트는 nvme 설치 자리에서 별도 pcie 슬롯을 빼서 pcie4.0 x4를 제공해줘야 할 듯합니다.
마침 정보도 잘 정리된 글이 있었죠. 출처와 글과 같은 방식으로 늘려서 전 거기 썬더볼트 카드를 쓰려구요.
하여간 괴랄한 부품은 알리에 정말 다 있습니다.

....
vllm말고 llama.cpp쓸땐 vulkan이 더 빠른..