젬마4로 로컬ai입문하고 5070ti로 쓰다가  집에 굴러다니는 3060 12GB랑 듀얼 구성하면 성능이 얼마나 나올까 궁금해서 해봤습니다

보드에 남는 슬롯이 x1 슬롯뿐이 없어서 m.2 to pcie4.0 x4 컨버터를 이용해 구성했습니다

밑엔 젬미니한테 결과 표로 만들어 달라고 했습니다.

• CPU: AMD Ryzen 7 7800X3D (8 Threads 할당)

• RAM: DDR5-5600 32GB

• GPU 1: NVIDIA GeForce RTX 5070 Ti 16GB (Main)

• GPU 2: NVIDIA GeForce RTX 3060 12GB (via M.2 to PCIe 4.0 x4)

• LM Studio 설정: Context 16384, Temp 0.95, Rolling Window, KV Cache Q4, Flash Attention 사용

---

📊 1. RTX 5070 Ti 16GB 단일 구성

모델명 (Gemma 4)	오프로딩 레이어	VRAM 사용량	메인 RAM 사용량 (물리/커밋)	생성 속도 (t/s)	비고
26B A4B Q4_K_M (공식)	21 / 30	14.5 / 16GB	27.9 / 31.2GB	30 ~ 35	레이어 일부 RAM 할당
Unsloth 26B A4B IQ4_NL	30 / 30	14.5 / 16GB	21.8 / 31.2GB (공유 3.0)	100 ~ 110	속도 최고, 단 간헐적 1t/s 드랍
31B Q4_K_M (공식)	35 / 60	14.5 / 16GB	25.0 / 31.2GB (커밋 38.3)	4 ~ 5	절반 가까이 RAM 사용으로 느림
26B A4B (무검열)	21 / 30	14.5 / 16GB	28.0 / 31.2GB	29 ~ 37	공식 모델과 유사

unsloth모델에서 가끔 초당 토큰이 1이하로나오는건 답변에 필요한 데이터가 메인램에 올라가있는 경우 메인램을 참고해야해서 공식모델보다 극단적인 토큰수 하락이 있는걸로 보입니다, 이경우 모델 재로딩 하거나 답변중지후 다른걸로 잠깐 다른 이야기하다 똑같은 질문할경우 그동안 레이어 재배치라도 하는지 토큰수가 정상으로 돌아옵니다. 

---

📊 2. RTX 5070 Ti 16GB + 3060 12GB 듀얼 구성

모델명 (Gemma 4)	오프로딩 레이어	VRAM 사용 (5070Ti/3060)	메인 RAM 사용량 (물리/커밋)	생성 속도 (t/s)	비고
26B A4B Q4_K_M (공식)	30 / 30	13.8 / 6.1GB	27.9 / 31.2GB (커밋 34.3)	78 ~ 87	단일 대비 속도 2배 이상 상승
Unsloth 26B A4B IQ4_NL	30 / 30	13.8 / 3.9GB	21.8 / 31.2GB (커밋 33.0)	75 ~ 77	피크 속도는 낮으나 안정성 확보
31B Q4_K_M (공식)	60 / 60	13.4 / 9.3GB	25.0 / 31.2GB (커밋 38.3)	18 ~ 22	실사용 가능한 수준으로 대폭 상승
26B A4B (무검열)	30 / 30	13.8 / 6.1GB	24.0 / 31.2GB (커밋 35.4)	80 ~ 90	듀얼 구성 시 안정적인 고속 출력

듀얼구성시엔 31b 모델도 두 그래픽카드 v램에 모델이 통채로 올릴수 있는걸로 보이며, unsloth 모델은 5070ti 단일로 쓸때보단 5070ti에 올라가는 레이어수가 살짝 적은데  이때문에 초당 토큰수가 덜나오는건가 싶습니다, 대신 토큰수가 1이하로 나오는 현상은 없습니다

대신 31b모델 사용시 메인램 먹는게 엄청나네요

 메인램 30.7/31.2GB, 커밋됨 52.4/53.2GB 까지 올라가는거보고 다른 모델 테스트했습니다  

이런데도 18토큰은 나와주네요

컨버터 사기전에 제미니, ai관련 커뮤, gpt한테 물어보니 의견이 갈렸엇는데

제미니는 무조건 이득,  커뮤에선 3060의 성능을 따라가기때문에 높은 확률로 성능하락, gpt는 경우에따라 성능 상승, 하락 이라고 하더라구요   근데 궁금한건 해봐야 하기때문에 한건데  일반적은 용도로는 성능향상은 확실하네요

컨버터를 사용하지않고 보드에 그래픽카드 2개 장착할수있다면 토큰생성이 더 잘나올거라 추측됩니다

그리고 대부분의 연산은 5070ti가 하며 3060은 gpu르도율이 0%로 유지됩니다   대신 v램이 열심히 일하는지  길게 추론하면 3060온도가 75도까지 올라가네요   아이들시 온도가 38도인데   

반면 5070ti온도는 55도정도쯤까지만 올라가고

근데 이렇게 실사용할 생각은 없고 오로지 궁금증을 해결하기위한 테스트 목적이었기에 다시 전부 원래대로 분리할 예정입니다

이제 m.2 to pcie 컨버터 팔아야지

이건 듀얼 시스템 구성 꼬라지임 ㅋㅋ

밑에가 3060인데 바닥하고 띄워놨고 바닥면 자체가 구멍 숭숭뚫린 철판이라 공기순환자체는 문제 없을거라 봅니다