Local LLM 을 구동해보겠다는 생각에 DGX spark 와 Strix Halo 를 비교하다가, 그래도 조금은 다목적으로 쓸 수 있고, 가격도 훨씬 낮은 Strix Halo 에 마음이 쏠려 직구로 구매했습니다.

 LLM 을 구동해서 실무적으로 사용하실 목적이라면 비추입니다. 30B 정도 모델은 5 token/s (dense 기준) 이하의 성능이 나옵니다. rocm 세팅도 사실 절대 쉽지 않습니다. 현재 제가 보는 5 t/s 의 성능이 이론적 한계치인지, 아니면 제가 세팅을 잘못한것인지 아직도 확신이 없습니다. 처리 속도가 너무 늦으니 128GB 공간의 장점이 거의 쓸모가 없습니다. 이 공간이 모자랄 만큼의 토큰 생성이 현실적인 사용 시간 내에 안됩니다. Strix Halo 자체의 문제는 아니지만,  시험해본 바로는 30B 수준 정도가 범용적으로 쓸 수 있는 모델의 하한선 같은 느낌이 듭니다. 이것보다 작은 모델들은 희한한 바보 짓을 꼭 합니다. 정말 간단한 내용이 아니라면, 조금이라도 머리를 쓰는 업무라면 30B 이상급 모델이 필요해 보입니다.

8060S core 의 순수 그래픽 성능은 4060~4070 사이의 어디 쯤 정도입니다.3Dmark 돌려보니 딱 그렇게 나옵니다. 게임이 아닌 VRAM 을 많이 쓰는 어플리케이션 실행에 강점이 있다라고 하는데, 그런 어플을 쓸 일이 없네요.

LLM 이 아닌 ,다른 용도의 작은 모델들을 대량으로 여러 개 올려서 동시에 사용이 가능합니다. 예를 들자면, 음성 인식 + 페이스 인식 + 영상 생성 + 음성 합성 같은 모델을 모두 동시에 올려놓고 사용이 됩니다. 물론 동시 실행은 아닙니다. 모델들이 크기가 커서 하나 올리고 다른 것 새로 올리고 하는 식으로 사용하면 그것도 은근히 시간을 잡아 먹습니다.그래서 이렇게 그냥 각각 전부 올려놓고 그 때그 때 필요한 모델 불러서 사용하는 방식으로 작업이 가능합니다. LLM 이 아닌 모델들은 그 크기가 5GB 넘는 것이 드뭅니다. 그래서 처리 속도도 상당히 좋습니다.

x86 기반 시스템이어서 불편한 점이 하나 있습니다. 128GB 중 , 얼마를 CPU main memory, 얼마를 VRAM 에 할당할지 BIOS setup 에서 지정해야 합니다. 즉, CPU memory 100GB 짜리 작업을 하다 , VRAM 90GB  짜리 작업을 하려면 재부팅해서 bios setup 에서 설정을 수정해야 합니다. 뭔가 VRAM 을  일반 메모리처럼 인식시키는 D/D 같은 것이 있었으면 좋겠습니다.

정리하자면 , 128GB 메모리대비 처리속도가 너무 아쉽습니다. 듣기로는 이 처리 속도의 제약은 8060S GPU의 계산 성능 제약과, LPDDR5  기반의 메모리 대역 모두에 책임이 있다고 합니다.

그리고 반전이 있습니다. 이 시스템을 AI 연구를 위한 대용량 VRAM 을 가진 보급용 시스템이 아니라, 그냥 windows server 라고 보는 겁니다.  CPU 가 16 core 32 thread 의 최고사양 AMD desktop cpu 와 맞먹습니다. 메모리는 대역폭이 서버급보다 빠르며 128GB 입니다. 이런 서버 시스템이면서 gpu 성능도 4060보다 높습니다. 10Gbps network card 에 UsB 4.0 interface 도 다수 입니다.  미 모든 사양에  전력을 100W 미만으로 먹습니다.일반 서재나 침실에서 구동해도 될 정도로 소음도 작습니다. 뭐랄까 자기 주전공보다 보조 전공을 훨씬 잘하는 것 같은 시스템입니다.