출처 : Nvidia
Nvidia가 AI 개발자와 연구자를 위한 소형 워크스테이션 'DGX Spark'를 출시합니다.
CES에서 'Project Digits'라는 이름으로 처음 공개된 이후 거의 1년만입니다.
DGX Spark는 NUC 정도 크기로 작지만 성능은 강력합니다.
핵심은 Blackwell GPU로, 최대 1페타플롭스의 희소 FP4 연산을 지원하며, 128GB의 통합 메모리와 200Gbps 고속 네트워킹 기능을 갖췄습니다.
가격은 3,000달러부터 시작하는데, 소형 크기이지만 비싼 편입니다.
이 제품은 일반 소비자용이 아니라, AI, 로봇, 데이터 과학, 머신러닝 연구자를 주 타겟으로 합니다.
DGX Spark의 핵심은 GB10 시스템 온 칩입니다.
GB10은 두 개의 컴퓨팅 다이가 Nvidia의 독점 기술인 NVLink를 통해 600GB/s 속도로 연결되어 있습니다.
GPU 부분은 희소 FP4 기준 최대 1페타플롭스, 단정밀도(FP32) 기준으로는 약 31테라플롭스의 성능으로, 이는 550달러짜리 소비자용 RTX 5070과 비슷한 수준입니다.
물론 소비자용 RTX 5070가 두 배 이상의 메모리 대역폭을 제공하지만, DGX Spark는 12GB 대비 128GB 메모리로 훨씬 큰 AI 모델을 다룰 수 있기 때문에 상대적으로 합리적인 선택지가 될 수 있습니다.
CPU 부분은 MediaTek과 협력해 설계했습니다.
총 20개의 ARMv9.2 코어로 구성되는데, 10개는 고성능 X925 코어이고 나머지 10개는 효율성에 최적화된 Cortex A725 코어입니다.
Apple의 M 시리즈나 AMD의 Strix Halo와 마찬가지로 CPU와 GPU가 공통 메모리 풀을 사용하는 구조입니다.
Spark의 GB10에는 Nvidia의 데이터센터 플랫폼과 마찬가지로, 후면에 두 개의 QSFP 이더넷 포트가 있는 ConnectX-7 네트워킹 카드가 내장되어 있습니다.
이 포트는 두 대의 DGX Spark를 연결해 성능을 두 배로 확장하는 용도입니다.
두 대를 연결하면 4비트 정밀도로 최대 4050억 개 매개변수 모델의 추론 작업이 가능합니다.
DGX Spark는 10월 15일부터 구매할 수 있습니다.
Nvidia뿐만 아니라 Acer, Asus, Dell, Gigabyte, HPE, Lenovo, MSI 등 여러 제조사에서 자사 브랜드로 출시합니다.
엔비디아에서 직접 판매하는 DGX 플랫폼도 있고, Dell/HP/Lenovo같은 주요 벤더에서 DGX 비슷한 NVIDIA HGX 플랫폼 적용시켜서 판매하는 서버도 있고, 벤더제 일반 GPU 서버에 H100같은 GPU를 PCIe에 꽂아서 써도 되고... 형태는 다양합니다.
데이터센터용 GPU에 비해 매우 느립니다. 메모리가 많아서 대용량 AI 모델 올려서 개인적으로 테스트, 개발하는 목적이지 서비스 용도로 하기에는 30 token/s는 견디기 힘든 수준이죠.