구글 클라우드가 4배 향상된 성능의 7세대 AI 칩 '아이언우드(Ironwood)' TPU를 공개했습니다. 

앤트로픽(Anthropic)은 최대 100만 개의 TPU 칩을 확보할 계획이라고 밝혔습니다. 

이는 현재까지 알려진 AI 인프라 계약 중 가장 큰 규모입니다. 

구글은 AI 산업의 중심이 모델을 '훈련'하는 단계에서, 수십억 명의 사용자에게 AI 서비스를 '제공(추론)'하는 단계로 넘어가고 있다고 진단했습니다. 

모델 훈련은 시간이 걸려도 되지만, 챗봇처럼 즉각적인 반응이 필요한 추론 서비스는 매우 빠르고 안정적이어야 한다는 것입니다. 

구글이 공유한 기술 사양에 따르면, 아이언우드는 이전 세대보다 학습 및 추론 워크로드 모두에서 4배 이상 향상된 성능을 제공합니다.

아이언우드는 9,216개의 칩이 초고속 네트워크로 연결되어 하나의 거대한 슈퍼컴퓨터처럼 작동합니다. 

구글의 독점적인 칩 간 상호 연결(Inter-Chip Interconnect) 네트워크를 통해 최대 9,216개의 개별 칩을 초당 9.6테라비트로 연결할 수 있으며, 이 대역폭은 미국 의회도서관 전체를 2초 이내에 다운로드하는 것과 거의 같습니다.

이를 통해 9,216개의 칩은 1.77페타바이트의 고대역폭 메모리 (HBM)에 대한 액세스를 공유할 수 있습니다. 

이 메모리는 칩의 처리 속도에 맞춰 작동할 수 있을 만큼 빠릅니다. 

이는 약 4만 편의 고화질 블루레이 영화 분량의 작업 메모리에 수천 개의 프로세서가 동시에 즉시 액세스할 수 있다는 의미입니다. 

구글은 기술 문서에서 "참고로, 아이언우드 포드는 가장 가까운 경쟁사 대비 118배 더 높은 FP8 엑사플롭스(ExaFLOPS) 성능을 제공할 수 있습니다."라고 밝혔습니다.

Anthropic의 컴퓨팅 책임자인 제임스 브래드버리는 추론에 중점을 두고 다음과 같이 설명했습니다. "Ironwood는 추론 성능과 학습 확장성을 모두 개선하여 고객이 기대하는 속도와 안정성을 유지하면서도 효율적으로 확장할 수 있도록 도울 것입니다."

구글은 AI 가속기인 TPU뿐만 아니라, AI를 지원하는 일반 작업을 위한 맞춤형 CPU 'Axion'도 함께 선보였습니다. 

AI 모델이 작동하기 위해 필요한 웹 서비스나 데이터 처리 같은 배경 작업을 더 효율적으로 처리하기 위한 Arm 기반 칩입니다.