'라마 3.1 8B'를 하드와이어링한 탈라스 HC1 (사진=탈라스)

AI 모델을 전용 실리콘 칩으로 구현하는 플랫폼이 등장했다. 대형언어모델(LLM)과 같은 컴퓨팅 집약적인 애플리케이션의 처리 속도를 높이기 위해 최적화한 그로크의 추론 엔진 ‘언어 처리 장치(LPU)’와 유사하다.

스타트업 탈라스는 최근 새로운 모델을 전달받으면 약 두달 만에 이를 맞춤형 반도체(ASIC)로 구현할 수 있는 플랫폼을 개발했다. 이렇게 탄생한 결과물은 ‘하드코어 모델(Hardcore Models)’로 불린다.

탈라스의 핵심 전략은 ‘완전한 특화(Total Specialization)’다. 범용 GPU 위에서 다양한 모델을 실행하는 대신, 특정 AI 모델 하나에 최적화된 전용 실리콘을 제작한다. 

이렇게 제작된 하드코어 모델은 소프트웨어 기반 구현 대비 10배 빠르고, 10배 낮은 전력 소비, 10배 낮은 비용을 달성한다는 주장이다.

.

.

.

탈라스는 첫 제품으로 메타의 오픈소스 모델을 기반으로 한 ‘하드와이어드 라마 3.1 8B’를 공개했다. 챗봇 데모와 추론 API 서비스 형태로 제공된다.

하드와이어드 라마 3.1 8B 성능 비교 (사진=탈라스)

이 ‘실리콘 라마’는 사용자당 초당 1만7000토큰을 처리할 수 있어, 기존 최첨단 칩 대비 약 10배 빠르다. 구축 비용은 20분의 1, 전력 소비는 10분의 1 수준이라는 설명이다.

특히 공개된 테스트 결과에 따르면, 엔비디아 'H200'은 초당 230개의 토큰을 생성했다. 하지만 탈라스의 칩은 1만6960 토큰을 생성했다. 이는 무려 73배에 달하는 속도다.

.

.

.