학습 데이터 규모
320억 파라미터 VLM
+
약 23억 파라미터 diffusion action expert
공개 모델 카드에 따르면 학습에는 대략:
- 11만5,000시간의 멀티카메라 주행 영상
- 10억 장 이상의 이미지
- 차량 위치·이동 궤적 데이터
- 약 370만 개의 Chain-of-Causation 추론 설명
Chain-of-Causation 이란
“앞차가 차선을 침범하고 있기 때문에 충돌 위험이 있으며, 따라서 감속 후 왼쪽으로 공간을 확보한다”
처럼 관찰 → 원인 → 판단 → 행동을 연결한 설명
공개된 테스트 환경은 H100 80GB GPU 한 장.
테스트 구성에서는 GPU 메모리를 약 69~72GB 사용
자동 라벨링
자율주행 개발에서 가장 비싼 작업 중 하나가 데이터 라벨링
사람이 수많은 주행 영상을 보면서:
- 어떤 차량이 위험했는지
- 보행자가 어디 있었는지
- 왜 감속했는지
- 적절한 행동은 무엇인지
일일이 표시할 필요 없이
Alpamayo 2 Super는 영상을 보고 이런 설명과 위치 정보를 자동으로 붙여, 라벨링 기간을 수개월에서 수일 수준으로 단축 가능
기타 설명
Alpamayo 2 Super는 다음과 같은 추론을 하나의 기반 모델 안에서 처리.
예를 들어 교차로에서:
“맞은편 차량이 좌회전 신호를 켰고, 오른쪽 보행자는 도로로 진입하려 하며, 뒤차는 너무 가까이 붙어 있다. 급정지보다는 천천히 감속하며 보행자에게 양보한다.”
이런 식으로 전체 상황을 하나의 맥락으로 묶어서 판단.
특히 엔비디아가 강조하는 건 평범한 직선도로가 아니라 다음과 같은 롱테일 상황.
- 갑작스러운 끼어들기
- 비보호 좌회전
- 복잡한 합류
- 여러 차량과 보행자가 동시에 얽힌 상황
- 악천후
- 드물게 발생해서 학습 데이터가 부족한 상황
뭐 그 회사 빠들은 데이터량이 비교불가네 어쩌네 하지만 어짜피 병목은 데이터량이 아니라 데이터 처리였으니까요.
사람 써서 라벨링 한건 옛날 이야기고 그 기술 스택은 다 갖다 버린지 몇년 됐습니다만..