(1) Workshop on Autonomous Driving at CVPR'21 - YouTube

(7:51:34 부터)

테슬라 AI 디렉터 Andrej Karpathy가 이번에도 재밌는 발표를 했네요.

레이다를 빼고 비전만 사용하면서(퓨어비전) 오토파일럿 성능을 개선한 사례를 꽤 구체적으로 얘기하면서 업계 사람들 리크루팅 작업 거는 발표였구요.

인상적인 슬라이드 몇 페이지 후려와 봤습니다.

이전에는 전방 물체들의 위치, 속도, 가속도를 추산하기 위해, 레이더와 비전을 섞어서 사용했습니다. (센서퓨전)

그러나, 종종 발생하는 레이더 노이즈 때문에, 추산한 값의 신뢰도에 문제가 있었습니다.

따라서, 테슬라 AI부서는 비전만 사용해서 물체의 위치, 속도, 가속도를 추정하는 작업을 진행했습니다.

공도에서 돌아다니는 테슬라 플릿의 주행 영상들을 가져와 오프라인에서 자동적으로 레이블링(위치, 속도, 가속도를 적어 넣음)하는 것으로 학습용 데이터를 구축했습니다.

다양한 까다로운 상황에서의 학습 데이터를 채취해야 했는데,

마구잡이로 테슬라 차량들의 영상을 가져온 것이 아니라

'까다로운 상황'임을 알 수 있는 221가지의 징후를 정의하고,

일반 테슬라 차량에서 '그림자 모드'로 동작하는 신경망이 이러한 징후들을 포착하도록 합니다.

(저장해 두었다가 테슬라 본사의 요청을 받아 백그라운드에서 전송하는 것으로 보입니다)

즉, 거리에 돌아다니는 테슬라 차량들은 '그림자 모드'에서 까다로운 상황이라고 예상되는 비디오 클립을 축적하고 있으며,

테슬라 AI 부서가 특정한 '까다로운 상황'을 문제라고 판단하면,

유사한 상황의 데이터를 테슬라 차량들로부터 수집하여 (자동으로) 레이블링한 학습 데이터로 만듭니다.

이것으로 학습시킨 새 신경망을 다시 '그림자 모드'로 배포하는 것을 반복합니다. 

이를 지난 4개월 동안 7번 반복했고, 엣지 케이스들을 포함한 100만개의 영상으로 학습 세트를 구축했습니다.

레이블 갯수는 6조개, 용량은 1.5 페타바이트!

학습을 위해 1.8 엑사플롭스 성능의 수퍼컴퓨터를 구축했습니다.

더 강력한 Dojo 수퍼 컴퓨터는 아직 만드는 중임.

이 결과로 만들어진, 퓨어비전 오토파일럿 예를 들어 봅니다.

앞 차가 급브레이크를 밟았을 때, 레이더를 참고하는 기존 오토파일럿(노란색)은 깔끔한 예측값을 제공하지 않았으나,

비전만으로 예측한 경우(파란색), 보다 깔끔하게 물체의 위치,속도,가속도를 얻을 수 있으므로 빠르게 대응을 할 수 있었습니다.

교각 밑을 지나는 경우, 레이더는 앞에 정지 물체가 있다는 잘못된 신호를 보내게 됩니다.

이에 따라 필요 없는 급감속을 하는 경우가 있었으나, 퓨어비전 오토파일럿은 이런 문제를 겪지 않습니다.

레이더가 사방에 있는 정지 물체에 대해 잘못된 신호를 발생시킬 수 있으므로,

기존엔 110미터 이내의 것만 정지 물체 판별을 했고 이에 따라 고속 주행시 감속 대응이 기민하지 못했습니다.

퓨어비전 오토파일럿은 훨씬 빠르게 대응합니다.

특히 까다로운 6천개의 케이스에 대해 항상 유닛 테스트를 하고 있고,

시뮬레이션과 트랙 테스트, QA 주행, 그림자 모드에서의 검증 등을 거쳐 출시하였습니다.

현재까지 1500만 마일을 주행하였으며, 그 중 170만 마일의 오토파일럿 주행에서 아직 사고가 없었습니다.

(레이더 없이 출시된 최근 차량들을 말하는 것으로 보입니다)

위에서 설명한 학습 방법론을 물체의 위치,거리 뿐 아니라,

움직이는 인간이나 다양한 정지 물체 등을 식별하는데 적용하고 있고, 만족스러운 결과를 얻고 있습니다.

---

여기까지고요. 혹시 지나치게 의역했거나 오역한 부분 있으면 말씀해 주세요.