(1) Workshop on Autonomous Driving at CVPR'21 - YouTube
(7:51:34 부터)
테슬라 AI 디렉터 Andrej Karpathy가 이번에도 재밌는 발표를 했네요.
레이다를 빼고 비전만 사용하면서(퓨어비전) 오토파일럿 성능을 개선한 사례를 꽤 구체적으로 얘기하면서 업계 사람들 리크루팅 작업 거는 발표였구요.
인상적인 슬라이드 몇 페이지 후려와 봤습니다.
이전에는 전방 물체들의 위치, 속도, 가속도를 추산하기 위해, 레이더와 비전을 섞어서 사용했습니다. (센서퓨전)
그러나, 종종 발생하는 레이더 노이즈 때문에, 추산한 값의 신뢰도에 문제가 있었습니다.
따라서, 테슬라 AI부서는 비전만 사용해서 물체의 위치, 속도, 가속도를 추정하는 작업을 진행했습니다.
공도에서 돌아다니는 테슬라 플릿의 주행 영상들을 가져와 오프라인에서 자동적으로 레이블링(위치, 속도, 가속도를 적어 넣음)하는 것으로 학습용 데이터를 구축했습니다.
다양한 까다로운 상황에서의 학습 데이터를 채취해야 했는데,
마구잡이로 테슬라 차량들의 영상을 가져온 것이 아니라
'까다로운 상황'임을 알 수 있는 221가지의 징후를 정의하고,
일반 테슬라 차량에서 '그림자 모드'로 동작하는 신경망이 이러한 징후들을 포착하도록 합니다.
(저장해 두었다가 테슬라 본사의 요청을 받아 백그라운드에서 전송하는 것으로 보입니다)
즉, 거리에 돌아다니는 테슬라 차량들은 '그림자 모드'에서 까다로운 상황이라고 예상되는 비디오 클립을 축적하고 있으며,
테슬라 AI 부서가 특정한 '까다로운 상황'을 문제라고 판단하면,
유사한 상황의 데이터를 테슬라 차량들로부터 수집하여 (자동으로) 레이블링한 학습 데이터로 만듭니다.
이것으로 학습시킨 새 신경망을 다시 '그림자 모드'로 배포하는 것을 반복합니다.
이를 지난 4개월 동안 7번 반복했고, 엣지 케이스들을 포함한 100만개의 영상으로 학습 세트를 구축했습니다.
레이블 갯수는 6조개, 용량은 1.5 페타바이트!
학습을 위해 1.8 엑사플롭스 성능의 수퍼컴퓨터를 구축했습니다.
더 강력한 Dojo 수퍼 컴퓨터는 아직 만드는 중임.
이 결과로 만들어진, 퓨어비전 오토파일럿 예를 들어 봅니다.
앞 차가 급브레이크를 밟았을 때, 레이더를 참고하는 기존 오토파일럿(노란색)은 깔끔한 예측값을 제공하지 않았으나,
비전만으로 예측한 경우(파란색), 보다 깔끔하게 물체의 위치,속도,가속도를 얻을 수 있으므로 빠르게 대응을 할 수 있었습니다.
교각 밑을 지나는 경우, 레이더는 앞에 정지 물체가 있다는 잘못된 신호를 보내게 됩니다.
이에 따라 필요 없는 급감속을 하는 경우가 있었으나, 퓨어비전 오토파일럿은 이런 문제를 겪지 않습니다.
레이더가 사방에 있는 정지 물체에 대해 잘못된 신호를 발생시킬 수 있으므로,
기존엔 110미터 이내의 것만 정지 물체 판별을 했고 이에 따라 고속 주행시 감속 대응이 기민하지 못했습니다.
퓨어비전 오토파일럿은 훨씬 빠르게 대응합니다.
특히 까다로운 6천개의 케이스에 대해 항상 유닛 테스트를 하고 있고,
시뮬레이션과 트랙 테스트, QA 주행, 그림자 모드에서의 검증 등을 거쳐 출시하였습니다.
현재까지 1500만 마일을 주행하였으며, 그 중 170만 마일의 오토파일럿 주행에서 아직 사고가 없었습니다.
(레이더 없이 출시된 최근 차량들을 말하는 것으로 보입니다)
위에서 설명한 학습 방법론을 물체의 위치,거리 뿐 아니라,
움직이는 인간이나 다양한 정지 물체 등을 식별하는데 적용하고 있고, 만족스러운 결과를 얻고 있습니다.
---
여기까지고요. 혹시 지나치게 의역했거나 오역한 부분 있으면 말씀해 주세요.
일반적인 자동차회사들은 꿈도 못꿀 방법 ㅋㅋ 얼마나 부러울까요 ㅋㅋ
할 수 없다 정도가 아니라 상상도 못합니다.
자체 구축은 커녕 그냥 모빌아이꺼 사다쓰는게 현실..
성급한 일반화 하긴 싫지만 솔직히 개발자들이 이렇게 살아도 되나 싶던데요...
이게 정말 무서운 점이죠. 차량 제조사, 부품업체 그 누구도 하지 못 하고있는
근데 교각 관련 내용에서 의문이 드는데요.
교각 밑 뿐만아니라 큰 트럭의 그림자에도 반응해서 팬텀브레이크가 발생하는 유튜브를 숱하게 봤었는데
그부분도 해결이 되고 있으려나 궁금해지네요.
이미 수많은 실 사용자들이 몇년전부터 그림자에 반응한다는 리포트를 제출했을테니 말이죠.
그나저나 dojo는 완성돼서 활용중인게 아니라 만드는 중이었군요?
많은 테슬라팬들이 dojo가 이미 학습하고 개선하고 있다고 언급하던데...
이런 오피셜 발표는 좋네요.
엔비디아 A100 사용하는 3대째 수퍼 컴퓨터가 현역인 것 같고,
dojo칩 사용한 4대째? 머신은 아직 개발중인 것 같습니다.
https://twitter.com/tim_zaman/status/1406787983433338880
아직 비젼 온리 테슬라 차량은 5월이후 미국 내 인도된 차량 뿐이라 울나라엔 없으니 두고봐야죠
비젼온리 문제없다고 인식되면 기존의 레이다 장착차량도 비젼온리로 가동되도록 업뎃 해주겠죠
기대하고 있습니다
기술력이 더 앞서있거나.. , 타 경쟁 업체가 알려줘도 못따라 할거라고 생각하나 보네요.
자율주행 관련 업종 사람이라면 입사해서 완성시켜보고 싶긴 할거 같습니다.
이걸 보니 타사들은 따라하고 싶어도 할수가 없네요.
학습데이터량도 넘사벽이고 이걸 분석하고 적용하려면 타사들은 어떻게 따라갈지 공포스럽겠습니다.
빠르고 기민한 반응... 이거 거꾸로 이야기하면 멀미나는 움직임이거든요.
차안에 있는건 화물이 아니라 사람인데...
사람에 대한 배려 없이, 그저 기술적으로 완성도 높은 움직임을 보여주기 위해 너무 애를 쓰는 것 같아요.
본문 내용은 빠르고 기민한 '판단'에 대한 거겠죠.
판단이 빨라야 좀 더 안전하고 부드러운 반응이 가능할테구요
멀미가 왜 나오는지...
이런 글에도 평가절하하려고 어김없이 나타나는 분이 보이는 건 안타깝지만...
정말 대단하네요. 요약해주신 글만 보았는데, 시간 내서 영상을 진득히 봐바야겠습니다 ㄷㄷ
아마 좋은 내용이라 테슬라 유튜버 분들이 곧 정리 영상을 올려주실거 같기도 합니다 ㅎㅎ
이런 정보 정도는 그냥 공개 해버리네요.
데이터 양이 정말 압도적이다보니, 다른 업체에서는 진짜 꿈도 못꾸는 상황입니다.
모빌아이랑 5년이 아니라 한 10년은 차이나는거 같네요.
유툽 영상 한번 싹 봐바야겠네요.
좋은 정보 감사합니다.
글쓰신분의 지난 자율 주행 관련 글도 보고 왔는데요.
점점 기술이 발전해 가는 본문 내용과는 대조적으로 부정적인 댓글이 줄어가는게 재미있네요 ㅎ
테슬라가 기술력이 좋다고?? ㅋㅋㅋㅋㅋㅋㅋㅋ 하던 분들이 나오질 않음
일단 현대가 이분야에서 앞설일은 없을거란건 알겠네요
부품회사들에게서두요.
사실 세미나에 나온 이야기 거의 대부분이 이전에 컨셉을 설명 했던 내용들입니다. 구체적인 수치와 방법을 디테일하게 공개한게 이번이고요.
컨셉을 공개할때 어떤 개념이겠구나 머릿속에 그려져 있던 사람들에게는 재확인 개념이지, 갑툭튀 새로운 기술을 공개한게 아니니 주가 영향은 없을거라고 봅니다.. 미래에 대한 신뢰가 없으셨다면 이번 참에 진입하시는 것도 방법이겠으나.. 단기적으로는 호재로 작용하진 않을거에요.
오히려 일론이 큰 소리 쳐온 것에 비해 현실적인 성능 향상이 천천히 진행되고 있다는 걸 확인한 자료라고 생각해요.
작년 FSD 베타하면서 팬텀브레이크 사라졌다고 말했지만 실제로는 퓨어비전 적용 전까지 해결이 되지 않았고,
올해 말까지 레벨5 달성하겠다고 말했지만, 그 정도 성능까지는 아직 먼 것 처럼 보이네요.
저는 레이더는 맞는데 비전이 시커먼 그림자 보고 오류 내는것 아닌가 생각했었습니다. (나름 전공자...)
근데 교각 지나갈 때 왜 레이더가 오류가 나는지는 이해가 안됩니다. 그냥 레이더 센서를 싸구려 써서 그런거 아닌가 싶긴 하네요...
슬라이드에 재현조건 1,2,3이 적혀 있는데 레이더만으로 팬텀브레이크가 생기는 것은 아니고,
이전 비전이 그림자를 차량으로 인식하는 등, 실제보다 앞 차량 속도를 낮게 평가하는 상황이 겹치면 발생한다고 합니다.
현재 판매된 테슬라 차량의 해시파워가 비트나 이더의 총량대비 어느정도인지 누가 확인좀 해주면 좋을텐데요.
교차검증하게요.