대부분의 업체가 그렇듯 E2E모델 + 룰기반의 하이브리드 된 시스템이며, 이렇게 한 이유 중 하나는 컴퓨팅 자원의 한계 때문이라고 전 화웨이 자율주행 개발 총괄이 밝혔네요.
다른 하나는 중국이 예외 상황이 많아서 데이터 기반으로 어렵다고 하네요. 데이터로 해결 안되는 케이스에 룰을 넣는다고 하니, 이는 E2E 모델에 맡기되 충돌을 피하는 리던던시 구조를 만드는 것과는 또 다른 방식의 하이브리드 같아 보여요.
제가 생각해 볼 때는 예외 상황을 증강할 월드모델의 부재 또는 성능 부족. 플릿에 유사 상황을 수집 요청할 데이터 파이프라인의 부재가 문제라고 느껴집니다.
https://twitter.com/i/status/2022435757844214053
"저는 미국의 이 팀 전체의 역량과 혁신 정신은 존경할 만하다고 진심으로 생각합니다.
제가 직접 해본 결과, 그들이 기술적으로 독보적인 부분이 많다는 것을 알 수 있었습니다. 심지어 어떤 부분에서는 획기적으로 앞서 나가고 있습니다. 이 점은 인정해도 괜찮다고 생각하며, 이를 통해 우리도 많은 새로운 아이디어와 사고방식을 배울 수 있습니다. 최소한 그들은 이미 몇 가지가 효과가 있다는 것을 증명했습니다. 그렇다면 우리는 해야 합니다.
하지만 중국의 자율 주행은 미국과는 다른 점이 있습니다. 첫째, 솔직히 말해서 현재 중국 상황에서는 테슬라만큼의 컴퓨팅 파워를 얻는 것은 불가능합니다. 경제적으로나 정치적으로 누구도 그렇게 할 수 없습니다. 둘째, 중국의 인프라는 솔직히 미국보다 변동성이 훨씬 큽니다. 일반적인 상식으로는 해결할 수 없는 것들이 많습니다. 이것은 미국에는 없는 문제입니다. 또한 중국의 배달 문화와 교통 법규를 잘 지키지 않는 운전 습관 역시 미국에는 없습니다. 이로 인해 처리해야 할 많은 게임 이론 문제가 발생합니다. 이것은 중국 특유의 문제라고 봅니다. 그리고 이것은 현재 데이터 기반으로는 효과적으로 해결하기 어렵습니다.
그래서 저희는 비교적 실용적인 길을 선택했습니다. 시스템의 핵심은 완전한 엔드 투 엔드 데이터 기반이지만, 데이터가 부족하고 어렵고 단기간에 더 많은 데이터를 사용해도 수렴하기 어려운 경우에는 경험이 풍부한 엔지니어가 규칙 기반으로 처리하기도 합니다. 일종의 이중 병렬 시스템이라고 생각하시면 됩니다. 현재까지는 이것이 가장 효과적인 방법입니다. "
솔직히 말씀드립니다. 물론 마케팅 홍보를 할 때는 온갖 미사여구를 사용하여 엔드 투 엔드 데이터 기반 등 새로운 용어를 사용할 수 있습니다.
요즘은 E2E로만 하는게 구식입니다. 테슬라도 결국 하이브리드 방식으로 가리라 봅니다.
테슬라도 지금의 하드웨어로는 안되고,
그래서 HW4.5나오고 HW5가 나오면 하이브리드 방식으로 가리라 봅니다.
머스크는 기존 판매한 차가 마치 다 자율주행이 될것처럼 말하는데,
이는 허언이라고 봅니다.
언급한 회사들의 하이브리드 방식은 E2E 모델이 주행을 담당하되, 룰로 출력의 바운드리를 설정하거나 충돌회피 동작을 하는 리던던시 개념이고,
원문에 인터뷰 된 내용은 "단기간에 더 많은 데이터를 사용해도 수렴하기 어려운 경우", 즉. 특정 엣지케이스 대응을 수동으로 코딩한다는 개념입니다.
게다가 직접 트레이닝 자원이 부족해 어쩔수 없이 실용적인 방법을 택했다고 하고 "현재까지는" 효과적인 방법이라고 말하고 있습니다. 어느 회사든 데이터가 많이 쌓여 E2E 모델만으로 케이스 대응이 잘되면 하드코딩된 로직은 걷어내는게 낫습니다.
물론 리던던시 로직으로 하이브리드 구성하는 필요성은 존중합니다만, 기본적인 플래닝에 하드코딩된 룰과 E2E 플래너가 혼재되어 있는 것은 바람직하지 않다고 봅니다.
가성비 측면에서 중국이 하는 방법도 나빠보이지는 않아보입니다.
크롭? 같은걸로 최대한 서로 맞춘다고 하지만, 사트의 FSD성능이 부족한건 E2E의 한계 아닐까요.
만약에 그렇다면, 테슬차처럼 차량 모델이 몇개 없고, 큰 변화 없이 오래 파는 경우라면 모를까,
일반적인 자동차 회사라면 이런 방식은 한계가 좀 명확하지 않을까 싶습니다.
모델 수가 적은 것 역시 테슬라의 전략적 우위 중 하나였지요.
다른 회사들은 실용적인 수준에서 다른 대안을 찾는게 합리적일거고요.
E2E의 단점도 있어서 하이브리드 방식이 대세가 될 것 같습니다
웨이모처럼 E2E 모델의 역할을 나눠 돌리는 방법도 있을텐데, 말씀처럼 당분간 대부분의 업체들은 룰 기반을 포함한 하이브리드가 대세가 되겠지요., E2E 모델이 쓸만하려면 충분한 데이터가 모인 다음의 일이니까요.
융통성을 0으로 만들면 도로를 막고 서버리고, 너무 많이 넣으면 법규 위반을 밥 먹듯 하고.. 균형점을 찾아 나가야겠죠.
그렇다고 룰 기반으로 보완하는 타사 자율주행은 완벽한가 하면 그것도 아닌게 지금 상황이죠..
도대체 왜 이런 생각을 떠올려야 하는지 이해가 되지 않습니다
교통법규 위반과 얌체운전은 (학습 리워드) 세팅의 문제라고 생각해서 댓글의 앞 문단에 의견을 썼습니다.
정책 균형의 문제이기 때문에 룰기반 보완을 하더라도 균형점을 찾기 어려운 난제라는 의미로 쓴 댓글인데, 저를 비정상 논리로 만드시는군요
뭐 제가 리누님 의도를 완전히 잘못 읽었을 가능성은 충분히 있으니 질문 드리죠
테슬라가 FSD의 부족함을 보완하기 위해서 라이다까지는 아니더라도 초음파 센서를 달거나 룰기반을 추가하는 것에 찬성하십니까?
아니면 하루가 달리 발전하는 AI 분야에서 엄청나게 옛날에 발언한 온니 E2E와 온니 비전이라는 고집을 바꾸지 않고 끝까지 가는 것을 원하십니까?
일론머스크도 테슬라가 자율주행으로 최선두에 서는 것은 5년 정도라고 했습니다
일론머스크의 엄청나게 낙천적인 예상을 생각하면 2~3년 아니 1년 만에도 따라 잡힐 수 있는 위태로운 상태라고 보는 게 맞죠
솔직히 테슬라에서 자율주행을 빼면 뭐가 남을까요? 그냥 승차감 안 좋고 고급감 떨어지는 전기차에 불과합니다
그걸 아니까 테슬라도 자동차 공장을 로봇공장으로 바꾸고 있는 것이죠
만약 테슬라 자동차에 애정이 있다면 여러 가지 방법을 시도해서라도 최선두의 자리를 오래 유지하기를 바라야 하는 것 아닌가요?
기술에 대한 신뢰 수준이 서로 다른 것 같은데요. 설득할 생각은 없습니다.
저는 강화학습 에이전트 만들고 리워드 쉐이핑도 해 가면서 룰보다 AI의 보상 추종 능력이 더 뛰어난걸 체감했기에 테슬라의 방법론에 굳게 신뢰하고 있는거구요. 일론 빠라서 맹목적으로 믿는게 아닙니다. 상충되는 목표에서는 룰 기반이든 AI든 하나의 완벽한 정답을 낼 수 없기에 E2E 모델이 뻘짓하는게 룰 기반으로 잡았을 때 부작용 없이 잡히는 문제가 아니라고 생각합니다.
긴급 추돌 회피 이상의 룰이 자율주행에 끼어드는건 방해요인이라는 생각입니다.
센서 추가는 카메라만으로 한계에 다다른 이후에 할 판단이지, 카메라로도 아직 한계에 부딪히지 않은 시점에 쓰는게 옳다 그르다 라는 단정은 할 수 없다는 생각이고요.
한가지 확실한건 AI 지능이 부실한 회사는 반드시 룰기반을 써야만 합니다. 하지만 테슬라는 그 단계를 넘었고, 또 다시 벽에 부딪혀 필요하게 될지는 아직 도달하지 않은 지점이라고 생각합니다.
테슬라 회사에 대한 애정이나 일론에 대한 신뢰에 앞서서 제가 이해하고 있는 AI 기술에 대한 생각으로 말씀드리는겁니다.
오래전에 테슬라가 우주최강이고 미만 잡이라고 결론을 낸 사람을 설득하는 건 불가능합니다. 괜히 시간낭비 마시고 포기하세요.
당장 일론이 주장하는것들 보면 얜 다른 공학자들을 뭘로 보나 싶을때가 있어요 최근 반도체FEB 클린룸 필요없다고 하면서 주장한것도 얼척없고요
그들은 그들 입장에서 맞는 말을 하고 있겠죠.
카메라 입력을 날것 그대로 모아서 월드모델 시뮬레이터를 만들고 E2E 플래너를 만들만큼 방대한 데이터를 다뤄 본 경험이 없을테니까요.
룰 베이스 자율주행을 하려면 객체가 명확해야 하니 센서의 정확도에 의존할 수 밖에 없었습니다. 이걸 1단계라고 명명해 보겠습니다.
E2E 모델을 쓰는걸 2단계라고 해보죠. E2E 플래너는 객체 구분이 사람 기준으로는 명확하지 않아도 주행을 합니다. 논리회로나 함수가 명확한 값을 가지지 않으면 멍텅구리가 되는 것보다 훨씬 유리한 구조입니다. E2E를 쓰더라도 찍먹 해본 업체와 테슬라의 격차는 매우 큽니다. 이를 보완해야 하니 리던던시 로직을 같이 돌리는 하이브리드 구조가 요즘 트렌드죠.
그런데 E2E 모델에 라이다나 초음파센서를 더하면 더 잘할 수 있지 않겠느냐 라는 의문을 갖습니다. 이걸 3단계라고 하겠습니다.
정말로 3단계가 필요한지 아닌지는 2단계에 있는 테슬라가 벽을 느낀다면 그때 증명될겁니다. 그런데 아직도 새 버전이 나올때마다 성능이 상향되고 있고 수렴하여 한계에 도달하지 않았습니다. 그래서 아직은 모르는 일이고, 3단계가 자율주행에 필연적인지는 미지수입니다. FSD가 아직 부족한 영역이 라이다가 없어서 사고가 발생하는 것이라면 그런 주장이 설득력 있겠지만, 실제 문제는 경로 정보 또는 법규 위반의 문제이지 센서의 문제가 아닙니다. (법규 위반 문제는 모델학습 리워드를 규칙 준수에 몰빵하면 무조건 개선 됩니다. 반대급부로 융통성이 빵점이 되어서 로보택시라면 웨이모처럼 길막 하게 되거나, 감독형 FSD에서는 답답한 운전자가 계속 수동운전하게 만들겠죠)
저는 2단계를 잘 할 수 있는 여건이 안되는 업계 사람들이 전문가랍시고 3단계를 주장하니 신뢰가 안 갑니다. 그들은 충분한 지능을 가진 모델이 없으니 좋은 센서가 필요합니다. 하지만 수십억마일의 데이터를 만져본 사람들이 아니니 E2E 모델의 한계를 알 수 있는 사람들이 아닙니다. 주어진 자신들의 여건 안에서. 자신들의 경험 범위 안에서 필요성을 어필하는 것일 뿐이라는 생각입니다.
저는 테슬라에서 FSD를 담당하던 사람이 "카메라로는 부족하다"라고 양심고백하는 것을 본 적이 없습니다. 진짜로 센서가 위기라면 누군가는 양심고백 했을텐데, 오히려 "우리도 할수 있다"라던 중국 업계 리더들이 양심선언 하는 글만 보게 되네요.
웨이모는 룰 기반으로 시작하면서 꽤 많은 데이터를 쌓았습니다. 여전히 테슬라보다는 부족하지만 그래도 모델 구조를 E2E 플래너로 바꿔 가는 중입니다. 그들은 E2E 모델의 입력에 라이다 정보도 쓴다고 합니다. 이를 위해 지니3 월드모델을 만들때 라이다 정보도 가상으로 생성하게 만들었죠. 룰베이스+라이다가 완벽했다면 왜 모델 구조를 갈아 엎어 진화가 필요했을까요. 그들도 그 방식에서는 한계가 있으니 E2E로 전환해야 했던 것입니다. 그렇지 않으면 원격 드라이버 의존도를 낮추기 어려우니까요. 저는 웨이모가 성공적으로 E2E 플래너에 안착할 수 있을거라 생각하고 그렇게 된다면 점차 라이다 의존도를 낮출거라고 예상하고 있습니다. HD Map 의존도를 낮추면서 가장 비싼 로컬라이저 라이다부터 제거하겠죠. 그래야 원가경쟁력이 나올테니까요.
아직 로보택시에서는 웨이모가 앞서 있지만 테슬라도 더 이상 안전요원을 태우지 않은 차를 수십대로 늘리고 있고 (*정정합니다. 현재까지 7대입니다. 안전요원 태운 차는 300대 이상) 차 뒤를 쫓아다니지도 않고 있습니다. 단지 아직 커버리지가 좁을 뿐입니다. 로보택시에서 테슬라는 웨이모의 턱밑까지 쫓아왔습니다. 설령 웨이모가 테슬라보다 5배, 10배 안전하다 한들 테슬라도 인간보다 10배 수준의 안정성을 확보하면 100배 안전하기 위해 차 값이 몇배나 비싸지는 것은 경제 논리상 맞지 않게 됩니다. 그래서 웨이모도 가장 비싼 부품(로컬라이저용 360도 라이다)부터 제거할 것이라고 예상하는거고, 제거하고도 무인 택시로서는 충분히 안전할거라 생각 합니다. 물론 작은 라이다들은 꽤 오랫동안 계속 쓸거 같습니다.
자가용으로서 3단계가 필요한지는 테슬라의 도전을 지켜 봐야겠지요.
엔비디아 알파마요에 대해서도 몇 문단을 썼는데 편집 실수로 날려먹었네요. 이 이야기는 나중에 기회가 되면...
테슬라가 비전 E2E로 많은 데이터를 확보하고 많은 경험을 쌓으면 그걸 계속 발전시키는 것이 합리적인 선택이겠죠.
테슬라는 라이다가 비쌌던 때에 그런 결정을 내렸던 것이고요. 지금 와서 라이다가 저렴해졌다고 해도 기존에 쌓은 것을 버리고 바꾸는 것보다 기존의 방식을 계속 발전시키는 것이 합리적일 수 있습니다.
반면 라이다 가격이 내려온 지금 시작하는 회사는 테슬라와 다른 방식을 사용할 수도 있는 것이죠.
네 테슬라가 센서의 한계를 느꼈다 한다면 말씀하신 이유로 딜레마에 빠질거라 생각합니다.
라이다를 리던던시 모델에 쓰는건 타사에게 분명 좋은 전략이고, 테슬라가 도입하더라도 기존 FSD 모델 구조에 문제가 없겠지만 그럴 필요성을 못 느끼는 것 같고요.
센서퓨전에 대해서는 최근 테슬라 FSD팀 직원이 웨이모의 기술공개에 반응이 있었던걸 본 적 있는데요.
- 구글 지니3는 비디오 정보로 만든 모델
- 라이다 정보는 지니3가 생성한 객체로부터 가상의 포인트클라우드 생성
이렇게 되는데,
라이다는 카메라와 달리 시뮬레이터가 재현한 데이터로 학습 시키면 헌실과의 괴리가 클거라는 지적을 하더군요.
테슬라의 월드모델은 RGB 변환된 영상으로 만든게 아니라 RAW 센서값으로 만든것이라는 이야기도 나왔는데요. 테슬라는 트레이닝 환경과 추론환경의 입력값이 동등한데, 지니3처럼 유튜브 동영상 등을 활용해 구축한 모델은 시뮬레이션 세계가 더 낮은 정보량으로 구성되어 있어서 RAW에서 RGB 변환되는 과정의 정보량은 잃게 된다는 차이도 있겠네요.
robotaxi chase car로 검색해보시면 안 따라 다닌다는 포스트. 테슬라측이 아니라 X 인플루언서가 따라 다닌다는 포스트 등 보실 수 있습니다.
완전 무인 대수는 플릿 증가 포스팅을 제가 착각한 사실이 있네요. 현재 7대가 완전 무인으로 돌아다니고 있다 합니다.
자율주행차 웨이모 죽스 모셔널 테슬라 여러가지 많이 경험한 김한용 왈
'테슬라의 FSD수준하고 비슷하지도 않습니다. 테슬라 FSD는 그냥 넘사벽으로 넘어가 버렸어요'
하이브리드가 대세가 되는 건 테슬라 외에 업체들이고
테슬라는 지금 방식대로 쭉 갈 것 같습니다.