이야기
테슬라 hw3의 신호등 인식 오류
조회 3,706 · 공감 1 · 댓글 38
2023년 모델3 hw3 탑재 모델입니다.
오늘 출근길에 신호에 걸렸는데, 뭔가 이상한 느낌이 들어 센터디스플레이를 보니 신호등이 난리가 났더군요;;
분명 세개의 신호등이 모두 빨간불인데, 첫번째 두번째는 초록불로 인지 및 점멸, 세번째는 빨간불과 초록불이 동시에 점멸합니다.
야간도 아니고, 아주 환한 아침인데도 그러네요;;
만약 FSD사용중이었다면 튀어나가지 않았을까 싶어요 ㄷㄷ
확실히 hw3 카메라의 신호인식에는 뭔가 문제가 있는 것 같습니다ㅠㅠ
출처 : 본인
댓글 38
그리고 시각화에 노이즈가 나타났다고 HW3 카메라가 적록을 구분하지 못했다고 단정할 수 없습니다. 그래서 FSD가 출발했을 것이다라고 할 수도 없고요..
그랬을 것이다라고 확정해서 이야기하는건 아니고,
카메라를 비주얼화하는 과정에서 오류가 발생할수 있지 않나 하는 이야기입니다.
이게 무조건 오작동으로 이어진다는 게 아니라, 어떤 경우에 오작동의 소지가 될수 있지 않나 하는거죠.
그리고 시각화에 노이즈는 충분히 ai판단에 영향을 줄수 있는 가능성은 있다고 생각합니다. 종종 주행이나 주차중에 사람이 아닌데도 시각화에 사람으로 뜬다면 사람으로 인식해서 경고를 주거든요..
전부터 테슬라는 매순간 추정치를 과도한 보정없이 반영하여 불확실성을 날것으로 보여주는 편이라 들었습니다. 차가 사라졌다 나타나는 스텔스, 춤추기 현상, 버스가 트럭으로 바뀌는 노이즈도 그 일환이죠.
앞차가 화면에서 사라진 순간 빈칸으로 들어가지 않고, 옆 차가 내쪽으로 튄다고 핸들을 꺾지는 않잖아요. 마찬가지로 신호등 표시가 튀어도 FSD는 높은 확률로 정지 상태를 유지했을 것입니다.
그리고 시각화와 주행은 같은 추론에서 나온 결과여도 E2E가 시각화를 보고 주행하는 것은 아닙니다.
3D 시각화든, 알파마요의 언어든, 샤오펑의 스케치든 추론에 입힌 옷에 가깝고, 최종 의도는 실제 행동입니다.
경로 계획선이 그 의도에 제일 가장 근접하지않나 싶습니다. (화면에 장애물이나 구조물은 나오지 않는데 파란선은 우회하는 경우를 많이 보셨을 것입니다.)
님이 예로 든 노이즈에 따른 경고는 액티브 세이프티 스택과 관련이 있지 않나 싶습니다. FSD 실행 중이 아니어도 발생했을 것 같습니다.
여기 보시면 HW3의 근본적인 한계라고 하네요.
위에서 단순히 노이즈가 발생했다고 카메라가 적록을 보지 못한 것은 아니다라고 하시는데, 어쨌든 노이즈가 발생했다면 뭔가 이유가 있겠죠..
수천만 화소 해상도 카메라로 자율주행을 한다면..
데이터 크기부터 발열까지..ai4칩으로도 택도 없겠죠.
픽셀이 작아지면서 발생하는 부작용등..
Ai4에 들어가는 카메라도 500만 화소일텐데
비교군을 말도 안되는 화소로 잡는걸보고.. 꺼버렸습니다
실시간 비디오가 8대의 카메라에서 쏟아지는데 해상도를 무작정 높일 수는 없죠..
올려주신 동영상만 보면 점등된 거 처럼 보이네요.
화면에 떡하니 빨간불로 보이는데 신호위반 하려는걸 보면요..
아무래도 뭔가 학습이 부족한듯한데; 빨리 수정되었으면;
이게 ai의 판단과정에서 걸러질수도 있고, 오작동으로 이어질수도 있겠다 정도랄까요.
실제로 V12.6은 정확히 동일한 곳에서 빨간불에 서있다가 갑자기 튀어나간 적이 있거든요;;
그냥 미국에서도 오인식은 일어난다 정도로 봐주시면 될 거 같습니다^^
대체로 다른 요인들까지 반영해서 ai가 잘 판단하겠지만, 카메라 정보 처리에 뭔가 오류가 발생한다면 잘못 판단할 가능성은 언제든 존재하긴 하니까요.
HW3카메라가 스펙이 떨어져서 그렇다는건 좀 아닌 것 같습니다.
저는 둘다 있습니다. HW3 모델3와 HW4 사트요.
카메라 성능이 떨어지는게 아니라, HW3 처리성능 제약으로 color space reduction을 통해서 compression 하면서 noise에 취약하게 된 문제라고 봅니다. 오래전에 반도체 회사에서 영상처리 좀 했습니다만.. 근본적으로 yuv 로 바꾼 이유는 결국 hw 비용입니다.
구글은 역시 천재 입니다.
급정거 당한 경험이 여러번 있습니다.
또 야간에는 반대편 차량 라이트를 긴급 경고등(비상등)으로 오인하는 경우도 많구요(이 경우는 브레이크 작동)
위에도 말씀이 있지만 시각화와 행동이 항상 일치하는 것은 아니더군요. 이 때도 시각화에는 녹색등이나, 잘 멈춰있다가 출발했습니다.
그런데 사실 시각화의 역할이 단순히 동승자에게 자랑하는 용도가 아니라면, 판단과 일치하지 않는 것은 분명히 문제라고 봅니다.
저는 시각화의 역할이 차량이 주위를 어떻게 인식하는지 운전자가 볼 수 있게 해줘서, 차량의 행동을 사람이 예측하고, 개입할 준비를 하도록 하는 것이라고 생각하거든요.
예를 들어 주행 중에 저 멀리 적색등이 녹색으로 시각화에 나온다면 개입할 준비를 하게 되잖아요. 차량이 시각화와 무관하게 인식을 잘해서 멈춘다고 해도 운전자에게 불필요한 긴장을 유발하는 것이죠.
얼마전에 실제 외부 상황과 차량의 움직임을 다 감시하고 있어야 하니 운전자는 더 피곤해진다고 언급했었죠? 여전히 전방을 잘 주시해야 하는데 그 전방주시를 못하게 만드는 시각화가 어떤 도움이 될까요?
하지만 컹컹왈왈은 시끄럽죠. 똑같은 목적이라고 봅니다. 없는것보다야 훨씬 낫죠.
지금은 End to End 신경망 전체를 한번에 학습 시키는 구조이다보니, 카메라 입력에서 시각화와 플래너로 2개의 꼬리가 형성되는 구조가 아닐까 생각 됩니다.
시각화 다음 플래너라는 순서 관계가 없이 둘의 행동은 다르게 동작하는 케이스가 종종 관찰되는걸 보면 더더욱...
다만 카메라 자체에 인식 오류가 존재한다면 FSD던 오토파일럿이던 인식오류는 동일하게 발생할거 같거든요. (이것에 대한 판단과 대응은 서로 달라지겠지만요)
카메라의 인식은 픽셀값들의 레인지 차이이거나, 흔들림이지 FSD 구조에서는 카메라 이미지 그 자체로 인식이라는 행위는 발생하지 않습니다. 각 화소들은 임베딩된 벡터형태지 플래너에서 개별적인 이미지 조각으로 레이블링 된 상태로 공급되지 않을거구요.
3개의 신호등이 있고 앞쪽 네트워크에서 confidence가 80%, 80%, 55%로 가중치 계산된다면 시각화에서는 confidence가 5%만 흔들려도 오인식하는 형태를 보이겠지만,
플래너는 직전 인식 기록과 대조하고 일정 시간 누적해서 Confidence가 높게 유지되지 않으면 출발하지 않는 등의 정책을 내장하고 행동할 수도 있겠지요. 인접 신호와의 관계도 따질 것이고, 다른 차량이나 보행자 여부도 당연히 인식하고 행동할거구요.
보행자나 다른 차의 위험이 있을 때도 출발할까 생각해보면 그건 확실히 아닐거 같고, 단독으로든 앞차 따라든 빨간불에 실제로 출발하는 사례는 분명히 고쳐져야겠지요.
하지만 저 영상만 보고 카메라의 한계로 단정짓는 사람들의 추측은 FSD가 시각화와 다르게 움직일 때가 흔하다는 경험으로 너무 쉽게 기각됩니다.
저는 녹색신호가 더 진해지기 전까지는 왜 불이 3개 다 켜져있지? 생각했을만큼 색이 진하네요.
시각화와 플래너가 독립적으로 처리되면 그건 더 큰 문제랍니다.