2021년 당시 테슬라가 자율주행 시스템에서 레이더를 완전히 제거하고
카메라에만 의존하는 '비전 온리' 정책을 고수하고 있습니다.
이 결정 직후 발생한 고질적인 문제, 바로 '팬텀 브레이킹'에 대해 개발자 관점에서 작은 실험을 하나 해보았습니다.
테슬라의 Occupancy Networks는 2D 이
미지를 3D 공간으로 변환하는 엄청난 기술이지만,
본질적으로 카메라는 빛과 명암에 의존합니다.
파이썬과 OpenCV를 이용해 제 차의 블랙박스 영상을 분석하는 30줄짜리 간단한 비전 인식 코드를 짜서 돌려보니 그 한계가 아주 명확하게 보였습니다.
강한 역광, 터널 입구, 바닥의 짙은 그림자 같은 환경에서 카메라 기반 알고리즘은 순간적으로 이를 '물리적인 장애물'로 착각합니다.
과거에는 이런 엣지 케이스가 발생해도, 물리적 거리를 재는 레이더가 "앞에 아무것도 없다"라고 크로스체크를 해 주었기 때문에
차가 급제동을 하지 않았습니다.
하지만 레이더를 떼어버린 지금은, AI가 환영을 보는 순간 그대로 브레이크를 밟아버리게 되는 구조적 결함에 노출된 것이죠.
수억 장의 데이터를 학습시킨 슈퍼컴퓨터 Dojo를 믿은 기술적 자신감인지, 원가 절감의 결과물인지 모르겠지만,
센서 퓨전(Sensor Fusion)을 포기한 대가는 현실 도로에서 오너들의 안전 문제로 직결되고 있습니다.
🔗 GitHub 저장소 (실행 코드 포함): https://github.com/gohard-lab/tesla_vision_simulator

도로의 무늬를 보고 입체 장애물로 인식해 오작동하는 사례가 좀 있는거 같습니다.
라이다로 더블체크하는게 필요해 보입니다.
실제로 알고리즘을 신경망으로 변환한 후 팬텀 브레이킹이 많이 줄었지만, 아직 완전히 없어지지는 않은 것 같습니다.
FSD는 외눈박이고요. 그래서 보조 센서가 하나 더필요한겁니다.
AI 에게 물어보니
테슬라의 카메라 구성테슬라 차량은 보통 8개의 카메라를 장착합니다:
전방 windshield 위쪽: 3개 (메인 forward-facing 카메라 triplet – 넓은 시야, 메인, 좁은 시야)
전방 범퍼 위: 1개 (최근 모델 일부)
측면 fender: 각 1개씩 (총 2개)
B-pillar (문 기둥): 각 1개씩 (총 2개)
후방: 1개
이 중 전방 3개 카메라가 특히 스테레오 비전(stereo vision)의 기반이 됩니다.
이 세 카메라는 서로 약간 다른 각도와 초점 거리를 가지고 있어서, 같은 장면을 여러 관점에서 촬영 → **시차(parallax)**를 계산해 깊이 맵(depth map)을 생성합니다.
라고 하네요.
테슬라는 스테레오 비전을 사용 안합니다.
아직 그 완전한 AI 가 없다는 점이 논쟁 화두같더라고요
테슬라의 논리입니다
기술이 여기서 더 발전하면 됩니다
인간은 외눈박이가 아닙니다.
물론 조금 더 조심해야 하겠죠.
로보택시의 사고율은 아직까지는 사람보다 뛰어나다 말하긴 어렵습니다.
웨이모가 아직은 사고율이 낮아요.
테슬라 오너들이 주차 엉터리라고 추가센서 요구가 많죠.
테슬라가 차만들어 수익을 못냅니다.
이제 라이다가 아주 저렴하게 공급가능한 수준으로 떨어졌으니, 라이다 적용도 생각해 보겠죠.
새로운 센서는 언제나 환영... 인게 AI 입니다.
라이다하고 비전이 서로 다른 의견을 내면 어쩔거냐는겁니다
그래서 비전온리로 가는것이죠
본문 내용과는 달리 재미있게도 레이더 비활성화(온리비전) 후 팬텀 브레이킹이 거의 사라졌습니다.
저해상도 레이더와 비전 센서퓨전 이슈 때문이라고 일론이 밝힌적이 있죠
현재 남아있는 감속이슈는 당시 팬텀브레이킹과 달리 지도, GPS 매칭 이슈로 발생하는 커브길 감속기능 이슈, 톨게이트 감속 이슈 정도만 남은듯합니다.
FSD가 밖에 돌아다니는 시점에 단순한 실험만으로 안전에 문제있다고 확신하기에는 어렵지 않나 싶습니다..
저도 2019년부터 타고 다니는데요.. 당시엔 거꾸로 팬텀 브레이킹을 없애고자 레이더를 배제할거라 했었어요. 실제로 레이더 시절과 비교하면 지금은 1/100으로 줄어든 느낌입니다.
비전 온리 이전과 현재까지 이어지는 오파의 불편한 사항들은 어쩌면 변경되지 않을 것 같다는 생각입니다.
레이더를 달고 있는 타사 차량의 주행 보조들이야 말로, 자신의 주행 차로에 온전이 들어와서 정상적으로 정지되어 있는 차량이 새롭게 시야에 들어오면 이를 인식하지 못하고 들이받는, 소위 '크루즈 사고'가 속출하고 있는 것이 현실입니다.
(점유 네트워크는 UI 시각화나 ASS, 자동주차 같은 저속환경에 활용 될 수는 있어도 주행의 핵심이 아닙니다.)