인상적인 부분을 발췌 했구요
전문은 링크로 가서 한번 읽어 보시기를...
제가 아래 올린 잡설을 보시고
제가 테슬라로 개종했나? 생각하시는 분이 계신 것 같은데 전혀 아닙니다 ^^;
예전과 입장이 바뀐 부분은 없고
박순백님이 지적하신 부분의 한계로
여전히 레벨3 이상 자율주행은 불가능하리라고 생각합니다
(이를테면 양산할거라는 루머가 떠도는 스티어링 휠 없는 로보택시 같은거...)
머스크라면 가능할지도? (사회적 반발을 무마하는 것이)하는 생각이 조금씩 들기도 합니다만
다만 사람들이 생각하는 '자율주행'을 구현한다면 E2E로 가야 하는 것은 분명하다고 분명하게 생각합니다
현재 테슬라의 기술이 넘사벽이어서가 아니라 그 방향이 옳다고 생각 한다는 것이지요
Ps. 비슷한 시스템인 LLM의 경우 같은 질문을 했을 때 똑같은 결과가 아닌 다른 결과를 내놓기도 한다고 알고 있는데 FSD는 어떤지 궁금하네요
https://www.facebook.com/share/1ANvURhTuq/
이 레벨 구분에서 가장 중요한 경계는 레벨 2와 레벨 3 사이에 있다. 이 지점을 넘는 순간, 자동차는 보조 장치에서 책임 주체로 바뀐다.
지금 대부분의 상용 차량은 레벨 2에 머물러 있으며, 레벨 3과 4는 기술보다 법과 제도가 더 큰 장벽으로 작용하고 있다.
자율주행의 진짜 난이도는 알고리즘만이 아니라, 책임과 신뢰를 사회가 어디까지 허용하느냐에 달려 있다.
테슬라 FSD의 장점은 명확하다. 하드웨어 비용이 저렴하여 대규모 확산이 용이하며, E2E 신경망을 통해 인간 운전자의 직관적인 판단을 모방할 수 있는 유연성을 갖춘다.
그러나 약점 또한 첨예하게 대립한다. 비전 온리 방식은 폭설이나 짙은 안개와 같은 악천후 상황에서 카메라의 성능 저하를 극복해야 하는 과제를 안고 있다. 또한, E2E 신경망은 내부 판단 과정이 불투명한 '블랙박스'와 같아서, 사고 발생 시 AI의 판단 근거를 명확히 설명하기 어렵다는 윤리적, 법적 문제를 내포한다.
이 블랙박스 문제는 자율주행의 상용화, 특히 레벨 3 이상의 책임 소재가 차량 시스템으로 넘어가는 단계에서 가장 큰 걸림돌로 작용한다. 시스템의 예측 불가능성은 규제 당국의 승인을 어렵게 만들고, 소비자들의 신뢰를 얻는 데도 부정적인 영향을 미친다.
마지막으로는 규제와 책임 소재 문제가 상용화의 최대 걸림돌이 될 것으로 본다.
레벨 3 이상의 자율주행 시스템에서는 사고 발생 시 운전자와 시스템 간의 책임 소재가 불분명해진다. 특히 E2E 신경망과 같은 블랙박스형 AI의 판단에 대한 법적 책임을 누구에게 물을 것인가는 매우 복잡한 문제이다.
제조물 책임법, 보험 시스템, 그리고 교통 법규 전반에 걸친 대대적인 개편이 필요하다.
각국 정부는 자율주행 기술의 안전 기준과 운행 규제를 마련하는 데 어려움을 겪고 있으며, 이러한 규제 환경의 불확실성이 기술의 광범위한 확산을 지연시키는 주요 요인으로 작용한다.
기술적 안전성 외에도, 해킹 및 데이터 보안 문제, 그리고 자율주행 시스템이 내포할 수 있는 트롤리 문제와 같은 윤리적 딜레마에 대한 사회적 합의도 필수적이다.
-> 이 부분은 랭귀지 모델을 FSD 모델에 넣어 놓아서 자연어 질문, 판단근거 응답하게 구현되어 있습니다. 소비자 영역이 아니고 디버그 해야 할 제조사 영역이긴 하죠.
심지어 저 fsd에 붙는다는 랭귀지 모델은 블랙박스 해석을 도와주는 모델이지 스스로 원인을 말해주는 모델이 아닙니다ㅎㅎㅎ
마치 범죄현장 본 심리분석가가 해석을 하는것에 가깝습니다. 신뢰성이 낮죠.
llm도 환각이 있으나 현재 많은 추적방법들과 추론과정을 들여다보는 방법들이 있어서 신뢰도는 fsd보다는 높죠.
환각율이 여전히 있습니다만 자율주행업체들은 llm+룰 하이브리드 형태로 단점을 극복하려 하고 있는 것 같습니다.
일상 주행에서는 어쨌거나 임무만 완수한다면 과정이 어찌되든 상관 없겠지만
만약 그게 사고와 연관된다면 재현성이 없다는 것이 문제가 될 수도...
엔비디아 알파마요는 언어모델 기반인데 여기에 기대 거는 사람들이 아주 많던데요. 웨이모도 주행 판단에 slow think는 언어모델이구요.
테슬라가 하면 걱정이고 타사가 하면 믿겠다인지, 아니면 언어모델만 들어가면 다 못 믿겠다이신지 모르겠으나, 언어모델 결합도 복잡한 상황 해결을 위해 필수요소로 채택되는게 트렌드인 것 같습니다.
일론 할아버지가 와도 불가능합니다
제가 묻고 싶은건, 타사들은 그게 해결 안될 문제인데 다들 갖다 붙이느냐 입니다.
최근 일론이 앞으로 FSD 가 왜 그렇게 판단했는지 남길거라고 했던 기사를 본 기억이 납니다
아마도 말씀하신 판단의 근거가 향후 책임 소재를 가를 수 있을테니 그렇겠죠
물론, 이 마저도 그록이나 도조가 뻥친다고 가정하면 이걸 신뢰할 수 있나? 하는 문제가 남습니다만 ㅎㅎㅎㅎ
줄일 수 있을지 몰라도 없애는 것은 불가능해요
현실세계의 엣지 케이스를 다 학습하기는 불가능에 가깝지 않을까 합니다.
상상초월의 상황이 많으니까요.
자율주행이 되려면 인간보다 엣지케이스를 더 능숙하게 처리해야만 합니다.
그러기 위해선 결국 E2E와 라이다 다 들어가야 된다고 봅니다.
비전온리는 인간으로 치면 암기형 인간이고,
라이다는 인간으로 치면 논리형 인간에 가깝습니다.
인간은 두가지 사고를 다 하죠. 논리도 있고 케이스 바이 케이스 학습도 하고, 다 합니다.
인간을 흉내내려면 한가지만 가지고는 안되요.
한가지 방법으로 우열가리는게 어리섞은 겁니다.
예를 들어서 자율주행 자동차 인증 조건으로 "XX 표지판이 있는 경우 반드시 정지 후 출발해야 한다"를 입증해야 한다면 블랙박스 방식은 인증을 받을 수 없겠죠.
그런 규제는 제작 초기 인증 받을 때 때 통과하면 패스 아닐까요?
소프트웨어가 아닌 기능부품들도 정상일 때는 반드시 이 정도가 나와야 한다 라는 규정이 있지만 제조산포에 의한 불량, 마모 등으로 스펙을 벗어나는 경우가 비일비재 한데요.
그러다가 실사용에서 예외가 생긴게 입증되면 그때 책임을 지게 되죠. (아 그렇기 때문에 리콜 단계에서는 개선됐다의 입증이 받아들여지기 어려울 수는 있겠습니다.)
자동차 인증 기관이 모든 자동차의 모든 모듈들에 대해 펌웨어 로직을 다 뜯어보고 인증 해주고 있나요? 그렇진 못하고 있겠죠?
레벨2에서도 제대로 못하는 회사가
진정 책임질 수준의 자동화로 도약할 리 만무합니다.
제도적으로 레벨2, 3 이런건 기술의 정의보다 책임소지가 강한데 이걸 바꾸기 싫다하면
그냥 제조사에서 우린 레벨2, 우린 레벨3해서 옵션으로 판매하라고 하면 안되는걸까요?
현재 adas만해도 사고나고 운전자 책임인데 말이죠
시스템이 여러가지 이유로 제어를 수행하지 못할때 운전자는 즉시 개입해야만 합니다
해서 실제로 레벨4가 우리가 생각하는 자율주행에 가깝고요
그리고 지금 감독형 레벨2와 3 혹은 4가 기술적인 문제보다는 제도적인 문제가 더 크다라고 하는데..
반은 맞고 반은 틀리다 봅니다. 물론 제도적 걸림돌도 크긴하지만.. 실제로 완전 자율주행을 하기에는 제조사도 솔직히 쫄리는 거죠..
99% 자율주행이 잘한해도 인간들이 거의 안할 잘못된 판단을 가끔 하는 경우들이 있고.. 이 때문에 아무리 평소에 자율주행을 잘한다해도 신뢰하기도 애매힌 부분이 있는거죠
웨이모는 지오펜싱으로 알단 레벨4 상용화를 했으니 모르겠고.. fsd를 실제 레벨4처럼 쓰면 과연 문제없을지에 대헤서는 의문이 듭니다 (아예 fsd에 맡겨놓고 자도 될 수준은 아니라 봅니다)
운전 아주 잘하다가 가끔 멍청한 판단을 한다? 어쩌면 일주일에 한번씩은 사고가 날지도 모르겠습니다
사실 그런 엣지케이스에 대해 딱히 감당이 안돼니 테슬라 fsd도 여전히 레벨2+ 일지 모르겠습니다
"시스템이 여러가지 이유로 제어를 수행하지 못할때 운전자는 즉시 개입해야만 한다"
이 부분은 상당한 오해가 있을 수 있는데..
레벨2처럼 갑자기 제어권을 떠넘기는 것이 아닙니다. 레벨3 사용자는 시스템을 모니터링하지 않음을 전제로 하기 때문에 제어권 인수 요청은 충분한 시간이 필수입니다.
이것이 레벨2와 레벨3의 가장 명확한 차이라는 것을 의외로 많은 분들이 잘 모르십니다.
경고를 주고 제어권을 넘기는데 충분한 시간은 아니고.. 수초내에 개입을 해야합니다
그리고 개입에 대한 명확한 규정도 없어요
레벨3가 사실상 애매한 규정이라 봅니다. 그리고 감독형 레벨2+와 달리 아이즈오프이긴 한데 완전히 아이즈오프라 보기도 어렵워요
해서 보통 자율주행하면 레벨4를 많이 목표로 두지 레벨3는 완전자율주행이라 보기 어렵다 봅니다
아닙니다.
레벨3의 ‘사용자가 시스템을 모니터링하지 않는다고 가정한다’는 단순 아이즈오프와 차원이 다른 개념입니다.
그래서 레벨3 시스템이 제어권 인수를 요청할 때는, 사용자가 다시 운전자가 되기 위해 상황 파악을 할 수 있는 충분한 시간이 필요한 것입니다.
"레벨3 자율주행은 시스템이 대부분의 주행을 담당하지만, 운전자가 즉시 개입할 수 있는 ‘감시자’ 역할을 유지해야 한다. 즉, 차량이 제어권 인계를 요청했을 때 운전자가 반응하지 못하면 사고 책임이 운전자에게 돌아갈 수 있다. 하지만 제조사가 시스템 결함으로 인한 사고에 얼마나 법적 책임을 져야 하는지에 대해서는 아직 명확한 기준이 없다"
레벨3에서 시스템이 운전자에게 제어권을 넘길때 충분한 시간이 필요하다라는 요건은 없습니다
현실적으로 생각해 봐도 악천우나 도로여건 등 급작스러운 상황에서 제어권을 넘겨줄뗀데.. 이때 충분한 시간을 갖고 넘겨주는것을 기대하기란 어렵다 보고요
제어권을 급하게 넘기고 책임을 운전자에게 돌리는 것은 레벨3이 아닙니다. 그렇다면 레벨3이 왜 있는 것이고 누가 사겠습니까..
At Level 3, an ADS is capable of continuing to perform the DDT for at least several seconds after providing the fallback-ready user with a request to intervene. The DDT fallback-ready user is then expected to resume manual vehicle operation, or to achieve a minimal risk condition if s/he determines it to be necessary
J3016 APR2021 표준문서 11페이지에 수록된 내용이며 UNECE Wiki에서 PDF 파일을 다운로드 받을 수 있습니다.
적어도 몇 초 전에 개입을 요청해야지, "반응" 수준의 대응을 요구하는게 아닙니다.
그래서 웬만하면 책임질수 있겠다 싶은 아주 양호한 조건에서만 레벨3를 사용 가능하게 만든 사례 밖에 아직 볼 수 없었습니다. (저속, 자동차전용도로, 좋은 날씨, 역광 아닐것, 선행차 있을것 등)
위 리누님이 발췌하신 부분을 보충 설명 하자면..
SAE는 레벨3에서 운전자를 '운전자'나 단순 '사용자'가 아닌 'DDT 폴백 대비' 사용자라고 정확하게 명명하는 것을 알 수 있습니다.
그리고 개입 요청 시 'DDT 폴백 대비' 사용자가 해야할 것은
1. 수동 운전
2. 위험 최소화 상태 달성
딱 이 두가지라는 것을 알 수 있습니다.
1번은 ODD를 벗어나는 것이니 당연히 해야 하는 것이고
2번은 시스템 고장이나 센서 가림, 또는 소프트웨어 오류등으로 시스템 성능이 떨어질 때 차량을 안전한 장소로 이동시키고 세워야 하는 매우 예외적인 경우입니다.
차가 어떻게 주행하고 있는지 전혀 신경쓰지 않고 영화를 보고 있거나 게임을 하거나 이메일을 보내고 있는 사용자가.. 즉 시스템을 모니터링 하고 있지 않는 사용자가 제어권을 인수 받으려면 상황 인지에 소요되는 최소한의 시간이 필요합니다.
ODD 이탈인지, 시스템 고장인지,
시스템 고장이라면 지금 당장 정지해야 하는지, 조금 더 가도 되는 상태인지 등..
SAE는 이를 "several seconds"라는 애매한 문구로 각 회사들의 재량에 맡기고 있지만 이를 단 몇초간 짧게 준다는 것은 상당한 무리임을 누구나 알 수 있습니다.
이미 앞서 수초내에 개입을 해야한다라고 댓글에 썼습니다
과연 이게 충분한 시간인지는 의문이고.. 또한 이것이 현재 감독형 fsd에 비해 얼마나 진보된 것인지도 의문입니다
또한 리누님이 지적했듯.. 레벨3 자율주행의 애매한 조건들 때문에 과연 이것이 우리가 평소 생각하는 자율주행이 맞는지 또한 의문이들죠. 제조사가 책임을 회피할 수 있는 조건들이 많다 생각합니다
해서 웨이모나 테슬라 로보택시도 결국 레벨4를 목표로 하고 있다 보고요