밴츠 하고 bmw 에 이르면 올해 부터 적용될 예정입니다.
알파마요도 보니깐 웨이모하고 비슷하게 학습단계만 엔드투엔드 도입이군요
역시 안정성을 고려한 설계접근으로 보입니다
(주로 학습에 엔드투엔드 하는 이유는 ... 엔드투엔드의 장점은 빠르게 학습하고 적용할수 있지만 문제 생기면 골치가 아프고 만약에 0.00001%의 가능성이라도 보수적인 제어가 필요한 부분은 절대적으로 남겨야 하기 때문이죠 요즘 최신 접근은 그부분은 원격 제어 _ 로컬 LLm으로 해결 하려고 하긴 합니다. )
멀티 모달 모델의 경우 재미있는게 작년부터 웨이모는 잼민이를 적용해서 멀티 모달 학습을 시작했고
웨이모가 돌아다니면서 지역의 문제점 도로 상태 범죄 현장 등을 모니터링 하고 분석할수 있게했고
심지어 신고도 가능한 시스템을 구축 중이라는겁니다
이를 통해 웨이모 같은 로봇택시는 정밀한 센서를 탑재한 모니터링 도구로도 쓸수가 있죠
사고를 미리 예방도 할수 있고 여러가지로 장점이 있어서 샌프란시스코시와 협업도 하는걸고 알고 있습니다
이제 로봇 택시가 화재 홍수 누수 신고도 하고 초기 조치도 할수 있는거죠
라이다 센서로 도로 상태를 매우 정확하게 모니터링 할수 있고
사운드 센서로 총소리를 알수 있고 다중 마이크로 총격음이 난곳을 파악할수도 있고요
카메라를 연결해 고정식 cctv가 없는 곳에서 실시간 모니터링도 가능하고
가능성은 무궁 무진합니다
이걸 왜 기다렸는지에 대한 명시적인 추론을 차량이 설명도 가능해 법적으로 원인분석 및 추론 로그를 남길 수 있어 보험 및 책임 소재도 명확해져 더 빠른 레벨4 이상으로 갈수 있는 자율주행 기술의 미래라고 보고 있죠. FSD는 이게 안되니까 완전자율주행에 있어서 보험까지 스스로 할려고 하는것이고, 차가 추론 과정과 판단을 왜 이렇게 했는지 설명을 못하니. 이런 AI의 블랙박스 문제를 해결하는게 알파마요죠. 논리 단계가 있으면서 행동 자체도 빠른. 사고원인 규명, 법적책임 안전검증 및 규제 통과에 있어 핵심적으로 알파마요가 다 해결 가능하니 엄청 치고 나갈겁니다.
또 다른 예는 비오는날에 노면이 너무 미끄러운데 혹은 눈으로 인해 노면이 미끄러운데 갑자기 벽 옆에서 혹은 주차된 차량 뒤에 숨었다가 사람이 갑자기 튀어나와 제동을 차량이 스스로 하는 상황에, 미끄러운 노면으로 인해 제동거리가 멀어지니 브레이킹 보다는 스티어링 각도를 틀어버리는 판단을 했고 그 찰나에 판단과 이후 설명까지 해줄수가 있고 없고는 차원이 다른 기술이죠.
네 웨이모도 그렇고 하지만 좀더 치밀하다고 보여지고 완전한 E2E 보다는 하이브리드가 맞다고 봅니다. 센서도 이젠 카메라만 고집할 필요도 없이 센서퓨전 기술 쓰는게 더 유리해졌고
FSD가 설명을 못한다니요..
2. Interpretability and safety guarantees 항목에 설명되어 있습니다.
제대로 모르고 이런 글 링크해 오시는군요. 지금 바빠서 일 끝나면 제대로 알려드리죠.
알파마요는요
인지, 인과추론, 행동, 설명을 동시에 합니다. 판단 이유가 명시적이죠.
반대로 테슬라의 FSD는
그냥 입력->출력 입니다. 왜 그렇게 판단했는지 내부적으로는 알지만 외부에 설명이 불가능 합니다.
이게 보험과 법, 제도, 책임소재에서 취약하죠. 이게 제 의견이 아니라 학계와 국제기관에서도 동일한 문제를 인식하고 있습니다.
FSD가 왜 설명을 못하느냐?
카메라로 부터 입력된 주행 데이터들->거대 신경망 학습->주행명령으로 수행 됩니다. 수십억의 파라메터가 존재하고 아까 예시를 든 공->아이->위험과 같은 인과 사슬이 없습니다. 즉 테슬라 FSD는 판단은 하지만 판단의 이유를 언어로 가지고 있지 않습니다. 이게 바로 테슬라 AI의 블랙박스 문제 입니다.
알파마요는 관측->인과 지식->추론->행동->설명로그 까지 한방에 해버립니다. 로그가 바로 사고책임, 보험, 규제인증, 법적증거를 가지는 겁니다. 테슬라는 이걸 생성할수 없습니다.
윗 댓글에 예시를 추가로든 젖은 노면에서 사람이 숨어 있다가 튀어 나올때 차량의 판단을 추가로 예시를 들면요
노면마찰계수 추정
제동거리예측
조향시 사람과 충돌 회피 확률
보행자 상해 위험 비교
이게 다 필요한 아이와 공의 예시 보다 더 고급 판단입니다.
제동시 충돌확률 00%
조향시 충돌확률 00%
사람과 충돌시 에너지
등의 여타 다른 데이터들까지 계산된 학률을 비교판단 로그로 남깁니다. 테슬라의 FSD는 이게 안됩니다. 알파마요와 같은 행동을 할 확률은 있어도 왜 브레이크 대신 핸들을 꺾었는지 설명 불가.
그래서 테슬라는 현실에서 완전자율주행에 있어서 사고책임, 보험, 제도 승인 관련해서 보험 부분에서만은 직접 보험을 만들어 내부적으로 법적분쟁을 맡을려고 하는겁니다. 이건 테슬라 FSD의 AI 블랙박스 문제에서 오는 필연적인것이고 이런전략을 펼칠수 밖에 없는것이죠.
현실적으로 자율주행에 있어서 레벨4 이상에서는 성능이 문제가 아닙니다. 그건 시간이 지날수록 당연히 사람보다 더 나아질것은 분명하니까요. 어떤 기업이든 말이죠.
문제는 사고율, 사고원인 설명 가능, 법적책임 귀속, 규제기관 설득, 보험수리 모델이 문제죠. 그래서 현실적으로 이부분에서는 알파마요가 압도적으로 유리 합니다.
모든 자율주행 기업이 기본으로 E2E 기반이고 미국,유럽,중국 L4 업체들이 거기서 하이브리드방식으로 인과 추론 기반 구조를 더합니다. 크게 규제, 법, 보험을 다 포함해서 완성형 자율주행의 가반은 알파마요와 그와 동일 방식을 택한 기업들이 압도적으로 유리할수 밖에 없습니다.
간단히 말해 FSD는 심각한 오류나 환각이 있지만 대략 운전을 잘하는 AI다라고 말할수 있고 알파마요는 “책임을 질 수 있는 AI 운전자” 라고 보면 됩니다. 레벨4 이상에서는 운전실력 보다 “왜 그렇게 판단 했는지 이유를 말할 수 있냐”가 승부를 가립니다.
한번 읽어 봤는데 어렵기는 하네요. 개발 총 책임자가 가능 하다고 하니 좀 기다려보면 명확 해 질듯 합니다.
2. 해석 가능성 및 안전 보장
차량이 예상대로 작동하지 않을 경우, 이러한 엔드투엔드 시스템의 디버깅은 어려울 수 있습니다. 하지만 실제로는 모델이 해석 가능한 중간 토큰을 생성할 수 있기 때문에 큰 문제는 아닙니다. 이러한 중간 토큰은 상황에 따라 추론 토큰으로도 사용될 수 있습니다.
그러한 작업 중 하나가 테슬라의 생성형 가우시안 스플래팅(Generative Gaussian Splatting)입니다. 3D 가우시안 스플래팅은 최근 몇 년 동안 컴퓨터 비전 분야에서 큰 발전을 이루었지만, 좋은 성능을 위해서는 베이스라인이 큰 카메라 뷰에 의존합니다. 불행히도 일반적인 차량 움직임은 상당히 선형적이어서, 기존 가우시안 스플래팅을 실행하면 특히 새로운 시점에서 재구성 품질이 저하됩니다. 또한 이러한 3D 가우시안 스플래팅은 다른 파이프라인에서 좋은 초기화가 필요하며 전체 최적화 시간은 수십 분에 달할 수 있습니다.
반면 테슬라의 생성형 가우시안 스플래팅(Generative Gaussian Splatting)은 뛰어난 일반화 성능을 보이며, 약 220ms 만에 실행되고, 초기화가 필요 없으며, 동적 객체를 모델링할 수 있고, 엔드투엔드 AI 모델과 함께 공동 학습이 가능합니다. 특히 이 모든 가우시안 분포는 양산 차량 구성의 카메라 데이터를 기반으로 생성된다는 점이 주목할 만합니다.
3D 기하학적 정보 외에도 자연어 추론과 비디오 기반 분석을 통해 추론을 수행할 수 있습니다. 이 추론 모델의 축소 버전은 이미 FSD v14.x 릴리스에서 실행되고 있습니다
링크 안 읽으신거 같은데요.
FSD 모델도 멀티모달 입력을 받고 액션 전에 여러 아웃풋을 만들어 낸 다음 추론을 하는 구조로 개선되어 있습니다. 블랙박스로 제어명령만 뱉어내는 구조가 아니라 상황에 대한 판단 근거를 언어로 뱉어낼 수 있습니다.
물론 모든 실시간 주행 상황 모두를 랭귀지 모델로 추론해가며 하지 않죠. 그건 엔비디아도 알파마요를 공개하면서 레이턴시 문제 때문에 그렇게 쓰라고 하지 않은걸요.
랭귀지모델 동작 시연까지 보여줬는데 말이죠..
아직도 제대로 모르시는군요. 테슬라가 연구중인게 있으나 그게 알파마요 처럼 동작하는게 아닙니다. 어떤 객체를 감지했고 어떤 예측 경로를 세웠는지 일부 설명이나 디버깅 수준입니다.
알파마요 처럼 인과관계를 논리적으로 설명 할수 있느냐는 별개의 문제입니다. 테슬라도 일부 설명 도구를 만들었지만 알파마요 처럼 어떤 행동의 이유를 인간 언어수준의 인과 사슬로 명확히 설명, 정리 해주는 수준이 아닌 그냥 디버그, 분석용 내부 시뮬레이션 툴 수준인겁니다.
한숨만 나오는군요.
액션 전에 렝귀지 츨력이 리즈닝에 들어가는 구조는 안 보이시나보군요.
그리고 알파마요는 티처모델로 쓰이고 알파마요로 주행하는 구조로 양산에 들어가지 않을텐데, 증류된 경량 모델이 영상 전체 또는 매 순간의 논리적 판단을 로그로 남겨 기록할수 있을까요? EDR이 영상과 차 상태값 전체를 다 덤프하는 것도 아닐텐데 input값을 raw 그대로 보존하는건 불가능할겁니다.
사고 복기는 테슬라가 가우시안 스플래터를 쓰듯 압축된 벡터를 저장해 놨다가 재생하는 수준이나 할 수 있으면 다행이고, 스튜던트 모델의 판단이 티처모델과 완전히 동등하다는걸 규제기관이 순순히 인정할 수가 없는건 마찬가지가 되겠죠. 이걸 인정하면 FSD에 들어간 랭귀지 모델도 같은 수준의 정보량을 갖는거고요.
알파마요도 개발 단계에서 리즈닝에 쓰일 뿐이고 결국 양산 차량의 주행은 알파마요를 활용해 만든 E2E 모델로 하는겁니다. (물론 pure E2E는 안하겠죠)
알파마요의 레이턴시로 고속주행은 못해요.
레이턴시 차이는요. 앞서 말한 완전 자율주행의 핵심이 되는 모든 기반 사항에 투자하는 방식으로 찔끔 느립니다. 0.05초 만에 판단하느냐? 0.12초 만에 판단하느냐 차이죠. 이걸로 고속주행을 못한다? 그건 말도 안되구요. 고속주행은 가능하되 항상 알파마요의 구조로 돌리기에는 아직은 추론칩의 성능 대비 비효율이라는겁니다. 고속도로에서는 시내주행 만큼 상시추론을 할 이유가 없고 간단한 편이죠.
그래서 그때 만큼은 알파마요의 특수한 상시추론을 할 필요가 없고 이벤트 기반으로 돌려도 되죠. 그리고 고속주행에서 상시추론은 비효율일 정도로 단순한 주행환경이지만 나중에 추론용칩 성능이 높아질 수록 상시로 돌릴수도 있는거구요. 그럴 필요가 없지만 말이죠.
그리고 지금 추론용칩의 설계 방향이 점점 알파마요가 추구하는 방향으로 설계가 되기 시작 하는중이구요. 지금 중요한건 업계 모두 테슬라 보다 알파마요가 추구하는 방향성이 더 맞다고 보는게 압도적입니다.
모든 규제에서 자유로울 수 있는 구조로 만들었기에 이 부분은 어느정도 잡고 가야하고 알파마요가 더 여유롭게 판단하고 설명하는 구조라 다른겁니다. 앞서 말한 레이턴시 자체도 알파마요에 적합한 추론용칩이 설계 되고 거의 모든 회사들도 그방향으로 가고 있구요. 레이턴시 그 조금 차이는 시간문제 입니다. 추론용 칩이 이미 그에 적합한 설계로 가고 있구요. 테슬라 처럼 CNN, Transformer 최적화된 칩 방향이 아닌 Sparse reasoning, Graph. causal inference, Event-driven compute, Mixed precision + conditional execution 방향으로 가고 있고 레벨4 이상의 자율 주행에 있어서 훨씬 유리한 구조 입니다.
그리고 테슬라도 당연히 planning token, latent reasoning 구조를 씁니다. 하지만 핵심 차이는 reasoning 결과가 언어적, 인과적 객체가 아닙니다. 다시 말하지만 외부에 설명이 불가능 합니다.
알파마요는 reasoning 결과 자체가 기호, 인과 그래프로 설명이 됩니다. 테슬라와 다른겁니다.
오프라인 로드데이터가 없이는 한계가 있다의 대립 같네요.
데모영상 만 보고 판단 하기 보다는 실제 제품 나와서 비교 해 보는게 가장 무난 할듯 하네요.