기존 RAW방식에서 한단계 더 나아간 ISP 제거(AI5)는 어떻게 보면 원가절감이기도 하죠.
리누
IP 218.♡.33.102
01-17
2026-01-17 09:41:23
·
이건 이미 몇년 전에 적용되었던거 특허 공개만 지금 한거라더군요.
두껍
IP 221.♡.225.204
01-17
2026-01-17 09:55:29
·
@리누님 이건 AI5부터 적용될 ISP제거후 sensor직결과 관련된 특허로 보여집니다.
삭제 되었습니다.
두껍
IP 118.♡.10.28
01-17
2026-01-17 11:20:45
·
｢@채플린＊chaeplin＊님｣ 네 RAW처리는 이미 적용되었죠. ISP제거하고 직결하는게 이번 공개된 특허로 보여집니다. 특허 안써보셨는게 티가 나는게 이미 상용화 된 제품이 있으면 출원이 안됩니다. 출원 후 18개월 뒤에 공개되니 시점상 안맞기도 하고요.
리누
IP 218.♡.33.102
01-17
2026-01-17 11:45:45
·
@두껍님
영업비밀 상태로 공개되거나 유출되어 타인이 방법을 알 수 있는 상태가 아니면, 완성된 제품에 적용되었더라도 출원 가능한거 아닌가요?
이 특허는 높은 비트레이트 센서 이미지를 낮은 비트레이트 입력을 갖는 모델에 넣기 위한 기법으로 소개되어 있는데, HW4 카메가가 24비트, HW3가 12bit이라고 할 때 HW3, HW4가 동일 모델을 공유할 때 HW4는 24bit 센서 이미지를 정보 유실을 최소화하며 12bit으로 변환했어야 했을겁니다. 이 때 사용된 기술이 아닐까 합니다.
@리누님 네. 그런데 AI day에서 raw processing은 공개되었으니 영업비밀이라고 볼수 없죠. 추가로 HW3나 HW4모두 RAW 처리는 동작하나 ISP는 여전히 존재하고 AP는 ISP를 통해 RAW이미지를 전송받습니다. demosaic에 의한 bit depth손실 및 interpolation 왜곡은 아래 제가 언급했습니다.
삭제 되었습니다.
삭제 되었습니다.
두껍
IP 221.♡.225.204
01-17
2026-01-17 21:25:40
·
@채플린님 네. 21년 기준은 아니고 24년 상반기 기준으로 18개월 이상이라고 생각했었습니다. google patents나 uspto에 아직 올라오지 않아서 청구항을 안본상태로 써서 오해가 있었네요.
@뉵뇩뉵뇩님 맞습니다 인간의 관점에서 보이게 좋게 하기위한 전처리가 있었는대 그러는 와중에 정보가 소실되니 이것조차 ai가 먼저 보고 판단을 맡긴다는 걸로 이해됩니다. 전처리가 삭제되니 레이턴시에서의 잇점도 생깁니다
두껍
IP 221.♡.225.204
01-17
2026-01-17 10:20:35
·
@뉵뇩뉵뇩님 CMOS bayer pattern은 RGBG같은 배열(12~14bit)로 되는데 이를 주변 color 를 interpolation하여 RGB pixel(8bit x 3) 4개(말씀하신 도화지)로 만들어냅니다. 이 과정에서 bit depth 소실, interpolation에 의한 왜곡 및 추가적인 레이턴시가 발생했습니다.
@뉵뇩뉵뇩님 네 맞습니다. 그래서 카메라에 UV/IR cut 필터/코팅을 제거하기도 했습니다. HW3 IR cut 필터 제거 HW 4 UV/IR cut 멀티코팅 제거.
크헝헝
IP 211.♡.195.245
01-17
2026-01-17 10:28:04
·
산업용 모노 카메라는 베이어 패턴 사용 안할겁니다. 그래서 그레이스케일 10비트 12비트 지원이 되지요. 다만 isp는 있어서 추가 처리는 하긴 할거에요. cmos센서를 2차원 광센서 개념으로 활용하는 제품도 제법 있어서 새로운 개념은 아니라고 느껴집니다. 다만 ai칩에 직결되어 처리 가능한 부분은 시도된적이 없어서 특허 사항이겠네요.
두껍
IP 221.♡.225.204
01-17
2026-01-17 10:45:45
·
@크헝헝님 ISP가 추가적인 광학보정(비네팅, 렌즈왜곡, 수차, 고스팅, 플래어 등)을 하는데 테슬라는 AI day때 공개된 내용으로 RAW값을 사용해서 AI모델에서 보정한다고 발표되었습니다.
크헝헝
IP 211.♡.195.245
01-17
2026-01-17 10:49:01
·
현재 테슬라의 비젼센서를 감시모드(블박용도)로 겸사겸사로 사용하고 있는데 모노 영상이면 사용자 클레임이 있을겁니다. 컬러변환을 해도 어색한 색상이 되거든요. 컬러 카메라를 추가하면 비용이랑 배선 문제가 있구요.
@두껍님 테슬라 실제 차량에서 카메라 영상 데이터를 시각화해서 보여주고 있으니까요. 후방카메라 좌후 측방 영상. 블박영상 다 보여줍니다. 거기서 보여줄때는 시그널이 아닌 영상 개념이니 신규 특허에서 신호레벨로 처리하면 해당 기능이 문제가 된다는걸 이야기 하는겁니다. 그레이 레벨 이미지라거 말해야 하니까 모노라는 표현을 한거지요. 구형 테슬라 차에도 완전히 rgb 아닌 센서 사용하다가 컬러 변환 색상 이상하다고 사용자들이 엄청 뭐라한적 있습니다. 저도 테슬라 타면서 다 봤던부분이구요. 이게 비용 절감 때문에 겸용으로 써서 그런부분인데. 실차에 적용하려면 해결사항이 있다는 이야기입니다.
@크헝헝님 말씀하신 내용이 전통적인 RGBG가 아닌 HW3 RCCC 패턴 HW4 RCCB 패턴 적용에 대한 거라면 맞긴 합니다. 자율주행용으로 야간 및 안개주행 성능을 높이려다 보니 패턴을 결정하고 후보정 영상출력은 나중에 부가기능 정도로 시작되다 보니 부작용이 발생한것 같습니다. 그 일론이니 소프트웨어 업데이트로 개선 가능하다고 생각하지 않았을까요.
칸첸중가
IP 180.♡.206.36
01-17
2026-01-17 17:06:28
·
...
Lucian
IP 182.♡.142.101
01-17
2026-01-17 19:07:22
·
음...영상관련 AI를 위해 인간이 보기 좋게 ISP 처리하기보다는 알고리즘이 더 잘 학습하고 좋은 아웃풋을 출력하도록 하는데 좀 이상하네요..예를 들어 렌즈 왜곡으로 인한 가장자리를 펴고 위 유투브 영상의 터널 같은 환경에서 감도를 맞추고 뭉게는거 말고 엣지로만 변환해서 학습 시키고 처리하기도 하는데 말이죠..심지어 베이어로 사람이 보기 좋은 RGB 카메라를 쓰기도 하지만 알고리즘 처리에는 IR 카메라도 많이 쓰고여.. 뭔가 알고리즘 학습 판단에 유리하게 바꾸는것조차 생략했을때 기존 모델에서는 알고리즘 성능이 더 안좋게 나욌는데 테슬라 모델은 그렇지 않은듯 합니다.
앞으로 비전 기반의 자율 차량에 적용하려고 많이들 연구중이죠 1000~5000fps를 처리 가능하고
이벤트 기반의 경우 데이터가 매우 작아져서 처리하게 용의하죠
영업비밀 상태로 공개되거나 유출되어 타인이 방법을 알 수 있는 상태가 아니면, 완성된 제품에 적용되었더라도 출원 가능한거 아닌가요?
이 특허는 높은 비트레이트 센서 이미지를 낮은 비트레이트 입력을 갖는 모델에 넣기 위한 기법으로 소개되어 있는데, HW4 카메가가 24비트, HW3가 12bit이라고 할 때 HW3, HW4가 동일 모델을 공유할 때 HW4는 24bit 센서 이미지를 정보 유실을 최소화하며 12bit으로 변환했어야 했을겁니다. 이 때 사용된 기술이 아닐까 합니다.
지금은 HW4는 모델 사이즈를 더 키웠을테니 센서 raw를 그대로 넣고 있을수도 있겠죠.
위 링크에서 청구항 확인해보니 12~16bit(high bitwidth) RAW를 convolution engine과 MAC을 사용해서 8bit(low bitwidth)으로 재조합하는 기술 기반을 포함합니다. 여기서 convolution engine + MAC은 NPU에 해당하고요.
HW3/HW4처럼 ISP bypass나 AI5처럼 ISP제거된 형태 모두 실시예에 포함되어 있네요.
특허의 내용은 센서의 전기적 신호를 바로 판단하갰다는걸로 이해했는데 맞을까요?
인간의 관점에서 보이게 좋게 하기위한 전처리가 있었는대 그러는 와중에 정보가 소실되니 이것조차 ai가 먼저 보고 판단을 맡긴다는 걸로 이해됩니다.
전처리가 삭제되니 레이턴시에서의 잇점도 생깁니다
대해서도 AI가 직접 판단해서 운전할수도 있겠네요
뭔가 알고리즘 학습 판단에 유리하게 바꾸는것조차 생략했을때 기존 모델에서는 알고리즘 성능이 더 안좋게 나욌는데 테슬라 모델은 그렇지 않은듯 합니다.