https://blog.naver.com/gamja321/222525372417

본문 글을 그대로 옮겼습니다. 

갤럭시 스마트폰 카메라에서 왜 야간 동영상 화질이 떨어질까? 고민해 본 내용을 정리해 보려고 합니다. 좀 어렵고 복잡한 내용일 수 있어요.

테스트 기기는 갤럭시s21울트라, 갤럭시폴드3로 진행했습니다. 아이폰 동영상 촬영 화질이 워낙 뛰어나지만, 갤럭시 스마트폰이 유독 타사들 대비 야간 동영상 화질이 떨어진다는 얘기가 많아서 써봅니다.

가장 아래 결과만 봐도 됩니다. 애플광고 X 갤럭시 사진품질 아이폰보다 좋아요. 전공자, 종사자 X 일반인이라 테스트와 검색으로 도출해낸 결과이고 틀린 부분도 있을확률 높습니다.

야간 동영상 감도가 떨어지는 가장 큰 이유는 손떨림 방지 기능 때문!

손떨방 옵션은 EIS만 끄는 걸로 보임. OIS는 강제.

저도 이것저것 만져보다가 발견했고 -> 왜 동영상 손떨림 보정 기능 ON/OFF 때문에 야간 동영상 화질이 차이가 날까? 라는 생각을 해봤어요.

우선, 손떨림 방지를 ON 했을 때 4K 30FPS 영상입니다. 갤럭시폴드3로 촬영했고요. 60FPS는 감도가 더 떨어지기 때문에 30FPS로 촬영했습니다.

영상 보면 감도가 떨어져서 노이즈가 심할 뿐 아니라 화면도 약간씩 튀거나 뚜둑 끊기는 느낌도 듭니다. 모션 블러 처리가 많이 되어 보이기도 하고요.

요건 손떨방 옵션을 끈 영상입니다. 보시면 떨림은 심하지만 영상 화질은 그럭저럭 괜찮은 걸 확인할 수 있습니다. 모션 블러가 덜 하고 노이즈 역시 덜 보여요. 왜 그럴까요?

이를 설명하기 전에 OIS, EIS 개념을 알아야 합니다. OIS는 위에처럼 스마트폰 카메라 렌즈를 흔들어서 손떨림을 방지해 주고요.

EIS는 이미지센서 화소를 80~90% 정도만 크롭 해서 손떨방을 보정합니다.

위 움짤을 보면, EIS 손떨림 방지 보정 기능을 껐을 경우 사용자의 움직임이 그대로 영상에 같이 나오는 반면, EIS 손떨방은 피사체의 위치를 찾아서 흔들림을 방지해 줍니다.

많이 자를수록 손떨림도 덜하게 됩니다. 많이 자른 건 슈퍼스테디라고 초광각 카메라를 이용한 동영상 촬영 기능이 갤럭시 스마트폰 기능으로 따로 있습니다.

실제 갤럭시폴드3 동영상 EIS 손떨방 크롭 되는 화각

여기에 삼성 갤럭시 카메라 동영상에는 VDIS라고 촬영이 시작되기 전에 사용자의 움직임을 예측하고 카메라가 실행되면 조정 범위를 계산하여 동영상 흔들림을 최소화해준다고 합니다.

OIS와 EIS는 둘다 자이로센서를 이용해서 폰이 어느축으로 흔들렸는지 계산 후 반대축으로 보정해 주는 것인데 OIS는 물리적으로 렌즈가 움직이고, EIS는 위에 설명했던 센서크롭으로 보정합니다.

여기에 DIS라고 피사체의 움직임을 감지해서 더 정확한 손떨방을 보완해주는 방법이 더해집니다. (DIS는 촬영된 영상으로 후처리보정인데 VDIS는 촬영 전 움직임 보정)

^{(* DIS의 원리를 알아내지 못해서 안쓸까 하다가 빠지면 헛점이 있는지라 넣었음.)}

피사체가 어디 있는지 찾아야 손떨방 보정 화각이 같이 움직이게 되는데요. (DIS) 이동된 피사체의 위치를 확인하고 이미지를 합성해 줍니다. (이 때 AP의 NPU가 사용되는 것으로 추측) 밝을 때는 위 토끼 피사체 위치를 정확히 파악하기 쉬워서 합성하기 쉬운 조건이지만,

토끼 피사체가 어두워질 경우 얘가 어디 갔는지 찾기가 어려워서 합성하기 어려운 조건이 됩니다. 그래서 야간 동영상 촬영은 피사체가 어디로 갔는지 찾을 빛(광량)을 더 확보해야 합니다.

빛을 더 확보하기 위해 카메라 셔터스피드는 느려지고, 1프레임 사진에 흔들림이 생기게 됩니다. 고프로의 경우도 야간 동영상 화질이 떨어지는 이유가 위와 같아요. 고프로 EIS로 화각 많이 자르거든요. 대신 손떨방성능이 좋아요.

셔터스피드가 빠르면 위 사진처럼 역동적인 액션도 순간포착으로 찰칵! 빠르게 찍힙니다.

셔터스피드가 느리게 되면 위에처럼 사진이 흔들리게 되어서 모션 블러가 생기게 됩니다. 모션 블러는 사진의 흔들림이라 생각하시면 돼요.

야간에 카메라로 사진 찍어보면 차~~알칵하고 사진 찍히는데 오래 걸리는 걸 한번쯤 느끼셨을 거예요. 노출을 오래 해서 광량을 확보하는 겁니다.

폴드3 EIS ON 모션블러 많음.

폴드3 EIS OFF 모션 블러가 적음

30FPS 동영상은 결국 1초에 사진 30장이 이어져서 부드러운 영상을 만드는 것인데요. 정리하면,

사진은 빛을 받아들이는 것 -> 야간에는 빛이 줄어듦 -> 광량 확보를 위해 카메라 셔터스피드가 느려짐 -> 1프레임에 모션 블러가 심해짐(피사체 흔들림이 담김) -> 빛이 부족해서 1프레임 촬영 시간이 오래 걸려서 프레임 간 시간차가 커짐 ->

-> 흔들린 사진 30장을 이어붙인 동영상에서도 흔들림이 보임 -> 흔들려서 피사체가 어디로 이동했는지 파악하기 어려움 -> 결국 잘못된 피사체 예측이 되어서 동영상에서 움찔하는 게 보임.

출처 - 소니 A7C 제품 페이지

소니, 캐논 카메라가 괜히 동물, 사람 눈을 찾으려는 게 아닙니다. 빠른 AF뿐 아니라 EIS 손떨림 방지 성능과 화질도 올라가게 되거든요.

그럼 갤럭시와 아이폰 야간 동영상 화질은 왜 차이 날까?

그럼 왜 갤럭시와 아이폰 카메라 동영상 화질 차이가 날까? 생각해 보았어요. 갤럭시S21울트라 카메라가 아이폰12프로맥스보다 센서 크기도 커서 감도가 더 좋아야 정상이거든요.

렌즈 조리개값이나 센서로써 전혀 꿀릴 게 없는 게 갤럭시S21울트라입니다. HW 스펙상 셔터스피드를 더 짧게 촬영해도 더 밝은 사진, 영상을 찍을 수 있다는 의미입니다.

우선 갤럭시 폴드3에서 손떨방 EIS OFF, ON을 해보면 손떨방을 켰을 때 셔터스피드를 덜 늦춰지기 위해서 ISO 값을 높이는 걸로 보입니다. 감도가 떨어지고 노이즈가 증가된 걸 확인할 수 있거든요.

노이즈가 증가하지만 더 밝아졌기 때문에 피사체의 이동을 더 정확하게 캐치할 수 있게 됩니다.

아이폰12, 아이폰12프로맥스, 갤럭시노트20울트라를 같은 삼각대에서 촬영한 동영상입니다. 좌우 각도의 차이가 약간 있어서 시야가 좀 다르지만 같이 찍었습니다. 보면, 같은 26mm 렌즈에 노트20U가 가장 센서 크기도 큰데 아래위가 가장 많이 잘렸습니다.

흔들림 방지를 위해 EIS를 갤럭시는 아이폰 대비 더 많이 자릅니다. EIS를 많이 쓴 노트20U지만 아이폰12 흔들림과 비슷합니다. _{(강한 흔들림에는 갤럭시가 더 잘버팀)} 아이폰도 분명 야간에는 ISO를 더 올려서 셔터스피드를 확보할 텐데도 모션 블러도 적고 노이즈도 덜합니다.

이것으로 뇌피셜 추측하자면,

1. 아이폰은 EIS 손떨림 방지를 적은 범위로 하거나, 안 하는 걸로 보임. -> 갤럭시보다 EIS 덜 하니까 AP 파워 아낄 수 있음. -> 아낀 리소스로 영상 합성 등에 더 집중.

2. 아이폰은 갤럭시보다 OIS 성능이 뛰어나다. (EIS 덜 자르는데 손떨방 큰 차이 안 남.)

3. 아이폰은 갤럭시보다 어두운 곳에서 피사체의 이동을 빠르고 정확하게 찾고 합성까지 더 잘한다. -> 피사체의 이동을 잘 찾는다는 것은 갤럭시보다 센서의 넓은 범위를 실시간 스캔할 능력이 된다는 의미일 수도.(DSLR AF 존과 비슷한 느낌) AP 성능과 소모 전력 차이.

야간 동영상 품질을 올리는 방법은?

1. 동영상 촬영 프레임을 설정에서 낮춘다. 아이폰, 갤럭시 스마트폰 모두 자동 프레임 옵션으로 최소 24FPS ~60FPS 사이로 조절할 수 있는 기능이 있어요. 근데 갤럭시S21울트라에는 있는데, 폴드 3에는 빠졌더라고요. 프레임을 낮춰서 1초동안 노출된 광량을 더 높입니다.

VIVO X50 프로 스마트폰의 짐벌 OIS

2. OIS 성능을 VIVO X50프로처럼 대폭 늘려서 EIS를 하지 않거나 적게한다. _{(VIVO폰은 직접 만져본적없어서 EIS를 얼마나 자르는지, S21U보다 야간 동영상 뛰어난 것인지 모름) 최근 VIVO X70 PRO+ 해외리뷰 보니 super night video모드가 따로있지만, 밝아지나 모션블러가 존재}

마찬가지로 아이폰의 센서 시프트처럼 지금보다 물리적으로 더 많이 움직이게 해준다. -> 센서 시프트가 단순히 사진, 동영상 흔들림 방지뿐 아니라 EIS 화각 덜 짤라도 흔들림이 적으니 야간 동영상 화질도 개선할 수 있다.

EIS 연산할 AP 파워를 SAVE 할 수 있다. -> 야간에도 HDR 여러 장 합성할 여유가 더 생긴다.(근데 아이폰은 원래 AP 좋음..) -> 야간에 모션블러 해결뿐 아니라, 노이즈까지 좋아질 수 있다.

3. AP 성능을 더 높인다. AP 성능이 더 좋아져서 야간에서도 피사체를 더 빠르고 정확하게 감지하며 합성까지 쌉가능. (NPU가 피사체 디텍팅 역할을 하는듯?)

4. EIS에서 모션 블러를 줄여줄 MOTION DEBLUR를 개선.

어렵다..

제가 써도 너무 어렵네요. 결국 제 생각에는 갤럭시폰은 OIS 성능이 별로다. -> 부족한 OIS HW를 EIS + DIS SW로 보완하려고 함. -> EIS는 광량이 부족한 야간에 취약하다. -> EIS 하니까 야간에 모션 블러와 동영상 움찔움찔이 심하다.

갤럭시S22U는 센서리버전만하고 그대로 가는 것 같던데요. AP 성능이 갑자기 극적으로 올라갈 일도 없을 테고.. S22U에서는 아이폰처럼 센서 시프트나 중국 폰의 많이 움직이는 OIS가 반드시 들어가서 EIS를 덜 잘랐으면 좋겠어요. HW 개선 없으면 뚜둑끊기는 야간 동영상 개선하기 힘들거 같아요.

폴드 시리즈 강화하는 것도 좋고 갤럭시 스마트폰은 사진 잘 나오는 것도 좋지만, 이젠 동영상이 더 중요한 시대라고 생각합니다. 끝!

읽어볼만한 글

https://www.clien.net/service/board/lecture/16466586?od=T31&po=0&category=1000037&groupCd=CLIEN

-  아이폰 카메라는 왜 갤럭시보다 자연스럽게 줌이 될까?