본 글은 https://blog.naver.com/gamja321/222493393575

원문에서 쓴 글을 그대로 옮겼습니다.

언젠간 한번 정리하고 싶었던 부분, 왜 아이폰 카메라는 갤럭시 카메라보다 자연스럽게 줌이 될까? 그리고 스마트폰에서 멀티 카메라가 정의하는 의미는? 1년 동안 쓸까 말까 고민했던 주제에요. 갤럭시 폴드3 구매 후, 확인해보니 갤럭시 카메라도 줌전환 많이 자연스러워졌더라고요. 그래서 비교하여 정리해 봅니다.

아이폰 카메라의 줌 애니메이션 과정

저는 그냥 스마트폰 카메라를 좋아하는 감자해커 블로거입니다. 20년 3월쯤, 갤럭시S20울트라 구매 후 스마트폰 카메라에 관심을 갖게 되어서 이리저리 찍어보고 고민하기 시작했습니다. 지금의 제가 작년에 쓴 글을 보면 틀린 부분이 많아요. 이 글도 오류가 있겠지만, 지금의 지식으로 적어봅니다.

출처 - 애플공홈

아이폰 프로 시리즈에는 렌즈 시야각이 다른 초광각, 광각, 망원 3개의 카메라가 있습니다.

아이폰12프로맥스 카메라의 자연스러운 줌 전환모습

그리고 위 영상을 보시면, 초광각 0.5x부터 망원 카메라 줌 2.5x까지 굉장히 자연스럽게 줌 전환이 됩니다. 아이폰 유저들이 좋아하는 짧은 순간의 경험입니다.

갤럭시S21울트라 0.6~3X

갤럭시의 경우 줌이 되는 과정이 버벅대는 게 보이고 최종적으로 카메라 렌즈 전환되는 게 움찔하면서 눈에 보이곤 했습니다.이렇게 움찔하면서 카메라가 전환됐다는 게 보이는 이유는,

출처 - 아이폰11 언팩에서 나온 망원, 광각, 초광각 카메라는 같은 피사체를 보고 있다.

바로 카메라 렌즈별로 시야각, 왜곡률, 초점거리, 그리고 DSLR 과는 다르게 3개의 렌즈가 설치된 위치가 다르기 때문입니다.

출처 - 아이폰11 언팩, 설명을 위한 극단적 예시 사진

DSLR 카메라였으면 줌을 당겼을 때 사진의 가운데 지점이 바뀌지 않았겠지만, 스마트폰의 경우 렌즈가 설치된 위치가 다르기 때문에 가운데 사진 가운데 포커싱 부분이 렌즈별로 변할 수밖에 없습니다. 

실제 폰카에서 위 사진만큼 가운데가 변하지 않지만, 미세하게 차이가 발생합니다. 거기에 카메라 렌즈별로  왜곡률도 다르고요. (ex 광각 카메라 셀피 오이 현상)

S21울트라 2.9x -> 3x 렌즈 전환 구간

그렇기에 위 갤럭시s21울트라처럼 카메라 렌즈가 바뀌는 순간 움찔하게 되는 겁니다~

아이폰11프로 카메라

아이폰에서는 렌즈 전환 '움찔'을 줄이기 위한 노력을 하였는데요. 물리적으로는 3개의 렌즈가 있지만 최대한 하나의 렌즈처럼 구현시키는 겁니다. 위 사진처럼 카메라 렌즈 3개의 위치를 정삼각형 구조로 배열해서 하드웨어 적으로 사진 가운데 시야점을 맞춥니다.

갤럭시s21울트라 카메라 배열

갤럭시S21울트라에서는 4개의 렌즈가 있지만, 'ㅏ'과 같은 배열입니다. 아이폰 대비 물리적으로 렌즈 전환 시 더 움찔할 수밖에 없습니다.

이러한 HW 노력뿐 아니라, 아이폰 카메라는 광각 + 초광각 카메라를 서로 겹쳐놓고 실시간으로 서로의 시야각, 위치를 계속 잡는 SW 보정 과정이 들어가는 것으로 보입니다.

보정이 들어가는 것은 위에처럼 카메라 프리뷰 화면에서 두 개의 렌즈 시야가 영상으로 보여주기 때문이죠. 둘 사이에 어느 정도 오차는 발생하지만 처음 아이폰 11프로를 봤을 때 애플은 사용성 개선에 미쳤다는 생각밖에 들지 않았어요.

UI 적 측면에서도 카메라 센서 해상도(3:2) 비율과 스마트폰 디스플레이 해상도(19.5 : 9) 비율 차이로 사용되지 않았던 검은색 레터박스 영역을 살리는 효과도 있었고요.

그로 인해 아이폰에서는 '프레임 밖 캡처'라는 새로운 기능을 만들어서 카메라 프리뷰에 (사진 찍기 전 미리 보기 화면) 광각 + 초광각 2개의 화면을 동시에 뿌려주는 것을 가능하게 됐습니다. (새로운 HW 설계 -> 아이폰만의 SW 기능)

아이폰 카메라 망원줌 2.4-> 2.5x 전환

이러한 노력에도 불구하고, 위 영상을 보시면 아이폰 12 프로맥스의 2.4x <-> 2.5x 렌즈 변경 구간이 되면 약간의 티가 납니다. 특히 아이폰 화면의 가운데는 렌즈가 전환됐다는 티가 안 나지만, 모서리 쪽으로 갈수록 전환됐다는 티가 시각적으로 더 표현됩니다.

  좌 - 초광각 카메라 왜곡 보정 OFF, 우 - 왜곡 보정 ON

그 이유는 카메라 렌즈 배율에 따라서 왜곡률이 달라서 그래요. 특히 사진 끝부분으로 갈수록 왜곡이 더 커 보이고, 가운데 부분으로 갈수록 왜곡이 줄어들어 보입니다. (짧게 설명)

위 사진을 보면 실제로는 직선형태의 건물이지만, 초광각 카메라로 찍었더니 둥그렇게 찍혔어요.

왜곡률을 쉽게 이해하시려면, 갤럭시 스마트폰 전면 카메라에는 2개의 화각 조절 버튼이 있는데요. 실제로 물리적 렌즈는 하나지만, 디지털 줌으론 약간 더 확대해서 굴곡이 많이 되는 사진 외각을 쳐내고요.

사진이 확대되니 스마트폰과 얼굴의 물리적 거리를 자연스럽게 띄우게 되는 효과를 갖게되면서 카메라에 대한 지식 없이 셀피 오이 현상을 자연스럽게 줄이는 것이죠.

그럼 아이폰에서 자연스러운 줌은 어떻게 구현될까?

갤럭시S20울트라

드디어 본론입니다. 스마트폰 멀티 카메라에서 줌할 때 위에처럼 2개의 센서를 프리뷰 화면에서 합성하게 됩니다.

1x 광각렌즈, 5x 망원렌즈의 스마트폰으로 예시를 들면, 1x 광각 -> 5x 줌버튼 누름 -> 사진 가운데부터 5배줌 센서와 1배줌이 합성되면서 점점 확대됨. -> 5x 도착.

1x -> 5x 망원 카메라로 확대되는 과정에서 렌즈간의 시야각, 왜곡률 등 조건이 다르기 때문에 렌즈 간 합쳐지는 부분이 자연스럽게 합성이 되면서 확대, 축소가 되지 못하게 됩니다. 그래서 프레임 낮은 동영상처럼 버벅대게 될 수밖에 없습니다.

아이폰은 2개의 렌즈가 합성되면서 줌이 될 때, 위 사진처럼 합성구간 티가 나는 모서리를 실시간으로 자릅니다. 원형 형태로 합성을 시작하고요. 게다가 그라데이션을 이용하여 가운데는 진하고, 밖으로 갈수록 연해집니다.

이런 방법으로 2개의 렌즈 합성이 워낙 자연스러워져서 사용자가 시야각이 다른 두 개의 렌즈를 합성하고 있다는 사실조차 알기 어렵습니다.

단순한 아이폰 특유의 애니메이션 효과라고 사용자는 생각하게 됩니다. 눈으로는 보이지 않지만, 자연스러운 줌 효과를 구현하기 위해 뒤에서 별짓 다하고 있는 거죠.

왜곡 구간이 끝나면, 센서의 네모 모형으로 돌아오면서 나머지 줌이 전환됩니다. 렌즈간의 왜곡 차 문제를 해결했으니, 렌즈 합성을 더 자연스럽게 많은 프레임을 넣어서 할 수 있겠죠?

실제로 줌이 전환되는 속도를 움짤로 만들어봤습니다. 아날로그처럼, DSLR 카메라처럼 렌즈가 전환되는 시각효과를 만들기 위해 이렇게까지 해야되나..?ㅋㅋ 싶기도 합니다. (차라리 화질에 좀 더 신경 써줘..)

줌이 되는 과정을 슬로우모션 움짤로 만들어봤습니다. 제 생각에는 줌버튼 누른 후 실시간으로 연산이 되면서 프리뷰 화면에 보여주는 것이 아니고요.

줌버튼을 누른 후 이미 줌 되는 모든 과정을 연산을 끝맞힌 후에 카메라 프리뷰 화면에 보여주는 게 아닌가 싶습니다. 왜냐면, 발열이 심한 어떠한 상황에서도 절대 버벅임을 느낄 수가 없었어요. 전환되는 프리뷰가 실시간으로 처리하면서 보여주기엔 너무 부드러워요.

아이폰 카메라 자연스러운 줌 슬로우모션

1x -> 2.5x를 눌렀을 때, 2.4x -> 2.5x 처럼 사진 가운데 부분에서 약간의 위치전환도 보여지지 않습니다. 미리 연산해서 2.4x -> 2.5x 전환되는 부자연스러움도 SW보정하여 버벅이는 구간까지 완화한 걸로 보입니다.

줌이되는 과정 연산 후 -> 화면 표시 방법은 딜레이가 느껴질 만큼 길어져야 정상인데 괴물같이 딜레이를 체감하기 어렵습니다.

강력한 AP 프로세서가 있기 때문에 가능한 일.

흔히들 게임도 안 하는데 스마트폰 성능 빨라져서 뭐하냐? 라는 소리도 많이 하지만, 프로세싱 파워 증가 -> 새로운 기능 + 사용성 증대라는 것을 구현할 수 있습니다.

특히 AP 안에는 CPU, GPU뿐 아니라 ISP, AI 칩도 있어요. 매년 전력 대비 성능이 좋아지고 있고요. 카메라 앱 쓰면 괜히 뜨거워지고, 램부족으로 꺼지고 백그라운드 다 꺼지는 게 아닙니다.

갤럭시S21울트라 1x~3x 줌 슬로우모션 영상

정리해봅니다. 갤럭시 카메라 대비 아이폰 카메라 줌이 자연스럽게 되는 이유!

1. 멀티카메라 HW 디자인이 시야점을 위해 삼각형을 그리고 있음.

2. 멀티카메라 여러 개의 렌즈를 실시간으로 동일 시야점으로 합성하는 뛰어난 알고리즘.  

3. 줌이 되는 과정에서 모서리 그라데이션 효과, 원형 < -> 네모 형태를 사용하고 있음.

4. 줌을 누르면 모든 연산을 끝낸 후 프리뷰 화면에 줌과정을 뿌려줌. 

5. 모든 것을 가능하게 만든 애플 바이오닉 A 시리즈 AP.

아이폰 vs 갤럭시 카메라 정답은 없다.

아이폰 최고! 라는 글이 아닙니다. 갤럭시와 아이폰의 추구하는 방향이 다를 뿐이에요. 한정된 AP 프로세싱 파워를 어디에 집중하냐 차이입니다.

사진은 결과로 말한다. 화질 짱짱 -> 갤럭시

결과보단 찍는 과정과 유저들의 사용성, 경험이 더 중요해 -> 아이폰