본 글은 https://blog.naver.com/gamja321/222493393575
원문에서 쓴 글을 그대로 옮겼습니다.
언젠간 한번 정리하고 싶었던 부분, 왜 아이폰 카메라는 갤럭시 카메라보다 자연스럽게 줌이 될까? 그리고 스마트폰에서 멀티 카메라가 정의하는 의미는? 1년 동안 쓸까 말까 고민했던 주제에요. 갤럭시 폴드3 구매 후, 확인해보니 갤럭시 카메라도 줌전환 많이 자연스러워졌더라고요. 그래서 비교하여 정리해 봅니다.
아이폰 카메라의 줌 애니메이션 과정
저는 그냥 스마트폰 카메라를 좋아하는 감자해커 블로거입니다. 20년 3월쯤, 갤럭시S20울트라 구매 후 스마트폰 카메라에 관심을 갖게 되어서 이리저리 찍어보고 고민하기 시작했습니다. 지금의 제가 작년에 쓴 글을 보면 틀린 부분이 많아요. 이 글도 오류가 있겠지만, 지금의 지식으로 적어봅니다.
출처 - 애플공홈
아이폰 프로 시리즈에는 렌즈 시야각이 다른 초광각, 광각, 망원 3개의 카메라가 있습니다.
아이폰12프로맥스 카메라의 자연스러운 줌 전환모습
그리고 위 영상을 보시면, 초광각 0.5x부터 망원 카메라 줌 2.5x까지 굉장히 자연스럽게 줌 전환이 됩니다. 아이폰 유저들이 좋아하는 짧은 순간의 경험입니다.
갤럭시S21울트라 0.6~3X
갤럭시의 경우 줌이 되는 과정이 버벅대는 게 보이고 최종적으로 카메라 렌즈 전환되는 게 움찔하면서 눈에 보이곤 했습니다.이렇게 움찔하면서 카메라가 전환됐다는 게 보이는 이유는,
출처 - 아이폰11 언팩에서 나온 망원, 광각, 초광각 카메라는 같은 피사체를 보고 있다.
바로 카메라 렌즈별로 시야각, 왜곡률, 초점거리, 그리고 DSLR 과는 다르게 3개의 렌즈가 설치된 위치가 다르기 때문입니다.
출처 - 아이폰11 언팩, 설명을 위한 극단적 예시 사진
DSLR 카메라였으면 줌을 당겼을 때 사진의 가운데 지점이 바뀌지 않았겠지만, 스마트폰의 경우 렌즈가 설치된 위치가 다르기 때문에 가운데 사진 가운데 포커싱 부분이 렌즈별로 변할 수밖에 없습니다.
실제 폰카에서 위 사진만큼 가운데가 변하지 않지만, 미세하게 차이가 발생합니다. 거기에 카메라 렌즈별로 왜곡률도 다르고요. (ex 광각 카메라 셀피 오이 현상)
S21울트라 2.9x -> 3x 렌즈 전환 구간
그렇기에 위 갤럭시s21울트라처럼 카메라 렌즈가 바뀌는 순간 움찔하게 되는 겁니다~
아이폰11프로 카메라
아이폰에서는 렌즈 전환 '움찔'을 줄이기 위한 노력을 하였는데요. 물리적으로는 3개의 렌즈가 있지만 최대한 하나의 렌즈처럼 구현시키는 겁니다. 위 사진처럼 카메라 렌즈 3개의 위치를 정삼각형 구조로 배열해서 하드웨어 적으로 사진 가운데 시야점을 맞춥니다.
갤럭시s21울트라 카메라 배열
갤럭시S21울트라에서는 4개의 렌즈가 있지만, 'ㅏ'과 같은 배열입니다. 아이폰 대비 물리적으로 렌즈 전환 시 더 움찔할 수밖에 없습니다.
이러한 HW 노력뿐 아니라, 아이폰 카메라는 광각 + 초광각 카메라를 서로 겹쳐놓고 실시간으로 서로의 시야각, 위치를 계속 잡는 SW 보정 과정이 들어가는 것으로 보입니다.
보정이 들어가는 것은 위에처럼 카메라 프리뷰 화면에서 두 개의 렌즈 시야가 영상으로 보여주기 때문이죠. 둘 사이에 어느 정도 오차는 발생하지만 처음 아이폰 11프로를 봤을 때 애플은 사용성 개선에 미쳤다는 생각밖에 들지 않았어요.
UI 적 측면에서도 카메라 센서 해상도(3:2) 비율과 스마트폰 디스플레이 해상도(19.5 : 9) 비율 차이로 사용되지 않았던 검은색 레터박스 영역을 살리는 효과도 있었고요.
그로 인해 아이폰에서는 '프레임 밖 캡처'라는 새로운 기능을 만들어서 카메라 프리뷰에 (사진 찍기 전 미리 보기 화면) 광각 + 초광각 2개의 화면을 동시에 뿌려주는 것을 가능하게 됐습니다. (새로운 HW 설계 -> 아이폰만의 SW 기능)
아이폰 카메라 망원줌 2.4-> 2.5x 전환
이러한 노력에도 불구하고, 위 영상을 보시면 아이폰 12 프로맥스의 2.4x <-> 2.5x 렌즈 변경 구간이 되면 약간의 티가 납니다. 특히 아이폰 화면의 가운데는 렌즈가 전환됐다는 티가 안 나지만, 모서리 쪽으로 갈수록 전환됐다는 티가 시각적으로 더 표현됩니다.
좌 - 초광각 카메라 왜곡 보정 OFF, 우 - 왜곡 보정 ON
그 이유는 카메라 렌즈 배율에 따라서 왜곡률이 달라서 그래요. 특히 사진 끝부분으로 갈수록 왜곡이 더 커 보이고, 가운데 부분으로 갈수록 왜곡이 줄어들어 보입니다. (짧게 설명)
위 사진을 보면 실제로는 직선형태의 건물이지만, 초광각 카메라로 찍었더니 둥그렇게 찍혔어요.
왜곡률을 쉽게 이해하시려면, 갤럭시 스마트폰 전면 카메라에는 2개의 화각 조절 버튼이 있는데요. 실제로 물리적 렌즈는 하나지만, 디지털 줌으론 약간 더 확대해서 굴곡이 많이 되는 사진 외각을 쳐내고요.
사진이 확대되니 스마트폰과 얼굴의 물리적 거리를 자연스럽게 띄우게 되는 효과를 갖게되면서 카메라에 대한 지식 없이 셀피 오이 현상을 자연스럽게 줄이는 것이죠.
그럼 아이폰에서 자연스러운 줌은 어떻게 구현될까?
갤럭시S20울트라
드디어 본론입니다. 스마트폰 멀티 카메라에서 줌할 때 위에처럼 2개의 센서를 프리뷰 화면에서 합성하게 됩니다.
1x 광각렌즈, 5x 망원렌즈의 스마트폰으로 예시를 들면, 1x 광각 -> 5x 줌버튼 누름 -> 사진 가운데부터 5배줌 센서와 1배줌이 합성되면서 점점 확대됨. -> 5x 도착.
1x -> 5x 망원 카메라로 확대되는 과정에서 렌즈간의 시야각, 왜곡률 등 조건이 다르기 때문에 렌즈 간 합쳐지는 부분이 자연스럽게 합성이 되면서 확대, 축소가 되지 못하게 됩니다. 그래서 프레임 낮은 동영상처럼 버벅대게 될 수밖에 없습니다.
아이폰은 2개의 렌즈가 합성되면서 줌이 될 때, 위 사진처럼 합성구간 티가 나는 모서리를 실시간으로 자릅니다. 원형 형태로 합성을 시작하고요. 게다가 그라데이션을 이용하여 가운데는 진하고, 밖으로 갈수록 연해집니다.
이런 방법으로 2개의 렌즈 합성이 워낙 자연스러워져서 사용자가 시야각이 다른 두 개의 렌즈를 합성하고 있다는 사실조차 알기 어렵습니다.
단순한 아이폰 특유의 애니메이션 효과라고 사용자는 생각하게 됩니다. 눈으로는 보이지 않지만, 자연스러운 줌 효과를 구현하기 위해 뒤에서 별짓 다하고 있는 거죠.
왜곡 구간이 끝나면, 센서의 네모 모형으로 돌아오면서 나머지 줌이 전환됩니다. 렌즈간의 왜곡 차 문제를 해결했으니, 렌즈 합성을 더 자연스럽게 많은 프레임을 넣어서 할 수 있겠죠?
실제로 줌이 전환되는 속도를 움짤로 만들어봤습니다. 아날로그처럼, DSLR 카메라처럼 렌즈가 전환되는 시각효과를 만들기 위해 이렇게까지 해야되나..?ㅋㅋ 싶기도 합니다. (차라리 화질에 좀 더 신경 써줘..)
줌이 되는 과정을 슬로우모션 움짤로 만들어봤습니다. 제 생각에는 줌버튼 누른 후 실시간으로 연산이 되면서 프리뷰 화면에 보여주는 것이 아니고요.
줌버튼을 누른 후 이미 줌 되는 모든 과정을 연산을 끝맞힌 후에 카메라 프리뷰 화면에 보여주는 게 아닌가 싶습니다. 왜냐면, 발열이 심한 어떠한 상황에서도 절대 버벅임을 느낄 수가 없었어요. 전환되는 프리뷰가 실시간으로 처리하면서 보여주기엔 너무 부드러워요.
아이폰 카메라 자연스러운 줌 슬로우모션
1x -> 2.5x를 눌렀을 때, 2.4x -> 2.5x 처럼 사진 가운데 부분에서 약간의 위치전환도 보여지지 않습니다. 미리 연산해서 2.4x -> 2.5x 전환되는 부자연스러움도 SW보정하여 버벅이는 구간까지 완화한 걸로 보입니다.
줌이되는 과정 연산 후 -> 화면 표시 방법은 딜레이가 느껴질 만큼 길어져야 정상인데 괴물같이 딜레이를 체감하기 어렵습니다.
강력한 AP 프로세서가 있기 때문에 가능한 일.
흔히들 게임도 안 하는데 스마트폰 성능 빨라져서 뭐하냐? 라는 소리도 많이 하지만, 프로세싱 파워 증가 -> 새로운 기능 + 사용성 증대라는 것을 구현할 수 있습니다.
특히 AP 안에는 CPU, GPU뿐 아니라 ISP, AI 칩도 있어요. 매년 전력 대비 성능이 좋아지고 있고요. 카메라 앱 쓰면 괜히 뜨거워지고, 램부족으로 꺼지고 백그라운드 다 꺼지는 게 아닙니다.
갤럭시S21울트라 1x~3x 줌 슬로우모션 영상
정리해봅니다. 갤럭시 카메라 대비 아이폰 카메라 줌이 자연스럽게 되는 이유!
1. 멀티카메라 HW 디자인이 시야점을 위해 삼각형을 그리고 있음.
2. 멀티카메라 여러 개의 렌즈를 실시간으로 동일 시야점으로 합성하는 뛰어난 알고리즘.
3. 줌이 되는 과정에서 모서리 그라데이션 효과, 원형 < -> 네모 형태를 사용하고 있음.
4. 줌을 누르면 모든 연산을 끝낸 후 프리뷰 화면에 줌과정을 뿌려줌.
5. 모든 것을 가능하게 만든 애플 바이오닉 A 시리즈 AP.
아이폰 vs 갤럭시 카메라 정답은 없다.
아이폰 최고! 라는 글이 아닙니다. 갤럭시와 아이폰의 추구하는 방향이 다를 뿐이에요. 한정된 AP 프로세싱 파워를 어디에 집중하냐 차이입니다.
사진은 결과로 말한다. 화질 짱짱 -> 갤럭시
결과보단 찍는 과정과 유저들의 사용성, 경험이 더 중요해 -> 아이폰
사실 어찌보면 0.3초?도 안되는 애니메이션인데 이렇게까지 해야하나 싶기도 합니다..ㅎㅎ
'seamless'
조그만 차이가 명품을 만든다는 말이 있죠.
즐겁게 읽었습니다. :)
특히 S21 카메라 셔터릭과 미친듯한 발열을 볼 때마다
얘는 아11 A13 보다 확실히 딸리구나..아직도 란 생각밖엔 안 들어요
그러니까 제발 지문인식이랑 USB-C좀 안되겠니?
실제 사용할수록 편해서 페이스아이디랑 라이트닝 남겨둔건가보네요
갤럭시 좋다고 하지만 사진결과물 보면 너무 보정이 덕지덕지에 샤픈과 과도한 색보정이 눈쌀을 찌푸리게 만들더군요...
그,근데.. 중간에 보이는 엠피쓰리들... 아이리버 맞죠? 진짜 오랜만에 보네요 ㅜㅜㅜㅜㅜㅜ
갤럭시도 이번에 폴드3보니까 예전 생각하면 훨씬 자연스러워졌습니다. 한정된 자원에서 최선을 다한걸로 보입니다.
다만 하나 이해가 되지 않는 부분이 있는데요.
" 아이폰에서는 렌즈 전환 '움찔'을 줄이기 위한 노력을 하였는데요. 물리적으로는 3개의 렌즈가 있지만 최대한 하나의 렌즈처럼 구현시키는 겁니다. 위 사진처럼 카메라 렌즈 3개의 위치를 정삼각형 구조로 배열해서 하드웨어 적으로 사진 가운데 초점 부분을 맞춥니다."
1. 렌즈의 위치와 사진가운데 촛점을 맞추는건 어떤의미이실까요?
2. 화각이 바꾸는 상황에 관련되는 렌즈는 2개 인데, 3개를 배열해놓은 모양이 다른게 어떻게 물리적으로 연관을 가질까요? 만약 0.5배 1배 2배 렌즈가 있다고 가정하면,
0.5배에서 2배로 바로 가지 않는 한은 그리 영향이 있나요? (사실 바로 가도 별 관련이 없을 만큼의 렌즈 거리 일것 같습니다만..)
그 잠깐 짧게 어색해지는 부분도 DSLR 카메라가 한 개의 렌즈로 화각을 조절할때의 자연스러운 동작처럼 표현하기 위해서 소프트웨어적으로 보정해준다는거 같은데요.
아이폰엔 초점거리가 각기 다른 3개의 카메라가 삼각형으로 배치되어 있는데 각 카메라마다 초점거리가 다르기 때문에 카메라 전환할떄마다 본문에 나온 [아이폰11 언팩, 설명을 위한 극단적 예시 사진] 처럼 사진 초점 위치?가 미세하지만 바뀌게 되는데 그걸 소프트웨어적으로 세 개의 카메라의 초점을 삼각형 배치의 중앙으로 고정시켜서 사용자가 화각을 바꿔도 DSLR이 하나의 렌즈로 화각을 바꾸는것과 비슷하게 자연스럽게 구현시킨다는거 같네요.
별 거 아닌 거지만 이런거에까지 디테일에 신경썼다 정도인거 같습니다. 그런데 그 거에 감동하는 사람들도 꽤 있고 그거 때문에 아이폰을 쓰는 사람들이 있는 거죠.
실제 카메라 렌즈가 3개달려있지만, DSLR처럼 하나의 렌즈로 작동되기 위해 사진 가운데 점을 보정해준다는 의미입니다. HW, SW 모두써서요.
HW보정과정중에 최대한 카메라 3개간의 간격을 동일하게 하여서 보정할 때 수월하기 하구요.
아래분이 설명해주신건 hw적으로 3개의 렌즈가 트라이엔글 형상으로 배치된것과 무관한 설명입니다
3개의 카메라가(줌만 한정하면 2개 겠지요) 동시에 촬영하는 이미지를 실시간으로 보정(배럴디스토션이든 이미지 중점이든)하다가 하나의 렌즈(스맛폰에서는 카메라오 봐도)를 벗어나는 화각의 이미지를 연속적으로 보여줄때 심리스하게 보여주는 처리를 말씀해준거구요.
결국 정삼각 카메라 배열은 아이폰 13 14에 가도 안바뀌겠네요
최근에 나오는 아이패드 프로는 광각, 초광각의 2개 렌즈에 아주 강력한 M1칩셋도 달려있는데, 줌 축소할 때 자연스러운 애니메이션 효과는 커녕 광각으로 바뀔때 마지막에 덜컹 거려요. 어흑마이갓...
아이패드 프로 카메라는 안만져봤는데,, 아마 패드라서 별 신경안썼나 보네요 ㅎㅎ
아이폰 카메라는 블랙박스처럼 촬영버튼 누르기 전에 이미 메모리에 올리는것 같아요
라이브포토 찍어보면 트리거 전 영상이 들어가 있더라구요
아마 그런식으로 여러 상황의 이미지를 실시간으로 종합해서 저장해두었다가 트리거가 발생되면 사용하는것 같기도 합니다.
「아이폰11의 딥퓨전 기능은 셔터 버튼이 눌리기 전까지 빛을 최대한 많이 받아 들인 장노출 사진 4장, 빛을 최대한 적게 받아 들인 단노출 사진 4장을 메모리에 임시로 담아 둔다.
그런 다음 셔터 버튼이 눌리면 조금 더 노출값이 긴 사진을 한 장 찍어 총 9장의 사진을 준비한 다음 노이즈는 최대한 줄이면서 세밀함을 살려낸 사진 한 장을 결과물로 만들어낸다.」
이런 식이라고 하죠. 그래서인지 카메라 앱 한번 열었다 하면 다른 앱들 전부 램부족으로 리프레시 되곤 합니다;;
그리고 프리뷰화면에서 촬영버튼 누르기 전에 HDR합성사진을 위해서 4장미리 찍고 최대 9장까지 찍는 것은
갤럭시도 이미 다 합니다. HDR효과는 오히려 갤럭시가 더 좋습니다.
참고로 갤럭시도 똑같이 해왔고 갤럭시S21는 최대 20장까지 촬영합니다. 아마 아이폰도 요새 매수가 늘긴 했을겁니다.
갤럭시 카메라도 최근들어 램부족이나 발열로 말이 많은데 HW 상황대비 카메라에 요구하는게 넘 많아진거 같아요.
그걸로 보정을 쉽게 하는거 같은데
사용자로썬 그런것 같은데? 정도 추측밖에 할 수 없어서요..ㅎㅎ
제 머리는 아직도 이해를 못하는... ㅎㅎ
저 카메라 모듈에 projection에 필요한 extrinsic/parameter가 정해지는데 보통 이건 업체에서 calibration해서 정해줘요.
재미있는 글 잘 봤습니다.
🐰
일반인이라 말씀하신 용어를 잘 모릅니다ㅠ
평면위에 3개 렌즈의 사진 가운데 부분을 맞추기 위해 보정한다 - > 이 제 생각은 맞는 거죠?
근데 그 보정하는 캘리값을 LG이노텍같은 세트사에서 제공해준다. 이 말씀일까요?
사진 가운데 부분을 맞춘다는 의미를 지금보니 왜 초점으로 썼는지 모르겠네요..ㅋㅋ
좀더 설명을 드리면 3개 카메라 센서 필름평면에 촬영된 이미지를 임의의 평면에 투사할수 있어요. 그러면 그 임의의 평면에 이미지들이 서로 겹쳐지겠죠?
이때 배럴디스토션 같은 왜곡 보정을 사용하고, 여러가지 알고리즘을 이용해서 3개 이미지가 동일 시각에서 본 것과 같도록 보정합니다.
예를 들어서 epipolar line(수평선)응 검출해서 이럴 정렬한다던지… 이러한 연산은 자세히하면 정확하나 실시간처리를 하는 위와 같은 상황에서는 어림으로 빨리 맞추고 광학 특성을 많이 사용할 듯 합니다.
이렇게 평면에서 3개의 사진이 잘 맞춰지게 되면 blending을 하게 되고, 사용자의 화각, 시각(Field of View)를 정해서 평면을 재변환/크롭하게 되면 부드럽습니다.
가상평면에서 3개 (또는 연산을 줄이기 위해 2개)의 평면이 합쳐지는 행위가 휴대전화 안에서 계속 일어나고 있는거에요.
이러한 기법은 파노라마 만들기 또는 VR영상제작에 많이 이용됩니다. ms에서도 photosynth라는 아플을 만들었는데 재미있는 응용입니다 ㅎㅎ
🐰
이해했습니다. 임의의 평면에 투사하여 보정값을 도출해 낸다는 의미군요. 실시간 처리이니 광학적 특성을 이용하는게 더 간소화된다는 말씀이구요
설명 감사합니다 ㅎㅎ
문득 시대와 맞는 글이 올라와서 제가 오해 했나보네요.. 글이 1개 있더군요.. 그래서 오해 한것 같습니다.
글이 1개 있다는게 무슨 말씀이신지요.
이 분은 오랫동안 많은 글을 쓰시고 계신데요.
ㅎㅎ 좋은 정보 감사합니다.
세 렌즈 가운데 부분으로 초점을 맞춘다는 부분에서 초점 보다는 시야각이라고 표현하는게 맞을것 같습니다.
댓글중에 현직자분께서 관련 내용 적어주신것 같네요
습관적으로 초점이라 적었네요 ㅠ
이런 부분이 있다고 생각합니다.
그 기종이 낼 수 있는 성능에서 기준에 못미치면 과감히 기능 제외되는거라고 생각합니다.
옛날 아이폰 3g 때만해도
분명 똑같은 카메라 모듈을 쓰는데, 아이폰은 스틸사진만 찍는 걸로 되어 있었고
기타 회사들은 320 X 240, 640X480, 1024X768 등 사이즈 선택 기능을 줬죠.
뭐가 옳다. 좋다..의 의미가 아니라, 그냥 애플은 저런 기준으로 움직인다....라는 생각이 드네요.
맞아요 3G에서 비디오도 안 찍히는데 같은 모듈 쓰는 다른 폰들은 비디오도 찍히고 그래서 도저히 이해가 안 됐죠. 예전에 블루투스나 무선충전역충전기능 등도 그냥 과감히 빼버리고요. UX가 가장 먼저라그런가 과감한 것 같습니다.
새로운 HW는 - > 새로운 기능을 만들어낼 수 있다.
갤럭시보면 요새 싱글테이크같은 신기술, 과거 스펙낮은 폰들에도 완전 동일한 경험은 아니지만, 넣어줍니다.
아마 개발자들은 이런거 엄청 싫어할겁니다. S21기준으로 신기능을 만들었는데 S10까지 넣으라고?
자연스러운 줌은 힘들어도, 아이폰도 하면 또 될겁니다. 안될거 같은데 방법은 다 있나 보더라고요. 정책의 차이같습니다.
말씀하신 것처럼 성능 기준에 못미치니 이럴거면 빼버리자가 의견이 될 수도 있고, 새로운 기능을 구형폰에 다 넣어주면 신형폰 구형폰 차별점이 줄어들어 폰을 안사는 이유도 될 수 있구요. ㅎㅎ
개인적으론 신폰기능을 구형폰에 넣어줄 시간에 아이폰처럼 다른업무에 집중하는게 맞지않나 싶네요.
마지막에도 적긴했지만, 애플은 자신들의 카메라파트 역량을 줌전환같이 사용자 사용개선에 가중치를 높이는 것이고,
갤럭시는 사진 결과물인 화질향상에 역량을 집중하기 때문에 갤럭시 사진퀄이 더 좋습니다.
좋은 분석글이네요 감사합니다
다음폰은 아이폰이다
- 아이폰12프로맥스 유저
타이핑 하다가 거꾸로 오타를 교정할 때
스페이스 바를 누르면 커서를 움직일 수 있습니다 앞으로 뒤로
근데 그앞뒤로의 움직임
안드는 뻑뻑하고 ios는 부드럽죠
그리고, 작성자분의 놀라운 분석에 다시한번 감사드립니다... (이런분이 갤럭시 상품기획에 있어야...ㅎㅎ)