아이폰 카메라의 Rining Artifacts와 애플 Pro RAW : 클리앙

평범한 아이폰 유저입니다.

이번에 xs max에서 14 pro max로 단숨에 워프 업그레이드를 했더니 신박한 기능들 몇 가지가 추가되었더군요.

그 중 가장 관심있던 부분이 바로 Pro RAW지원이었는데요, 애플은 12 Pro 에서부터 본격적으로 12비트 Pro RAW를 지원했으며, 14 Pro 에서는 Photonic Engine 과 결합된 고화소 48M RAW를 지원하기 시작했죠.

사실 Pro RAW는 이전의 Classic RAW와 다르게 다중 이미지 처리(멀티퓨전)을 접목한 Computational RAW Data입니다.

https://developer.apple.com/documentation/avfoundation/photo_capture/capturing_photos_in_raw_and_apple_proraw_formats

이 기술은 작은 이미지 센서를 가진 스마트폰 카메라의 특성상 필연적으로 수광 면적이 줄어들어 SNR과 DR이 현저히 떨어지게 되는 단점을 극복하고자 설정값이 다르게 촬영된 다중 이미지를 합성해서 고품질의 결과물을 생성하는 이미지 프로세싱 기술인데, 애플 뿐만 아니라 최근 많은 스마트폰 제조사들도 이와같은 기술을 채용하고 있는 추세이지요.

카메라 이미지 센서와 화질에 관한 기술적인 부분은 어떤 고수분이 아래 블로그에서 잘 정리해 두었네요. 관심 있으신 분들은 참고하시면 좋을 것 같습니다.

http://shotgunlee.egloos.com/9289101

아무튼, 아이폰 14 Pro RAW (특히 24mm 모드)가 꽤 좋다는 것은 이미 많은 정보를 통해 알려져 있습니다만, 정작 일상의 실용에서 써야 될 만큼 명확한 차이가 존재하는지, 또 어떤 상황에서 유용한지에 대해서는 명확한 정보가 별로 없는 것 같아서, 저의 조촐한 지식과 얼마간 사용한 경험을 토대로 간단히 정리해 봤습니다.

일단 아이폰 카메라에서 지원하는 이미지 포맷은 JPEG(H264)와 HEIF(H265)그리고 Pro RAW 입니다. 그리고 아시다시피 RAW를 제외한 나머지 포맷에서는 용량이 적은 대신 이미지 프로세싱 과정에서 손실압축을 사용하므로 화질이 저하되게 됩니다.

아래는 같은 장면을 두 가지 포맷(HEIF/RAW)으로 촬영한 결과물 입니다.

*iPhone Apple RAW 촬영 설정 : https://support.apple.com/ko-kr/HT211965

*아이폰 14 pro 카메라는 기본 카메라(24mm)의 자동 모드(HEIF)에서 12M만을 지원하므로 나름 공정? 을 기하기 위해 2x카메라(48mm-Crop)에서 촬영했습니다. (물론 광각을 쓴다면 RAW 설정을 12M로 낮추면 됩니다.)

두 결과물은 비슷해 보이지만 자세히 보면, 몇 가지 차이를 확인 할 수 있습니다.
A. Ringing Artifacts 발생 B. 부족한 다이나믹 레인지로 하이라이트 손실 C. Color bit depth 한계로 인한 색 표현력 부족

AD컨버터를 통해 디지털화 된 이미지 데이터를 압축 이미지 포맷으로 시각화 하기 위해 프로세싱하는 과정에서 필연적으로 수많은 이미지 정보의 로스가 발생합니다.

가시적으로 최대한 차이가 없는 한도에서 색상 정보를 덜어내고, 다이나믹 레인지를 몰아서 커팅하며, 노이즈를 AI 알고리즘으로 밀어버린 후 다소 밍밍하고 흐릿한 결과물에 샤프닝을 적용하여 만들어진 압축 이미지가 iPhone 카메라 자동모드(HEIF)의 사진 입니다.

20~30MB가 넘는 Pro RAW(12M) 파일의 용량을 10-12배 낮은 HEIF의 그것과 비교하면 아이폰의 이미지 프로세싱 엔진이 얼마나 큰 일을 했는지 짐작 할 수 있습니다만, 문제는 이렇게 한번 압축되어 만들어진 이미지 퀄리티는 개선하기 어렵다는 것이죠. 특히 피사체 가장자리에 후광처럼 발생하는 Ringing Artfacts(or Halo Artifacts)가 문제입니다.

https://en.wikipedia.org/wiki/Ringing_artifacts

사실 제가 예전부터 폰카에 큰 기대를 하지 않았던 이유가 이것 때문이기도 한데요.

아이폰 14 Pro 의 두 가지 모드로 촬영한 다른 사진을 보시죠.

숲의 잔가지 부분을 100% 확대한 HEIF결과물을 보시면, 이미지 압축 과정에서 발생한 Artifacts를 개선하기 위해 과도한 노이즈 리덕션이 들어가 원래 잔가지 고유의 색상이 날아가고 디테일이 뭉개져 버렸죠.
이러한 이미지는 예전에 똑딱이라고 일컫는 콤팩트 디카에서 흔히 볼 수 있는 그것과 동일한 현상입니다.
반면 컴퓨터의 RAW Editor(ACR)로 기본 프로필을 적용해서 로드한 DNG 결과물은 잔가지의 경계가 부드러우면서도 섬세한 디테일이 살아있는 것을 확인 할 수 있습니다.

사실 손실 압축 이미지에서 컬러나 다이믹 레인지, 노이즈 등은 그런대로 넘어갈 수 있지만, 이렇게 과도한 샤프닝의 결과물 처럼 보이는 Artfects는 거슬리는 경우가 많습니다.

이러한 부작용에 대한 분석은 아래 DxO Mark의 72번 Artfacts 테스트에서도 보실 수 있는데, 아이폰 14 프로는 센서는 커졌지만, 화소수가 높아지면서 전작에 비해 오히려 아티팩트가 심해졌음을 알 수 있습니다.

https://www.dxomark.com/apple-iphone-14-pro-camera-test-results/

다행히 Apple RAW를 지원하면서 Artifacts 문제는 대부분 해결이 가능합니다.

물론 엄청난 용량을 잡아먹으니 문제가 일어날 만한 장면을 예측해 보고, 필요한 때에만 RAW로 촬영 하시는 것이 좋습니다 .

RAW 촬영 모드를 선택하면, 카메라 센서와 ADC를 거쳐 들어온 화상 데이터를 (시각화 이미지로 변경하기 위한 이미지 프로세싱을 거치지 않고) 그대로 뽑아 *DNG(RAW) 파일로 만듭니다.

이를 위해 애플은 의외적으로 폐쇄성을 배제하고 어도비와 제휴하여 범용 오픈 네거티브 RAW 파일인 DNG를 지원하기 시작했고, 어도비도 라이트룸, ACR과 같은 RAW 편집 소프트웨어에 아이폰 PRO 카메라 RAW 컬러 프로필을 공식 지원합니다.

https://helpx.adobe.com/camera-raw/digital-negative.html

*Apple Pro RAW는 엄밀히 말하자면, 호환성을 위해 이미지 프로세싱의 한 단계인 컬러 베이어를 거친 후 생성한다고 합니다. 아래 링크에 애플용 RAW 앱 개발자인 Ben Sandofsky가 이에 대한 내용을 언급한 내용이 있습니다.

https://petapixel.com/2020/12/21/understanding-apple-proraw/

끝으로 아시는 분은 다 아시는 내용이지만, 애플 Pro RAW파일을 컴퓨터로 가져와서 Ringing Artifacts를 최소화 하는 간단한 팁을 공유하겠습니다. 고수분들은 스킵하시기 바랍니다~

아이클라우드에서 Apple Pro RAW 파일 가져오기.

아이클라우드에서 사진을 띄운 후 i 아이콘을 클릭하면 정보를 확인 할 수 있고, 구름 아이콘을 마우스 좌측 버튼으로 꾹 누르고 있으면 DNG 파일을 다운받을 수 있습니다. (우측 점 세 개를 클릭하셔도 됩니다.)

ACR에서 RAW Editing.

다운받은 DNG 파일을 ACR이나 Lightroom에서 열면 Apple ProRaw 컬러 프로필을 로드 할 수 있습니다.

색공간은 어도비 RGB 이상을 사용하시고(물론 모니터가 받쳐줘야 합니다.) 심도는 16비트로 세팅합니다.

iPhone14 pro 카메라의 JPEG, HEIC, RAW 모드는 이론상 각각 8비트, 10비트, 12비트의 색상 정보를 가집니다.

이 중 RAW를 제외한 나머지는 8비트 모드를 사용합니다. HEIC(HEIF) 컨테이너 안의 결과물도 실제로 JPEG과 같은 손실압축 이미지이므로 포토샵에서 8비트로 열어도 차이가 거의 없습니다.

ACR (or Lightroom) 에서는 이렇게 사용자의 시각화를 통해 RAW 에디터의 변수를 조정하여 이미지를 현상 할 수 있고, 현상을 끝내면 DNG RAW파일 외 별도의 XMP 사이드카 파일이 생성됩니다. 이 메타데이터 파일에는 로우 프로세싱에서 사용된 다양한 설정 값들이 원본 DNG 파일과 링크된 형태로 존재하고, 언제든 ACR에서 열면 최종 조정된 값으로 로드되고 다시 조정 가능한 상태가 됩니다.

즉, ACR에서 아무리 과한 수정 작업을 해도 원본 RAW파일은 손상되지 않습니다.

https://helpx.adobe.com/kr/camera-raw/using/camera-raw-settings.html

기본 포함된 애플 컬러 프로필을 Apple ProRaw 프로필로 변경합니다.

적용된 프로필의 게인을 조절할 수 있습니다.
때때로 어도비에서 만든 Apple Pro RAW프로필보다, 파일에 포함된 애플 자체 프로필이 더 나은 경우도 있습니다.

뭐 어차피 RAW파일의 관용도 안에서 ACR에서 대부분 조정이 가능하니 큰 의미는 없습니다.

사실 항상 이러한 “과도하게 선명한” Artifacts가 모든 경우에서 문제가 되는 것은 아닙니다. 인물이나 단조로운 피사체의 경우에는 이러한 샤픈 프로세싱이 가시적으로 이미지 퀄리티를 높이는데 상당한 효과가 있습니다. 제조사에서 괜히 이 알고리즘을 기본값으로 적용하고 있는 것이 아니지요.

실례로 아래 DNG(RAW) 결과물의 전경의 큰 나무 몸통을 보시면 전반적인 이미지 퀄리티는 좋지만, 선명함은 오히려 JPEG보다 덜 해 보입니다. 전경의 다소 밋밋한 디테일을 가진 나무 몸통과 원경의 세밀한 디테일이 달라서 일괄으로 같은 Radius 값의 샤프닝을 적용하게 되면, 전경 나무 몸통이 덜 선명해 보이는 것이지요.

이때는 Radius 수치를 변경하고, 비교적 단순한 디테일을 가진 전경의 큰 나무 몸통에만 마스크를 씌워 부분적으로 강한 값의 샤프닝을 적용할 수 있습니다.