올해 WWDC에서 애플은 iOS 11과 macOS High Sierra 부터 HEIF 포맷과 HEVC 코덱을 지원하겠다고 발표했습니다.

평소 영상 코덱에 대해 관심이 많았던지라 이것이 갖는 의미와 파급 효과에 대해 정리해보려고 합니다.

먼저, HEVC(H.265)는 AVC(H.264) 코덱의 후계가 되는 국제 표준 영상 압축 코덱으로, 2013년초에 완성되었습니다.

[출처 : x265.com]

성능은 AVC 코덱보다 50% 이상 향상되어, 절반의 용량으로 동등한 화질의 동영상을 만들 수 있고, 동영상 뿐 아니라 정지영상(Intra Frame) 압축 효율도 높아져서 기존 JPEG의 절반 가량의 용량으로 같은 화질을 낼 수 있게 되어 있습니다. 이를 응용한 BPG 이미지 포맷이 나와서 마이너하지만 인기를 끌었었죠. (참고로 꿀뷰가 bpg 지원합니다)

한편, HEIF 포맷은 HEVC 코덱을 기반으로 하는 이미지 포맷으로, 다음과 같은 강력한 기능을 가지고 있습니다.

- 여러 개의 이미지를 하나의 파일에 넣을 수 있음.

- 애니메이션 가능. 무손실 압축 가능. HDR 지원.

- HEVC 기반이므로, 정지 이미지의 경우 jpg대비 1/2 용량, 움짤의 경우 gif 대비 1/4 이하 용량으로 같은 화질 구현

- 크롭하거나 회전 시켜도 원본을 손상시키지 않음. 비파괴 편집 지원.

- 깊이값을 가진 이미지, 투명도를 가진 이미지 등을 지원.

- 사운드나 자막을 내장할 수 있음

- EXIF나 XMP 같은 메타 데이터 지원

참고 : https://nokiatech.github.io/heif/

스펙을 보면 그동안 나왔던 JPG, GIF, PNG, APNG, WebP 등등.. 의 장점을 다 흡수하면서 더 강력한 포맷입니다.

그런데 2년 전 등장했을 때, BPG보다도 주목을 못받았죠. 이렇게 좋은게 왜 이제야 세상에 알려지게 된 걸까요?

여기에는 복잡한 어른의 사정이 얽혀 있습니다.

그동안 이미지와 동영상 코덱 표준안을 만들고 도입하는 과정에는 많은 이해 당사자들과 그들의 이권이 개입되어 있었습니다.

JPG, GIF, MP3 모두 특허 침해 여부와 로열티 지불을 두고 복잡한 송사가 걸려 여러 대형 회사가 수년간 골치 아팠던 업계 컨센서스가 있죠.

"이런 멋진 코덱 표준안이 나왔어요 어서들 쓰세요" 라는 선전을 믿고 덮석 물었다가,

로열티 셔틀이 된 경험을 한 여러 회사들은 2000년대 이후, 새로운 코덱 채용을 유보하거나 아예 자체 코덱을 개발하게 됩니다.

MS는 VC1을 만들고 구글은 On2를 사서 VP8/VP9을 공개했고 모질라(Xiph)는 Vorbis, Theora, Opus 등을 만들었죠.

이런 움직임이 본격화된 2010년대에 등장한 HEVC는 미운오리새끼가 됩니다.

성능 자체는 군계일학이었지만, HEVC에 포함된 개별 기술 특허로 돈을 벌려는 곳이 난립하게 되자, (현재 MPEG LA, HEVC Advance, Velos Media 세 개의 특허 풀이 각각 사용료를 징수하고 있고, 추가로 더 생겨날 가능성도 있습니다.)

당장 4K 송출을 위해 대역폭이 아쉬운 방송 업계 이외에는 HEVC 채택을 꺼리게 되죠.

성능은 좀 떨어지더라도 공짜 대안들이 많아졌으니까요.

(실제로 현재 가장 널리 쓰이고 있는 스트리밍 코덱은 VP9입니다. 유튜브와 넷플릭스가 쓰고 있어요)

게다가 구글을 중심으로 한 모질라, 시스코 등은 특허 문제를 회피하면서 HEVC를 능가하는 새로운 코덱 표준을 만들기로 합의하고 AOM 이라는 단체를 발족하게 됩니다. 이 코덱은 AV1 이라는 이름으로 올해 말 공개될 예정이며, HEVC보다도 35% 정도 효율이 좋은 코덱이 될 것으로 알려져 있습니다. (HEVC가 워낙 최신 기술을 다 넣은 코덱이라 거기서 35% 향상은 굉장한 성과입니다.)

이제 자본주의로 얼룩진 특허 코덱의 시대는 끝나고 고성능 무료 코덱의 시대가 올 것으로 모두 생각했습니다.

[출처 : https://bitmovin.com/bitmovin-supports-av1-encoding-vod-live-joins-alliance-open-media/ ]

근데 AOM에 애플이 참가를 안했어요. MS, Intel, AMD, IBM, ARM, NVIDIA, Amazon, Netflix 등등 업계 거물들이 다 합류했는데 애플만 없는 상황이었습니다. 그래도 눈치 보다가 결국은 대세를 따라 합류할 것으로 예상했었는데..

이번 WWDC에서 애플이 덜컥 HEVC를 적극적으로 사용하겠다고 해버린 거죠.

AV1 코덱 출시가 가까워 오자 불안감을 느낀 HEVC 특허권자들이 싼값에 애플과 합의를 하지 않았을까 하는 심증이 드는 한편, 구글을 포함한 AOM 멤버들은 상당한 배신감을 느꼈을 것으로 봅니다.

그러면, 다시 대세가 HEVC 표준을 수용하는 쪽으로 흐를까요? 영상 코덱을 둘러싼 어른들의 사정은 결국 어떻게 될까요?

제 예상은 이렇습니다.

애플은 로열티 문제 클리어 했으니 적어도 5년 이상 자기네 생태계에서 HEVC와 HEIF로 뽕을 뽑아 먹을 겁니다. OS에서 막아뒀을 뿐, 이미 아이폰6부터 하드웨어 가속 기능이 들어 있었으니 HEVC 코덱의 성능과 HEIF 포맷의 강력한 기능을 당장 실용적으로 사용하는데 문제가 없습니다.

그러나 이것이 웹이나 PC, 안드로이드까지 확산되기는 힘들 것입니다.

다른 회사들은 HEVC 코덱의 라이선스 리스크를 감당할 생각이 전혀 없거든요.

애플도 이를 짐작하는지 현재 베타중인 Safari 11이 HEIF를 지원하지 않습니다.

웹에까지 적극적으로 퍼트릴 생각은 없다고 해석할 수 있을 것 같습니다.

대신 올해 말에 AV1 규격이 확정 되면 AV1에 기반하면서 HEIF와 HEVC 영상을 상위호환할 수 있는 표준 컨테이너가 내년에는 나올 것으로 봅니다. AV1 하드웨어 가속도 신규 칩에 탑재가 되기 시작할 것이고요.

그렇게 되면 HEVC와 AV1 코덱 사이의 보이지 않는 전쟁이 시작될 것인데, 아마도 3년 정도 걸리겠지만 결국은 AOM 진영이 이길 것으로 예상합니다. AV1 코덱은 공짜인데다 성능도 확실히 더 좋고, 구글이 WebM 내놓았던 5년 전과는 달리 이번엔 우군이 많으니깐요.

이놈의 코덱 로열티 때문에 JPG와 GIF 같은 구닥다리가 30년 가까이 컴퓨터 세상을 지배하고 있는데, (둘 다 특허 만료됨)

수 년 안에 코덱 전쟁이 종식되고 다음 세대의 표준 코덱으로 넘어갈 수 있길 기대해 봅니다.

(추가) 2018년 1월 4일, 애플도 결국 AOM 진영에 합류한 것이 확인되었습니다!