올해 WWDC에서 애플은 iOS 11과 macOS High Sierra 부터 HEIF 포맷과 HEVC 코덱을 지원하겠다고 발표했습니다.
평소 영상 코덱에 대해 관심이 많았던지라 이것이 갖는 의미와 파급 효과에 대해 정리해보려고 합니다.
먼저, HEVC(H.265)는 AVC(H.264) 코덱의 후계가 되는 국제 표준 영상 압축 코덱으로, 2013년초에 완성되었습니다.
[출처 : x265.com]
성능은 AVC 코덱보다 50% 이상 향상되어, 절반의 용량으로 동등한 화질의 동영상을 만들 수 있고, 동영상 뿐 아니라 정지영상(Intra Frame) 압축 효율도 높아져서 기존 JPEG의 절반 가량의 용량으로 같은 화질을 낼 수 있게 되어 있습니다. 이를 응용한 BPG 이미지 포맷이 나와서 마이너하지만 인기를 끌었었죠. (참고로 꿀뷰가 bpg 지원합니다)
한편, HEIF 포맷은 HEVC 코덱을 기반으로 하는 이미지 포맷으로, 다음과 같은 강력한 기능을 가지고 있습니다.
- 여러 개의 이미지를 하나의 파일에 넣을 수 있음.
- 애니메이션 가능. 무손실 압축 가능. HDR 지원.
- HEVC 기반이므로, 정지 이미지의 경우 jpg대비 1/2 용량, 움짤의 경우 gif 대비 1/4 이하 용량으로 같은 화질 구현
- 크롭하거나 회전 시켜도 원본을 손상시키지 않음. 비파괴 편집 지원.
- 깊이값을 가진 이미지, 투명도를 가진 이미지 등을 지원.
- 사운드나 자막을 내장할 수 있음
- EXIF나 XMP 같은 메타 데이터 지원
참고 : https://nokiatech.github.io/heif/
스펙을 보면 그동안 나왔던 JPG, GIF, PNG, APNG, WebP 등등.. 의 장점을 다 흡수하면서 더 강력한 포맷입니다.
그런데 2년 전 등장했을 때, BPG보다도 주목을 못받았죠. 이렇게 좋은게 왜 이제야 세상에 알려지게 된 걸까요?
여기에는 복잡한 어른의 사정이 얽혀 있습니다.
그동안 이미지와 동영상 코덱 표준안을 만들고 도입하는 과정에는 많은 이해 당사자들과 그들의 이권이 개입되어 있었습니다.
JPG, GIF, MP3 모두 특허 침해 여부와 로열티 지불을 두고 복잡한 송사가 걸려 여러 대형 회사가 수년간 골치 아팠던 업계 컨센서스가 있죠.
"이런 멋진 코덱 표준안이 나왔어요 어서들 쓰세요" 라는 선전을 믿고 덮석 물었다가,
로열티 셔틀이 된 경험을 한 여러 회사들은 2000년대 이후, 새로운 코덱 채용을 유보하거나 아예 자체 코덱을 개발하게 됩니다.
MS는 VC1을 만들고 구글은 On2를 사서 VP8/VP9을 공개했고 모질라(Xiph)는 Vorbis, Theora, Opus 등을 만들었죠.
이런 움직임이 본격화된 2010년대에 등장한 HEVC는 미운오리새끼가 됩니다.
성능 자체는 군계일학이었지만, HEVC에 포함된 개별 기술 특허로 돈을 벌려는 곳이 난립하게 되자, (현재 MPEG LA, HEVC Advance, Velos Media 세 개의 특허 풀이 각각 사용료를 징수하고 있고, 추가로 더 생겨날 가능성도 있습니다.)
당장 4K 송출을 위해 대역폭이 아쉬운 방송 업계 이외에는 HEVC 채택을 꺼리게 되죠.
성능은 좀 떨어지더라도 공짜 대안들이 많아졌으니까요.
(실제로 현재 가장 널리 쓰이고 있는 스트리밍 코덱은 VP9입니다. 유튜브와 넷플릭스가 쓰고 있어요)
게다가 구글을 중심으로 한 모질라, 시스코 등은 특허 문제를 회피하면서 HEVC를 능가하는 새로운 코덱 표준을 만들기로 합의하고 AOM 이라는 단체를 발족하게 됩니다. 이 코덱은 AV1 이라는 이름으로 올해 말 공개될 예정이며, HEVC보다도 35% 정도 효율이 좋은 코덱이 될 것으로 알려져 있습니다. (HEVC가 워낙 최신 기술을 다 넣은 코덱이라 거기서 35% 향상은 굉장한 성과입니다.)
이제 자본주의로 얼룩진 특허 코덱의 시대는 끝나고 고성능 무료 코덱의 시대가 올 것으로 모두 생각했습니다.
[출처 : https://bitmovin.com/bitmovin-supports-av1-encoding-vod-live-joins-alliance-open-media/ ]
근데 AOM에 애플이 참가를 안했어요. MS, Intel, AMD, IBM, ARM, NVIDIA, Amazon, Netflix 등등 업계 거물들이 다 합류했는데 애플만 없는 상황이었습니다. 그래도 눈치 보다가 결국은 대세를 따라 합류할 것으로 예상했었는데..
이번 WWDC에서 애플이 덜컥 HEVC를 적극적으로 사용하겠다고 해버린 거죠.
AV1 코덱 출시가 가까워 오자 불안감을 느낀 HEVC 특허권자들이 싼값에 애플과 합의를 하지 않았을까 하는 심증이 드는 한편, 구글을 포함한 AOM 멤버들은 상당한 배신감을 느꼈을 것으로 봅니다.
그러면, 다시 대세가 HEVC 표준을 수용하는 쪽으로 흐를까요? 영상 코덱을 둘러싼 어른들의 사정은 결국 어떻게 될까요?
제 예상은 이렇습니다.
애플은 로열티 문제 클리어 했으니 적어도 5년 이상 자기네 생태계에서 HEVC와 HEIF로 뽕을 뽑아 먹을 겁니다. OS에서 막아뒀을 뿐, 이미 아이폰6부터 하드웨어 가속 기능이 들어 있었으니 HEVC 코덱의 성능과 HEIF 포맷의 강력한 기능을 당장 실용적으로 사용하는데 문제가 없습니다.
그러나 이것이 웹이나 PC, 안드로이드까지 확산되기는 힘들 것입니다.
다른 회사들은 HEVC 코덱의 라이선스 리스크를 감당할 생각이 전혀 없거든요.
애플도 이를 짐작하는지 현재 베타중인 Safari 11이 HEIF를 지원하지 않습니다.
웹에까지 적극적으로 퍼트릴 생각은 없다고 해석할 수 있을 것 같습니다.
대신 올해 말에 AV1 규격이 확정 되면 AV1에 기반하면서 HEIF와 HEVC 영상을 상위호환할 수 있는 표준 컨테이너가 내년에는 나올 것으로 봅니다. AV1 하드웨어 가속도 신규 칩에 탑재가 되기 시작할 것이고요.
그렇게 되면 HEVC와 AV1 코덱 사이의 보이지 않는 전쟁이 시작될 것인데, 아마도 3년 정도 걸리겠지만 결국은 AOM 진영이 이길 것으로 예상합니다. AV1 코덱은 공짜인데다 성능도 확실히 더 좋고, 구글이 WebM 내놓았던 5년 전과는 달리 이번엔 우군이 많으니깐요.
이놈의 코덱 로열티 때문에 JPG와 GIF 같은 구닥다리가 30년 가까이 컴퓨터 세상을 지배하고 있는데, (둘 다 특허 만료됨)
수 년 안에 코덱 전쟁이 종식되고 다음 세대의 표준 코덱으로 넘어갈 수 있길 기대해 봅니다.
(추가) 2018년 1월 4일, 애플도 결국 AOM 진영에 합류한 것이 확인되었습니다!
부자는 망해도 3년은 간다에서... 부자가 잡스로 봐도 될것같은데... 언제까지 그 독자적인게 통할지는.... 뭐 개인적인 생각이지만요
거기까진 그래도 괜찮은데, 최악의 시나리오는 AV1 코덱을 바탕으로한 공개 표준안이 W3C 같은 곳에 상정되었을 때 애플이 사파리 점유율을 바탕으로 비토를 놓을 수 있다는 거죠. 자기네껄 표준으로 만들지는 못하겠지만, 그렇다고 남의 것이 표준이 되는 것은 인정 못하는 상황. 이렇게 되면 새 표준이 웹을 포함한 업계 전체에 수용되는데 시간이 더 걸릴 수 있습니다..
애플이 표준 싫어한다는게 사실 가장 웃긴 말이죠.
애플만큼 표준 좋아하다가 뒤통수 많이 맞은 기업도 없을 듯 하네요.
업계 표준말고 산업 표준이요.
원래 표준인 264의 후계에 각국 지상파 UHD 방송 송출이 HEVC로 통일되고 있는데...
산업 표준에 제값 지불하느냐 vs 특허 우회하는 새 표준 시도냐 인거죠.
표준을 따르는 것이 유리할 때는 좋아하고, 불리할 때는 싫어할 뿐이에요.
예를 들어 애플이 아이폰 처음 내놓았을 때는 HTML5를 엄청 밀었지만, iOS 생태계가 확립된 이후로는 오히려 발목을 잡고 있는 상황이죠.
CPU 기능도 봉인하나요...
와 정말 애플의 장사수완 + 소비자 경험 일치시키는 배짱은 참 대단하네요.
삼성 겔럭시에도 다 칲셋에 HEVC지원하지만(아마 겔 4부터 지원 칲셋 내장) 봉인되어 있습니다. 특정 조건에서 사용할 수 있게 되어 있습니다만, 제가 그걸 말할 순 없고..
다 라이센스 비용때문에 그래요.
독자적으로 혼자서 다른 길을 가는 저 자신감!!! 대단하네요
VP9가 망한건 다른 요소도 있겠지만 PC 및 스마트폰 AP에서 HW 인코딩/디코딩 지원이 부실했던게 결정타인걸로 알고 있는데...
2) VP8과 VP9까지의 특허는 클리어된 것으로 보고 있습니다. 구글이 잘 방어하고 있고요, AV1도 코덱 개발과 특허권 관련 리뷰를 병행하며 마일스톤 진행하고 있습니다. AOM 발족하고 처음 6개월은 특허 관련 리뷰만 했던 걸로 압니다.
3) 라이선스 텀이 그렇게 단순하지 않습니다. 하드웨어와 소프트웨어에 따로 물릴 수도 있고, 특허권자가 원한다면 인코딩할 때마다 물릴 수도, 재생할 때마다 물릴 수도 있습니다.
1) 개벌 특허 소소은 언제나 있지요. 다만 표준화 그룹에서 처음부터 로얄티 없이 가냐 아니냐의 차이죠. 이미지는 항상 로얄티 프리, 동영상은 로얄티 부과가 기조인게 보통이었는데 애플이 HEVC 쓰면서 달라지겠죠.
2) VP9 같은 경우는 구글이 잘 방어한게 아니라, 구글에게 못 넘비는 것이 큽니다. 구글하고 싸워 봤지 이득이 별로 없어서이기 때문이지요. 특허괴물들이 별도로 공격은 할 겁니다. 그리고 AOM에서 아무리 6개월 동안 특허만 봤다해도 특허 다 못 잡아냅니다. H.264도 MPEG-LA 안들어가고 따라 공격하는 IP 보유자들이 계속 나오는 것만 봐도 그렇죠.
3) 퀄컴칩 쓰는 장점이 특허 우산을 쳐주기 때문 입니다. 상호 특허 공격 금지, 칩내 IP 관련 특허 다 해결... 이러니까 퀄컴 쓰느 겁니다.
잘 몰랐던 부분인데 감사합니다
파이널 컷에서 프리미어로 넘어가는 흐름때문에
애플이 긴장탄걸까요? 재밌어질거 같네요 ㅎㅎ
https://developer.android.com/guide/topics/media/media-formats.html
링크 확인해 보세요.
안드로이드를 사용하는 모든 디바이스에 HEVC 하드웨어 인코더를 강제하지 못하니 기본 기능으로
못들어가는게 더 맞다고 생각하네요.
어짜피 h.265는 방송 표준이고 최신 스마트폰은 4k동영상을 찍을 경우 hevc로 인코딩합니다.
구글에선 안드로이드 TV도 만들고 있고 해당 셋탑으로 TV를 볼 수 있도록 USB TV 튜너등도 지원 하고 있습니다.
결국 구글이 HEVC를 외면하는 일은 없을 겁니다.
nvidia shield등은 nvidia쪽 sdk를 사용하여 사용자가 encoding 하는것도 가능합니다.
구글포토는 수시로 보관않고 버리는 자료 올리는데 계속 HEVC는 올려도 받아만 놓고 새깧만 화면의 빈 파일로 떠요.
AV1 등장까지 일단 버텨보려는게 보입니다.
보통 안드로이드 카메라들이 4k촬영 등을 하면 영상이 hevc로 떨어지기 때문에 구글 포토에서 안받아 줄리가 없습니다.
업로드 자체는 HEVC가 지원 될테고.. 보관은 VP9등을 사용 하겠죠.
Av1은 저작권문제는 자유롭지만 현재 피씨 시피유와 스마트폰에 장착이 안되어있다는 거군요
결국 코덱을 사든 기기를 사든 돈들어가야는거군요
소비자 입장에서는 이기는 편 우리편!
AV1에 포함된 기술적 내용들이 VP9을 잇는 VP10에 대부분 기반하고 있을 뿐더러, 과거 VP 시리즈들을 비롯해서 AV1에 이르기까지 MPEG 표준기술의 특허 범주에서 사실상 자유롭기는 힘들 것 같기 때문입니다.
실제로 코드 내용들을 살펴 보더라도 AV1의 많은 내용들이 요소 기술별로 MPEG 표준기술의 유사부분을 빗겨가기 위해 엄청 애를 쓰고 있다는 느낌을 받았습니다만, 사실 이런 식으로만 코덱을 구성하게 되면 충분한 압축율을 얻어내는 데 상당히 한계가 있을 수 밖에 없습니다. AOM이 홍보하는 것과는 달리 특정한 영상이 아닌 다수의 일반적인 영상을 대상으로 test했을 경우, HEVC 대비 35% 성능은 사실 무리이기도 하고요.
(어마어마한 복잡도를 감수한다면 가능할 수도 있지만, 그런 경우 실제 application에서 사용은 어려우므로 그렇게 가기는 힘듭니다. 참고로 MPEG 표준회의 내 차기 표준을 준비하는 단계에서 논의중인 기술로 구성된 코덱 성능이 HEVC 대비 30% 전후를 보입니다만, 복잡도는 13~60x, 메모리 사용량은 15x에 이릅니다. 그것도 나름 논의된 내용들 중에서 쓸만한 것들만 추려서 모았다는 것이 이 정도므로, 최적이 아닌 기술들을 끌어모아서 동일 복잡도에서 더 나은 성능을 보이기는 매우 어려운 일이 될 것 같습니다.)
더구나, MPEG 표준기술을 개발하는 회사들 입장에서는 표준에 채택될 정도의 기술을 개발하는 과정에서 그 아류가 될만한 대부분의 기술들에 대해서는 모두 실제 개발/실험을 진행하거나, 최소한 filing까지는 충분히 된 상태에서 open하게 되므로, AV1에서 사용하고 있는 기술들 역시 MPEG 표준기술 관련 업체들의 특허망에서 벗어나기는 어려울 것이라는 생각입니다.
또한, AV1가 release된 후, 초기에는 현재 HEVC patent holder들과 같이 관망하는 형태로 어느 정도는 유지될 수 있겠으나, 만약 industry에 상당히 퍼지거나 할 경우에는, 개별 licensing 혹은 cross-licensing을 위한 공격이 많이 발생할 수 있을 것으로 예상합니다. 특히나 이 부분에서 악명도 높고 MPEG 표준기술 보유량에서도 일정 수준 이상이 되는 퀄컴, InterDigital, MediaTek, Technicolor 등의 업체들이 선두주자가 될 테고요.
댓글이 좀 장황해지긴 했습니다만, 정리하면 HEVC를 비롯한 MPEG 표준 codec들의 아성은 AV1의 공격에도 나름 잘 유지될 것 같다는 것이 제 의견입니다. 물론 소비자 입장에서 업체간의 경쟁을 통한 더 나은 기술의 도입은 환영할만한 일이 되겠지요. :)
물론 MPEG 진영에서도 차세대 코덱을 준비하겠지만, 또다시 특허를 대거 포함하게 될 것이 자명한 만큼, 저는 AOM 쪽을 좀 더 지지해주고 싶네요. 이쪽도 연구자들 수준이 높아서, 단지 sub-optimal한 대안을 찾는게 아니라 기술적인 진전도 많이 이루고 있습니다.
업계에서는 쓰이고 있는 것으로 알고 있습니다.
글 재미있게 잘 읽었습니다. H265를 쓰는 것이 나쁜 일도 아니고, 비표준도 아니고^^
이미 스마트폰들도 지원이 되니, encoding만 그렇게 하면... 될 것 같습니다...
반대도 Av1 하다가 안되면 HEVC 라이센스 받으면 될듯 하고
잘 읽었습니다