지금 이미지 포맷은...
WebP
WebP가 등장하고 10여 년이 흘렀습니다. 움짤 용도로 GIF를 대체하여 그럭저럭 사용되기 시작한 것 같아요. Apple이 한참동안 밍기적거리다가 WebP를 지원함에 따라 사용처가 늘고 있죠. (클리앙은 안 되네요 ㅎ)
GIF 대비 WebP가 용량이 2~3 배 정도 작으면서 화질도 더 좋기 때문에 GIF를 대체해나가고 있습니다.
JPEG
하지만 JPEG의 영역은 아직 공고합니다. WepP가 JPEG를 대체할 정도로 확실한 성능적 이득이 없기 때문이죠.
구글에서는 WepP가 JPEG보다 30% 정도 용량 이득이 있다고 합니다. 그러나 MozJPEG 등의 최적화된 JPEG를 사용하면 이 차이가 10% 미만으로 줄어들어 별 성능 차이가 없게 됩니다.
(사실 JPEG는 “미래에서 온 외계 기술 같다”는 평을 받을 정도로 뛰어난 포맷입니다… 20년 후의 기술과 비빌 수 있을 정도로.)
JPEG 원리 알아보기:
Unraveling the JPEG (parametric.press)
이런 부분 때문에 JPEG는 대체되지 않았습니다. 눈부신 과학의 발전에도 불구하고 30년 된 포맷이 여전히 대세인 것이죠. 그리고 이렇게 공고한 JPEG의 자리를 차지하기 위한 차세대 포맷의 조용한 전쟁이 시작되었습니다.
자자, 차세대 선수 입장~!
차세대 포맷들은 공통적으로 고화질, 저용량, 애니메이션, 투명도 지원 등을 강점으로 내세우고 있습니다.
HEIC
HEIC는 H.265(HEVC) 영상 코덱을 기반으로 한 이미지 포맷입니다.
사실 HEIC는 1 프래임짜리 HEVC 영상이라 생각해도 무방합니다(...). (WebP와 VP8 영상 코덱의 관계도 이와 동일)
H.264(AVC)가 널리 사용되던 2010년대 초반, 넷플릭스, 유튜브 등의 성장으로 영상 트래픽이 폭증했습니다. 이로 인한 저용량, 고화질 영상 압축 포맷 요구에 맞추어, H.265(HEVC)가 개발됐습니다. 하지만 최신 기술을 적극 도입한 H.265는 엄청난 수의 특허 기술을 사용하게 되었고, 이해관계가 얽히고설켜 H.265를 상업적으로 쓰려면 대략 4 개(....)의 특허풀과 각각 계약하여 돈을 내야 하는 상황이 되었습니다.
기업 뿐만 아니라 개인도 HEVC와 HEIC를 사용하기 위해서는 비용을 따로 지불해야 되는 형국입니다.
Apple이나 삼성 스마트폰에서 고효율 사진 저장 포맷으로 쓰는 등으로 어느정도 사용되고 있습니다. 하지만 위의 이유로 주요 웹 브라우저에서 지원이 죄다 드랍돼버리는 바람에 앞날이 밝지 않습니다.
AVIF
AVIF는 AV1 영상 코덱을 기반으로 한 이미지 포맷입니다. (AV1F가 아님에 주의 ㅎ)
HEIC와 마찬가지로, AVIF는 1 프래임짜리 AV1 영상이라 생각하면 됩니다.
2010년대 중반, HEVC 특허 전쟁에 지친 기업들은 합심하여 AOMedia(Alliance for Open Media, 이하 AOM)을 결성하고, 자유롭게 사용 가능한 고성능의 비디오 압축 포맷 AV1을 만들었습니다. FAANG을 비롯한 수십개의 초대형 기업들이 서로의 특허를 오픈하고, 해당되지 않는 특허를 배제하면서 코덱을 만든 것이죠.
이후 유튜브와 넷플릭스의 적극적인 도입으로, 하드웨어 지원이 차차 확대되며 AV1과 AVIF의 사용이 늘어나고 있는 형국입니다.
주요 웹 브라우저들도 적극적으로 도입하고 있어 미래가 밝아 보입니다.
JPEG XL
AVIF의 손실 압축 성능은 좋습니다. 하지만 비손실 압축은 PNG만도 못할 때도 많습니다.
손실/비손실 모두 다루면서 HDR 등 최신 기능을 지원하고 용량까지 적은 궁극의 포맷은 없는 것일까요?
이에 답하고자 JPEG Group에서 직접 칼을 빼들어 새로운 이미지 포맷을 정했으니, 바로 JPEG XL입니다. PIK와 FUIF(FLIF 기반)두 포맷을 결합하여 손실과 비손실 영역 두마리 토끼를 모두 잡도록 했습니다.
JPEG는 물론 HEIC와 AVIF보다 성능이 좋고, PNG 또한 대체할 수 있습니다. HDR 등 최근 기술에 맞춘 기능 또한 물론 지원하구요.
또한 JPG 이미지를 무손실 재압축하여 용량을 20%가량 더 줄일 수 있습니다. Generation loss 없이 포맷의 세대교체가 가능하다는 것이죠.
JPEG XL의 장점 소개 글들:
https://jpegxl.info/
How JPEG XL Compares to Other Image Codecs (cloudinary.com)
Time for Next-Gen Codecs to Dethrone JPEG (cloudinary.com) (한국어 요약)
비교
차세대 포맷의 특징을 비교한 표입니다. JPEG XL 진영에서 만들어 편향이 있을 수 있음을 감안해주세요.
화질과 크기를 직접 보고 판단하기:
Image formats comparison (by Eclipseo)
Codec comparison (by WebP2 team)
조용한 이미지 포맷 전쟁
Google Chrome의 JPEG XL 지원 제외
이렇듯 장점이 많고 다재다능한 JPEG XL 이미지 포맷이지만... 앞날이 밝지 않아 보이는데요.
구글이 크롬 브라우저에서 JPEG XL 지원을 빼 버렸기 때문입니다.
이쪽에 관심있는 많은 이들이 아쉬움과 분노를 표했습니다. 구글이 독점적 지위로 신규 포맷의 미래를 밟아버렸기 때문이죠. (구글 크롬은 웹 브라우저 65%가량을 점유하는 시장 지배자이며, 크로미움 계열 브라우저를 합하면 75% 이상의 점유율을 갖는다. WebP의 정착도 구글의 푸시가 있기에 가능했다.)
구글은 이 결정에 대하여 기존 포맷에 비해 특별히 장점이 없음을 이유로 내세웠습니다. 이와 함께 근거로 내부 벤치마킹 자료를 공개했습니다.
Image Coding Comparisons - by AVIF team
하지만 이 벤치마킹은 여러 방면에서 이상한데요,
Chrome 92 released in July 2021 while these benchmarks are supposedly from last week, so... ?????
It's so that they can exclude a bug fix which increased decode performance up to 3x, which occurred after that version.
─ Reddit 코멘트 중
최적화된 구현이나 공식 구현을 사용하지 않고, 크롬 웹브라우저 내에서 성능을 측정한 것입니다. 심지어 JPEG XL 성능 버그가 있는 구 버전 크롬으로.
이후 버그 픽스된 크롬 버전으로 성능을 다시 측정하였으나, 여전히 화질 기준이 구식(MS-SSIM)에 맞춰져 있다거나, 압축 속도를 Effort라는 애매한 기준으로 비교하는 등, 문제가 한둘이 아닌 상황입니다.
관련 문제를 조목조목 지적하는 JPEG XL 진영의 분석:
The Case for JPEG XL (cloudinary.com)
Contemplating Codec Comparisons (cloudinary.com) (한국어 요약)
구글이 의도적으로 AVIF에 편향된 결과를 발표했음이 의심되는 상황이죠.
Google의 AVIF 밀어주기?
필자는 "구글이 정치적인 의도로 AVIF를 밀고 있다"고 봅니다. 왜 그럴까요?
앞서 언급했듯, AVIF는 H.265의 복잡한 특허와 비용 문제를 해결하기 위해 태어났습니다. 여러 기업들이 공익을 위해 모여 특허 문제 없는 포맷을 공개하고, 더 나은 세상을 만들어 모두에게 행복이 찾아왔습니다.
......
이렇게 모두가 행복해지는 결말이었으면 좋았겠으나... 결국 AV1의 특허를 주장하는 특허풀이 등장했습니다.
엥? 아까 특허 검토했다 하지 않았던가?
사실 특허란 게 워낙 방대하여, 세상의 모든 특허를 검토하는 것은 실질적으로 불가능합니다. 따라서 특허를 들고 조용히 있다가, 비슷해보이는 기술이 등장하면 일단 내밀고 보는 게 가능하죠.
AV1의 사용 조건을 대충 요약하면 이렇습니다. AOM이 합심하여 AV1을 만들어 공개하고, AOM이 갖고있는 AV1 관련 특허권을 주장하지 않겠다. 대신 AV1을 쓰려면 너도 AV1에 해당되는 특허권을 주장하지 마라.
즉, "나 AV1 안 쓸건데? AV1에 들어간 내 특허 사용료 내놔!" 하면 별 도리가 없다는 것이죠...
이런 생각을 가진 회사들을 모아 Sisvel이라는 업체에서 특허풀을 만들었고, 20여개의 회사(단체)의 1529개의 특허권을 주장하며 라이센스비를 받기 시작했습니다.
사실 특허권자 입장에서는 기껏 기술 개발해놨더니 "좋은 게 좋은 거잖아요^^ 좀 같이 씁시다~" 하는 상황일 수 있습니다. 실제로 EU에서 AOM의 이러한 행태가 반독점법에 반할 수 있다 조사를 착수하기도 했습니다.
퀄컴(Qualcomm)에서도 AV1의 특허 라이센싱에 동의할 수 없다는 성명을 냈습니다.
이렇듯 AV1의 취지가 무색해질만한 우려가 발생했고, 이는 구글 입장에서 달갑지 않은 상황입니다. 특허 분쟁이 발생하여 엄청난 소송 비용과 라이센싱비를 부담해야 할 수 있죠.
여기서부터는 필자의 사견입니다.
구글은 이에 대응하기 위해 AV1과 AVIF를 푸시하여 사실상 표준 지위에 올려놓으려 작정한듯 합니다.
일단, AV1이 사실상 표준이 되어버리면 해당 기업들도 AV1을 쓸 수밖에 없고, AV1 사용 조건에 의하여 관련 특허권을 주장하기 힘들어지죠.
또한 AV1을 잘 쓰던 개인 사용자들 입장에서,
"AV1이 공짜라고 해서 해서 잘 쓰고있는데, 갑자기 누가 튀어나와 내게서 돈을 받는다고? 이거 완전 특허괴물(patent troll)들 아님?"
이런 인식이 퍼져버리면, 기업들도 본인들 이미지를 신경써야 하니 특허권 주장에 소극적이 될 수밖에 없습니다.
결론
JPG의 왕좌에 도전하기 위하여 HEIC, AVIF, JPEG XL 등의 차세대 포맷들이 등장했다.
AV1에 대한 특허 분쟁을 뭉개기 위하여, 구글이 의도적으로 AV1과 AVIF를 사실상 표준으로 밀고 있다. 이 와중에 JPEG XL이 걸림돌이 될 수 있으니 의도적으로 배제되었다 추측된다.
지못미 JPEG XL.
(끝)
그리고...?
글을 적고 다듬는 동안 Apple이 Safari 17 Beta에 JPEG XL과 HEIC 지원을 추가했습니다. (사파리는 웹 브라우저 20%가량을 점유)
WebP는 밍기적대며 뒤늦게 지원을 추가한 애플이, JPEG XL에 대해서는 반대로 발빠른 행보를 보이고 있습니다.
JPEG XL의 어둡던 앞날에 한 줄기 빛이 생겼는데요,
과연 왕좌는 누가 차지하게 될까요...?
JPEG 가 킹왕짱이네요.. XL 도 머지않아 널리 퍼지겠군요. 애플이 손을 댔으니
jxl은 더 뭉게져보였습니다.
게다가 이미 주류 기기(TV, mobile, 그 외 display 기기)에는 대부분 다 들어갔고, 압축성능 관점의 메리트로 인해,
점유율의 문제일 뿐이지, AVC(H.264)의 후속으로서 활용도는 어느 정도 이상은 유지할 것으로 전망합니다.
여담이지만 사실 AV1 개발의 전신은 Google의 VP10이고, 여기에 firefox 개발사인 mozilla의 일부 기술을 수용하여 AV1을 만든 것이므로 firefox 입장에서는 굳이 hevc를 지원해줄 마음이 없겠죠. 로열티 이슈도 복잡하고...
JPEG XL은 사실 압축률이 너무 처참합니다.
따라서 일반적인 용도에서 기존 image/video codec을 제끼고 올라가기 쉽지 않아요.
이런 특성으로 매우 높은 정보량과 화질을 필요로 하는 경우에 한정적으로 활용되고 있습니다.
Google은 대놓고 AV1을 밀기 위한 여러 작업(?)들을 하고 있습니다만 자세히 설명하긴 사정상 그렇고....
사실 지금도 YouTube, Netflix를 무기로 더 시장에서 확대를 꾀하고 있는 반면, sisvel같은 특허풀이 있어서 무작정 royalty free라고 주장하기도 참 어렵습니다.
(처음에는 그냥 공짜라고 문제 없겠지라는 인식이었다면 점차 AV1에도 상당한 특허 이슈가 있다는 자각을 하는 곳이 늘어나고 있고요.)
그나마 EU의 공정거래 위반 조사가 잠재적으로 직격타가 될 여지도 있었습니다만, 얼마 전에 이유는 구체적으로 밝히지 않은 채 EU(정확히는 EC)에서 조사 종결을 해버리는 바람에, AOM 진영은 무거운 짐을 하나 덜었다고 볼 수 있습니다.
하지만 AV1의 비중이 늘어나게 되면 특허권자들은 몸을 사리기 보다는 더 적극적으로 로열티를 뜯어내기 위해 열심히 움직일 겁니다. 더 많이 쓰이면 당연히 로열티 규모가 더 커지니까요.
생각보다 돈 앞에 기업 이미지 따위 별로 신경 쓰지도 않을 뿐더러, 사실 sisvel에서 av1 특허풀을 구성하고 있는 회사들이 이미 특허괴물 위주입니다.
좀 더 H/W의 발전이 가속화 된다면 현재는 표준이 만들어지는 데도 시간이 필요하거니와 높은 복잡도로 인해서 단기간내 상용화는 어려워 보이는 JPEG-AI 같은 미래 기술들이 새롭게 시장에 들어올 날도 있을 것 같네요.
HEVC를 대부분 브라우저에서 (한정적으로) 지원하는 건 맞습니다만, HEIC의 경우는 사파리 17 베타가 이제 지원을 시작했을 뿐 그 외 지원하는 브라우저가 전무합니다. https://caniuse.com/heif
JPEG XL 압축률이 처참하다는 건 제가 지금까지 본 벤치마크나 이미지 비교 자료들을 봤을 때는 그렇지 않았습니다. 혹시 근거 자료가 있을까요?
특허괴물들의 대응의 경우 저도 그럴 수 있다고 생각해요... 그래서 사견이라고 단서를 달았습니다.
1. 웹브라우저 지원 관련해서 제가 말씀 드린 건 HEVC에 대한 내용입니다. 사실 HEIF/HEIC라고 해 봐야 비디오 대신 1장의 이미지를 I-picture coding할 뿐인데, HEVC는 decoding되면서 HEIF는 지원이 안된다는 것이 좀 이상하긴 합니다만, 찾아보니 정말 그렇네요. 아무래도 core codec보다는 container 미지원 때문이지 않을까 하는 의심이 들긴 하는데...
2. JPEG XL도 제가 JPEG XS와 착각한 부분입니다. 압축률이 낮다는 부분도 JPEG XS에 대한 내용이고요.
3. AV1 관련해서 특허 괴물들의 행보에 대해서는 자세히 언급 드리긴 곤란하지만, 생각보다는 매우 적극적으로 움직이고 있습니다. royalty free라는 취지는 사실상 무색해졌다고 볼 수 있을 정도로...
이야기 재밌게 잘 읽었습니다. 감사합니다.
방송사도 당연히 참여하고요 BBC,NHK가 대표적이고 한국은 ETRI, 삼성등
그리고 미디어텍같은 최근 더 유명해진 기업도 수십넌전부터 하고있죠.
그리고 중국은 어마어마하게 참여하고 있습니다.
이득은 AVC 특허료 매년 수억을 보는 교수님이 있어서 모두가 부러워하고 있는데 Avc보급과 인터넷의 확장이 물려서 특허로 어마어마하게 돈들을 벌었죠 그래서 HEVC로 다들 뛰어들었는데 반발로 Avc가 나오고 뭐 그런거조
모든 비디오, 영상 특허 표준 만들 때는 여러 단체 기업에서 넣고 싶은 기술 제안하고, 그걸 조합해서 만듭니다. 그때 자기 지안 기술이 어떤 특허 정책을 가져 갈지 표기해요.
JPEG는 로얄티 프리, HEVC는 누구에게나 공평한 로얄티 정책이 기본 입니다.
들어만보고 잘 몰랐던 것을 알게되네요.
저런 부분을 해결해야
webp, heic, avif 등을 사용하게 될 것 같아요
해결하려면 로열티프리가 되야 할 것 같구요
본문과 답글의 수많은 이슈를 무난하게 피해갈 수 있는 포맷은 역시 클래식 밖에 없는 거 아닌가... 하는 생각이 많이 들어요...
개인은 무손실을 선호할거 같은데 png보다 좋고 빠른거 같더군요
구글을 비롯한 오픈소스 진영에서 미는 포맷/코덱이 처음에는 반짝 인기를 끌다가도 실제로 시장 지배자적인 기술이 되는 데 실패하는 이유가 바로 여기 있습니다.
"No pay, no responsibility"
저런 종류의 압축 코덱들은 대기업부터 특허 괴물에 이르기까지 엄청난 수의 특허권자들이 얽혀 있는 경우가 많습니다. 코덱 사용 기업이 늘어나면 특허 기업들이 연합해서 특허 풀을 만들고 세계 각지 법원에 소송을 제기하기 시작합니다. 기업 입장에선 법정 비용만도 엄청나게 들 뿐만 아니라 소송에서 패소하게 되면 더 엄청난 배상금을 물어야 할 수도 있습니다.
돌비나 MPEG-LA 같은 기업 또는 특허 관리 라이선스 업체에 라이선스 계약을 체결하면, 계약서에 자신들의 기술이 제 3자의 지적재산권을 침해하지 않았다는 사실을 보증합니다. 권리 침해 분쟁이 발생해서 손해가 나면 자신들이 보상하겠다는 조항도 덧붙이죠.
하지만 오픈소스 진영에선 이런 걸 보장해 주지 않습니다. 구글조차도 그런 건 안 해 줍니다. 요컨대 문제가 생기면 오픈소스 진영의 기술을 가져다 쓴 기업이 오롯이 책임져야 한다는 겁니다.
당장은 공짜지만 법정 소송의 위험이 있는 기술을 쓰느냐, 당장은 돈이 들지만 이후로 추가 비용을 지불할 필요가 없는 기술을 쓰느냐 하는 것은 기업의 선택입니다. 문제가 생겼을 때 모가지가 날아가는 건 담당자고요. 그리고 제가 담당자라면 당연히 후자를 선택하겠습니다.
jpeg 2000이 나와서 이게 무손실 포맷을 대체하지 않을까 했는데... 조용히 사장되는 분위기네요
다만 avif는 필연적으로 RGB -> YCbCr 컨버팅이 들어가야되서, lossless가 lossless 하지 않다는 필연적인 단점을 가지고 있죠.