애플은 ios16에서 개인화된 공간음향을 지원한다고 이야기했습니다

이 기능이 전 공간감오디오를 앞으로 더욱 보급하기 위한 기반 기술이고, 대단한 기능이라 생각하는데... 

기반지식이 없으면 왜 중요한지 엥? 할수 있는 부분이라 생각해서 조금 주절거리고자 합니다. 저도 잘은 몰라용

예전에 공간감 오디오를 런칭때와 달리 짧게 언급하고 지나갔지만
그 와중에 새 기능에 대한 몇가지 힌트를 얻어낼 수 있었습니다.

1. 개인화된 공간 음향 프로필을 생성한다.
2. 아이폰의 트루뎁스 카메라를 사용한다.
3. 픽토그램에서 진한 파란색으로 강조된 요소는 양쪽 귀, 그리고 두상 크기를 재는듯한 자 모양이다.

즉,  트루뎁스 카메라를 이용해서 양쪽 귀, 두상을 측정해서 개인화된 공간 음향 프로필을 생성한다는 이야기가 되겠네요

이게 어떤 내용인지 이야기하기 전에 우리가 뒤 두짝을 가지고 어찌 앞/뒤까지의 방향을 느끼는지 이야기를 해야할것 같습니다.

귀는 2ch, 스테레오로 있습니다.

그러므로 소리의 좌, 우를 구분하는건 어찌 생각하면 당연한 기능입니다.

그런데.... '앞'에 있는 소리와 '뒤'에 있는 소리는 2ch인 귀로 구분을 어찌 할 수 있을까요?

크게는 귀 모양/위치 에 따른 소리의 도착시간/볼륨등의 차이부터

작은 요소까지 생각하면 두상형태, 흉부, 바닥등의 환경 반사음까지 동원하여

우리는 공간에서의 오디오 위치를 추측할 수 있게 됩니다.

그러므로 양쪽 귀 모양이 장착된 마이크를 이용해 녹음을 진행하면,

녹음된 음원에 귀 모양/위치에 따른 소리 변화가 담기게 되어

단순 2ch 오디오인 유튜브 비디오에서도 우리는 공간감을 느낄 수 있게 됩니다.

이러한 귀 모양 마이크 없이도 가상으로 특정 위치에서 나는 소리를 2ch로 모의해야할 필요성에 따라
머리전달함수 HRTF라는게 존재합니다.

2ch 공간음향 구현하자고 영화 촬영때마다 저 귀모양 마이크로 수음할수도 없으니 말이에요 ㅋㅋㅋ

머리전달함수(Head Related Transfer Function, HRTF)은 동일한 소리를 전방위에서 발생시켜
방향에 따른 주파수 반응을 측정하여 3차원 함수로 정리한 것을 말합니다. (위키백과)

즉 이 공간 어디에서 소리가 나면 우리 머리통에 달린 귀에는 이렇게 바뀌어서 들려~ 라고 만들어 놓은 데이터라고 생각하시면 됩니다.

이러한 데이터를 이용해서

돌비애트모스 같은 음향에 공간정보까지 있는 데이터(= 이 소리는 여기서 나고, 저 소리는 저기서 난다)를

2ch 이어폰을 이용해서도 이소리는 여기서 들리게, 저 소리는 저기서 들리게 만들어 낼 수 있는것이죠.

하지만 우리의 두상은 표준 마네킹이 아니기에
모두가 다 똑같은 두상, 귀의 크기와 형태를 가지고 있지 않습니다.

그러므로 이러한 표준적인 HRTF로는 모두에게서 공간감을 다 재현해내지 못하게 됩니다.
(표준적 HRTF에서 벗어나게 되면 특히 좌우보다 앞-뒤 감각이 많이 사라지더라구요^^ 제 이야기에요ㅠ 머리 짱커...)

그래서 누군가는 공간감오디오 쩐다! 소리가 막 앞에서 나!! 하는 반응이 나오지만
다른 누군가는 음.... 이게 뭐지..? 라는 반응이 나오곤 하던거죠.

이러한 한계를 극복하고자 이미 시장에는 다양한 기술들이 나와 있습니다.

그래서 소니 360오디오, 크리에이티브의  Super X-FI 같은 공간음향 기술의 경우

귀의 모양을 촬영해서 분석해서 맞춤형 HRTF를 적용하고자 시도하기도 했는데...
2D 이미지를 활용하는 만큼 한계가 존재합니다.

wave nx같이 두상크기, 이마넓이등을 측정해서 맞춤 HRTF를 적용해주는 기능도 있었습니다.

이건 또 귀의 형태를 미반영하고... 그렇네요

그런데 애플은....
Facd iD라는 보안 수단이라는 이름으로 수많은 아이폰에 얼굴을 편하게 3D 스캔할 수 있는 하드웨어를 뿌려 두었습니다.

기존 서비스들의 반쪽자리 맞춤형 HRTF같은건 우습게 만들 수 있는 진짜 맞춤형 HRTF가 제작이 가능해진거고

개인 맞춤형 프로필을 통해 모두가 일관된 공간감 오디오 경험을 느낄 수 있는 기초가 완성이 되었다고 볼 수 있습니다.

이것이 하드웨어와 소프트웨어를 같이 만들어서 나오는 힘이 아닐까요?

애플은 왜 이렇게 공간감오디오에 진심일지도 한번 생각해보면요. 그 목적지는 VR이 아닐까 생각할 수 있을것 같아요.

지금이야 그냥 엥~ 나는 공간감 오디오 잘 안느껴지는데~ 정도겠지만 앞으로 VR이 보급이 되기 시작해서

Vr 안에서 같은 상황을 겪었을때
혹자는 발 앞에 사물이 떨어진 소리로 들리는데

누구는 저~앞에 사물이 떨어진 소리로 들리게되는 이러한 차이들이

몰입감을, 현실감을 떨어트리는 큰 요소가 될 수도 있기 때문에

미리 이러한 기술을 통해 모두에게 동일한 공간감 오디오 경험을 제공할 수 있는 기반을 마련해 두는 것이죠.

이러한 기능이 앞서 말한 소니360 오디오처럼 '기믹'에 가까워 보여서인지 별로 회자되는것 같지는 않지만

굉장히 놀라운 기술이라는 생각이 듭니다.

글 마무리는 항상 어렵네요. 여러분들 모두 이어폰 볼륨 작게 사용하시고

즐거운 음향 경험을 하셨으면 좋겠습니다. 감사합니나.

LIN

LIN

LINK

LINK