지워드렸습니다 라는 밈을 기억하시나요.

이렇게 이미지에서 특정 부분을 어색하지 않게 지워내는 것을 inpaint 라고 합니다.

지난 10년간 이런 정적인 이미지에 대한 inpaint 기술은 많이 발전해왔습니다.

그렇다면 이미지가 아닌 영상에서 AI를 활용한 inpaint 기술은 어느정도까지 와있을까요.

인상적인 유튜브가 있어서 가져왔습니다.

동적으로 흔들리는 촬영 구도와 그 안에서 움직이는 선택된 개체에 대한 추적 + 개체를 지워내고 그 빈자리를 추론하여

어색하지 않도록 메꾸는 기술. 이 모든게 선행되어야 자연스럽게 지워질수 있다는걸 생각해보면

놀랍지 않을 수가 없습니다.

영화에서 어딘가에 잠입할때 CCTV에서 주인공의 모습만을 실시간으로 지워버린다던지

해커가 빅브라더의 추적을 피하기 위해 모든 교통,감시 카메라에서 자신의 모습을 지우는 악성코드를 심어둔다던지

등등 SF영화에서의 일이 이제는 바로 앞으로 다가온거라고 할 수 있겠습니다.

더더욱이 인상적인 점은 하이라이팅된 개체를 인식해서 지워버리는것 뿐만 아니라

영상에서 보이는 프레임 밖의 부분까지도 유추해서 채워넣을 수 있다는 겁니다.

즉, 앞뒤 프레임들에서 얻은 정보를 가지고 원래의 촬영 화각 이상의 화각 혹은 해상도를 얻을 수 있다는 거죠.

이런 기술이 영상촬영, 더 나아가 게이밍 분야에도 적용된다면

더 적은 리소스로, 그 이상의 결과물을 낼 수 있다는걸 의미합니다.

단일 카메라, 더 작은 화각, 더 작은 해상도로 촬영하여

다양한 화각의 연출, 더 넓은 화각, 더 넒은 해상도를 최종 결과물로 만들 수 있고

게임이나 렌더링에서는, 집중할 부분의 리소스만 네이티브로 로드하고

나머지 부분은 이런 AI를 활용하여 채워넣을 수 있기에 제작뿐만 아니라, 클라이언트 단에서도

더 적은 리소스로 더 효과적인 연출이 가능하다는거죠.

더 자세한 논문에 대한 정보는 출처 혹은 

http://chengao.vision/FGVC/

를 참조하시면 될거 같습니다.