노혜정님이 부르신 KIOKU (기억/きおく)

원본은 '25년 4월에 유튜브에 업로드 되었는데, 당시에는 15초 이상의 립싱크 영상을 상용 플랫폼들에서 만드는 것은 불가능했습니다. 그러나 강걸우 사단은 가능했었습죠.


회사에서 쫓겨나서 할 일이 없던 강걸우는 당시 핫하던 생성형AI들의 결과물들이 하나 둘 SNS에 올라오는 걸 보고 충격 받아, 습작으로 실음과 동생들과 만들어 놓았던 4곡들의 MV를 그 엣지한 기술들로 만들어 볼 생각을 합니다.

보컬 트랙을 SynthV로 다듬고 Munute으로 트랙간 밸런싱도 조절하며 모든 후처리 작업을 당시 우후죽순 같이 나오던 AI기술을 도입한 툴들을 과감하게 써서 음원을 일단 완성시켰습니다.

문제는 뮤비였는데 당시 생성형AI계의 유명하다는 플레이어들을 대부분 테스트 해봤는데, 내가 디자인에 능력도 없고, 뮤비 기획력도 떨어졌다는 걸 막상 도전해보니 알게 되었습니다. 대강 구글VEO나 클링 1.0??에서 생성된 저해상도의 클립들을 이리저리 이어 붙인 것에다가 노래와 자막을 올려보았으나, 내 성에 전혀 차지 않더군요.

그 와중에 연락이 닿은 대학 동문인 스페인 친구와 텔레그램으로 챗을 하는데, 아니 그가 Freepik의 창립멤버라는 것 아닌가? 당시 Hedra와 Freepik 같은 한국에서는 마이너한 플랫폼들도 이리 저리 테스트해봤기에 그 이름을 듣고 상당히 놀랐는데,

AI영상 생성 플랫폼은 사실 전혀 흑자를 볼수 없는 BM이고 생성 건당 일반 사용자들은 상상하기 힘든 정도의 생성비용이 발생하나 다들 미래 시장을 보고 투자 받으며 사업하는 거라고 설명하던 친구 이야기도 놀라웠지만.. 덤으로 귀뜸해준 업계 비밀은 더더욱 놀라운 것이었습니다.

 당시 업계 상용버전 플랫폼들에서 내놓는 음성 립싱크 프로덕트들은 15초가 최대였다. 그리고 대화 음성 파일과는 싱크되나 노래를 부르는 음원파일들을 립싱크가 원활히 되지 않았습니다. 이들 제한은 사실 업계가 못한다기 보다 이미 건당 마이너스를 보는 상황인데, 시장을 선점하든 건당 생성 비용을 줄이는 것에 다들 집중하고 있었다더군요.

그런데 친구들은 업계의 주요 플레이어들은 사실 회사별로 나눠져 경쟁하고 있기보다 몇몇 투자사와 국가기관의 리드로 운영되고 있고 개발 로드맵도 무리하지 않는 선에서 서로 엇비슷하게 맞춰놓았다고 합니다. 그래서 사실 어디든 당시 최신 기술로는 100초까지의 립싱크 영상을 만들 수 있으며 노래를 부르는 영상도 만들 수 있도록 학습도 대부분 시켜놓았다는 것이었습니다.

 이런 정보는 사실 당시만 해도 생성형AI조차도 일반인들에게는 생소한 단어였고 뮤비를 만들어보려고 이리 저리 여러 플랫폼을 테스트해 본 나 조차도 들어도 이해가 안되는 너무 앞서 나간 정보였습니다. 하지만 나는 친구의 이야기에서 내가 혹시라도 립싱크를 풀스케일로 쭉 이어서 컷전환 없는 영상으로 생성해 낼 수 있다면 미감이 떨어지는 나의 실력도 커버가 되고 기술적 우위로 당시 다른 허접한 AI뮤비 영상들과 궤를 달리할 수 있지 않을까 하는 생각에 도달해버렸습니다.

그래서 매달렸습니다. 어떻게 내가 한번 테스트 해 볼 수 없냐고. 그리고 대학시절 사실 데면데면하고 말 몇번 못 나눠봤던 아주 자비로운 내 친구는 나에게 Freepik의 알파버전 테크들을 자유로이 '무료'로 사용하게 해주었습니다. 단, 업계에서 욕을 먹지 않도록 해당 회사의 플랫폼으로 만들었다는 걸 언급치 않는다는 전제로 말입니다.

 그렇게 강걸우는 몇년간 어린 실음과 동생들에게 작곡을 배우면서 만든 4편의 뮤비를 가지고 풀스케일 AI립싱크 영상을 만들어보았고, 스스로 그 퀄리티에 너무 만족했습니다, 아니 경악했습니다, 너무 놀라워서. 그는 이 기회를 십분 활용하고 싶다고 생각하였고, 난생 처음 유튜브와 인스타그램 채널을 만들고 영상들을 올리고 Splice에서 무제한 샘플권을 사고 연락을 끊었던 실음과 동생들에게 이리저리 부탁해 곡들을 긁어모아, 최종 41곡과 16편의 AI립싱크 MV를 6개월간 업로드 하게 됩니다.

최종 성적표는 인스타그램 팔로워 3100명, 유튜브 구독자 2.2만명. 작년 11월 이후로는 Topaz Video 4K로 리마스터링 한 영상으로 교체해서 올리다가 유튜브 알고리즘이 완전 망해버리기도 했고, 더 이상 새로운 곡을 수급할 수가 없어서, 그리고 가장 중요한 이유 중의 하나는, 강걸우는 늘 불태우다가 갑자기 질려버리기 떄문에 강걸우의 뮤비 만들기 작업은 전부 중단된 상태입니다.

도와준 스페인 친구가 Freepik에 대해서 언급하지 말라고 했는데 왜 이딴 글을 쓰냐구요? Freepik이 Magnific에 인수되어 Exit되어 버렸거든요. 그게 무슨 상관이냐구요? 친구에게 물어봐야 하는거 아닌가라구요? 그 친구는 사실 엄청난 한국 전통 문화의 팬이라, 지난주부터 한국에 와 있습니다. 내가 데리고 갈 곳이 없어서 을지로 만선호프 데려가서 노가리 사주고 을지다방에서 쌍화탕 먹이며 내가 영상 만들수 있게 도와줘서 고맙다고 몇번이나 고개를 숙였지. 그러니 이에 대해 이제는 이야기 해도 전혀 상관 없다고 하더라구요..