예전엔 노드VPN 같은 걸로 한국 IP로 바꿔서 어렵지 않게 한국 자막이 들어간 컨텐트를 볼 수 있었는데, 넷플릭스에서 어지간한 VPN은 다 막은 것 같습니다. (서프샤크는 아직 잘 되려나요) 심지어 회사 VPN 마저도 차단이 돼서, '요즘 LLM도 잘 나오니까 브라우저 애드온 같은 거 설치하면 잘 나오지 않을까?'라는 것이 주말 삽질의 시작이었습니다.

예전에도 비슷한 시도는 해 봤었지만 인풋 대비 아웃풋이 별로라서 접었었는데 지금은 LLM의 시대라서 대충 아무거나 써도 될 줄 알았습니다만, 세상이 역시 만만치 않더군요. 대부분은 유료 결제를 해야 하고, 트라이얼 기간이 있지만 기능이 형편없거나, 홍보대로 모든 플랫폼에서 잘 작동하는 그런 건 없었습니다.

기본적으로 자막번역은, 음성을 인식해서 실시간으로 번역하거나, 자막을 일일히 일어서 번역하는, 하이코스트 방식이 아니라 자막 파일을 백엔드에서 읽어다가 그걸 번역해서 보여주는 방식인 것 같고, 전부 '개인 학습용'이라는 학습 앱이라는 것을 내세우고 있습니다. 지적재산권 소송을 방어하기 위해서라고 생각 되네요. 어쨌든 그 덕에 언어 학습 기능이 다 겸해져 있습니다. 그 기능이 허접한 게 대부분이지만요.

주말동안 GenAI가 추천해 주는 애드온을 대략 5~10가지 써 보고 사용할만한 것만 추려 봤습니다. 대개 N1-N2 레벨이시겠지만 혹시나 참고가 될 분이 있을까 해서 올려 봅니다.

1. Language Reactor (비쌈, 넷플릭스용)

이 브라우저 애드온은 정말 완벽한 수준입니다. 넷플릭스에 한정해서 그렇습니다. 이건 방식 자체가, 각 언어별 자막을 아마도 최초 사용자가 읽을 때 가로채서 서버에 저장해 두고 그것을 교환해서 보여 주는 형태가 아닐까 싶습니다. 하지만 그러면 지적재산권 위반이 될테니 100% 그런 형태는 아니고 뭔가 눈가리고 아웅하는 페이크를 쓴 것으로 추정됩니다. 그렇지 않고서는 넷플릭스 자막에 대해서는 대단히 높은 퀄러티의 번역 수준을 보이면서, 유튜브 같은 곳에서는 구글번역 수준의 허접하기 짝이 없는 번역 퀄러티는 말이 안되네요. 또 예전에는 선택할 수 있는 자막 말고 저작권 때문에 숨겨진 자막을 다운로드 받을 수 있었지만, 지금은 그것도 막힌 것 같은데 원하는 언어로 잘 보여줍니다. 즉, 실제로는 번역이 아니라 그냥 매칭 되는 자막을 캐싱해 뒀다 보여 주는 형태가 기본, 유료 사용시엔 자막이 없어도 음성인식으로 번역해 준다는 데 그것도 사실은 매칭 되는 자막을 캐싱해 뒀다 보여 주는 게 아닐까 하는 킹리적 갓심입니다.

어쨌든, 원어 자막, 일본어인 경우는 한자에 루비도 달아주고 (정확도는 30-50% 수준이지만), 단락별로 끊고 하이라이트하는 기능이 대단히 우수합니다. 단어를 클릭하면 단어의 뜻과 용례도 보여주고 해당 단어만 단어장에 저장해 두거나, 단락별 재생, 멈춤, 반복 재생 등, 언어 학습용으로는 100점 수준입니다. 가격은 비싸지만, 단순히 자막 번역이 아니라 공부의 목적이라면, 돈값 할만한 앱이라고 생각 됩니다. 물론 넷플릭스 컨텐트로만 공부할 때의 얘기입니다.

전술한 바와 같이 유튜브 컨텐트의 경우는 번역 수준이 유료 시험 기간 중임에도 허접하기 짝이 없는 수준입니다.

2. Trancy (가성비 최고, 다용도)

이 브라우저 애드온은, 백엔드에서 자막을 찾아다 영상 재생에 맞춰 잽싸게 번역해서 보여주는 형태입니다. 무료로 사용할 수 있는 번역 엔진은 구글, 마이크로소프트, 실리콘플로우이고 뉴스 같은 것을 보는 용도로는 구글 번역으로도 무난하게 사용할 수 있습니다. 그 외에는 번역체도 심하고, 일본어 특성인 주어나 문장 구성이 완벽하지 않은 구어체 같은 건 못 쓸 수준이죠.

대신 얘는 커스텀 엔진으로, 무료 사용자도 LLM의 api key를 등록해서 쓸 수 있습니다. 지금 유료 사용 시험 기간이라 그 기간이 끝나도 계속 쓸 수 있는지 반신반의하고 있긴 한데, 자막 텍스트 번역하는 정도는 토큰 왕창 써 봤자 이런 애드온들의 월간 구독료의 반도 안하겠죠. 거기다 준실시간 번역의 한계상 Gemini 2.5 flash 나 2.5 flash lite 같은 걸 써야 하는데 그러면 사용료는 더 다운 됩니다. 번역 수준은 좀 떨어지긴 하겠지만 어차피 일본어 자막 같이 보면 되고, 완벽한 자막이 아니라 그냥 편하게 머리 비우고 영상 보기엔 딱 적당한 수준입니다. 무료 번역 엔진들에 비하면 물론 훨씬 낫구요. 

Deepl은 무료 사용자도 api를 일정량 사용할 수 있지만, LLM 들 나온 뒤로 Deepl 은 문장 번역 말고는 사용을 안해서 테스트만 해 봤는데 지연이 상당해서 편하게 보긴 어렵습니다.

스트리밍 서비스는 넷플릭스, 유튜브, 이 두가지는 무난하게 잘 돌아갑니다. 번역도 대체로 만족스럽고 퍼포먼스도 괜찮습니다.

3. Immersive Translate (가성비 좋음, 웹페이지 또는 모바일 폰용)

얘는 영상용은 아닌 것 같습니다. Trancy 처럼 무료 사용자도 자신이 갖고 있는 api key 를 커스텀 엔진에 등록해서 쓸 수 있고, iOS에서는 앱을 설치하면 브라우저 애드온이 같이 깔려서 사파리에서 번역하는 데 쓸 수 있습니다. iOS의 번역 기본앱으로 설정할 수도 있긴 한데 거기서는 커스텀 엔진을 못 쓰더군요. 사파리 한정으로 웹페이지 번역 앱이 필요한데 Gemini api 사용 중이라면 강추할만 합니다.

기타

아마존 프라임비디오는, 많은 애드온이 지원한다고는 하지만 자막을 따로 띄워 주는 게 아니라 웹페이지에 레이어를 올려서 띄우는 것 같더군요(동영상에 아예 인코딩으로 박힌 건 논외). 그래서 자막번역이 아닌 웹페이지 번역으로는 Trancy 같은 것으로 번역이 되는 기현상을 보여 주기도 했습니다. 그 외 거의 전 애드온에서 번역이 됐다 말았다 또는 번역이 아예 안돼서, 실사용이 불가능한 수준이었습니다.

팟플레이어에 ChatGPT api 키 등록해서 번역엔진으로 쓸 수 있는데 Gemini도 되더군요. 팟플레이어가 언제까지 존재할지는 모르겠지만, 어쨌든 기계 자막도 없는 영상이라면 whisper랑 연동해서 음성인식으로 원어 자막을 만든 뒤에 Gemini flash 로 번역해서 봐도 괜찮겠다는 생각이 듭니다.

스트리밍사이트에서 영상 자막을 다운 받은 다음에 애드온으로 커스텀 자막을 띄우는 건 예전에 썼던 방법인데, 다운로드는 subtitle downloader, 자막 띄우는 건 subtital, 원어 자막을 원하는 언어로 번역(역시 LLM 돌리죠)하는 건 subtitle edit이 제일 나은 것 같습니다. 예전에도 잡다한 것 이것저것 써 봤었는데 현시점에서는 얘네가 쓸만하네요. 몇 분 정도면 뚝딱 만들어 져서 옛날에 비하면 개벽할 수준 같긴 한데, 이젠 이것도 귀찮다는 느낌입니다. (AI 는 인간을 게으르게 만듭니다)

Gemini는 작년 6월에 대학생 15개월 무료 이벤트할 때 ai pro로 등록해서 잘 쓰고 있는데, api 쓰는 건 따로더군요. 분당 요청수나 토큰수 등을 잘 맞추면 무료로도 쓸만은 할 것 같은데, pay-as-you-go 로 등록하니까 GCP 처음 쓴다고 무료티어 USD 300 크레딧을 주네요. (GCP는 이런 걸로 사용자를 낚는구나 ...) 거기다 구글 디벨로퍼 프로그램 프리미엄 가입하고 베네핏 활성화 하니까 매달 USD 10 크레딧을 또...

이제 어디서 뭐 날아오면 돈 더 내라는 거고, 음식점이고 교통비고 하루가 다르게 오르기만 하는데 혜자가 따로 없습니다. ㄷㄷㄷ