일어 자막 추출과 번역 파이썬 - Kotoba Whisper, Hy-MT2

몇 년 전에 자막 추출(Whisper)과 DeepL API 번역 관련 글을 올린 적이 있습니다만, 이번에는 일본어로된 영상에서 상당히 빠르고 인식률도 Whisper large v2나 v3보다 좋다고 느껴지는 방법을 소개해 보려고 합니다. 

물론 요즘 LLM들이 다 해주기는 하지만, 굳이 저처럼 자막 추출과 번역을 로컬 컴퓨터에서 직접 하고자 하는 분들을 위한 것입니다. 

맥 M1에서 자막을 추출하여 저장하는 모습

필요한 하드웨어(둘 중 하나)  

• NVIDIA RTX 계열 고성능 그래픽 카드를 탑재한 윈도우11 PC - standalone 폴더 
• M시리즈 칩을 탑재한 실리콘 맥 - standalone-silicon 폴더

파이썬 스크립트 내용

• Kotoba Whisper v2.2(일본에서 직접 오디오클립으로 학습)으로 자막 추출 
• Qwen3-ASR 1.7B로 자막 추출
• Ollama 앱을 설치한 후 텐센트 Hy-MT2로 자막을 한국어로 번역(transslategemma도 가능) 

아주 간단한 GUI를 제공

• 자막 추출은 Kotoba-Whisper v2.2에서 거의 만족하시겠지만, 몇 가지 제공 중이므로 선택해서 사용하시면 됩니다. Qwen3-ASR이 자막은 가장 많이 추출하기는 합니다.  
• 각자 시스템에 맞는 번역 모델은 챗지피티나 제미나이에게 칩(예: CUDA, M1 등)과 메모리 용량을 알려주고, Hy-MT2나 transslategemma의 모델을 ollama pull 명령을 통해 다운로드 하시면 됩니다.  

기타  

• Kotoba-Whisper v2.2가 생각보다 빠르고, Faster-Whisper-XXL에서 만족 못한 분은 한번 시도해 보실 수 있다고 봅니다. 특히 배경음이나 감탄사, 같이 말하는 대화 등 비정형적인 대화를 잘 인식한다고 합니다. 
• Hy-MT2도 일한 번역이 상당히 좋았습니다. 저는 젬마보다 더 좋다고 느꼈습니다.
• 자막 추출이나 번역은 RTX3090에서 최상의 품질이었고, 맥 M1에서는 느리기도 하고 자막 품질도 약간 떨어져서 실사용은 어려움이 있습니다. M3이상의 고성능 기계에서는 어떨까 궁금하기는 합니다. 

설치

• 처음에 설치할 때만 조금 신경 쓰시고, 모델만 잘 선택하면 사용은 매우 간단합니다. 파일은 16MB라서 업로드는 못했고 아래 링크를 통해 받아주세요. git clone 명령이나 오른쪽 녹색 Code버튼 밑의 Download ZIP으로 받으시면 됩니다.  
• 다운로드 링크 - https://github.com/sevengivings/Kotoba-Whisper-CLI
• 윈도우11용 한국어 설명 및 설치 방법 - https://github.com/sevengivings/Kotoba-Whisper-CLI/blob/main/standalone/README.md

끝으로 이 프로그램은 처음부터 끝까지 Codex 5.5 medium 모델로 제작되었습니다. 놀랍게도 몇 년 만에 한 줄도 코딩하지 않게 되었네요 :-)