🎬 영상 자막 번역부터 음성 더빙까지, 무료로 자동화하는 방법 총정리

요즘 유튜브나 인스타 릴스처럼 짧은 영상 콘텐츠가 인기를 끌면서, 다양한 언어로 영상을 자막 처리하거나 번역하는 작업이 더 중요해졌습니다. 특히 영어 영상에 한글 자막을 입히고, 나아가 한국어 음성으로 더빙까지 하고 싶다면 어떻게 해야 할까요?

비용을 들이지 않고도, 오픈소스 도구들과 무료 API를 활용하면 누구나 영상 자막 번역 및 음성 더빙 자동화를 구현할 수 있습니다. 이 글에서는 무료 도구를 활용한 전체 과정을 소개해 드릴게요.

---

🧱 1단계: 영상에서 음성 추출하기 (ffmpeg)

먼저, 영상에서 음성만 분리해내는 작업입니다. ffmpeg는 영상과 음성 편집에 강력한 기능을 가진 오픈소스 도구입니다.

bash

복사편집

ffmpeg -i input.mp4 -vn -acodec pcm_s16le audio.wav

이 명령어 하나로 영상에서 음성만 추출한 .wav 파일을 만들 수 있습니다.

🎨 이미지 프롬프트

---

🧠 2단계: 음성을 자막으로 변환 (Whisper)

OpenAI의 Whisper 모델은 무료이면서도 매우 뛰어난 음성 인식 정확도를 자랑합니다. 한글, 영어, 일본어 등 다양한 언어를 자동으로 인식해 텍스트로 변환해 줍니다.

파이썬 코드로는 다음과 같이 사용할 수 있어요:

python

복사편집

import whisper model = whisper.load_model("base") result = model.transcribe("audio.wav") print(result["text"])

🎨 이미지 프롬프트

---

🌐 3단계: 자막을 한글로 번역 (googletrans)

자막이 영어라면 한국어로 번역이 필요하겠죠? 파이썬 라이브러리 googletrans를 사용하면 Google 번역 API를 무료로 비공식적으로 사용할 수 있습니다.

python

복사편집

from googletrans import Translator translator = Translator() translated = translator.translate(result["text"], src='en', dest='ko') print(translated.text)

---

🗣️ 4단계: 한글 자막을 음성으로 변환 (gTTS)

이제 번역된 한글 자막을 다시 한국어 음성으로 바꿔봅시다. gTTS는 Google의 TTS(Text-to-Speech)를 무료로 사용할 수 있게 해주는 라이브러리입니다.

python

복사편집

from gtts import gTTS tts = gTTS(translated.text, lang='ko') tts.save("korean_audio.mp3")

---

🎞️ 5단계: 번역된 음성을 영상에 삽입 (ffmpeg)

마지막으로 한국어 음성을 기존 영상에 삽입합니다. 다시 ffmpeg를 사용해 오디오 트랙만 바꿔치기할 수 있습니다.

bash

복사편집

ffmpeg -i input.mp4 -i korean_audio.mp3 -c:v copy -map 0:v:0 -map 1:a:0 output.mp4

---

✅ 마무리: 돈 안 들이고 영상 더빙하기

이 모든 작업은 무료 도구들로 가능하며, 간단한 파이썬 스크립트를 만들어 자동화할 수도 있습니다. 물론 음성 자연스러움이나 번역의 뉘앙스까지 챙기려면 추가적인 후처리가 필요할 수 있지만, 개인 블로그, 유튜브, 소규모 프로젝트에선 충분히 활용할 수 있는 방법입니다.