AI吹き替えで動画を多言語化する方法

Morphicで進めるAI吹き替えの実践手順です。元動画の文字起こし、字幕の翻訳、音声の差し替え、口の動きの同期、編集までを、1つのワークスペースで通して解説します。

吹き替えは、1本の収録済みの演技を、別の市場に届く形に作り替える作業です。ローカライズは、その周りを含めた仕事全体を指します。字幕、タイミング、声、口の動きを整えて、視聴者のために作った動画に見せるところまでです。日本発の動画を海外に出す場合も、海外の動画を日本語に直す場合も、流れは同じです。

どちらも、ボタン1つで終わる作業ではありません。短い手順の連続です。Morphicなら、その手順が1か所にそろうので、クリップが各工程を行き来しません。

このガイドでは、Morphicで実際にできることだけを使い、通しで手順を紹介します。元動画の文字起こし、字幕の翻訳、音声の差し替え、口の動きの同期、編集の順です。

AI吹き替えとローカライズで行うこと

吹き替えは、動画の話し声を、別の言語や別の声に差し替える作業です。映像とのずれは出しません。ローカライズは、これに文字起こし、翻訳した字幕、最終的な組み立てを加えた全体です。

これまでは、文字起こし、翻訳、音声、口の動きの同期、タイムラインを、別々の業者やツールに頼んでいました。いまは1つの流れで順に実行できます。ファイルを送り回す必要がありません。

進め方は2通りあります。ほとんどの動画は、1つ目で足ります。

  • Morphic Dubで1ステップ。 有料プランでは、Copilotに動画を添付して言語を伝えるだけです。Morphic Dubが話し声を翻訳します。話者ごとに本人らしい声で言い直し、クローズアップの口の動きも新しい言葉に合わせてリップシンクします。吹き替え済みの動画が返ります。
  • 工程ごとに確認しながら進める。 以下のワークフローです。声を付ける前に翻訳を確かめたいとき、別の声で読ませたいとき、音声ファイルから始めるときに向いています。誤訳や読み違いを、直しやすい段階で見つけられます。この方法では、元の声はクローンされません。音声変換は、収録を別の声に変えるものであり、話者本人の声を保存するわけではありません。

手順の流れ

元動画を文字起こしして、SRTにする

最初に、話し声をテキストにします。動画をアップロードし、Copilotに文字起こしを頼みます。タイミング付きのSRTファイルとしてダウンロードでき、言語は自動で判別されます。以降の工程は、すべてこの言葉とタイミングをもとに進みます。この文字起こしが全体の土台です。

字幕を、届けたい市場の言語に翻訳する

文字起こしを、届けたい言語に翻訳します。元のタイミングに合わせた字幕が手に入り、声を付ける前に確認と修正ができます。ここで言葉を整えておけば、以降の作業がぶれません。声も口の動きも、元の言葉の出来で決まるからです。

音声を差し替える

新しい音声は、残したいものに合わせて2通りの作り方があります。

  • 音声変換(speech-to-speech) は、元の演技を残します。既存の収録を別の声に変えながら、話し方、間、感情をそのまま保ちます。元の読みを活かしたいときに選びます。
  • テキスト読み上げ(TTS) は、翻訳した台本を新しく読み上げます。新しい言語へ移るとき、その言語として自然に聞こえるセリフにしたい場合に選びます。

使い分けは、音声変換とテキスト読み上げの比較で確かめられます。

新しい音声を映像に合わせて、口の動きを同期する

新しい音声を映像に合わせ、口の動きを言葉に一致させます。Morphic Dubではこの工程も自動で済みますが、この方法では独立した工程です。口の動きが合えば、吹き替えだと気づかれにくくなります。ローカライズ版が、後から重ねたものではなく、最初からその言語で撮ったように見える工程です。

Composeのタイムラインで組み立てる

Composeで、映像、新しい音声、必要なら焼き込み字幕を組み合わせます。音楽や効果音に対して声が聞きやすい位置に来るよう、クリップごとに音量を整えます。つなぎが必要な場所にはトランジションを入れ、書き出します。完成した動画は、市場に合う形式で、始めた場所から出力できます。

1つのワークスペースで進める意味

吹き替えに時間がかかってきた原因は、個々の工程ではありません。工程の間の引き渡しです。文字起こしを翻訳者に渡し、翻訳を音声の業者に渡し、戻った音声を編集者に渡します。引き渡すたびに、時間と文脈が失われます。

文字起こし、翻訳、音声、口の動きの同期、タイムラインを1つのワークスペースで回せば、引き渡しがなくなります。書き出しも、再アップロードも、説明のやり直しも不要です。複数の業者を回る作業が、半日で終わる作業になります。

動画を理解する音声モデルを使うと、音声の工程はさらに短くなります。Seed Audio 1.5は、完成した編集版を見て、元の音楽と効果音を別トラックのまま残した吹き替えを返します。プロンプトの書き方は、Seed Audio 1.5のガイドで紹介しています。

吹き替えでの音声変換とテキスト読み上げの違い

音声変換テキスト読み上げ
出発点元の収録翻訳した台本
元の話し方を残せるかはい。間や感情が引き継がれますいいえ。モデルが新しく読み上げます
向いている用途優れた元の演技を、新しい声で活かす翻訳した文章から、新しい言語へ移る

実例:縦型ショートドラマのシリーズを吹き替える

ここまでの手順は、どんな動画にも使えます。効果が大きいのは、縦型ドラマのシリーズです。作業が反復的で、キャラクターの一貫性への要求も高いからです。

要は、登場人物ごとに1つの声を保存し、すべての言語で使い回すことです。スペイン語版でも、日本語版でも、インドネシア語版でも、主役は同じ人物の声で話します。そのうえで口の動きを合わせます。1話ずつ仕上げていきます。まとめて回せば、過去の話数も言語ごとに1回でローカライズできます。ファイル1本ごとに1つの案件を立てる必要はありません。

100話規模のバッチ処理、1話あたりの費用、品質チェックは、マイクロドラマシリーズの吹き替えとローカライズで紹介しています。

よくある質問

字幕と吹き替えは、どちらを選べばよいですか?

元の声や演技をそのまま聞いてほしいなら字幕、画面から目を離しても聞き取れるようにしたいなら吹き替えが向きます。Morphicでは、翻訳した字幕をSRTで書き出すことも、動画に焼き込むことも、音声を差し替えることもできます。同じタイムラインで両方を組み合わせることも可能です。

ボタン1つで自動的に吹き替えられますか?

可能です。有料プランでは、Morphic Dubが動画を1ステップで、口の動きも合った吹き替えにします。工程ごとの方法は、文字起こし、翻訳、音声の差し替え、同期、組み立ての順です。各段階で結果を確かめ、誤訳や読み違いを直しやすいうちに見つけたいときに使います。

どの言語に対応していますか?

Morphic Dubは幅広い言語に吹き替えられます。1回の吹き替えは1言語です。工程ごとの方法では、文字起こしが元の言語を自動で判別します。字幕は届けたい市場の言語に翻訳でき、音声の差し替えは英語などの言語で行えます。

音声変換とテキスト読み上げは、どちらを使えばよいですか?

元の演技を残したいときは音声変換を使います。新しい言語へ移り、翻訳した文章を自然に読ませたいときはテキスト読み上げを使います。1つの案件で両方を使い分ける例も多くあります。違いの詳細は、比較ページにまとめています。

元の感情は保たれますか?

音声変換で差し替えるなら、保たれます。音声変換は元の収録をもとにするので、話し方、間、感情が新しい声に引き継がれます。翻訳した台本からテキスト読み上げを使う場合は、毎回新しく読み上げます。感情は、元の収録からではなく、読み方の指示で決まります。仕組みは音声変換(speech-to-speech)の解説をご覧ください。

元の声はクローンされますか?

保存される形ではクローンされません。Morphic Dubは各話者を本人に近い声で言い直しますが、その声は吹き替えの中にだけ存在します。音声変換は、収録をその案件のための別の声に変えるものです。どちらの方法でも、元の話者の再利用できるコピーは作られません。

翻訳した字幕を動画に焼き込めますか?

はい。翻訳した字幕は、スタイルを付けて動画に焼き込むことも、SRTとして書き出して動画と一緒に渡すこともできます。焼き込む場合は、最終版を組み立てるのと同じタイムラインで行います。字幕、音声、映像が、1回の書き出しにまとまります。

次の動画でも同じ手順を使い回せますか?

はい。うまくいった吹き替えの手順は、Workflowとして保存できます。次のクリップでも同じ手順を実行でき、一度固めたローカライズの流れを、毎回作り直す必要がありません。