Happy Horse 1.1：完全ガイド、プロンプト、機能

Happy Horse 1.1 は Alibaba の映像モデルで、fal 上で提供され、Morphic で利用できます。映像と音声を1回の生成で同時に作り出し、7言語にわたるネイティブなリップシンクを備え、最大9体までの被写体、9種類のアスペクト比、1080p 出力に対応した reference-to-video をサポートします。

音声と映像を1回の生成で同時に

Happy Horse は音声を後から足すのではなく、映像とサウンドを一緒に生成します。リップシンク付きの会話、室内の環境音、効果音、音楽がすべて同じ生成から出てくるので、最初のフレームから動きとサウンドがそろいます。サウンドはアクションと同じプロンプトに書きます。

多言語ネイティブリップシンク

このモデルは英語、北京語、広東語、日本語、韓国語、ドイツ語、フランス語で話し、リップシンクします。口の形は近似ではなく話す言語の音素に従うため、会話シーンや同じショットのローカライズ版に向いています。

最大9体までの被写体での reference-to-video

最大9体の参照画像を渡し、プロンプト内で各被写体を character1 から character9 まで、渡した順番に合わせてインデックスで指定します。最大9体なら、キャスト全員がショットをまたいで見分けられます。各被写体を説明し、次にシーンとアクションを書きます。

image-to-video

商品ショットやキャラクターのフレームなど、静止した最初のフレームを用意し、動きとサウンドを説明するプロンプトを加えると、モデルはそのライティングとディテールを保ちながら画像から外側へアニメートします。最初の画像がないときは text-to-video も実行します。

9種類のアスペクト比

9種類の比率で納品します：16:9、9:16、1:1、4:3、3:4、21:9、9:21、5:4、4:5。同じプロンプトの枠組みで、ウルトラワイドのシネマ用カットと縦型のソーシャル用カットを、フォーマットごとに別ワークフローを組まずに作れます。

Happy Horse は、動きとサウンドを一緒に名指しするブリーフと、キャラクターを一貫させる必要があるときの整理された参照画像のセットを評価します。いくつかの実践がクオリティの大半を担います：

• 必ず音声を名指しする。会話、効果音、環境音、音楽を平易な言葉で書き、無音のクリップではなくモデルが動きとともにサウンドを生成するようにします。
• 写真ではなく動きを書く。1つの瞬間にフレームがどう見えるかだけでなく、被写体とカメラがクリップ全体でどう動くかを説明します。
• 参照にインデックスを付ける。reference-to-video では、参照画像を渡す順番に合わせて各被写体を character1、character2 のように指定します。
• きれいなリップシンクのためにセリフは短く。話すキャラクターには口が見える正面のフレームを使い、各セリフを短く保ちます。
• 1クリップに1動作。1つのアクションを数秒に収め、いくつもを1回の生成に詰め込みません。
• 比率は先に決める。シネマカットなら 21:9、縦型なら 9:16 を選びます。フレーミングがアクションの演出を変えるからです。

良いプロンプトはキャプションではなく短いショットブリーフのように読めます。結果を左右するのは2つ。ショットに何が含まれるかの明確なリストと、曖昧な言葉に代わる具体的な言葉づかいです。

プロンプトに入れるもの

参照とセリフの記法

reference-to-video では、参照画像を渡す順番に合わせて各被写体を character1、character2 のように指定します。タイミング付きのセリフは、リップシンクが狙った位置に来るよう、話すセリフをクリップのタイムラインに合わせて記します。

弱いプロンプト vs 強いプロンプト

カメラ、動きとそのタイミング、音声を運任せにせず名指しします。

よくある間違い

• プロンプトを無音にする：モデルは音声を映像とともに生成するため、必ず少なくとも1つのサウンドの指示を書きます。
• 曖昧なカメラ：「シネマ的」はモデルに何も伝えません。ショットと動きを名指しします。
• インデックスのない参照：reference-to-video では「これらの参照を使って」ではなく、各被写体を character1、character2 とラベル付けします。
• 1クリップに詰め込みすぎ：1クリップに1アクションを保ち、きれいなリップシンクのためにセリフは短く保ちます。