OmnihumanはByteDance Researchが開発した人物動画生成モデルで、音声またはモーション信号で駆動される人物像の高リアルな動画を生成するよう設計されています。一貫したリップシンク・身体の動き・表現豊かな演技を持つ自然な全身の人物動画を生成するという特定の課題に対処し、デジタルアバター・合成プレゼンター・音声入力で駆動するキャラクターアニメーションの用途で特に関連します。

このモデルは、多様な体型・ポーズ・モーション入力を扱いながら、フレーム間で高い視覚的忠実度と時間的一貫性を保つ能力で注目されます。Omnihumanは、人物像の発話・表情・ボディランゲージがすべて音声信号で駆動される動画を生成でき、生成された人物の話す演技と身体的な存在感が一貫して自然に感じられる結果を出します。音声駆動の人物動画生成に対するこの統合アプローチは、全身のダイナミクスを生成プロセスに組み込むことで、単純なリップシンクツールを超えた一歩を表しています。このモデルは、人物動画生成分野での最先端能力を示す研究貢献として発表されました。

合成プレゼンター・デジタルダブル・AI生成の人物演技を扱う制作者にとって、Omnihumanのようなモデルは生身の俳優なしで制作できるコンテンツの範囲を広げます。この種のツールが成熟するにつれ、音声駆動の人物生成と複数出力にわたる一貫した視覚的アイデンティティの組み合わせが、コンテンツ制作ワークフローでますます重要になっていきます。