多模态 AI
多模态 AI是什么？
多模态 AI 是一种能处理一种以上内容类型的 AI 系统：例如同时理解文本与图像，或根据文字描述生成视频。这是一个只会阅读的 AI，与一个还能看、能听、能创作视觉内容的 AI 之间的区别。
一图看懂
- 别称
- Multimodal AICross-modal AIAny-to-any AI
- 主要用途
- 文本生成图像图像描述视频理解视听对应创意简报解读
- 常用工具
- GPT-4oGeminiClaudeDall·eRunwaySora
- 相关术语
- Foundation modelCLIPText-to-imageLatent spaceModel architecture
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
对比与差异
Compared with related concepts
多模态 AI vs 单模态 AI：单模态 AI 完全在一种数据类型之内运作：文本语言模型不理解图像，图像分类器也没有语言的概念。多模态 AI 在这些模态之间架起桥梁，使其能够将视觉内容与语言描述相互关联，这对大多数现实世界的创意任务至关重要。
可以这样理解…
可以把单模态 AI 想象成一位只会说一种语言的专才：一位能识谱却无法用言语描述自己所奏内容的音乐家。多模态 AI 更像一位通晓多种语言的艺术家，能聆听一段音乐、用散文描述它、勾勒一幅捕捉其情绪的图像，然后谱写一段视觉回应：在不同的表达与理解形式之间流畅地穿梭。
实用提示
在使用既接受文本又接受图像输入的多模态 AI 工具时，尝试同时使用两者：在文本提示词旁提供一张参考图，通常比单用文本产生远更一致、更切合简报的结果，因为视觉输入锚定了模型对模糊描述性语言的解读。
类型与变体
多模态 AI 系统可按其接受与产出的模态分类。仅输入型多模态系统（如用于图像描述或视觉问答的视觉-语言模型）接受混合模态但产出单一输出类型。仅输出型多模态系统（如文本生成图像模型）接受单一模态并生成另一种模态。任意到任意系统代表当前研究与部署的前沿，能流畅地接受并产出任意支持模态的组合。在这些类别之内，各系统还在以下方面有所不同：模态是在单一共享模型中联合处理，还是经由各自专门的编码器分别处理、其输出在后续阶段再行组合。
准备好在 Morphic 里做第一个场景了吗？
试用 Morphic常见使用场景
多模态 AI 用于创意制作中的文本生成图像与文本生成视频、视觉问答（询问 AI 图像中描绘了什么）、视频内容的自动字幕与转写、音频到视频的同步、场景理解与剧本分析，以及参考图引导的生成。在后期制作中，多模态模型协助完成诸如将调色与情绪描述匹配、从视觉内容生成声音设计，以及从视频内容自动填充元数据等任务。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
常见问题（FAQ）
真正的多模态模型在一个共享的表征框架内处理所有输入模态，从而实现真正的跨模态理解。相连的单模态工具则在各自独立的模型之间传递输出。这一区别之所以重要，是因为共享表征使模型能够跨模态地关联概念，而非仅仅串联起各自独立的过程。
这一能力正在积极发展中。一些当前的研究系统接受文本、音频与图像输入来引导视频生成，不过大多数商用工具接受文本和/或图像输入。音频条件化的视频生成是一个进展迅速的领域，尤其是在音乐视频与叙事内容创作方面。
CLIP（对比式语言-图像预训练）是一个里程碑式的模型，它通过在数亿对图像-描述上训练，学会对齐图像与文本表征。这一共享嵌入空间是使文本生成图像模型能将语言描述转译为视觉内容的基础，因而是当前多模态 AI 格局的一块关键基石。
一般来说是的，因为它们必须在更大的共享架构内处理并对齐多种数据类型。然而，高效的多模态架构与量化技术正迅速降低算力需求，许多实用的多模态能力如今可通过云端 API 获取，无需本地硬件。
多模态 AI 能为视障观众自动生成视觉内容的音频描述、从音轨产生字幕与转写，并从文本创建手语动画：这些任务此前都需要大量人工。这是广播与流媒体制作中一个不断增长的应用领域。
当前的局限包括跨模态一致性不完善（生成的图像可能与文本描述不精确匹配）、跨模态的精确空间与关系推理困难，以及各模态能力参差不齐：多数系统在文本与图像上比在音频与视频上更强。幻觉（模型自信地产出不正确信息）在视觉问答与图像描述任务中也是一个挑战。
