文本反演(Textual Inversion)
文本反演(Textual Inversion)是什么？
文本反演向 AI 生成模型教授一个代表某一具体视觉概念的新词,这样你就能在提示中使用这个词来稳定地生成该概念。
一图看懂
- 别称
- 嵌入训练文本嵌入微调概念嵌入
- 主要用途
- 用自定义主体个性化 AI 图像生成向模型教授特定的艺术风格把品牌或专有的视觉概念加入模型的词汇创建可在工作流之间共享的可复用概念嵌入
- Key features
- 只训练一个新的文本嵌入,而非整个模型只需少量参考图像产出体积小、易于分享的嵌入文件底层模型能力保持完好无损
- 相关术语
- DreamBoothLoRAFine-tuningModel trainingPrompt engineering
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
对比与差异
Compared with related concepts
文本反演与 DreamBooth 都为自定义概念而对 AI 生成模型进行个性化,但在深度与路线上差异显著。文本反演只修改一个新的 token 嵌入,完全不改动模型权重,这限制了它捕捉高度具体相貌的能力,却保留了模型的全部灵活性。DreamBooth 则在参考图像上对整个模型进行微调,产出更强、更准确的概念捕捉(尤其是针对特定人脸与复杂主体),代价是更高的算力开销,以及一个更大、可移植性更差的产物。对于风格捕捉与简单直接的物体概念,文本反演往往已经足够;而对于精确的相貌保真度,DreamBooth 通常是更强的选择。
可以这样理解…
文本反演就像在词典里添加一个新词条,只不过配的是一张图片而非一段释义:你在向 AI 教授一个新词在视觉上意味着什么,这样每当你在提示中使用这个词,它就知道该生成什么。
实用提示
为某种视觉风格创建文本反演嵌入时,使用那些在标志性特征上保持一致、但在主体与构图上各有不同的参考图。如果所有参考图都展示同一主体的同一姿势,模型可能会把风格与主体混为一谈,产出一个只会生成那个特定主体、而非把风格应用到新主体上的嵌入。
类型与变体
文本反演可以根据所提供的训练图像,捕捉不同类型的概念。风格嵌入在共享某种独特美学的图像上训练:某位艺术家的视觉手法、某种历史插画风格,或某套品牌图形语言,从而让该风格得以应用到任意所描述的主体上。物体嵌入捕捉某一具体的产品、道具或物件,以便一致地复现。主体嵌入试图捕捉某个人物或角色的相貌,不过对于这一用例,DreamBooth 通常优于文本反演。多 token 嵌入则把这一方法拓展为联合使用多个新 token,以表示单个 token 难以稳定承载的更复杂或更微妙的概念。
准备好在 Morphic 里做第一个场景了吗？
试用 Morphic常见使用场景
文本反演在创意 AI 工作流中被广泛用于个性化与风格一致性。品牌与产品团队为特定产品创建嵌入,以生成营销图像。艺术家与插画师为自己的视觉风格创建嵌入,把 AI 输出导向其美学。概念艺术家把专有的角色或世界观设计参照加入自己的生成工具箱。社区创作者分享代表艺术风格与美学概念的嵌入,构建起其他创作者可以借力的共享词汇。该技术还被用于迭代式制作工作流:在其中,某个一致的视觉元素(反复出现的角色、某个特定环境、某种独特的灯光风格)需要在众多次生成之间被稳定复现。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
常见问题（FAQ）
如果模型在训练中已对某种风格有了很强的表征,那么文字描述可以近似地唤起它;但许多微妙、专有或冷僻的风格,仅靠语言是无法被稳定唤起的。文本反演把视觉信息直接编码进一个嵌入,它对生成的条件化远比口头描述精确,能捕捉到语言无法完整传达的具体美学细节、色彩倾向与构图特质。这使它对于那些过于具体或不常见、在模型训练数据中表征不足的风格尤为有用。
有效的嵌入通常只需 3 到 10 张参考图即可训练完成,这使得即便在缺乏大量参考材料时,该技术依然可用。这些图像应当一致地呈现所要捕捉的概念,同时在其他属性(主体、背景、构图)上有足够的变化,以防模型把嵌入与训练图像的偶然特征、而非与意图中的概念关联起来。
可以,而且共享正是该技术的一大显著优势。由于嵌入只是体积很小、仅编码了新 token 表征的文件,它们可以轻松分发,并被其他人应用到同一基础模型上使用。Stable Diffusion 社区已经构建起大量共享嵌入库,涵盖艺术风格、美学概念与视觉特征,创作者无需自己训练任何东西,就能把它们纳入自己的工作流。
文本反演与 Stable Diffusion 及基于类似架构的模型关联最为直接,这一技术正是在那里被开发出来、并拥有最成熟的配套工具。封闭的商用模型通常不会以允许外部进行文本反演训练的方式开放其嵌入空间的访问权限,不过有些平台提供它们自己的定制机制,通过不同的技术手段达成类似目标。
文本反演的工作方式,是把一个新概念塞进一个模型并未被显式训练去扩展的现有嵌入空间,这限制了可被稳定编码的新视觉信息量。对于要在众多不同语境与姿势下高保真捕捉某个特定人物的相貌,这一方法往往力有不逮。DreamBooth 微调的是模型权重本身,使它能够重构内部表征以更彻底地容纳新概念,从而产出更强的泛化能力,代价是更高的算力投入。
训练时间取决于硬件、所用的训练步数以及具体实现。在一块性能尚可的消费级 GPU 上,一个基础的文本反演嵌入可以在一小时内训练完成,往往只需 15 到 30 分钟。基于云的训练服务能在数分钟内产出嵌入。相对较短的训练时间,是该技术相较于完整模型微调的一项实际优势,使迭代与试验得以在不付出可观算力成本的情况下进行。
文本反演按其最初的定义,适用于图像生成模型以及这些特定架构的文本嵌入空间。一些基于图像模型基础构建的视频生成模型与工作流,可以纳入来自那些基础模型的嵌入,但其适用性因平台与模型而差异显著。在实践中,大多数视频生成的个性化依赖的是图像参考条件化(提供一张生成或拍摄的图像作为视觉锚点),而非基于嵌入的方法。
在 AI 模型个性化的光谱上,文本反演占据着轻量的一端。它是最易上手的入口,所需的训练数据、算力资源与技术开销最少,产出的文件也最小。LoRA 训练在能力与灵活性上更进一步,它微调模型权重的一小部分,以更高保真度捕捉概念。DreamBooth 则更为强力,通过更大范围的微调来实现最强的概念捕捉。在这些技术之间做取舍,需要在所需的捕捉强度与可用于训练的资源之间求得平衡。
