DreamBooth
DreamBooth是什么？
DreamBooth 是一种技术,用少量某个特定主体的照片来训练AI图像模型,使其能在新的情境、风格与语境中生成该主体。
一图看懂
- Type of model
- 用于个性化现有文本到图像扩散模型的微调技术
- Developed by
- Google Research
- Key capability
- 用三到三十张某个特定主体的图像训练AI图像生成模型,使其能在新语境、姿态与风格中生成该主体
- How it fits in AI workflow
- 用于在AI制作流程中创建自定义角色模型、品牌一致的视觉工具与个性化生成器;通常应用于基于 Stable Diffusion 的模型与工作流程
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
对比与差异
DreamBooth 产生一个完整的微调模型检查点,通常能在多样的提示词语境中实现对主体强劲、全面的个性化。LoRA 是一种计算效率更高的微调方法,只训练一小组额外权重而非整个模型,所需存储与训练时间更少,能实现强劲但有时不那么全面的个性化。在实践中,结合 LoRA 的 DreamBooth 兼采两者之长,以 DreamBooth 的训练方法搭配 LoRA 的效率框架,在质量与资源需求之间取得平衡。
实用提示
DreamBooth 训练的图像筛选对输出质量有超乎寻常的影响。与其尽可能多地收集图像,不如优先选取十到二十张多样、高质量的图像,从不同角度、不同光照条件、不同背景展现主体。纳入近乎重复的图像、多张极为相似的画面,或带有其他视觉主导元素的图像,会让模型学到错误的模式。一组精挑细选的小图像集内部的多样性,始终胜过大量冗余图像。
类型与变体
完整的 DreamBooth 微调在主体数据集上更新模型的全部或大部分权重,产生全面而灵活的个性化定制,但因生成完整的模型检查点而需要更多存储空间。结合 LoRA 的 DreamBooth 将 DreamBooth 方法与 LoRA 高效微调框架整合,在保持出色个性化效果的同时降低存储需求与训练时间。类别特定的 DreamBooth 训练使用先验保留损失,用额外的通用类别图像训练模型,防止微调在学习特定主体时削弱模型的通用能力。
准备好在 Morphic 里做第一个场景了吗？
试用 Morphic常见使用场景
用少量参考图像训练自定义角色模型,在众多不同的提示词与场景中一致地生成该角色。基于产品图像训练品牌专属生成模型,能在提示词描述的任何语境中实现一致的产品可视化。通过在一组风格一致的精选参考图像上训练,用特定艺术风格对图像生成模型进行个性化定制。从一组照片构建可复用的AI代言人或虚拟形象,用于营销、教育与传播内容。为特定领域的创意应用微调模型,这些场景中默认基础模型在所需的特定主体或风格上表现不佳。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
常见问题（FAQ）
DreamBooth 是一种微调技术,用一组通常为三到三十张、描绘特定主体的小型图像集来训练现有的AI图像生成模型。训练好的模型随后可在提示词描述的任何语境、风格或姿态中生成该主体。
DreamBooth 用少至三到五张图像就能得到基本效果,但十到三十张精心筛选、多样的图像通常能产生更灵活、更一致的输出。图像质量与多样性比数量更重要。
DreamBooth 由谷歌的研究人员开发,并在2022年发表的一篇论文中描述。此后它被开源AI图像生成社区广泛采用与改进。
DreamBooth 产生一个完整的微调模型检查点,通常能实现全面的个性化。LoRA 训练一小组额外权重,叠加在基础模型之上,所需存储与训练时间更少。结合 LoRA 的 DreamBooth 兼采两者之长,在质量与效率之间取得平衡。
DreamBooth 可以在特定人物、角色、产品、艺术风格、宠物、物体,以及任何具有独特视觉特征、需要在多样生成语境中可复现的主体上训练模型。
DreamBooth 最常应用于基于 Stable Diffusion 的模型及其变体,其开源模型权重可在本地或通过云训练服务进行微调。它不适用于无法访问底层权重的专有闭源模型。
训练时间因硬件、数据集大小与训练参数而异,但一次标准的 DreamBooth 运行在消费级或云端GPU硬件上通常需要十五分钟到数小时。结合 LoRA 的 DreamBooth 一般比完整权重的 DreamBooth 训练更快。
先验保留损失是 DreamBooth 训练中使用的一种技术,在主体图像之外加入额外的通用类别图像,防止微调削弱模型生成该主体所属通用类别的能力。例如,在训练特定人物时纳入通用人像图像,以防模型遗忘通用人像应有的样子。
