微调
微调是什么？
微调获取一个现有 AI 模型，并在特定示例上对其进一步训练，使它更擅长以特定风格、围绕特定主体或匹配特定视觉识别来生成内容。
一图看懂
- 别称
- 模型训练自定义训练LoRA 训练DreamBooth 训练
- 主要用途
- 教会 AI 模型特定风格或视觉识别在生成内容中保持角色一致性使模型适应品牌或领域特定需求
- 常用工具
- LoRADreamBoothHypernetworksKohya training scriptsReplicate and hugging face fine-tuning platforms
- 相关术语
- LoRADreamBoothTransfer learningTraining dataBase model
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
对比与差异
Compared with related concepts
微调与提示词工程：提示词工程使用精心设计的文本指令引导基础模型趋向所需输出，而不改动模型的底层参数。微调则通过调整模型参数来修改模型本身，使其更好地表征特定领域或风格。提示词工程更快且无需训练开销，是大多数生成目标可首先尝试的方法。当需要可靠地实现仅靠提示词无法达成的一致、高保真风格或主体呈现时，微调更为合适，尤其适用于反复出现的角色、特定品牌美学或高度风格化的视觉识别。
实用提示
微调模型的质量几乎完全取决于用于创建它的训练数据的质量与一致性。一个由三十张高质量、精心挑选且风格一致的参考图像组成的小数据集，通常会产出比两百张不一致或质量参差图像组成的大数据集更好的微调模型。在开始任何微调过程之前，投入时间整理和清洗训练数据：剔除异常值、确保裁切与取景一致，并核实所有图像都清晰体现你想让模型学习的特定特征。
类型与变体
全量微调（更新所有模型权重）；LoRA / 低秩自适应（高效的参数高效调优）；DreamBooth（面向图像模型的主体/风格微调）；指令微调（使模型对齐以遵循提示词）；RLHF / 基于人类反馈的强化学习（使输出对齐人类偏好）
准备好在 Morphic 里做第一个场景了吗？
试用 Morphic常见使用场景
微调用于教会 AI 模型某品牌的特定视觉识别，使生成的营销内容能可靠地体现品牌美学，而无需为每次生成进行大量提示词工程。角色设计师在原创角色的参考图像上微调模型，以在 AI 生成的故事内容中保持面部与风格的一致性。动画工作室在自家风格上微调模型，确保 AI 辅助的内容生成与现有作品的视觉语言相符。个人创作者在自己的艺术风格上微调模型，将 AI 生成用作个人创作声音的延伸，而非对其的背离。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
常见问题（FAQ）
微调是指获取一个预训练 AI 模型，并在代表特定风格、主体或领域的更小、经过筛选的数据集上继续训练的过程。该过程调整模型的内部参数，使其输出更贴合微调数据，同时保留初始训练阶段所确立的通用能力，从而产出针对目标领域更一致、更准确的结果。
从零训练从零开始构建模型的知识，需要庞大的数据集和大量算力资源，才能在进行任何领域特定学习之前发展出通用能力。微调则从一个已具备广泛通用知识的现有模型出发，只需一个小得多的领域特定数据集即可专门化这些知识。对于无法获取全量训练所需基础设施的创作者与机构而言，微调更快、更省成本，也更切实可行。
LoRA 代表低秩自适应（Low-Rank Adaptation），是一种参数高效的微调方法，仅训练一小部分额外参数，而非修改整个模型。LoRA 适配器是轻量级文件，可在生成时与基础模型一并加载，从而在不永久修改底层模型的情况下应用微调专门化。这使 LoRA 成为一种极为实用的方法，适合希望维护多种专门化并灵活切换的创作者。
微调的数据需求因所用方法和目标领域的特定程度而大不相同。传统的全量微调可能需要数百或数千张图像。诸如 LoRA 和 DreamBooth 之类的高效方法，在许多应用中仅需二十到五十张高质量、风格一致的参考图像即可产出可用结果，不过更复杂的主体和风格会受益于更大、更精心整理的数据集。
当需要在众多生成输出中可靠复现一致、高保真的风格或主体，而仅靠提示词工程无法达成所需一致性时，微调最为合适。对于一次性生成或一般探索性创意工作，提示词工程更快、更灵活。对于必须在长期制作中保持稳定的反复出现角色、特定品牌美学或高度风格化的视觉识别，微调能提供更可靠的结果。
过拟合是微调中的一种风险，即模型在专门化数据集上训练得过于激进，导致它丧失部分通用知识，并僵化地只聚焦于微调领域。LoRA 等高效微调方法通过保持原始模型大部分参数不变来降低这一风险。仔细监控训练过程，并使用大小适当、多样化的训练数据集，也有助于在专门化与通用能力之间保持健康的平衡。
DreamBooth 是一种专门设计的微调技术，用少量参考图像教会 AI 图像生成模型认识特定主体：某个特定人物的面孔、某个特定物体或某个独特的视觉元素。它的工作方式是将主体与一个唯一标识符词元关联起来，并训练模型在提示词中使用该词元时生成该主体。DreamBooth 被广泛用于创建一致的角色参考和个性化的 AI 生成模型。
在某品牌的视觉参考素材（色彩方案、摄影风格、产品影像与环境美学）上微调的模型，比仅通过提示词引导的基础模型更可靠地生成体现品牌识别的内容。对于产出大量 AI 生成品牌内容的机构而言，微调降低了每次生成所需的提示词工程开销，并提升了大型内容库中视觉输出的一致性。
