超网络
超网络是什么?
超网络是一个小型神经网络,它修改更大的 AI 图像模型的行为方式,训练它以特定风格或特定主体进行生成:而不直接改变原始模型的权重。
一图看懂
- 别称
- HN(Stable diffusion 社区中的缩写)
- 主要用途
- 为特定风格或主体专门化 AI 图像生成模型将艺术家风格适配应用于基础模型创建模块化、可替换的模型修改
- 常用工具
- Stable diffusion (AUTOMATIC1111 WebUI, ComfyUI)Various open-source fine-tuning pipelines
- 相关术语
- LoRAFine-tuningEmbedding / textual inversionStable diffusionModel weights
准备好开始创作了吗?
执导场景、设计角色、完成整部影片
一站式 AI 创作平台,定价简单透明,无速度节流,搭配无限 Canvas,让创作发挥到极致。
对比与差异
Compared with related concepts
超网络与 LoRA 的对比:两者都是参数高效的微调方法,无需完全重新训练即可专门化一个基础模型。LoRA 通过将权重更新分解为直接应用于模型层的低秩矩阵对来工作,通常以相近的计算成本实现比超网络更好的质量和更可预测的训练行为。因此,LoRA 在实践中已成为占主导地位的技术。相比之下,超网络更为陈旧且更受限,不过在不支持 LoRA 的环境中它们仍可使用。
实用提示
在 AUTOMATIC1111 中使用超网络时,强度乘数:即缩放超网络修改应用强度的数值:会显著影响输出。在全强度(1.0)下,许多超网络会压过提示词,产生以牺牲提示词内容为代价反映超网络风格的输出。将乘数降至 0.5 至 0.7 往往能在超网络的风格影响与提示词所描述内容之间产生更好的融合。
类型与变体
超网络通常以其训练目标来区分:风格超网络学习某种特定视觉美学或艺术家风格的特征,而主体超网络学习某个特定角色、物体或概念的外观。它们在大小(以层深和层宽衡量)和训练质量上各不相同,较大的超网络可能捕捉更多细微之处,但需要更多训练数据和计算。该技术与 Stable Diffusion 1.
准备好在 Morphic 里做第一个场景了吗?
试用 Morphic常见使用场景
Stable Diffusion 社区内的艺术家和创作者用超网络训练风格适配,以复现特定艺术运动、插画风格或个别艺术家作品的视觉特征,然后分享这些超网络供他人使用。角色设计师在原创角色设计上训练超网络,以产生一致的角色生成,而无需在每个提示词中描述每一处外观细节。商业用户在品牌视觉识别上训练超网络,将生成引导至符合品牌的美学输出。
准备好开始创作了吗?
执导场景、设计角色、完成整部影片
一站式 AI 创作平台,定价简单透明,无速度节流,搭配无限 Canvas,让创作发挥到极致。
常见问题(FAQ)
超网络是一个小型辅助神经网络,它在推理时修改更大的 AI 图像生成模型的行为,而不直接改变基础模型的权重。它被训练为将学到的调整应用于基础模型的内部处理,将输出引导至所需的风格、主体或美学,而无需承担重新训练完整模型的成本。
在标准微调中,基础模型自身的权重被更新以纳入新信息。在超网络方法中,基础模型的权重保持不变,取而代之的是一个独立的小型网络学习产生在生成过程中动态应用的调整。这使基础模型得以保持完整,同时可以按需加载和替换多个不同的超网络。
两者都是专门化基础模型的参数高效微调方法,但工作方式不同。LoRA 将低秩权重更新直接应用于模型层,而超网络则训练一个在运行时修改基础模型激活的独立网络。在实践中 LoRA 已基本取代超网络,因为它通常实现更好的质量和更一致的训练结果。
面向基于 Stable Diffusion 模型的超网络可在 Civitai 等社区仓库获取。在 AUTOMATIC1111 WebUI 及兼容界面中,将超网络文件放入指定文件夹并在生成设置中选取它即可使用。该技术最常见于较旧的 Stable Diffusion 1.5 工作流程。
AUTOMATIC1111 WebUI 和各类开源训练脚本支持超网络训练。该过程需要一个代表待学习风格或主体的图像数据集,以及适当的训练配置。训练超网络所需的计算资源通常少于训练完整模型,但多于其他一些微调方法。
超网络在支持它们的 Stable Diffusion 环境中仍可运行,在其使用高峰期训练的超网络至今仍可获取和使用。然而,就大多数实际用途而言,LoRA 已成为占主导地位的微调技术,以相当或更低的计算成本提供通常更好的结果。超网络主要在遗留工作流程中,或在需要特定预训练超网络的情况下才受关注。
嵌入,也称为文本反演,通过训练一小组代表特定概念的词元向量为文本编码器添加新词汇,使模型能够将一个新的触发词与学到的视觉概念相关联。超网络则修改模型的图像生成层而非其文本处理,使其适合捕捉那些难以仅凭文字描述充分表达的视觉风格特征。
在 AUTOMATIC1111 及类似界面中,每次生成通常应用单个超网络。与支持以各自强度控制同时叠加多个适配的 LoRA 不同,大多数工具中的超网络实现一次只应用一个。这是 LoRA 为需要在单次生成中组合多个适配的创作者提供更大工作流程灵活性的又一方面。