ControlNet
ControlNet是什么？
ControlNet 让你给 AI 图像生成器提供一个结构性参考，比如姿态或深度图，使输出遵循那个精确的空间布局。
一图看懂
- 别称
- 扩散模型的空间控制条件式图像生成控制
- 主要用途
- 姿态控制的生成深度约束的构图边缘引导的图像合成精确的布局控制
- 常用工具
- Stable diffusion with ControlNet extensionComfyUIAutomatic1111
- 相关术语
- Diffusion modelImage-to-imagePose estimationDepth mapInpainting
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
对比与差异
Compared with related concepts
ControlNet 与图生图：图生图直接将参考图像用作视觉起点，同时影响输出的结构和视觉内容。ControlNet 从参考中提取特定的结构信息，如姿态或边缘，并将其用作空间约束，而将视觉内容和风格交给文本提示和基础模型决定。ControlNet 提供结构精度，无需让参考的完整视觉内容出现在输出中。
可以这样理解…
想象你正在画一幅画，有人给你一张涂色书的轮廓，准确标出了所有线条和形状应该在哪里。你仍然可以为每个区域选择任何你喜欢的颜色和纹理，但形状已经替你定好了。ControlNet 的作用就像那张轮廓。它给 AI 一个可遵循的结构骨架，无论是人物的姿态、构图的边缘还是场景的深度，同时仍让 AI 在该结构内选择所有的视觉细节、纹理和风格。简单来说它的运作方式：一个独立的神经网络模块处理结构控制图像，并在扩散过程中将空间调节信息传递给主生成模型。控制模块约束事物所处的位置；主模型决定它们的样子。你会在哪里遇到它：ControlNet 用于开源 AI 生成流程中的角色姿态匹配、建筑渲染图生成、插画到渲染图的转换，以及任何需要对 AI 生成影像进行精确构图控制的工作流程。
实用提示
同时使用多个 ControlNet 输入时，请调整每个控制模块的权重，而不是全部以满强度施加。姿态控制设为 0.8 权重，结合深度控制设为 0.6 权重，通常比两者都设为 1.0 产生更好的结果，因为它给了基础模型更多空间在结构约束内产出流畅一致的视觉质量，而不是在相互竞争的高权重控制信号之间内耗。
类型与变体
姿态 ControlNet 使用骨架关键点图来控制角色身体的位置。边缘 ControlNet 使用轮廓检测图来约束输出的结构线条。深度 ControlNet 使用深度图来保留参考图的空间深度关系。分割 ControlNet 使用区域标签来控制画面每个区域出现何种类型的内容。法线图 ControlNet 使用表面法线数据来约束输出中表面的三维特性。多个 ControlNet 模块可以同时使用，并在各控制输入之间进行加权混合。
准备好在 Morphic 里做第一个场景了吗？
试用 Morphic常见使用场景
角色姿态匹配使用姿态 ControlNet，按参考图像或骨架定义的特定身体姿势生成角色。布局保留使用边缘或深度 ControlNet，在保持现有构图结构逻辑的同时生成其风格化版本。产品摆放使用分割 ControlNet，控制特定内容类型在生成场景中出现的位置。建筑可视化使用深度和边缘控制，生成保留现有模型或草图空间结构的设计渲染图。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
常见问题（FAQ）
ControlNet 是一种神经网络架构，它通过将生成过程基于姿态图、边缘图或深度图等结构性输入图像进行调节，为图像生成模型添加空间控制。它让创作者能够以远比单纯文本提示更高的精度，指定生成输出的构图和空间结构。
ControlNet 训练额外的神经网络模块，与基础扩散模型一起处理结构控制图像。这些模块从控制输入中提取空间信息，并将其作为调节信息传递给生成过程，约束元素在输出中出现的位置，同时不覆盖基础模型的视觉风格。
ControlNet 支持用于身体位置控制的姿态图、用于结构线条控制的边缘图、用于空间深度关系的深度图、用于区域内容控制的分割图，以及用于表面几何控制的法线图等。多种控制类型可以同时使用。
图生图直接使用参考图像，同时影响结构和视觉内容。ControlNet 从参考中提取特定的结构信息，并仅以此作为空间约束，让文本和基础模型独立于参考的外观来决定视觉内容和风格。
姿态 ControlNet 使用骨架关键点图，确保生成的角色匹配特定的身体位置。它广泛用于以相同姿态生成角色变体、为产品或时尚可视化匹配参考姿态，以及确保跨多次生成的角色站姿一致。
ControlNet 模块是特定于架构的，必须与基础模型兼容。大多数 ControlNet 开发都是针对 Stable Diffusion 及其变体的。每个基础模型架构都需要为该特定架构训练的专属 ControlNet 模块。
ControlNet 权重控制控制模块的空间调节对生成输出影响的强度。权重越高，输出越精确地遵循控制图像，但可能降低视觉质量。权重越低，则在仍施加方向性空间引导的同时，给予更多生成自由度。
ControlNet 的原理被许多商业 AI 生成工具采用或借鉴，尽管实现方式各不相同。该架构起源于开源的 Stable Diffusion 生态系统，并影响了更广泛的商业和研究类 AI 生成平台开发空间控制功能的方式。
