ComfyUI局部重绘工作流用潜空间遮罩结合ControlNet实现像素级修改

在商业修图与电商视觉管线中，约 70% 的样张废片并非源于整体构图崩溃，而是受制于手部结构畸变、服饰局部褶皱或背景杂物穿帮等局部缺陷。传统方案往往依赖整图重新跑图抽卡，不仅算力浪费严重，更会导致原本满意的人物面容与光影布局被彻底颠覆。

表面上看，局部重绘（Inpainting）只是一种类似图像处理软件中“选区擦除后填补”的修补技术，本质上它是在潜空间（Latent Space，即扩散模型压缩并提取图像语义特征的高维数学空间）中，通过遮罩矩阵对指定空间坐标施加约束的条件概率降噪过程。掌握 ComfyUI 的节点级局部重绘逻辑，是创作者由“随机抽卡”迈向“确定性工业化修图”的分水岭。

局部重绘的底层逻辑与标准节点链路

局部重绘的技术底色并不是生成一张新图后进行机械裁切贴合，而是只重新计算并生成遮罩区域内的潜空间特征，非遮罩区域的像素数据与特征分布被完整锁定并保留。这种机制确保了图像周围原有的景深、色调与高频纹理不会受到任何侵蚀。

标准的基础局部重绘节点链路包含五个核心节点：

1. Load Image：载入原始参考图像。
2. VAE Encode (for Inpainting) / Set Latent Noise Mask：原始图像经过 VAE 编码器（变分自编码器）压缩进入潜空间，同时将二进制遮罩张量绑定到对应的 Latent 潜空间变量上。
3. KSampler：采样器接收带有噪波遮罩的 Latent，降噪运算仅在被遮罩标记的潜空间区域内发生，外部区域保持冻结。
4. VAE Decode：潜空间数据被解码还原为像素维度的 RGB 图像。
5. Save Image：输出最终渲染成果。

在 ComfyUI 中，潜空间遮罩（Latent Mask）将整图信息作为上下文参考输入给注意力机制（Self-Attention）。这意味着重绘区域在降噪时，能够主动“感知”非重绘区域的光源方向、物体透视以及邻近边缘的色彩漫反射，从而在生成第一笔像素时就融入整幅画面的物理逻辑。

遮罩生成的两条路径：手工精修与 SAM 智能分割

局部重绘精度的上限取决于遮罩（Mask）的几何质量。在 ComfyUI 生态中，构建遮罩主要分为手工绘制与基于视觉大模型的自动化分割两大路径。

手工遮罩绘制

手工遮罩依托创作者的视觉经验，适用于形态不规则的微小瑕疵修正或概念性重绘。用户可以直接使用 ComfyUI 内置的 Mask Editor（遮罩编辑器）涂抹，或在外部专业制图软件中单独绘制黑白 Alpha 通道图，随后通过 Load Image (as Mask) 节点载入工作流。手工绘制适合修饰皮肤细小斑点、调整衣服局部边缘等需要主观介入的修图任务。

自动化分割（Segment Anything）

针对电商场景中大面积的主体剥离、换装及换背景，人工涂抹耗时且边缘难以精确贴合。此时引入 SAM（Segment Anything Model）或 GroundingDINO 节点能够实现自动化目标提取。创作者只需输入文本提示词（如“jacket”或“shoes”）或者在画布上点击关键提示点，模型即可在数毫秒内生成像素级贴合的物体边缘遮罩。

消除接缝与色差的四个核心参数调校

在重绘实践中，最常出现的瑕疵是重绘区域边缘出现明显的白边、黑边或不自然的色块接缝。消除这些合成痕迹依赖于节点工作流中的精细化参数调校。

1. 边缘羽化（Mask Feather）

生硬的黑白二进制边缘是导致贴合处突兀的根源。在遮罩接入潜空间之前，必须串联 Feather Mask 节点。通常建议将羽化半径设定在 8 到 16 像素之间。羽化通过在边缘建立由 0 到 1 的灰度渐变带，使采样器在边缘降噪时与原图边缘产生渐进式平滑过渡。

2. 遮罩扩充（Grow Mask）

由于 SAM 分割或手工选区通常紧贴物体轮廓，原物体的外边缘反光可能残留在非重绘区造成色溢。通过 Grow Mask 节点将遮罩向外微调扩张 2 到 4 像素，可以彻底覆盖边缘反光杂色，使重绘内容与底层背景严丝合缝。

3. 降噪强度（Denoise Strength）区间分配

KSampler 中的降噪强度直接决定了对遮罩区域的破坏与重构幅度：

• 0.2 到 0.4：微修阶段。保留原画面的全部轮廓结构，仅用于皮肤质感平滑、轻度祛皱与色彩倾向校正。
• 0.4 到 0.6：换装与局部结构修改的黄金区间。既吸收原图的光影骨架，又具备足够的重构自由度生成全新纹理。
• 0.7 到 1.0：彻底重构与新增物体。彻底抹除原区域信息，用于在空白区域添加全新物品或进行大幅度外扩绘图（Outpaint）。

4. 接入 ControlNet 维持物理结构

对于结构严谨的电商产品修图，单纯依靠提示词重绘容易产生形变。在 KSampler 前挂载 ControlNet Inpaint 或 ControlNet Tile / Lineart 节点，能够将原始物体的线稿特征、法线方向或景深轮廓作为强制物理先验输入，确保衣物重绘时褶皱走势自然、硬质商品重绘时边缘挺直不扭曲。

四大高频实战场景与视频衍生

场景一：主体保持与电商换背景

在商业出海电商中，模特外景图经常需要替换为不同季节或极简棚拍背景。通过 SAM 自动识别人物主体，随后使用 Invert Mask 节点将遮罩反转选中整个背景区域。将降噪强度设为 0.8 以上并修改背景提示词，配合 ControlNet Depth 锁定模特空间纵深，即可在完全保留模特面容与发丝细节的前提下实现全场景置换。

场景二：两阶段面部与手部精修管线

针对 SDXL 或 Flux 等大模型初稿中容易出现的“远景脸部崩坏”与“多指畸变”，成熟管线采用两阶段生成方案：第一阶段生成全景大图；第二阶段利用 Crop Face/Hand 节点将缺陷区域以高分辨率裁剪放大，套用局部重绘工作流并以 0.45 降噪强度重绘面部微表情或规范手指骨骼，最后无缝缝合回原图画布。

场景三：服装换色与面料材质重塑

选中服饰遮罩后，利用提示词改变面料质感（如将纯棉 T 恤改为丝绸或皮质），将降噪强度设定在 0.5 左右，并使用 ControlNet SoftEdge 提取原始服装的走线轮廓。这样能在保留模特穿着形体与动态褶皱的同时，精准替换材质的高光与反光特性。

场景四：扩图（Outpainting）与边界延展

当画面构图过窄无法适配横版广告位时，通过 Pad Image for Outpainting 节点在图像四周增加空白像素画布，并将新增留白区域转为遮罩。KSampler 降噪强度设置为 1.0，模型会依据画面内侧边缘的纹理趋势向外自然延伸绘制，解决广告排版中的画幅受限问题。

在视频生成领域，这一套逻辑同样适用。在基于 AnimateDiff 或 Wan2.1 的视频工作流中，创作者利用 Masked Latent 锁定每一帧画面的静态区域，仅对局部动态主体应用潜空间噪声注入，从而大幅改善长视频生成过程中的闪烁与主体一致性衰减问题。

局部重绘技术演进中的断代痛点

梳理局部重绘在扩散模型生态中的演进路径，可以更清晰地理解当前 ComfyUI 节点方案所攻克的瓶颈与遗留挑战：

局部重绘的工业级定论与认知纠偏

理解 ComfyUI 局部重绘体系，需要建立一个根本认知：局部重绘绝非简单的局部贴图，而是以非遮罩区为物理边界条件的潜空间局部特征定向收敛。

在实际操作中存在一个普遍误区，即认为“必须加载带有 Inpaint 后缀的专用大模型才能做好局部重绘”。事实上，在现代 ComfyUI 节点工作流中，通过 VAE Encode (for Inpainting) 结合标准基础模型（Base Model）与 ControlNet Inpaint 预处理器，不仅在结构可控度上超越了老旧的专用重绘模型，更能无缝继承最新 SDXL、Flux 等开源大模型强大的画质细节与文本理解力。降噪强度的调节本质上是对先验信息（原图）与新验信息（提示词）权重的博弈，盲目追求高降噪只会重新退化为不可控的随机生成。

尚未完全攻克的技术边界

即便当前局部重绘能够实现发丝级的平滑过渡，复杂的非局部光影联动依然是现有架构的未解难题。例如：在为人物更换深色服装后，原本反射在模特颈部皮肤上的浅色环境光不会自动调整为暗色反光；移除桌上的玻璃水杯后，地面上原有的复杂焦散与折射阴影也无法在不扩大遮罩范围的前提下实现自适应重算。这种跨越遮罩区域的物理光线追踪级一致性，仍需等待底层扩散模型对三维空间光照解耦能力的进一步突破。

引用来源

1. ComfyUI 官方开源代码仓库与架构设计文档（2023年10月）：https://github.com/comfyanonymous/ComfyUI
2. Stability AI 团队关于 SDXL 高分辨率图像合成及局部重绘机制技术报告（2023年7月）：https://arxiv.org/abs/2307.01952
3. Meta AI 团队 Segment Anything 视觉分割模型论文（2023年4月）：https://arxiv.org/abs/2304.02643
4. Zhang 等关于 ControlNet 条件扩散模型控制机制的研究论文（2023年2月）：https://arxiv.org/abs/2302.05543
5. Lugmayr 等基于去噪概率扩散模型的 RePaint 图像重绘算法论文（2022年1月）：https://arxiv.org/abs/2201.09865