-
Notifications
You must be signed in to change notification settings - Fork 398
Attribute Edit
hkz edited this page Dec 11, 2023
·
6 revisions
EasyPhoto 提供了属性编辑控制器(Attribute Edit Sliders)能够在保 ID 的前提下,控制生成人物(脸部)的属性(表情、五官和年龄等),从而解决在 Additional Prompt 中输入文本提示词控制效果弱的问题。 该功能借鉴 Concept Sliders [1],通过对比和解耦学习文本概念,以实现对生成人物(脸部)中对应属性的编辑,并保持其余属性不变。
- EasyPhoto 内置了编辑年龄和微笑等属性的控制器,命名方式为
{attribute}_{sd1/sdxl}_sliders
。例如,在 SD1 模型编辑微笑属性的控制器smiling_sd1_sliders
。使用的 UI 如下:
- 为了保证属性编辑的平滑性,Concept Sliders 对应的 LoRA 需要在去噪的中后期才能添加到 SD 模型上。因此,EasyPhoto 集成了 sd-webui-loractl 插件(无需额外安装且兼容原插件)以实现 LoRA 的动态加载。该插件将原始的 LoRA 语法进行了拓展,完整的用法参考原插件说明文档。
- 以
smiling_sd1_sliders
为例,在 Attribute Edit Sliders 下拉框将其选中,随后 Additional Prompt 中会添加上类似<lora:smiling_sd1_sliders:0@0, 0@timesteps_ratio, multiplier@timesteps_ratio, multiplier@1>
形式的字符串。假设进行 50 步去噪并设置multiplier
和timesteps_ratio
分别为 2 和 0.2,上述字符串表示前50*0.2=10
步去噪的过程中,smiling_sd1_sliders
没有添加到 SD 模型上,而中后50*(1-0.2)=40
步的去噪过程中,smiling_sd1_sliders
才以强度(权重)为 2 被添加到 SD 模型上。LoRA 权重在整个去噪过程中的变化如下图所示:
- 通过调整
multiplier
和timesteps_ratio
来控制编辑的强弱。
[1] Gandikota, Rohit, et al. "Concept Sliders: LoRA Adaptors for Precise Control in Diffusion Models." arXiv preprint arXiv:2311.12092 (2023).