Skip to content

Attribute Edit

hkz edited this page Dec 11, 2023 · 6 revisions

功能简介

EasyPhoto 提供了属性编辑控制器(Attribute Edit Sliders)能够在保 ID 的前提下,控制生成人物(脸部)的属性(表情、五官和年龄等),从而解决在 Additional Prompt 中输入文本提示词控制效果弱的问题。 该功能借鉴 Concept Sliders [1],通过对比和解耦学习文本概念,以实现对生成人物(脸部)中对应属性的编辑,并保持其余属性不变。

使用说明

  • EasyPhoto 内置了编辑年龄和微笑等属性的控制器,命名方式为 {attribute}_{sd1/sdxl}_sliders。例如,在 SD1 模型编辑微笑属性的控制器 smiling_sd1_sliders。使用的 UI 如下:

image

  • 为了保证属性编辑的平滑性,Concept Sliders 对应的 LoRA 需要在去噪的中后期才能添加到 SD 模型上。因此,EasyPhoto 集成了 sd-webui-loractl 插件(无需额外安装且兼容原插件)以实现 LoRA 的动态加载。该插件将原始的 LoRA 语法进行了拓展,完整的用法参考原插件说明文档。
  • smiling_sd1_sliders 为例,在 Attribute Edit Sliders 下拉框将其选中,随后 Additional Prompt 中会添加上类似 <lora:smiling_sd1_sliders:0@0, 0@timesteps_ratio, multiplier@timesteps_ratio, multiplier@1> 形式的字符串。假设进行 50 步去噪并设置 multipliertimesteps_ratio 分别为 2 和 0.2,上述字符串表示前 50*0.2=10 步去噪的过程中,smiling_sd1_sliders 没有添加到 SD 模型上,而中后 50*(1-0.2)=40 步的去噪过程中,smiling_sd1_sliders 才以强度(权重)为 2 被添加到 SD 模型上。LoRA 权重在整个去噪过程中的变化如下图所示:

image (84)

  • 通过调整 multipliertimesteps_ratio 来控制编辑的强弱。

结果展示

image

参考文献

[1] Gandikota, Rohit, et al. "Concept Sliders: LoRA Adaptors for Precise Control in Diffusion Models." arXiv preprint arXiv:2311.12092 (2023).

Clone this wiki locally