add sd-webui extension #401

fpzh2011 · 2023-12-05T07:28:25Z

No description provided.

fpzh2011 · 2023-12-05T07:31:19Z

This pull request depends on the merging of #379

strint · 2023-12-08T11:23:08Z

onediff_sd_webui_extensions/README.md

+
+## Installation Guide
+
+1. Install and set up Stable Diffusion web UI based on [this commit snapshot](https://github.com/AUTOMATIC1111/stable-diffusion-webui/tree/4afaaf8a020c1df457bcf7250cb1c7f609699fa7).


这块是不是改成：

git clone 到这个 commit 的操作。

strint · 2023-12-08T11:23:38Z

onediff_sd_webui_extensions/README.md

+
+1. Install and set up Stable Diffusion web UI based on [this commit snapshot](https://github.com/AUTOMATIC1111/stable-diffusion-webui/tree/4afaaf8a020c1df457bcf7250cb1c7f609699fa7).
+
+Perform the following [manual installation](https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-on-NVidia-GPUs#manual-installation) process:


这部分安装是不是直接指向官方的就可以了，不用重复

这里的操作和 manual installation 还不一样。我之前照着官方文档操作，中间出现各种问题。现在这些操作、及其顺序，也是反复调试出来的。

这个我觉得最好确认下，我第一次玩的时候，因为网络问题确实很麻烦。
但是解决了网络问题后，是直接运行 webui.sh 就全自动安装了。

而且我觉得sd-webui这么流行，如果最新版本这么难安装(还没有现成解决方案)，不符合常理

这里的“手动安装建议“，主要是针对”要使用 onediff 插件“的情况。如果只是用 sd-webui，自动安装也可以。但是如果要用 onediff，至少 checkpoint 函数这个就很难绕过去。

因为目前的自动安装指定了较旧的 generative-models 的版本，其使用了自己写的 checkpoint 函数，很多 forward 都套了这个函数。而最新版使用了 torch 的 checkpoint 函数，onediff 就能正常运行了。

这两天重新思考了一下，我们可以先让 sd-webui 自动安装（包括 onediff 插件的依赖），然后再修复与 oneflow_compile 冲突的地方。这样可以大大简化安装过程。

strint · 2023-12-08T11:24:08Z

onediff_sd_webui_extensions/README.md

+pip install pydantic==1.10.13
+```
+
+2. Install OneFlow


指向 onediff readme

strint · 2023-12-08T11:24:34Z

onediff_sd_webui_extensions/README.md

+pip install --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu118
+```
+
+3. Intall onediff


指向 onediff readme

strint · 2023-12-08T11:25:19Z

onediff_sd_webui_extensions/README.md

+cp sd_xl_base_1.0.safetensors stable-diffusion-webui/models/Stable-diffusion/
+```
+
+To improve the speed of the first startup of the service, download [openai/clip-vit-large-patch14](https://huggingface.co/openai/clip-vit-large-patch14) ahead of time and change the model path in [the code](https://github.com/Stability-AI/generative-models/blob/059d8e9cd9c55aea1ef2ece39abf605efb8b7cc9/sgm/modules/encoders/modules.py#L338). The example code is as follows:


这是 sd web ui 的 trick 么，还是 onediff 执行需要的

不是 trick。只是 sd-webui 依赖这个模型。如果不提前下载，启动时会比较慢。

不是 trick。只是 sd-webui 依赖这个模型。如果不提前下载，启动时会比较慢。

好的，可以注明下不是 onediff 的约束。

我觉得是否可以直接删掉这类说明？因为它其实不是 onediff 的问题，也不是别人都会遇到的问题（比如没有 GFW 网速很快的区域）。
越复杂的话，别人尝试的难度就越大。（当然上面的指定 commit 和跑通 onediff 息息相关，不能省）

可以此 readme 是假定用户能顺利跑通 sd-webui，然后想来尝试 onediff sd-webui 插件。

这类跑通的经验，可以另外做一个章节或者另外一个文档，”Trouble Shooting“里集中说明。

strint · 2023-12-08T11:31:15Z

onediff_sd_webui_extensions/scripts/onediff.py

+        return not is_img2img
+
+    def run(self, p):
+        global _compiled


有 self 的话，就别用 global

把 _compiled 存在 Script 对象上？

compile 函数中把编译结果赋值给 _compiled。
而 compile 函数注册到 script_callbacks.on_model_loaded，当模型加载时进行编译。

self._compiled 比较正常，全局变量不好

这里应该是可以改的吧

在 compile 函数中拿不到具体的 Script 对象实例，也就无法访问其中的变量。

compile(shared.sd_model, self)

这样就拿到了吧

这里没有改？还是不能改

之前回复到 Slack、没有同步到这里。
还不能这么改。因为注册到 script_callbacks 的函数只有一个入参 model。

onediff_sd_webui_extensions/scripts/onediff.py

doombeaker · 2023-12-08T12:38:38Z

onediff_sd_webui_extensions/README.md

+
+![raw_webui](images/raw_webui.jpg)
+
+To enable onediff plugin acceleration, select `onediff` in Script and click the `Generate` button.


Suggested change

To enable onediff plugin acceleration, select `onediff` in Script and click the `Generate` button.

To enable OneDiff extension acceleration, select `onediff` in Script and click the `Generate` button.

OneDiff 作为产品名的话应该有大小写？

sd-webui 里好像有称呼插件为 extension 的惯用说法

Script 是 UI 里的下拉列表的名字。

doombeaker · 2023-12-08T12:40:00Z

onediff_sd_webui_extensions/install.py

+        launch.run_pip("install --pre oneflow -f https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/master_open_source/cu122")
+    if not launch.is_installed("onediff"):
+        print("onediff is not installed! Installing...")
+        launch.run_pip("install git+https://github.com/Oneflow-Inc/diffusers.git onediff")


Suggested change

launch.run_pip("install git+https://github.com/Oneflow-Inc/diffusers.git onediff")

launch.run_pip("install git+https://github.com/Oneflow-Inc/onediff.git")

仓库已经更新成 onediff 了

onediff_sd_webui_extensions/scripts/onediff.py

doombeaker · 2023-12-08T12:43:44Z

onediff_sd_webui_extensions/scripts/onediff.py

+            # print(f"Expected tensor size:{tensor_size/gb:0.1f}GB, cuda free:{mem_free_cuda/gb:0.1f}GB "
+            #       f"torch free:{mem_free_torch/gb:0.1f} total:{mem_free_total/gb:0.1f} steps:{steps}")


调试信息可以删除了？

fpzh2011 · 2023-12-12T06:04:50Z

Refiner 的配置有一个 bug。需要将 sd_xl_refiner.yaml 中 context_dim 的值由 list 改为 int。

无论是 base 还是 refiner model，都是通过 set_sd_model 保存到 model_data 中（即 modules.shared.sd_model）。也就是说，用 refiner 前会先卸载 base。推理下一个图片时，会重新加载 base model（从 nvidia-smi 可以观察到显存变化）。

打开 refiner 和 onediff 开关后的执行过程如下：

启动时、加载 base model 后执行 oneflow_compile
- 修改 UNetModel 的 time_embed 模块，以规避 time_embedding 函数返回 float32 的问题。
process_images
Script.run
执行 base model 推理
加载 refiner model 并触发 compile
执行 refiner 推理

需要注意的是，加载 refiner 后虽然会调用 compile 函数，但是需要显式设置 shared.sd_model.model.diffusion_model。因为 Script.run 只会进入一次，其中设置 shared 的操作已经做过了、不会再次执行。

但是这样的话，使用 compile 只会更慢，因为每次请求都要编译两个模型。

strint · 2023-12-13T03:04:02Z

refiner 配置的 bug，是 genertive models 的问题对吧，不是我们引入的

strint · 2023-12-13T03:05:42Z

使用 compile 只会更慢，因为每次请求都要编译两个模型

是说如果同时使用了base 和 refiner 的加速，会导致这两个模型轮流切换，每次都会触发编译？

fpzh2011 · 2023-12-13T03:20:36Z

refiner 配置的 bug，是 genertive models 的问题对吧，不是我们引入的

是 genertive models 的问题。参考 generative-models/issues/162models/issues/162

是说如果同时使用了base 和 refiner 的加速，会导致这两个模型轮流切换，每次都会触发编译？

是的

add sd-webui extension

8f2e4a9

fpzh2011 requested review from doombeaker and strint December 5, 2023 07:28

fix omegaconf

e53ac29

strint reviewed Dec 8, 2023

View reviewed changes

onediff_sd_webui_extensions/scripts/onediff.py Outdated Show resolved Hide resolved

strint reviewed Dec 8, 2023

View reviewed changes

onediff_sd_webui_extensions/scripts/onediff.py Show resolved Hide resolved

strint reviewed Dec 8, 2023

View reviewed changes

onediff_sd_webui_extensions/scripts/onediff.py Outdated Show resolved Hide resolved

doombeaker reviewed Dec 8, 2023

View reviewed changes

fpzh2011 added 5 commits December 8, 2023 13:18

fix review comments

aed8cb1

register once

899ee0e

Complete installation instructions

114f7c9

fix image

91f7ed0

fix refiner

502d9de

add comments

b596262

strint approved these changes Dec 13, 2023

View reviewed changes

fpzh2011 merged commit 72183f7 into main Dec 13, 2023
4 checks passed

fpzh2011 deleted the sd_webui branch December 13, 2023 03:26

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

add sd-webui extension #401

add sd-webui extension #401

fpzh2011 commented Dec 5, 2023

fpzh2011 commented Dec 5, 2023

strint Dec 8, 2023

strint Dec 8, 2023

fpzh2011 Dec 8, 2023

doombeaker Dec 8, 2023

fpzh2011 Dec 9, 2023

fpzh2011 Dec 10, 2023

strint Dec 8, 2023 •

edited

Loading

strint Dec 8, 2023

strint Dec 8, 2023 •

edited

Loading

fpzh2011 Dec 8, 2023

strint Dec 8, 2023

doombeaker Dec 8, 2023

strint Dec 8, 2023

fpzh2011 Dec 8, 2023

strint Dec 8, 2023

strint Dec 8, 2023

fpzh2011 Dec 8, 2023

strint Dec 8, 2023

strint Dec 13, 2023

fpzh2011 Dec 13, 2023

doombeaker Dec 8, 2023

fpzh2011 Dec 8, 2023

doombeaker Dec 8, 2023

doombeaker Dec 8, 2023

fpzh2011 commented Dec 12, 2023

strint commented Dec 13, 2023

strint commented Dec 13, 2023

fpzh2011 commented Dec 13, 2023


		## Installation Guide

		1. Install and set up Stable Diffusion web UI based on [this commit snapshot](https://github.com/AUTOMATIC1111/stable-diffusion-webui/tree/4afaaf8a020c1df457bcf7250cb1c7f609699fa7).


		1. Install and set up Stable Diffusion web UI based on [this commit snapshot](https://github.com/AUTOMATIC1111/stable-diffusion-webui/tree/4afaaf8a020c1df457bcf7250cb1c7f609699fa7).

		Perform the following [manual installation](https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-on-NVidia-GPUs#manual-installation) process:


		![raw_webui](images/raw_webui.jpg)

		To enable onediff plugin acceleration, select `onediff` in Script and click the `Generate` button.

	To enable onediff plugin acceleration, select `onediff` in Script and click the `Generate` button.
	To enable OneDiff extension acceleration, select `onediff` in Script and click the `Generate` button.

	launch.run_pip("install git+https://github.com/Oneflow-Inc/diffusers.git onediff")
	launch.run_pip("install git+https://github.com/Oneflow-Inc/onediff.git")

		# print(f"Expected tensor size:{tensor_size/gb:0.1f}GB, cuda free:{mem_free_cuda/gb:0.1f}GB "
		# f"torch free:{mem_free_torch/gb:0.1f} total:{mem_free_total/gb:0.1f} steps:{steps}")

add sd-webui extension #401

add sd-webui extension #401

Conversation

fpzh2011 commented Dec 5, 2023

fpzh2011 commented Dec 5, 2023

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

strint Dec 8, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

strint Dec 8, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

fpzh2011 commented Dec 12, 2023

strint commented Dec 13, 2023

strint commented Dec 13, 2023

fpzh2011 commented Dec 13, 2023

strint Dec 8, 2023 •

edited

Loading

strint Dec 8, 2023 •

edited

Loading