-
Notifications
You must be signed in to change notification settings - Fork 86
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
直接反演结果偏洋红色 #39
Comments
哈喽,两个可能的解决思路哈:1)LoRA的训练步数稍微多一点;2)inversion strength稍微调小一点(比如0.6~0.7的样子) |
我刚才尝试了一下,我估计是因为图片的插值的问题。因为我这边每次输入一张图片之后,都会在维持原图片长宽比情况下把宽resize到512。估计是resize的时候引入的这个artifacts。 |
谢谢你,我多尝试下512原分辨率的图。其实我有点怀疑是不是Stablediffusion框架自身的存在的偏移或者其训练数据的整体偏移哈哈<惊讶> |
对,我确实比较倾向于认为可能是vae的问题。就是vae本身encode这个图片的过程也没有特别完美 |
针对这个问题,我做了以下实验: 针对编辑过程改变中间向量,导致最终结果仍然效果不对的情况(即使对单张输入图进行VAE微调,使其能正确反演),你有什么好的建议么~ |
我的理解是:微调vae的decoder可能会导致decoder在给定原图上的过拟合。所以在编辑过后,可能还是无法比较好的处理编辑后的latent。我个人认为最终这种artifact的解决还是要靠更好的模型。因为可能现在vae的channel数(4个channel)还是太低了,会造成比较严重的信息损失。 但是不幸的是,这个模型似乎不会开源。。。 当然,我后续会update一下看看更好的开源模型(比如stablediffusion-xl)会不会稍微好一些。 |
好的,谢谢你耐心的回复,这个文章我也有注意到,确实是vae自身上限的问题~ |
哈喽哥,最近在使用DragDiffusion的时候发现,单张真实图像经过Lora后,不采用Drag的方式出来(直接反演run),结果会比原图偏向洋红色(多张实验结果都是这样),想问下您有什么方法解决么~
输入图(左),输出图(右)
The text was updated successfully, but these errors were encountered: