【Hackathon 5th No.83】PaddleMIX ppdiffusers models模块功能升级同步HF -part #322
Conversation
|
Thanks for your contribution! |
|
你好，总的来看当前代码没有什么问题。但是当前无法直接合入这里的PR，因为还需要等待我们将当前develop的CI、CE给修复通过后，你这里没有太大的影响后我们才会合入 |
|
好的 |
|
这个可否再进一步升级到diffusers最新的0.23版本呢，0.23下会包含当前社区热门的LCM-LoRA等模型，会挺重要的 |
已升级到0.23 test_lora_layers.py test_models_unet_2d_condition.py test_models_unet_3d_condition.py |
|
|
|
CI中 test_stable_diffusion_adapter.py, test_stable_diffusion_pix2pix_zero.py 报错，除了网络问题， unet_2d_condition.py 中比pytorch多一行不大理解，按同样已增加 |
|
@guoshengCS 麻烦看下还有什么修改，使用网络可以访问的环境测试是可以 |
好的 |
|
@co63oc 当前已经发布了0.19.4了，你这里重新将develop的内容合入到你当前分支，然后等所有ci通过后就可以合入了 |
已合并develop分支CI完成 |
|
|
||
| # Non-power of 2 images must be float32 | ||
| if (W & (W - 1)) != 0 or (H & (H - 1)) != 0: | ||
| x = x.to(dtype=paddle.float32) |
There was a problem hiding this comment.
paddle的tensor没有to方法，要用cast或者astype
| x_freq = ifftshift(x_freq, axes=(-2, -1)) | ||
| x_filtered = ifftn(x_freq, axes=(-2, -1)).real | ||
|
|
||
| return x_filtered.to(dtype=x_in.dtype) |
There was a problem hiding this comment.
paddle的tensor没有to方法，要用cast或者astype
shiyutang
added
ContributorPRisMerged
|
@co63oc
@shiyutang tangshiyu你这里也知悉一下，当前需要回滚一下 |
Ligoml
changed the title
|
@co63oc 基于之前的工作我们这边在做ppdiffuers 0.24版本的升级，有拉一个分支出来 https://github.com/PaddlePaddle/PaddleMIX/tree/upgrade_ppdiffusers0240 ，也会在快乐开源放一些新题目出来，请问您那边有兴趣一起不 |
好的参加任务 |
赞，我们后面会同步出来一些任务，感谢支持和贡献，一起共建 |
|
@co63oc 关于fd推理的问题不需要再看了，你这里需要对比一下旧版0.19.4的代码跟你当前升级后的代码里面recompute粒度在哪里发生了变化 |
|
@JunnYu 现在问题是 |
|
…ddle#322) PaddleMIX ppdiffusers models模块功能升级同步HF https://github.com/PaddlePaddle/community/blob/master/hackathon/hackathon_5th/%E3%80%90PaddlePaddle%20Hackathon%205th%E3%80%91%E5%BC%80%E6%BA%90%E8%B4%A1%E7%8C%AE%E4%B8%AA%E4%BA%BA%E6%8C%91%E6%88%98%E8%B5%9B%E5%A5%97%E4%BB%B6%E5%BC%80%E5%8F%91%E4%BB%BB%E5%8A%A1%E5%90%88%E9%9B%86.md#no83paddlemix-ppdiffusers-models%E6%A8%A1%E5%9D%97%E5%8A%9F%E8%83%BD%E5%8D%87%E7%BA%A7%E5%90%8C%E6%AD%A5hf PaddlePaddle#259 PaddlePaddle#260 PaddlePaddle#262 PaddlePaddle#264 PaddlePaddle#265 升级 models 增加scale 增加get_processor diffusers上LoRA类逐渐取消，改为使用lora_layer 部分测试误差增加，测试修改前代码同样有误差 增加tests/lora目录 flax模型paddle没有使用，没有迁移 test_attention_processor.py  test_models_unet_2d.py  test_lora_layers.py  test_models_unet_motion.py 
…addlePaddle#354) Reverts PaddlePaddle#322 回滚该PR，等之后修复后再合入，下面是对应的问题。 1. fastdeploy的sd和sdxl 推理造成了错误。无法顺利加载vae的decoder模型，可能当前升级有部分修改，导致这个发生错误。 2. sd的预训练和lora微调存在性能下降10%，可能怀疑是recompute粒度发生了修改，部分模块之前没有加recompute现在加上了recompute导致的。
PaddleMIX ppdiffusers models模块功能升级同步HF
https://github.com/PaddlePaddle/community/blob/master/hackathon/hackathon_5th/%E3%80%90PaddlePaddle%20Hackathon%205th%E3%80%91%E5%BC%80%E6%BA%90%E8%B4%A1%E7%8C%AE%E4%B8%AA%E4%BA%BA%E6%8C%91%E6%88%98%E8%B5%9B%E5%A5%97%E4%BB%B6%E5%BC%80%E5%8F%91%E4%BB%BB%E5%8A%A1%E5%90%88%E9%9B%86.md#no83paddlemix-ppdiffusers-models%E6%A8%A1%E5%9D%97%E5%8A%9F%E8%83%BD%E5%8D%87%E7%BA%A7%E5%90%8C%E6%AD%A5hf
#259
#260
#262
#264
#265
#266
#263
#261
升级 models
增加scale
增加get_processor
diffusers上LoRA类逐渐取消，改为使用lora_layer
部分测试误差增加，测试修改前代码同样有误差
增加tests/lora目录
flax模型paddle没有使用，没有迁移
test_attention_processor.py
test_models_unet_2d.py
test_lora_layers.py
test_models_unet_motion.py
