DF 和 ctsd训练方式

[krauwu]

感谢能够开源这样大体量、solid的代码和工作！

Q: ctsd在具有ref图的时候FVD始终比DF高一点，但没有ref图的时候就比df低了很多；
造成这种现象的原因是没有深入的训练df吗，ctsd训练中给ref加噪这一思想应该和df同源
这两者本质上训练效果应该不相上下，有试过VP+df吗

[wzhgba]

感谢你的关注。不同方法在 VG 和 VP 任务上的表现可能和任务配比有关。对于 UniMLVG ， VG 和 VP 的任务比例是由 config 显式指定的，对于 DF ，VG 和 VP 任务可看作各帧独立去噪任务的子集，而对于非 VP 和 VG 的各帧独立去噪样本，对 VP 、 VG 的能力贡献也有差异。由于资源限制，目前我们并没有对这块做系统性的分析，仅利用 DF 支持在更短的时间窗内流式去噪的特性尝试交互式生成。也欢迎你深入探索这些方法的机制和可能性。