生成视频变形较大

[tianbuwei]

您好，我使用自己的图片来生成视频，发现头部效果不太稳定。想请问下，如果使用自己的图片需要重新进行微调吗？
使用的图片：

生成的视频：
https://github.com/user-attachments/assets/c1cc60ab-3199-43b1-96eb-fe45b1e422a1

[lymhust]

大概率是输入图像和pose没做对齐，算法需要严格对齐。相关对齐代码最近会更新到git。

[mengrang]

你好，给一下音频文件？ 我们把你的问题当作一个测试样例试一下？

[tianbuwei]

Reference in new issue

您好，感谢您的回复，这是我的音频文件：
0.wav.zip

[tianbuwei]

大概率是输入图像和pose没做对齐，算法需要严格对齐。相关对齐代码最近会更新到git。

假如我不需要手部动作，只需要脸部和嘴可以活动，有没有相关的配置呢

[mengrang]

你好，我们将你的参考图作为测试示例，对齐之后的结果如下

test_issue.png-a-test_issue-i0_sig.mp4

[120805481]

大佬，如何做对齐。

[lymhust]

大概率是输入图像和pose没做对齐，算法需要严格对齐。相关对齐代码最近会更新到git。

假如我不需要手部动作，只需要脸部和嘴可以活动，有没有相关的配置呢

没有手部pose目前还不支持

[tianbuwei]

你好，我们将你的参考图作为测试示例，对齐之后的结果如下

test_issue.png-a-test_issue-i0_sig.mp4

您好，这个视频效果很好，请问下该怎么做呢

[lymhust]

对齐和pose提取的代码在写了，回头写成一个notebook放到git上面，争取最近几天弄完。

[tianbuwei]

对齐和pose提取的代码在写了，回头写成一个notebook放到git上面，争取最近几天弄完。

感谢大佬

[YunjieYu]

大概率是输入图像和pose没做对齐，算法需要严格对齐。相关对齐代码最近会更新到git。

假如我不需要手部动作，只需要脸部和嘴可以活动，有没有相关的配置呢

没有手部pose目前还不支持

按照文章3.2.2 Audio-Body Correlation的介绍，Audio实际上是可以驱动半身的（包括手部）。请问现有代码是否可以支持“不使用pose输入，只用audio来实现嘴型和手部的运动”？

[mengrang]

我们在论文中提到这部分需要另行微调的模型

[YunjieYu]

好的，感谢