关于 tracking parameters

[loongofqiao]

你好，我使用奥巴马开源模型在pretrained_models/TorsoNeRFTest_config.txt或者在自己处理完obama数据后生成的TorsoNeRFTest_config.txt下测试，均出现身体脱节抖动问题，我认为这个问题是因为我处理生成的obama数据和开源的模型不匹配，涉及到tracking parameters等，因此是否我在自己处理的数据上重新训练，将不会有身体脱节抖动问题呢？

[YudongGuo]

是的，可以用pretrained_models下的模型和transforms_train.json以及config来测试，效果如#3 最后所示。

[loongofqiao]

是的，可以用pretrained_models下的模型和transforms_train.json以及config来测试，效果如#3 最后所示。

[感谢回复，我使用pretrained_models下的模型和transforms_train.json以及config来测试，仍然存在脱节问题，

因为我没有cuda11.2以及pytorch1.8的配置，所以我没有完全按照environment.yml来进行环境配置，我的环境是pytorch1.7+cuda9.2，是否有可能是这个原因？目前我正在obama上重新训练

[YudongGuo]

你好，应该和环境无关，应该是哪里没有完全用对应文件参数造成的。

可以尝试将链接 https://www.dropbox.com/s/1qm7abpsxny77oi/Obama_test.zip?dl=0 中的文件解压拷贝到对应位置 ，然后运行

python NeRFs/TorsoNeRF/run_nerf.py --config dataset/Obama_test/TorsoNeRFTest_config.txt --aud_file=dataset/Obama_test/aud.npy --test_size=300

来测试

[loongofqiao]

非常感谢，我用链接里的文件测试过，是正常的效果；经过对比测试，目前我发现是我生成的aud.npy文件和你提供的aud.npy不一样导致的脱节问题，aud.npy里有成序列的数值没有对上，这个有点奇怪

[YudongGuo]

请问你是把你生成的aud.npy拷贝到我提供的文件夹里测试的吗，如果是的话确实挺奇怪的

[loongofqiao]

是的，是我生成的aud.npy拷贝到你提供的文件夹里测试的

[loongofqiao]

测试非奥巴马的语音输入，也有这个问题，是否在更长的视频上训练（包括更多的语料，cover更多的深度音频特征）,能提高鲁棒性

[YudongGuo]

是的，用更长视频训练可以提升鲁棒性。