the dataset and inference code

[birdflies]

您好，大佬，数据集 还有推理代码啥时候可以公开呀？

[MRzzm]

最近比较忙哈，数据集差不多下周或者下下周陆续放上来，代码应该要aaai之后了，如果要生成demo做比较可以直接把图片和音频发我邮箱就行

[birdflies]

嗯嗯好滴，谢谢大佬

[MRzzm]

不客气哈

[forest520]

请问有什么方法，可以在youtube批量下载这么多的视频数据？另外如何筛选有人物的视频、视频语言等？有可用的脚本、工具或方法么？谢谢！

[MRzzm]

我会给视频url，说话的时间戳和人脸范围。下载视频可以用you-get for循环下载，转换格式可以用格式工厂或者ffmpeg，切视频推荐用ffmpeg，视频语言都是英文，本来已经整理好数据了，但是要通过公司法务审查避免侵权啥的，所以数据还得等他们通过，不好意思哈，切视频和切人脸的脚本如果法务让提供我也会放上来的

[birdflies]

我会给视频url，说话的时间戳和人脸范围。下载视频可以用you-get for循环下载，转换格式可以用格式工厂或者ffmpeg，切视频推荐用ffmpeg，视频语言都是英文，本来已经整理好数据了，但是要通过公司法务审查避免侵权啥的，所以数据还得等他们通过，不好意思哈，切视频和切人脸的脚本如果法务让提供我也会放上来的

大佬，看您更新了切视频和切人脸的脚本，是不是数据还要一段时间呀。

[MRzzm]

我会给视频url，说话的时间戳和人脸范围。下载视频可以用you-get for循环下载，转换格式可以用格式工厂或者ffmpeg，切视频推荐用ffmpeg，视频语言都是英文，本来已经整理好数据了，但是要通过公司法务审查避免侵权啥的，所以数据还得等他们通过，不好意思哈，切视频和切人脸的脚本如果法务让提供我也会放上来的

大佬，看您更新了切视频和切人脸的脚本，是不是数据还要一段时间呀。

嗷嗷 数据集周二就好了 一忙给忘了 切视频和人脸的脚本法务说因为 International License 4.0 放了会侵权，我今天把数据放上去。

[forest520]

感谢数据分享。请问下crop之后的视频，额头上面的头部被截掉了，这个是预期内的么？是否影响模型训练的效果？
另外，如果是搜集中文数据集，请问有没有合适的频道推荐？
谢谢！

[MRzzm]

感谢数据分享。请问下crop之后的视频，额头上面的头部被截掉了，这个是预期内的么？是否影响模型训练的效果？
另外，如果是搜集中文数据集，请问有没有合适的频道推荐？
谢谢！

这个可能是你裁剪的时候视频的高和宽填反了，或者下载的视频不是最高分辨率的，理论上不会出现这种情况，因为我都自己检查了一遍 保证裁剪的结果不会有字幕 。 中文的数据集我也不太清楚，之前没有去找过

[birdflies]

感谢数据分享。请问下crop之后的视频，额头上面的头部被截掉了，这个是预期内的么？是否影响模型训练的效果？
另外，如果是搜集中文数据集，请问有没有合适的频道推荐？
谢谢！

我也想找点中文数据集，不知道怎么去搜集。。

[forest520]

请教@MRzzm，看你的论文是有用512*512的数据集重新训练wav2lip模型吗？因为wav2lip的人脸都是resize到96*96的，重新训练的时候这个人脸的size设为了多少？除了论文说的生成视频只有唇部运动外，还有其他问题没？比如清晰度不足，等等。
谢谢！

[MRzzm]

请教@MRzzm，看你的论文是有用512512的数据集重新训练wav2lip模型吗？因为wav2lip的人脸都是resize到9696的，重新训练的时候这个人脸的size设为了多少？除了论文说的生成视频只有唇部运动外，还有其他问题没？比如清晰度不足，等等。
谢谢！

我没有复现wav2lip的工作哈，论文和demo video里做对比的时候是用他的接口跑的。之前你说的裁剪出错刚发现是我自己的问题，我用you-get下载的视频不总是最高分辨率的，所以如果分辨率不一致使用提供的高宽数据裁剪会有问题，现在提供了两种修正方法，应该可以解决这个问题。

[LeoniusChen]

我会给视频url，说话的时间戳和人脸范围。下载视频可以用you-get for循环下载，转换格式可以用格式工厂或者ffmpeg，切视频推荐用ffmpeg，视频语言都是英文，本来已经整理好数据了，但是要通过公司法务审查避免侵权啥的，所以数据还得等他们通过，不好意思哈，切视频和切人脸的脚本如果法务让提供我也会放上来的

大佬，看您更新了切视频和切人脸的脚本，是不是数据还要一段时间呀。

想问一下这里说的“切视频和切人脸的脚本”，在哪里看到的呢？

[DaddyJin]

请问一下作者大大提供了裁剪后的视频或者人脸图像数据了么？还是说现阶段需要自己下载视频去裁剪。

[MRzzm]

我会给视频url，说话的时间戳和人脸范围。下载视频可以用you-get for循环下载，转换格式可以用格式工厂或者ffmpeg，切视频推荐用ffmpeg，视频语言都是英文，本来已经整理好数据了，但是要通过公司法务审查避免侵权啥的，所以数据还得等他们通过，不好意思哈，切视频和切人脸的脚本如果法务让提供我也会放上来的

大佬，看您更新了切视频和切人脸的脚本，是不是数据还要一段时间呀。

想问一下这里说的“切视频和切人脸的脚本”，在哪里看到的呢？

你好，根据法律要求数据收集者不能提供任何数据处理的相关代码，所以这个repo没有数据处理的代码，有人分享了他的数据处理脚本，你可以参考一下，https://github.com/universome/HDTF

[MRzzm]

请问一下作者大大提供了裁剪后的视频或者人脸图像数据了么？还是说现阶段需要自己下载视频去裁剪。

嗯嗯，是的，现阶段只能自己去下载，之前咨询了法务数据收集者不能提供处理后的视频或处理视频的代码，有人分享了他的数据处理脚本，你可以参考一下，https://github.com/universome/HDTF

[649459021]

请问一下作者大大提供了裁剪后的视频或者人脸图像数据了么？还是说现阶段需要自己下载视频去裁剪。

嗯嗯，是的，现阶段只能自己去下载，之前咨询了法务数据收集者不能提供处理后的视频或处理视频的代码，有人分享了他的数据处理脚本，你可以参考一下，https://github.com/universome/HDTF

您好，我注意到这个脚本下载的文件都是没有音频的，我并不清楚他为什么这么做，但我的理解应该把音频一起下载下来才能进行训练。我是应该改变脚本里的youtube-dl的参数嘛

[MRzzm]

请问一下作者大大提供了裁剪后的视频或者人脸图像数据了么？还是说现阶段需要自己下载视频去裁剪。

嗯嗯，是的，现阶段只能自己去下载，之前咨询了法务数据收集者不能提供处理后的视频或处理视频的代码，有人分享了他的数据处理脚本，你可以参考一下，https://github.com/universome/HDTF

您好，我注意到这个脚本下载的文件都是没有音频的，我并不清楚他为什么这么做，但我的理解应该把音频一起下载下来才能进行训练。我是应该改变脚本里的youtube-dl的参数嘛

啊，我没有细看他的脚本，我是用you-get下载的,地址是https://github.com/soimort/you-get， 使用you-get可以将音频和视频一起下载下来。

[649459021]

请问一下作者大大提供了裁剪后的视频或者人脸图像数据了么？还是说现阶段需要自己下载视频去裁剪。

嗯嗯，是的，现阶段只能自己去下载，之前咨询了法务数据收集者不能提供处理后的视频或处理视频的代码，有人分享了他的数据处理脚本，你可以参考一下，https://github.com/universome/HDTF

您好，我注意到这个脚本下载的文件都是没有音频的，我并不清楚他为什么这么做，但我的理解应该把音频一起下载下来才能进行训练。我是应该改变脚本里的youtube-dl的参数嘛

啊，我没有细看他的脚本，我是用you-get下载的,地址是https://github.com/soimort/you-get， 使用you-get可以将音频和视频一起下载下来。

感谢回复，他说他这样做是因为他不需要音频，我改变参数后已经可以将音频一起下载下来了

[MRzzm]

请问一下作者大大提供了裁剪后的视频或者人脸图像数据了么？还是说现阶段需要自己下载视频去裁剪。

嗯嗯，是的，现阶段只能自己去下载，之前咨询了法务数据收集者不能提供处理后的视频或处理视频的代码，有人分享了他的数据处理脚本，你可以参考一下，https://github.com/universome/HDTF

您好，我注意到这个脚本下载的文件都是没有音频的，我并不清楚他为什么这么做，但我的理解应该把音频一起下载下来才能进行训练。我是应该改变脚本里的youtube-dl的参数嘛

啊，我没有细看他的脚本，我是用you-get下载的,地址是https://github.com/soimort/you-get， 使用you-get可以将音频和视频一起下载下来。

感谢回复，他说他这样做是因为他不需要音频，我改变参数后已经可以将音频一起下载下来了

好的 不客气

[xiao-keeplearning]

作者你好，问下裁剪人脸的策略是怎么样的，可以描述下么？
比如检测到人脸框后的后续操作，确定人脸中心点向外扩展多少scale? @MRzzm

[Carlyx]

请问一下作者大大提供了裁剪后的视频或者人脸图像数据了么？还是说现阶段需要自己下载视频去裁剪。

嗯嗯，是的，现阶段只能自己去下载，之前咨询了法务数据收集者不能提供处理后的视频或处理视频的代码，有人分享了他的数据处理脚本，你可以参考一下，https://github.com/universome/HDTF

您好，我注意到这个脚本下载的文件都是没有音频的，我并不清楚他为什么这么做，但我的理解应该把音频一起下载下来才能进行训练。我是应该改变脚本里的youtube-dl的参数嘛

啊，我没有细看他的脚本，我是用you-get下载的,地址是https://github.com/soimort/you-get， 使用you-get可以将音频和视频一起下载下来。

感谢回复，他说他这样做是因为他不需要音频，我改变参数后已经可以将音频一起下载下来了

您好请问怎么改参数可以将音频一起下载呢？

[649459021]

请问一下作者大大提供了裁剪后的视频或者人脸图像数据了么？还是说现阶段需要自己下载视频去裁剪。

嗯嗯，是的，现阶段只能自己去下载，之前咨询了法务数据收集者不能提供处理后的视频或处理视频的代码，有人分享了他的数据处理脚本，你可以参考一下，https://github.com/universome/HDTF

您好，我注意到这个脚本下载的文件都是没有音频的，我并不清楚他为什么这么做，但我的理解应该把音频一起下载下来才能进行训练。我是应该改变脚本里的youtube-dl的参数嘛

啊，我没有细看他的脚本，我是用you-get下载的,地址是https://github.com/soimort/you-get， 使用you-get可以将音频和视频一起下载下来。

感谢回复，他说他这样做是因为他不需要音频，我改变参数后已经可以将音频一起下载下来了

您好请问怎么改参数可以将音频一起下载呢？

https://github.com/universome/HDTF/blob/8c402f412953c77771b5c4ae03dac6dc6bdb95e2/download.py#L168
这一行改为 video_selection = f"best[ext={video_format}]"

[Carlyx]

请问一下作者大大提供了裁剪后的视频或者人脸图像数据了么？还是说现阶段需要自己下载视频去裁剪。

嗯嗯，是的，现阶段只能自己去下载，之前咨询了法务数据收集者不能提供处理后的视频或处理视频的代码，有人分享了他的数据处理脚本，你可以参考一下，https://github.com/universome/HDTF

您好，我注意到这个脚本下载的文件都是没有音频的，我并不清楚他为什么这么做，但我的理解应该把音频一起下载下来才能进行训练。我是应该改变脚本里的youtube-dl的参数嘛

啊，我没有细看他的脚本，我是用you-get下载的,地址是https://github.com/soimort/you-get， 使用you-get可以将音频和视频一起下载下来。

感谢回复，他说他这样做是因为他不需要音频，我改变参数后已经可以将音频一起下载下来了

您好请问怎么改参数可以将音频一起下载呢？

https://github.com/universome/HDTF/blob/8c402f412953c77771b5c4ae03dac6dc6bdb95e2/download.py#L168 这一行改为 video_selection = f"best[ext={video_format}]"

好的，谢谢您的帮忙~

[yihe1003]

请问有什么方法，可以在youtube批量下载这么多的视频数据？另外如何筛选有人物的视频、视频语言等？有可用的脚本、工具或方法么？谢谢！

hi ，能麻烦您分享一下您处理好的数据吗？万分感谢

[Luh1124]

请问一下作者大大提供了裁剪后的视频或者人脸图像数据了么？还是说现阶段需要自己下载视频去裁剪。

嗯嗯，是的，现阶段只能自己去下载，之前咨询了法务数据收集者不能提供处理后的视频或处理视频的代码，有人分享了他的数据处理脚本，你可以参考一下，https://github.com/universome/HDTF

您好，我注意到这个脚本下载的文件都是没有音频的，我并不清楚他为什么这么做，但我的理解应该把音频一起下载下来才能进行训练。我是应该改变脚本里的youtube-dl的参数嘛

啊，我没有细看他的脚本，我是用you-get下载的,地址是https://github.com/soimort/you-get， 使用you-get可以将音频和视频一起下载下来。

感谢回复，他说他这样做是因为他不需要音频，我改变参数后已经可以将音频一起下载下来了

您好请问怎么改参数可以将音频一起下载呢？

https://github.com/universome/HDTF/blob/8c402f412953c77771b5c4ae03dac6dc6bdb95e2/download.py#L168 这一行改为 video_selection = f"best[ext={video_format}]"

好的，谢谢您的帮忙~

您好，想问一下数据集下载包括处理大概需要多少本地内存呀？

[aishoot]

求问大佬，国内的网络环境你们都怎么通过youtube-dl下载视频的呢？

[sdulyq]

求问大佬，国内的网络环境你们都怎么通过youtube-dl下载视频的呢？
如果是服务器的话可以参照我的这篇文章

[aishoot]

求问大佬，国内的网络环境你们都怎么通过youtube-dl下载视频的呢？
如果是服务器的话可以参照我的这篇文章

好的，感谢，我去试试

[Hothin]

感谢数据分享。请问下crop之后的视频，额头上面的头部被截掉了，这个是预期内的么？是否影响模型训练的效果？
另外，如果是搜集中文数据集，请问有没有合适的频道推荐？
谢谢！

我也想找点中文数据集，不知道怎么去搜集。。

您好你有收集到中文数据集嘛

[21-10-4]

@sdulyq 你好，“如果是服务器的话可以参照我的这篇文章 ”，文章404了，还有别的方法吗？

[yangppy]

求问大佬，国内的网络环境你们都怎么通过youtube-dl下载视频的呢？
youtube-dl可以指定代理去下载

[sunjian2015]

请问一下作者大大提供了裁剪后的视频或者人脸图像数据了么？还是说现阶段需要自己下载视频去裁剪。

嗯嗯，是的，现阶段只能自己去下载，之前咨询了法务数据收集者不能提供处理后的视频或处理视频的代码，有人分享了他的数据处理脚本，你可以参考一下，https://github.com/universome/HDTF

您好，我注意到这个脚本下载的文件都是没有音频的，我并不清楚他为什么这么做，但我的理解应该把音频一起下载下来才能进行训练。我是应该改变脚本里的youtube-dl的参数嘛

啊，我没有细看他的脚本，我是用you-get下载的,地址是https://github.com/soimort/you-get， 使用you-get可以将音频和视频一起下载下来。

感谢回复，他说他这样做是因为他不需要音频，我改变参数后已经可以将音频一起下载下来了

您好请问怎么改参数可以将音频一起下载呢？

https://github.com/universome/HDTF/blob/8c402f412953c77771b5c4ae03dac6dc6bdb95e2/download.py#L168 这一行改为 video_selection = f"best[ext={video_format}]"

大佬，我用这个下载，出现了好多 "ERROR: requested format not available" 下载失败的，请问这个怎么解决啊？