使用musetalk+rtcpush在4k下视频帧率稳不住25fps

[symnczc60628]

启动命令：python app.py --model musetalk --transport rtcpush --batch_size=4
1、试过调整batch_size大小，没有作用
2、4090卡
3、srs服务和metahuman服务在同一台机使用本地地址推流，可以排查网络带宽限制
4、观察了静音时的fps情况：4k下只有13；2k下基本能稳住25；1080p下非常稳
5、使用musetalk预训练时修改了代码，将生成的视频帧从png转成了jpg，为了压缩帧的大小，但分辨率不变

在了MuseReal类的process_frames方法，在静音时只是简单从帧列表中获取对应的帧进行推流，并没有做其它耗时的动作，是不是aiortc推流框架的限制还是srs的限制？

另：不使用srs，直接webrtc点对点视频帧率一样只有十几帧。

是否可以解决，希望能提供个处理思路，谢谢

[lipku]

视频压缩需要消耗cpu，跟分辨率相关。升级cpu性能。

[qiuzi]

@symnczc60628 docker跑的吗？

[symnczc60628]

@lipku

视频压缩需要消耗cpu，跟分辨率相关。升级cpu性能。

视频压缩需要消耗cpu，跟分辨率相关。升级cpu性能。
谢谢大佬回复，现在验证结果是使用aiortc推流在14900CPU下也稳不住25fps，不知道为啥。
使用python-rtmpstream提高cpu性能帧率确实能上去

[symnczc60628]

@qiuzi

@symnczc60628 docker跑的吗？
没有在docker下跑，srs也是本地

[lipku]

可能跟aiortc选用的视频压缩算法相关，看看是不是用的h264

[dizhenx]

可能跟aiortc选用的视频压缩算法相关，看看是不是用的h264
参见这个aiortc/aiortc#399
aiortc supports H.264, but it has a lower priority than VP8，默认使用的是VP8，H.264须要自己设置

[WangDHXhao]

你好可以请教一下如何使用musetalk进行预训练吗

[cacard]

可能跟aiortc选用的视频压缩算法相关，看看是不是用的h264
参见这个aiortc/aiortc#399
aiortc supports H.264, but it has a lower priority than VP8，默认使用的是VP8，H.264须要自己设置

@lipku 加一下编码选项吧，h264 / vp8

[qiuzi]

可能跟aiortc选用的视频压缩算法相关，看看是不是用的h264
参见这个aiortc/aiortc#399
aiortc supports H.264, but it has a lower priority than VP8，默认使用的是VP8，H.264须要自己设置

@lipku 加一下编码选项吧，h264 / vp8

跟编码关系不大，主要是限制了码率只有5M