熊猫提供接口,做时间戳调度
- Metadata 带入时间戳
- onMetadata 加入必填字段 cubasetime 字段使用UTC 时间 Number类型
- 间隔一定时间,对时间进行校准
- dalta time + 滤波
TODO:转码延迟 需要研究如何保留
- videodatarate / audiodatarate 需要带
- CDN 读取并转码
- 杨武明提供接口
- 验收时间:5月
- 从单人到多人,从被动观看到互动参与
- 合簇方式
- 客户端:受到主播设备限制
- 服务端:资源竞争 (暂定)
- 消息优先级
- 音频为第一优先级
- 20% 带宽冗余
- 标准需要在两种混流模式下都进行预留。
- 礼物、文字消息,需要进行约束
- 音频约束 50Kbps
- 消息系统延迟 相对可接受
- 上行消息量少
- 客户端合簇
- 图像输出接口 SDK/API
- 格式需要定义
- 输入
- 音频采集 (采集方)
- 回声消除
- 降噪
- 图像输出接口 SDK/API
- 合簇音画同步保障
- 1s 内同步,以时间戳为基准
- 不同步存在,但在时间差低的情况下无感知
- 声网合簇向其他CDN转推
- 防控机制,推流码更换
- 视角控制
- 主播控制 / 用户控制
- 延迟
- 标准 400ms 1s以上不可忍受
- 实测 600ms 800ms以上不可忍受
- 卡顿
- 时长:两帧之间的差值时长
- 标准:时长 + 卡顿次数
- 环境
- 200Kbps 以上网络环境
- 各家信令不相同
- 寻址问题
- 安全问题
- 机器故障无感切换
- 专利相对较多。需要规避。
- 统一CDN
- 声网出接口文档。
- 百度、七牛、声网具体实现。
- 验收时间 本月
- 参与者:百度 帝联 声网
- 解决方案选择: QUIC webRTC
- 问题:弱网环境丢包问题 户外丢包问题
- 优先解决上行。
TODO:
- 测试QUIC丢包 延迟等问题。
- Chrome/QUIC 抽离。
- review Quic code for port reuse problem
- 用弹幕协议实现的网关
- 需求定制
- 所有用户连接到当前业务流。
- 类似视频流的解决方案。
- 通道与视频流剥离。支持黑屏聊天。
- 全网广播:逐个投递。
- SLA、到达率统计、延迟统计。
- 消息分级别。
- 消息延迟统计。
TODO:
- 确认支持情况。
- RTMP 302 推流,防止劫持,调度问题等。
- 转码流时间戳可能被更改