Skip to content

Latest commit

 

History

History
116 lines (96 loc) · 7.67 KB

pphuman_mot.md

File metadata and controls

116 lines (96 loc) · 7.67 KB
Raw

English | 简体中文

PP-Human检测跟踪模块

行人检测与跟踪在智慧社区，工业巡检，交通监控等方向都具有广泛应用，PP-Human中集成了检测跟踪模块，是关键点检测、属性行为识别等任务的基础。我们提供了预训练模型，用户可以直接下载使用。

任务 算法 精度 预测速度(ms) 下载链接
行人检测/跟踪 PP-YOLOE-l mAP: 57.8
MOTA: 82.2		 检测: 25.1ms
跟踪：31.8ms		 下载链接
行人检测/跟踪 PP-YOLOE-s mAP: 53.2
MOTA: 73.9		 检测: 16.2ms
跟踪：21.0ms		 下载链接
  1. 检测/跟踪模型精度为COCO-Person, CrowdHuman, HIEVE 和部分业务数据融合训练测试得到，验证集为业务数据
  2. 预测速度为T4 机器上使用TensorRT FP16时的速度, 速度包含数据预处理、模型预测、后处理全流程

使用方法

  1. 从上表链接中下载模型并解压到./output_inference路径下，并修改配置文件中模型路径。默认为自动下载模型，无需做改动。
  2. 图片输入时，是纯检测任务，启动命令如下
python deploy/pipeline/pipeline.py --config deploy/pipeline/config/infer_cfg_pphuman.yml \
                                                   --image_file=test_image.jpg \
                                                   --device=gpu
  1. 视频输入时，是跟踪任务，注意首先设置infer_cfg_pphuman.yml中的MOT配置的enable=True，如果希望跳帧加速检测跟踪流程，可以设置skip_frame_num: 2，建议跳帧帧数最大不超过3：
MOT:
  model_dir: https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip
  tracker_config: deploy/pipeline/config/tracker_config.yml
  batch_size: 1
  skip_frame_num: 2
  enable: True

然后启动命令如下

python deploy/pipeline/pipeline.py --config deploy/pipeline/config/infer_cfg_pphuman.yml \
                                                   --video_file=test_video.mp4 \
                                                   --device=gpu

  1. 若修改模型路径，有以下两种方式：

    • ./deploy/pipeline/config/infer_cfg_pphuman.yml下可以配置不同模型路径，检测和跟踪模型分别对应DET和MOT字段，修改对应字段下的路径为实际期望的路径即可。
    • 命令行中--config后面紧跟着增加-o MOT.model_dir修改模型路径：
python deploy/pipeline/pipeline.py --config deploy/pipeline/config/infer_cfg_pphuman.yml \
                                                   -o MOT.model_dir=ppyoloe/\
                                                   --video_file=test_video.mp4 \
                                                   --device=gpu \
                                                   --region_type=horizontal \
                                                   --do_entrance_counting \
                                                   --draw_center_traj

注意:

  • --do_entrance_counting表示是否统计出入口流量，不设置即默认为False。
  • --draw_center_traj表示是否绘制跟踪轨迹，不设置即默认为False。注意绘制跟踪轨迹的测试视频最好是静止摄像头拍摄的。
  • --region_type表示流量计数的区域，当设置--do_entrance_counting时可选择horizontal或者vertical，默认是horizontal，表示以视频图片的中心水平线为出入口，同一物体框的中心点在相邻两秒内分别在区域中心水平线的两侧，即完成计数加一。

测试效果如下：

数据来源及版权归属：天覆科技，感谢提供并开源实际场景数据，仅限学术研究使用

  1. 区域闯入判断和计数

注意首先设置infer_cfg_pphuman.yml中的MOT配置的enable=True，然后启动命令如下

python deploy/pipeline/pipeline.py --config deploy/pipeline/config/infer_cfg_pphuman.yml \
                                                   --video_file=test_video.mp4 \
                                                   --device=gpu \
                                                   --draw_center_traj \
                                                   --do_break_in_counting \
                                                   --region_type=custom \
                                                   --region_polygon 200 200 400 200 300 400 100 400

注意:

  • 区域闯入的测试视频必须是静止摄像头拍摄的，镜头不能抖动或移动。
  • --do_break_in_counting表示是否进行区域出入后计数，不设置即默认为False。
  • --region_type表示流量计数的区域，当设置--do_break_in_counting时仅可选择custom，默认是custom，表示以用户自定义区域为出入口，同一物体框的下边界中点坐标在相邻两秒内从区域外到区域内，即完成计数加一。
  • --region_polygon表示用户自定义区域的多边形的点坐标序列，每两个为一对点坐标(x,y)，按顺时针顺序连成一个封闭区域，至少需要3对点也即6个整数，默认值是[]，需要用户自行设置点坐标，如是四边形区域，坐标顺序是左上、右上、右下、左下。用户可以运行此段代码获取所测视频的分辨率帧数，以及可以自定义画出自己想要的多边形区域的可视化并自己调整。 自定义多边形区域的可视化代码运行如下：
python get_video_info.py --video_file=demo.mp4 --region_polygon 200 200 400 200 300 400 100 400

快速画出想要的区域的小技巧：先任意取点得到图片，用画图工具打开，鼠标放到想要的区域点上会显示出坐标，记录下来并取整，作为这段可视化代码的region_polygon参数，并再次运行可视化，微调点坐标参数直至满意。

测试效果如下：

方案说明

  1. 使用目标检测/多目标跟踪技术来获取图片/视频输入中的行人检测框，检测模型方案为PP-YOLOE，详细文档参考PP-YOLOE。
  2. 多目标跟踪模型方案采用ByteTrack和OC-SORT，采用PP-YOLOE替换原文的YOLOX作为检测器，采用BYTETracker和OCSORTTracker作为跟踪器，详细文档参考ByteTrack和OC-SORT。

参考文献

@article{zhang2021bytetrack,
  title={ByteTrack: Multi-Object Tracking by Associating Every Detection Box},
  author={Zhang, Yifu and Sun, Peize and Jiang, Yi and Yu, Dongdong and Yuan, Zehuan and Luo, Ping and Liu, Wenyu and Wang, Xinggang},
  journal={arXiv preprint arXiv:2110.06864},
  year={2021}
}

@article{cao2022observation,
  title={Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking},
  author={Cao, Jinkun and Weng, Xinshuo and Khirodkar, Rawal and Pang, Jiangmiao and Kitani, Kris},
  journal={arXiv preprint arXiv:2203.14360},
  year={2022}
}