[PaddlePaddle Hackathon] Task 70: Add DALI GPU processing for PP-YOLO training

[gbstack]

PR types

New features

PR changes

APIs

Describe

Hi,

This PR adds DALI processing for PP-YOLO training according to Task #4221

Changing COCODataSet to DALICOCODataSet in configuration file configs/datasets/coco_detection.yml will enable DALI preprocessing.

e.g.

TrainDataset:
  !DALICOCODataSet
    image_dir: train2017
    anno_path: annotations/instances_train2017.json
    dataset_dir: /dataset/coco2017
    data_fields: ['image', 'gt_bbox', 'gt_class', 'is_crowd']

And the training command is same as before

python tools/train.py --config configs/ppyolo/ppyolo_r50vd_dcn_1x_coco.yml

Thanks,

[lyuwenyu]

训练速度这块有测过对比嘛 w/ vs. w/o

[gbstack]

训练速度这块有测过对比嘛 w/ vs. w/o

抱歉，刚看到消息。。

我的测试环境是这样的

CPU: Intel i5-7400
GPU: Nvidia 1080 Ti

w/o DALI
bs2  9-10 images/s
bs4  12-13 images/s
bs6  13-14 images/s cpu 60% load average: 3.18, 3.26, 3.13

w/ DALI
bs2  6-7 images/s
bs4  8-9 images/s
bs6  9-10 images/s cpu 25% load average: 1.97, 2.96, 2.99

在batch size 6的时候, 使用DALI时GPU显存占用比不使用DALI多了大约2G，再继续提高batch size就显存不足了。。

根据上面的信息，估计到batch size>10，cpu可能就会满载了（batch size为6时，GPU还没有满载）

[lyuwenyu]

根据上面的信息，估计到batch size>10，cpu可能就会满载了（batch size为6时，GPU还没有满载）

这个结果的意思是 加了DALI变慢了嘛😂

[gbstack]

根据上面的信息，估计到batch size>10，cpu可能就会满载了（batch size为6时，GPU还没有满载）

这个结果的意思是 加了DALI变慢了嘛joy

就是batch size变大使用DALI可能会提高速度，我试试看能不能在AI Studio上运行吧，用32G的显存。我本地的显存12G使用DALI时，batch size最大只能到6..

[paddle-bot]

Automatically closed by Paddle-bot.