Skip to content

Commit 9afe256

Browse files
dreamerlindreamerlin
authored
update README (open-mmlab#914)
1 parent df24a04 commit 9afe256

File tree

4 files changed

+86
-1
lines changed

4 files changed

+86
-1
lines changed

‎README.md

+2
Original file line numberDiff line numberDiff line change
@@ -96,6 +96,7 @@ Supported methods for Action Recognition:
9696
- ✅ [MultiModality: Audio](configs/recognition_audio/resnet/README.md) (ArXiv'2020)
9797
- ✅ [TANet](configs/recognition/tanet/README.md) (ArXiv'2020)
9898
- ✅ [TRN](configs/recognition/trn/README.md) (CVPR'2015)
99+
- ✅ [PoseC3D](configs/skeleton/posec3d/README.md) (ArXiv'2021)
99100

100101
</details>
101102

@@ -115,6 +116,7 @@ Supported methods for Spatial Temporal Action Detection:
115116
<details open>
116117
<summary>(click to collapse)</summary>
117118

119+
- ✅ [ACRN](configs/detection/acrn/README.md) (ECCV'2018)
118120
- ✅ [SlowOnly+Fast R-CNN](configs/detection/ava/README.md) (ICCV'2019)
119121
- ✅ [SlowFast+Fast R-CNN](configs/detection/ava/README.md) (ICCV'2019)
120122
- ✅ [Long-Term Feature Bank](configs/detection/lfb/README.md) (CVPR'2019)

‎README_zh-CN.md

+2
Original file line numberDiff line numberDiff line change
@@ -90,6 +90,7 @@ v0.15.0 版本已于 2021 年 5 月 31 日发布，可通过查阅 [更新日志
9090
- ✅ [MultiModality: Audio](/configs/recognition_audio/resnet/README_zh-CN.md) (ArXiv'2020)
9191
- ✅ [TANet](/configs/recognition/tanet/README_zh-CN.md) (ArXiv'2020)
9292
- ✅ [TRN](/configs/recognition/trn/README_zh-CN.md) (CVPR'2015)
93+
- ✅ [PoseC3D](configs/skeleton/posec3d/README.md) (ArXiv'2021)
9394

9495
</details>
9596

@@ -109,6 +110,7 @@ v0.15.0 版本已于 2021 年 5 月 31 日发布，可通过查阅 [更新日志
109110
<details open>
110111
<summary>(点击收起)</summary>
111112

113+
- ✅ [ACRN](configs/detection/acrn/README_zh-CN.md) (ECCV'2018)
112114
- ✅ [SlowOnly+Fast R-CNN](/configs/detection/ava/README_zh-CN.md) (ICCV'2019)
113115
- ✅ [SlowFast+Fast R-CNN](/configs/detection/ava/README_zh-CN.md) (ICCV'2019)
114116
- ✅ [Long-Term Feature Bank](/configs/detection/lfb/README_zh-CN.md) (CVPR'2019)

‎configs/detection/acrn/README_zh-CN.md

+81
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,81 @@
1+
# ACRN
2+
3+
## 简介
4+
5+
<!-- [DATASET] -->
6+
7+
```BibTeX
8+
@inproceedings{gu2018ava,
9+
title={Ava: A video dataset of spatio-temporally localized atomic visual actions},
10+
author={Gu, Chunhui and Sun, Chen and Ross, David A and Vondrick, Carl and Pantofaru, Caroline and Li, Yeqing and Vijayanarasimhan, Sudheendra and Toderici, George and Ricco, Susanna and Sukthankar, Rahul and others},
11+
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
12+
pages={6047--6056},
13+
year={2018}
14+
}
15+
```
16+
17+
<!-- [ALGORITHM] -->
18+
19+
```BibTeX
20+
@inproceedings{sun2018actor,
21+
title={Actor-centric relation network},
22+
author={Sun, Chen and Shrivastava, Abhinav and Vondrick, Carl and Murphy, Kevin and Sukthankar, Rahul and Schmid, Cordelia},
23+
booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
24+
pages={318--334},
25+
year={2018}
26+
}
27+
```
28+
29+
## 模型库
30+
31+
### AVA2.1
32+
33+
| 配置文件 | 模态 | 预训练 | 主干网络 | 输入 | GPU 数量 | mAP | log | json | ckpt |
34+
| :----------------------------------------------------------: | :------: | :----------: | :------: | :---: | :--: | :--: | :----------------------------------------------------------: | :----------------------------------------------------------: | :----------------------------------------------------------: |
35+
| [slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava_rgb](/configs/detection/acrn/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava_rgb.py) | RGB | Kinetics-400 | ResNet50 | 32x2 | 8 | 27.1 | [log](https://download.openmmlab.com/mmaction/detection/acrn/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava_rgb/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava_rgb.log) | [json](https://download.openmmlab.com/mmaction/detection/acrn/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava_rgb/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava_rgb.json) | [ckpt](https://download.openmmlab.com/mmaction/detection/acrn/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava_rgb/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava_rgb-49b07bf2.pth) |
36+
37+
### AVA2.2
38+
39+
| 配置文件 | 模态 | 预训练 | 主干网络 | 输入 | GPU 数量 | mAP | log | json | ckpt |
40+
| :----------------------------------------------------------: | :------: | :----------: | :------: | :---: | :--: | :--: | :----------------------------------------------------------: | :----------------------------------------------------------: | :----------------------------------------------------------: |
41+
| [slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava22_rgb](/configs/detection/acrn/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava22_rgb.py) | RGB | Kinetics-400 | ResNet50 | 32x2 | 8 | 27.8 | [log](https://download.openmmlab.com/mmaction/detection/acrn/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava22_rgb/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava22_rgb.log) | [json](https://download.openmmlab.com/mmaction/detection/acrn/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava22_rgb/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava22_rgb.json) | [ckpt](https://download.openmmlab.com/mmaction/detection/acrn/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava22_rgb/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava22_rgb-2be32625.pth) |
42+
43+
- 注：
44+
45+
1. 这里的 **GPU 数量** 指的是得到模型权重文件对应的 GPU 个数。默认地，MMAction2 所提供的配置文件对应使用 8 块 GPU 进行训练的情况。
46+
依据 [线性缩放规则](https://arxiv.org/abs/1706.02677)，当用户使用不同数量的 GPU 或者每块 GPU 处理不同视频个数时，需要根据批大小等比例地调节学习率。
47+
如，lr=0.01 对应 4 GPUs x 2 video/gpu，以及 lr=0.08 对应 16 GPUs x 4 video/gpu。
48+
49+
对于数据集准备的细节，用户可参考 [数据准备](/docs_zh_CN/data_preparation.md)。
50+
51+
## 如何训练
52+
53+
用户可以使用以下指令进行模型训练。
54+
55+
```shell
56+
python tools/train.py ${CONFIG_FILE} [optional arguments]
57+
```
58+
59+
例如：在 AVA 数据集上训练 ACRN 辅以 SlowFast 主干网络，并定期验证。
60+
61+
```shell
62+
python tools/train.py configs/detection/acrn/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava22_rgb.py --validate
63+
```
64+
65+
更多训练细节，可参考 [基础教程](/docs_zh_CN/getting_started.md#训练配置) 中的 **训练配置** 部分。
66+
67+
## 如何测试
68+
69+
用户可以使用以下指令进行模型测试。
70+
71+
```shell
72+
python tools/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} [optional arguments]
73+
```
74+
75+
例如：在 AVA 上测试 ACRN 辅以 SlowFast 主干网络，并将结果存为 csv 文件。
76+
77+
```shell
78+
python tools/test.py configs/detection/acrn/slowfast_acrn_kinetics_pretrained_r50_8x8x1_cosine_10e_ava22_rgb.py checkpoints/SOME_CHECKPOINT.pth --eval mAP --out results.csv
79+
```
80+
81+
更多测试细节，可参考 [基础教程](/docs_zh_CN/getting_started.md#测试某个数据集) 中的 **测试某个数据集** 部分。

‎configs/detection/ava/README_zh-CN.md

+1-1
Original file line numberDiff line numberDiff line change
@@ -72,7 +72,7 @@
7272
如，lr=0.01 对应 4 GPUs x 2 video/gpu，以及 lr=0.08 对应 16 GPUs x 4 video/gpu。
7373
2. **Context** 表示同时使用 RoI 特征与全局特征进行分类，可带来约 1% mAP 的提升。
7474

75-
对于数据集准备的细节，用户可参考 [数据准备](/docs_zh-CN/data_preparation.md)。
75+
对于数据集准备的细节，用户可参考 [数据准备](/docs_zh_CN/data_preparation.md)。
7676

7777
## 如何训练
7878

0 commit comments

Comments
 (0)