Skip to content

Commit 2d85bab

Browse files
congee524congee524
authored
[Docs] Dataset Preparation CN README Part 2 (open-mmlab#742)
* hmdb51 draft * unify style * jester draft * mit draft * mmit draft * thumos14 draft * fix * refine * refine * refine * polish * refine * refine
1 parent ced53ac commit 2d85bab

File tree

10 files changed

+653
-5
lines changed

10 files changed

+653
-5
lines changed

‎tools/data/hmdb51/README_zh-CN.md

+121
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,121 @@
1+
# 准备 HMDB51
2+
3+
## 简介
4+
5+
[DATASET]
6+
7+
```BibTeX
8+
@article{Kuehne2011HMDBAL,
9+
title={HMDB: A large video database for human motion recognition},
10+
author={Hilde Kuehne and Hueihan Jhuang and E. Garrote and T. Poggio and Thomas Serre},
11+
journal={2011 International Conference on Computer Vision},
12+
year={2011},
13+
pages={2556-2563}
14+
}
15+
```
16+
17+
用户可以参照数据集 [官网](https://serre-lab.clps.brown.edu/resource/hmdb-a-large-human-motion-database/)，获取数据集相关的基本信息。
18+
在准备数据集前，请确保命令行当前路径为 `$MMACTION2/tools/data/hmdb51/`。
19+
20+
为运行下面的 bash 脚本，需要安装 `unrar`。用户可运行 `sudo apt-get install unrar` 安装，或参照 [setup](https://github.com/innerlee/setup)，运行 [`zzunrar.sh`](https://github.com/innerlee/setup/blob/master/zzunrar.sh) 脚本实现无管理员权限下的简易安装。
21+
22+
## 步骤 1. 下载标注文件
23+
24+
首先，用户可使用以下命令下载标注文件。
25+
26+
```shell
27+
bash download_annotations.sh
28+
```
29+
30+
## 步骤 2. 下载视频
31+
32+
之后，用户可使用以下指令下载视频
33+
34+
```shell
35+
bash download_videos.sh
36+
```
37+
38+
## 步骤 3. 抽取帧和光流
39+
40+
如果用户只想使用视频加载训练，则该部分是 **可选项**。
41+
42+
在抽取视频帧和光流之前，请参考 [安装指南](/docs_zh_CN/install.md) 安装 [denseflow](https://github.com/open-mmlab/denseflow)。
43+
44+
如果用户有大量的 SSD 存储空间，则推荐将抽取的帧存储至 I/O 性能更优秀的 SSD 上。
45+
用户可使用以下命令为 SSD 建立软链接。
46+
47+
```shell
48+
# 执行这两行指令进行抽取（假设 SSD 挂载在 "/mnt/SSD/"上）
49+
mkdir /mnt/SSD/hmdb51_extracted/
50+
ln -s /mnt/SSD/hmdb51_extracted/ ../../../data/hmdb51/rawframes
51+
```
52+
53+
如果用户需要抽取 RGB 帧（因为抽取光流的过程十分耗时），可以考虑运行以下命令使用 denseflow **只抽取 RGB 帧**。
54+
55+
```shell
56+
bash extract_rgb_frames.sh
57+
```
58+
59+
如果用户没有安装 denseflow，则可以运行以下命令使用 OpenCV 抽取 RGB 帧。然而，该方法只能抽取与原始视频分辨率相同的帧。
60+
61+
```shell
62+
bash extract_rgb_frames_opencv.sh
63+
```
64+
65+
如果用户想抽取 RGB 帧和光流，则可以运行以下脚本，使用 "tvl1" 算法进行抽取。
66+
67+
```shell
68+
bash extract_frames.sh
69+
```
70+
71+
## 步骤 4. 生成文件列表
72+
73+
用户可以通过运行以下命令生成帧和视频格式的文件列表。
74+
75+
```shell
76+
bash generate_rawframes_filelist.sh
77+
bash generate_videos_filelist.sh
78+
```
79+
80+
## 步骤 5. 检查目录结构
81+
82+
在完成 HMDB51 数据集准备流程后，用户可以得到 HMDB51 的 RGB 帧 + 光流文件，视频文件以及标注文件。
83+
84+
在整个 MMAction2 文件夹下，HMDB51 的文件结构如下：
85+
86+
```
87+
mmaction2
88+
├── mmaction
89+
├── tools
90+
├── configs
91+
├── data
92+
│ ├── hmdb51
93+
│ │ ├── hmdb51_{train,val}_split_{1,2,3}_rawframes.txt
94+
│ │ ├── hmdb51_{train,val}_split_{1,2,3}_videos.txt
95+
│ │ ├── annotations
96+
│ │ ├── videos
97+
│ │ │ ├── brush_hair
98+
│ │ │ │ ├── April_09_brush_hair_u_nm_np1_ba_goo_0.avi
99+
100+
│ │ │ ├── wave
101+
│ │ │ │ ├── 20060723sfjffbartsinger_wave_f_cm_np1_ba_med_0.avi
102+
│ │ ├── rawframes
103+
│ │ │ ├── brush_hair
104+
│ │ │ │ ├── April_09_brush_hair_u_nm_np1_ba_goo_0
105+
│ │ │ │ │ ├── img_00001.jpg
106+
│ │ │ │ │ ├── img_00002.jpg
107+
│ │ │ │ │ ├── ...
108+
│ │ │ │ │ ├── flow_x_00001.jpg
109+
│ │ │ │ │ ├── flow_x_00002.jpg
110+
│ │ │ │ │ ├── ...
111+
│ │ │ │ │ ├── flow_y_00001.jpg
112+
│ │ │ │ │ ├── flow_y_00002.jpg
113+
│ │ │ ├── ...
114+
│ │ │ ├── wave
115+
│ │ │ │ ├── 20060723sfjffbartsinger_wave_f_cm_np1_ba_med_0
116+
│ │ │ │ ├── ...
117+
│ │ │ │ ├── winKen_wave_u_cm_np1_ri_bad_1
118+
119+
```
120+
121+
关于对 HMDB51 进行训练和验证，可以参照 [基础教程](/docs_zh_CN/getting_started.md)。

‎tools/data/jester/README_zh-CN.md

+143
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,143 @@
1+
# 准备 Jester
2+
3+
## 简介
4+
5+
[DATASET]
6+
7+
```BibTeX
8+
@InProceedings{Materzynska_2019_ICCV,
9+
author = {Materzynska, Joanna and Berger, Guillaume and Bax, Ingo and Memisevic, Roland},
10+
title = {The Jester Dataset: A Large-Scale Video Dataset of Human Gestures},
11+
booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops},
12+
month = {Oct},
13+
year = {2019}
14+
}
15+
```
16+
17+
用户可以参照数据集 [官网](https://20bn.com/datasets/jester/v1)，获取数据集相关的基本信息。
18+
在准备数据集前，请确保命令行当前路径为 `$MMACTION2/tools/data/jester/`。
19+
20+
## 步骤 1. 下载标注文件
21+
22+
首先，用户需要在 [官网](https://20bn.com/datasets/jester/v1) 完成注册，才能下载标注文件。下载好的标注文件需要放在 `$MMACTION2/data/jester/annotations` 文件夹下。
23+
24+
## 步骤 2. 准备 RGB 帧
25+
26+
[jester 官网](https://20bn.com/datasets/jester/v1) 并未提供原始视频文件，只提供了对原视频文件进行抽取得到的 RGB 帧，用户可在 [jester 官网](https://20bn.com/datasets/jester/v1) 直接下载。
27+
28+
将下载好的压缩文件放在 `$MMACTION2/data/jester/` 文件夹下，并使用以下脚本进行解压。
29+
30+
```shell
31+
cd $MMACTION2/data/jester/
32+
cat 20bn-jester-v1-?? | tar zx
33+
cd $MMACTION2/tools/data/jester/
34+
```
35+
36+
如果用户只想使用 RGB 帧，则可以跳过中间步骤至步骤 5 以直接生成视频帧的文件列表。
37+
由于官网的 JPG 文件名形如 "%05d.jpg" （比如，"00001.jpg"），需要在配置文件的 `data.train`, `data.val` 和 `data.test` 处添加 `"filename_tmpl='{:05}.jpg'"` 代码，以修改文件名模板。
38+
39+
```python
40+
data = dict(
41+
videos_per_gpu=16,
42+
workers_per_gpu=4,
43+
train=dict(
44+
type=dataset_type,
45+
ann_file=ann_file_train,
46+
data_prefix=data_root,
47+
filename_tmpl='{:05}.jpg',
48+
pipeline=train_pipeline),
49+
val=dict(
50+
type=dataset_type,
51+
ann_file=ann_file_val,
52+
data_prefix=data_root_val,
53+
filename_tmpl='{:05}.jpg',
54+
pipeline=val_pipeline),
55+
test=dict(
56+
type=dataset_type,
57+
ann_file=ann_file_test,
58+
data_prefix=data_root_val,
59+
filename_tmpl='{:05}.jpg',
60+
pipeline=test_pipeline))
61+
```
62+
63+
## 步骤 3. 抽取光流
64+
65+
如果用户只想使用 RGB 帧训练，则该部分是 **可选项**。
66+
67+
在抽取视频帧和光流之前，请参考 [安装指南](/docs_zh_CN/install.md) 安装 [denseflow](https://github.com/open-mmlab/denseflow)。
68+
69+
如果拥有大量的 SSD 存储空间，则推荐将抽取的帧存储至 I/O 性能更优秀的 SSD 中。
70+
71+
可以运行以下命令为 SSD 建立软链接。
72+
73+
```shell
74+
# 执行这两行进行抽取（假设 SSD 挂载在 "/mnt/SSD/"）
75+
mkdir /mnt/SSD/jester_extracted/
76+
ln -s /mnt/SSD/jester_extracted/ ../../../data/jester/rawframes
77+
```
78+
79+
如果想抽取光流，则可以运行以下脚本从 RGB 帧中抽取出光流。
80+
81+
```shell
82+
cd $MMACTION2/tools/data/jester/
83+
bash extract_flow.sh
84+
```
85+
86+
## 步骤 4: 编码视频
87+
88+
如果用户只想使用 RGB 帧训练，则该部分是 **可选项**。
89+
90+
用户可以运行以下命令进行视频编码。
91+
92+
```shell
93+
cd $MMACTION2/tools/data/jester/
94+
bash encode_videos.sh
95+
```
96+
97+
## 步骤 5. 生成文件列表
98+
99+
用户可以通过运行以下命令生成帧和视频格式的文件列表。
100+
101+
```shell
102+
cd $MMACTION2/tools/data/jester/
103+
bash generate_{rawframes, videos}_filelist.sh
104+
```
105+
106+
## 步骤 6. 检查文件夹结构
107+
108+
在完成所有 Jester 数据集准备流程后，
109+
用户可以获得对应的 RGB + 光流文件，视频文件以及标注文件。
110+
111+
在整个 MMAction2 文件夹下，Jester 的文件结构如下：
112+
113+
```
114+
mmaction2
115+
├── mmaction
116+
├── tools
117+
├── configs
118+
├── data
119+
│ ├── jester
120+
│ │ ├── jester_{train,val}_list_rawframes.txt
121+
│ │ ├── jester_{train,val}_list_videos.txt
122+
│ │ ├── annotations
123+
│ | ├── videos
124+
│ | | ├── 1.mp4
125+
│ | | ├── 2.mp4
126+
│ | | ├──...
127+
│ | ├── rawframes
128+
│ | | ├── 1
129+
│ | | | ├── 00001.jpg
130+
│ | | | ├── 00002.jpg
131+
│ | | | ├── ...
132+
│ | | | ├── flow_x_00001.jpg
133+
│ | | | ├── flow_x_00002.jpg
134+
│ | | | ├── ...
135+
│ | | | ├── flow_y_00001.jpg
136+
│ | | | ├── flow_y_00002.jpg
137+
│ | | | ├── ...
138+
│ | | ├── 2
139+
│ | | ├── ...
140+
141+
```
142+
143+
关于对 jester 进行训练和验证，可以参考 [基础教程](/docs_zh_CN/getting_started.md)。

‎tools/data/mit/README.md

+1-1
Original file line numberDiff line numberDiff line change
@@ -26,7 +26,7 @@ First of all, you have to visit the official [website](http://moments.csail.mit.
2626

2727
For better decoding speed, you can resize the original videos into smaller sized, densely encoded version by:
2828

29-
```
29+
```shell
3030
python ../resize_videos.py ../../../data/mit/videos/ ../../../data/mit/videos_256p_dense_cache --dense --level 2
3131
```
3232

0 commit comments

Comments
 (0)