UAV-ActionRecog

An Introduction to Video Action Recognition from the Perspective of UAVs and Drones.

Datasets

Dataset	Year	Modalities	Environment	Frames	Classes	Resolution (RGB)	Benchmark (Aerial)
VIRAT	2011	RGB	Outdoor	Many	24	Varying	~
Okutama-Action	2017	RGB	Outdoor	70k	13	$3840\times 2160$	SOTA-2023-75.94
UAV-GESTURE	2019	RGB	Outdoor	37.2k	13	$1920\times 1080$	~
Drone-Action	2019	RGB	Outdoor	66.9k	13	$1920\times 1080$	SOTA-2023-95.9
NEC-Drone	2020	RGB	Indoor		13	HD
UAV-Human	2021	RGB, Depth, IR, Fisheye, Sketeton	Outdoor	67.4k	155	$1920\times 1080$	SOTA-2023-55.0
RoCoG-v2	2023	RGB	Outdoor	107K	7	~	SOTA-2023-40.2

1. VIRAT: 550个低分辨率视频，由静态和移动摄像机（称之为VIRAT地面和空中数据集）记录，涵盖23种户外活动类型。基于VIRAT地面数据集的低分辨率行为识别挑战与研究
2. Okutama-Action：使用无人机在棒球场上收集，数据集存在突发的摄像机运动，且摄像机90都仰角在视频中会产生严重的自遮挡和视角扭曲
3. UAV-GESTURE：低空悬停无人机记录的手势数据集，具有119个RGB视频
4. Drone-Action：240个高清视频片段，共计66919帧，所有视频都是在低空低速下拍摄的
5. UAV-Human：类别丰富，提供了多模态的数据
6. RoCoG-v2：由7个手势类的真实和合成视频组成，接近107K的合成视频基于Unity渲染。真实视频由两个户外地点收集，无人机在距离地面10米的地空中记录。

UAVHuman DataSet

Paper Reading

• FAR: Fourier Aerial Video Recognition - train_uavhuman_rgb_yaml
• X3D: Expanding Architectures for Efficient Video Recognition
• PMI Sampler: Patch Similarity Guided Frame Selection For Aerial Action Recognition
• MITFAS: Mutual Information based Temporal Feature Alignment and Sampling for Aerial Video Acton Recognition
• Unsupervised and Semi-Supervised Domain Adaptation for Action Recognition from Drones
• InternVideo: General Video Foundation Models via Generative and Discriminative Learning

The structure of PicToRestore

accelerate launch --config_file=tools/single_acc.yml --num_processes=8 main.py --config config/sidd_nafnet_wf32.yml --eval_ddp True --verbose True --train  # num_processes表示单机多卡训练时GPU个数，verbose表示是否在终端现实日志

├── main.py # 程序启动文件
├── src
|   ├── train.py # 训练文件，一般不做改动
|   ├── arches # 网络结构
│   │   ├── __init__.py
|   ├── datasets # 数据类
│   │   ├── __init__.py
|   ├── loss # 损失函数
│   │   ├── __init__.py
|   ├── metrics # 评价指标
│   │   ├── __init__.py
|   ├── models # 根据config.yml初始化训练时所需的元素，并自定义网络训练时的操作
│   │   ├── __init__.py
|   ├── utils # 提供各种工具，主要包含上述模块的注册器
│   │   ├── __init__.py

使用笔记

模型复现

• C3D-UCF101

数据集处理

• UAVHuman

Nori2数据

• UAVHuman
• UCF101
• K400

Thanks

部分代码和组织结构参考BasicSR, MMAction2以及其他卓越的工作。