【PaddlePaddle Hackathon 3】数据类型扩展任务合集

[Ligoml]

（此 ISSUE 为 PaddlePaddle Hackathon 第三期活动的任务 ISSUE，更多详见 【PaddlePaddle Hackathon 第三期】任务总览）

为飞桨框架一系列算子增加支持的数据类型，提交流程请参考 算子数据类型扩展&提交流程，开发请参考 贡献指南，请注意：算子数据类型扩展是针对飞桨已有的算子，因此可以只在必要情况下提供设计文档。 任务列表如下：

No.45：为 Paddle cumsum 算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：基础

• 详细描述：由于 sum 类运算直接采用 float16 累加会有溢出风险，因此该功能要求为 cumsum 算子注册 float16 类型，同时改写算子 Kernel，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

• 任务提交：

  • C++ 及 GPU kernel 实现代码，在 paddle/phi/kernels/gpu/cum_kernel.cu；
  • 单元测试脚本中增加测试样例，在 paddle/fluid/tests/unittests/test_cumsum_op.py；
  • API文档中增加数据类型支持说明，英文文档在python/paddle/tensor/math.py，中文文档在docs/api/paddle/cumsum_cn.rst；
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

No.46：为 Paddle logcumsumexp 算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：基础

• 详细描述：由于 sum 类运算直接采用 float16 累加会有溢出风险，因此该功能要求为 logcumsumexp 算子注册 float16 类型，同时改写算子 Kernel，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

• 任务提交：

  • 前向算子：C++ 及 GPU kernel 实现代码在 paddle/phi/kernels/gpu/cum_kernel.cu；
  • 反向算子：C++ 及 GPU kernel 实现代码在paddle/phi/kernels/gpu/logcumsumexp_grad_kernel.cu；
  • 单元测试脚本中增加测试样例，在 paddle/fluid/tests/unittests/test_logcumsumexp_op.py；
  • API文档中增加数据类型支持说明，英文文档在python/paddle/tensor/math.py，中文文档在docs/api/paddle/logcumsumexp_cn.rst；
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

No.47：为 Paddle logsumexp 算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：基础

• 详细描述：由于 sum 类运算直接采用 float16 累加会有溢出风险，因此该功能要求为 logsumexp 算子注册 float16 类型，同时改写算子 Kernel，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

• 任务提交：

  • 前向算子：C++ 及 GPU kernel 实现代码在 paddle/phi/kernels/gpu/logsumexp_kernel.cu；
  • 反向算子：C++ 及 GPU kernel 实现代码在 paddle/phi/kernels/gpu/logsumexp_grad_kernel.cu；
  • 单元测试脚本中增加测试样例，在 paddle/fluid/tests/unittests/test_logsumexp.py；
  • API 文档中增加数据类型支持说明，英文文档在paddle/tensor/math.py，中文文档在docs/api/paddle/logsumexp_cn.rst；
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

No.48：为 Paddle elementwise 系列算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：基础

• 详细描述：elementwise 类的部分算子未支持 float16 类型，因此该功能要求为这类算子注册 float16 类型，同时改写算子实现，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

  • 任务1：需注册 float16 类型，并对算子实现做简单改写的有 elementwise_pow、elementwise_pow_grad、elementwise_pow_raw、elementwise_mod；
  • 任务2：只需注册 float16 类型的有 elementwise_fmax、elementwise_fmax_grad、elementwise_fmin、elementwise_fmin_grad、elementwise_heaviside_raw、elementwise_heaviside。

• 任务提交：

  • 前向算子： C++ 及 GPU kernel 实现代码在 paddle/phi/kernels/kps/elementwise_kernel.cu；
  • 反向算子：C++ 及 GPU kernel 实现代码在paddle/phi/kernels/gpu/elementwise_grad_kernel.cu；
  • 单元测试脚本中增加测试样例，以elementwise_pow为例在 python/paddle/fluid/tests/unittests/test_elementwise_pow_op.py；
  • API 文档中增加数据类型支持说明，以elementwise_pow为例，英文文档在python/paddle/tensor/math.py，中文文档在api/paddle/pow_cn.rst；
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

No.49：为 Paddle group_norm 算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：进阶

• 详细描述：group_norm 前反向算子未支持 float16 类型，因此该功能要求为该算子注册 float16 类型，同时改写算子实现，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

• 任务提交：

  • 前向算子：C++ 及 GPU kernel 实现代码在 paddle/phi/kernels/gpu/group_norm_kernel.cu
  • 反向算子：C++ 及 GPU kernel 实现代码在 paddle/phi/kernels/gpu/group_norm_grad_kernel.cu；
  • 单元测试脚本中增加测试样例 python/paddle/fluid/tests/unittests/test_group_norm_op.py；
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

No.50：为 Paddle linear_interp_v2 算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：进阶

• 详细描述：linear_interp_v2 前反向算子未支持 float16 类型，因此该功能要求为该算子注册 float16 类型，同时改写算子实现，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

• 任务提交：

  • 前向算子：C++ 及 GPU kernel 实现代码在paddle/phi/kernels/gpu/interpolate_kernel.cu；
  • 反向算子：paddle/phi/kernels/gpu/interpolate_grad_kernel.cu；
  • 单元测试脚本中增加测试样例 python/paddle/fluid/tests/unittests/test_linear_interp_v2_op.py；
  • API文档中增加数据类型支持说明，英文文档在 python/paddle/nn/functional/common.py，中文文档在 paddle/nn/functional/interpolate_cn.rst；
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

No.51：为 Paddle nearest_interp_v2 算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：进阶

• 详细描述：nearest_interp_v2 前反向算子未支持 float16 类型，因此该功能要求为该算子注册 float16 类型，同时改写算子实现，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

• 任务提交：

  • 前向算子：C++ 及 GPU kernel 实现代码在 paddle/phi/kernels/gpu/interpolate_kernel.cu；
  • 反向算子：paddle/phi/kernels/gpu/interpolate_grad_kernel.cu；
  • 单元测试脚本中增加测试样例 python/paddle/fluid/tests/unittests/test_nearest_interp_v2_op.py；
  • API 文档中增加数据类型支持说明，英文文档在 python/paddle/nn/functional/common.py，中文文档在 paddle/nn/functional/interpolate_cn.rst；
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

No.52：为 Paddle bilinear_interp_v2 算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：进阶

• 详细描述：bilinear_interp_v2 前反向算子未支持 float16 类型，因此该功能要求为该算子注册 float16 类型，同时改写算子实现，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

• 任务提交：

  • 前向算子：C++ 及 GPU kernel 实现代码在paddle/phi/kernels/gpu/interpolate_kernel.cu；
  • 反向算子：paddle/phi/kernels/gpu/interpolate_grad_kernel.cu
  • 单元测试脚本中增加测试样例 python/paddle/fluid/tests/unittests/test_bilinear_interp_v2_op.py；
  • API 文档中增加数据类型支持说明，英文文档在 python/paddle/nn/functional/common.py，中文文档在paddle/nn/functional/interpolate_cn.rst；
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

No.53：为 Paddle trilinear_interp_v2 算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：进阶

• 详细描述：trilinear_interp_v2 前反向算子未支持 float16 类型，因此该功能要求为该算子注册 float16 类型，同时改写算子实现，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

• 任务提交：

  • 前向算子：C++ 及 GPU kernel 实现代码在paddle/phi/kernels/gpu/interpolate_kernel.cu；
  • 反向算子：paddle/phi/kernels/gpu/interpolate_grad_kernel.cu
  • 单元测试脚本中增加测试样例 python/paddle/fluid/tests/unittests/test_trilinear_interp_v2_op.py；
  • API 文档中增加数据类型支持说明，英文文档在 python/paddle/nn/functional/common.py，中文文档在paddle/nn/functional/interpolate_cn.rst；
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

No.54：为 Paddle bicubic_interp_v2 算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：进阶

• 详细描述：bicubic_interp_v2 前反向算子未支持 float16 类型，因此该功能要求为该算子注册 float16 类型，同时改写算子实现，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

• 任务提交：

  • 前向算子：C++ 及 GPU kernel 实现代码在paddle/phi/kernels/gpu/interpolate_kernel.cu；
  • 反向算子：paddle/phi/kernels/gpu/interpolate_grad_kernel.cu
  • 单元测试脚本中增加测试样例 python/paddle/fluid/tests/unittests/test_bicubic_interp_v2_op.py；
  • API 文档中增加数据类型支持说明，英文文档在 python/paddle/nn/functional/common.py，中文文档在paddle/nn/functional/interpolate_cn.rst；
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

No.55：为 Paddle depthwise_conv2d 算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：进阶

• 详细描述：depthwise_conv2d 和depthwise_conv2d_transpose 前反向算子未支持 float16 类型，2个算子共用同一套实现，因此该功能要求为算子注册 float16 类型，同时改写算子实现，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

• 任务提交：

  • 前向算子：C++ 及 GPU kernel 实现代码在paddle/phi/kernels/gpu/depthwise_conv_kernel.cu和paddle/phi/kernels/gpu/conv_transpose_kernel.cu；
  • 反向算子：paddle/phi/kernels/gpu/depthwise_conv_grad_kernel.cu和paddle/phi/kernels/gpu/conv_transpose_grad_kernel.cu；
  • 单元测试脚本中增加测试样例，分别为 python/paddle/fluid/tests/unittests/test_conv2d_transpose_op_depthwise_conv.py和python/paddle/fluid/tests/unittests/test_conv2d_op_depthwise_conv.py；
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

No.56：为 Paddle deformable_conv_v1 算子实现 float16 数据类型支持

• 技术标签：深度学习框架，C++，CUDA

• 任务难度：进阶

• 详细描述：deformable_conv_v1 前反向算子未支持 float16 类型，因此该功能要求为该算子注册 float16 类型，同时改写算子实现，使得 float16 下精度与期望结果的误差不超过 1e-3，并且性能不差于使用 float32 类型计算。

• 任务提交：

  • 前向算子：C++ 及 GPU kernel 实现代码在paddle/phi/kernels/gpu/deformable_conv_kernel.cu；
  • 反向算子：paddle/phi/kernels/gpu/deformable_conv_grad_kernel.cu；
  • 单元测试脚本中增加测试样例python/paddle/fluid/tests/unittests/test_deformable_conv_v1_op.py；
  • API文档中添加数据类型的支持，英文文档 python/paddle/fluid/layers/nn.py，中文文档docs/api/paddle/fluid/layers/deformable_conv_cn.rst
  • 在代码 PR 中提交 OP 的性能数据变化表格，代码 PR 格式规范参考 示例，需要分别提供 float32 和 float16 下 2 种类型的性能对比。

合入标准

• 精度：依据各任务描述为算子扩展数据类型，通过算子的单元测试；
• 性能：OP Benchmark 对应 OP 的全部配置 case 性能不出现下降问题，使用 float16 类型的算子性能不差于使用 float32 类型。

技术要求

• 熟练掌握 C++、CUDA 代码编写；
• 掌握 OP Benchmark 使用方法。

答疑交流

• 如果在开发中对于上述任务有任何问题，欢迎在本 ISSUE 下留言交流；
• 对于开发中的共性问题，在活动过程中，会定期组织答疑，请大家关注官网&QQ群的通知，及时参与。