【Hackathon 6th Fundable Projects No.4】Paddle 框架旧执行器功能退场 Tracking Issue

[ccsuzzh]

一、BackGround

飞桨 Paddle 自 2.0 版本以来，进行了多个重大机制改造。包括：高可复用算子库 PHI、全新的动态图体系、全新的静态图执行引擎等。随着新机制的发布使用，旧机制和功能代码需要进行退场和移除，保持架构清晰和代码库的条理性，为内外部开发者提供更好的二次开发环境。这就包括了 Operators 算子库的清理、旧动态图机制代码的清理、旧静态图执行引擎的清理。

2.0 版本后静态图虽然是非默认形态，但以 Interpreter 为中心的内核执行器正式取代了旧的 ParallelExecutor 执行器，提供了更优调度策略的新执行器。因此飞桨考虑虑将此系列旧执行器进行退场处理。

详细见：Paddle 框架旧执行器功能退场

二、Task

任务描述详细见RFC：

• 【Hackathon 6th Fundable Projects No.4】Paddle 框架旧执行器功能退场 community#853

序号	任务描述	认领人/状态/PR号
1	移除旧执行器单元测试✅	@ccsuzzh #63543
2	完成ParallelExecutor编译模块迁移✅	@ccsuzzh #63758 #6782
3	移除ExecutionStrategy ✅	@ccsuzzh #63132 #65077 #6694
4	CINN 中旧执行器代码退场✅	@ccsuzzh #63473
5	移除ParallelExecutor执行器相关代码	@ccsuzzh #64822 #64818 #65189 #6694 #65340 #65462 #65894 #66293
6	移除AsyncExecutor执行器相关代码✅	@ccsuzzh #63923

三、Details

任务一：移除旧执行器单元测试✅（整体进展：27/27）

处理方式	单测文件统计	PR链接
部分删除	cinn_launch_context_test.cc✅	#63470
直接删除	share_varinfo_into_cinn_pass_test.cc✅	#63470
部分删除	test_reference_count_pass_last_lived_ops.cc✅	#63758
直接删除	parallel_executor_test_base.py✅	#63543
部分删除	seresnext_net.py✅	#63543
直接删除	seresnext_test_base.py✅	#63543
直接删除	test_fuse_all_reduce_pass.py✅	#63543
部分删除	test_fuse_elewise_add_act_pass.py✅	#63543
直接删除	test_fuse_optimizer_pass.py✅	#63543
直接删除	test_fuse_relu_depthwise_conv_pass.py✅	#63543
直接删除	test_ir_inplace_pass.py✅	#63543
直接删除	test_ir_memory_optimize_pass.py✅	#63543
直接删除	test_ir_memory_optimize_transformer.py✅	#63543
直接删除	test_mix_precision_all_reduce_fuse.py✅	#63543
直接删除	test_parallel_executor_run_cinn.py✅	#63543
直接删除	test_parallel_executor_seresnext_base_cpu.py✅	#63543
直接删除	test_parallel_executor_seresnext_base_gpu.py✅	#63543
直接删除	test_parallel_executor_seresnext_with_fuse_all_reduce_cpu.py✅	#63543
直接删除	test_parallel_executor_seresnext_with_fuse_all_reduce_gpu.py✅	#63543
直接删除	test_parallel_executor_seresnext_with_reduce_cpu.py✅	#63543
直接删除	test_parallel_executor_seresnext_with_reduce_gpu.py✅	#63543
直接删除	test_parallel_executor_transformer_auto_growth.py✅	#63543
直接删除	test_parallel_executor_transformer.py✅	#63543
部分删除	test_program_prune_backward.py.py✅	#63543
部分删除	test_py_func_op.py✅	#63543
部分删除	test_standalone_executor.py✅	#63543
部分删除	test_weight_decay.py✅	#63758

任务二：完成ParallelExecutor编译模块迁移✅

• 完成CompiledProgram的兼容，与ParallelExecutor彻底解绑
  • 【Hackathon 6th Fundable Projects 4 No.2】rm parallel executor in pybind -part #63758
• 移除build_strategy中无用的属性
  • 【Hackathon 6th Fundable Projects 4 No.5】remove reduce_op_handle/all_reduce_op_handle -part #65894
  • 【Hackathon 6th Fundable Projects 4 No.5】remove scale_loss_grad_op_handle -part #66293
• Docs仓库同步更新
  • 【Hackathon 6th Fundable Projects 4 No.2】remove build_strategy useless attribution docs#6782

任务三：移除ExecutionStrategy ✅

• 移除Python端ExecutionStrategy
  • 【Hackathon 6th Fundable Projects 4 No.3】remove ExecutionStrategy in python -part #63132
• 移除C++端ExecutionStrategy
  • 【Hackathon 6th Fundable Projects 4 No.3】remove ExecutionStrategy #65077
• Docs仓库同步更新
  • remove execution_strategy docs#6631
  • 【Hackathon 6th Fundable Projects 4 No.3、5】remove execution_strategy and parallel_executor docs#6694

任务四：CINN 中旧执行器代码退场✅

• 【Hackathon 6th Fundable Projects 3 No.61-62】Remove fluid operator cinn_instruction_run #63470
• 【Hackathon 6th Fundable Projects 4 No.4】 clean parallel executor in cinn #63473

任务五： 移除ParallelExecutor执行器相关代码

• ParallelExecutor pybind代码退场
  • 【Hackathon 6th Fundable Projects 4 No.5】remove parallel executor pybind code -part #64822
• ParallelExecutor和SSAGraphExecutor及其派生类代码退场
  • 【Hackathon 6th Fundable Projects 4 No.5】remove parallel executor in run_program op -part #64818
  • 【Hackathon 6th Fundable Projects 4 No.5】remove run_program_op.h -part #65189
• 移除OpHandle组件
  • 【Hackathon 6th Fundable Projects 4 No.5】remove fetch_op/fetch_async_op/grad_merge_all_reduce_op handle -part #65340
  • 【Hackathon 6th Fundable Projects 4 No.5】remove rpc_op_handle/fetch_barrier_op_handle/gather_op_handle -part #65462
  • 【Hackathon 6th Fundable Projects 4 No.5】remove reduce_op_handle/all_reduce_op_handle -part #65894
  • 【Hackathon 6th Fundable Projects 4 No.5】remove scale_loss_grad_op_handle -part #66293
  • remove memory optimize pass #66558
• Docs仓库同步更新
  • 【Hackathon 6th Fundable Projects 4 No.3、5】remove execution_strategy and parallel_executor docs#6694

任务六： 移除AsyncExecutor执行器相关代码✅

• AsyncExecutor相关代码退场
  • 【Hackathon 6th Fundable Projects 4 No.6】remove async_executor #63923

看板信息

任务方向	任务数量	提交作品 / 任务认领	提交率	完成	完成率
Fundable Projects No.4	6	6 / 6	100.0%	6	100.0%

统计信息

排名不分先后 @ccsuzzh (6)