From f470f32c61c75259a67333bc92d8c0a3d8ae899f Mon Sep 17 00:00:00 2001 From: fxfxfxfxfxfxfxfx <227935476@qq.com> Date: Mon, 26 Aug 2024 12:54:00 +0800 Subject: [PATCH 1/4] fxfxfxfxfxfxfx add 2024.07.15~2024.08.11 WeeklyReport --- .../[WeeklyReport]2024.07.15~2024.07.28.md | 27 +++++++++++++++++++ .../[WeeklyReport]2024.07.29~2024.08.11.md | 19 +++++++++++++ 2 files changed, 46 insertions(+) create mode 100644 WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.15~2024.07.28.md create mode 100644 WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.29~2024.08.11.md diff --git a/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.15~2024.07.28.md b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.15~2024.07.28.md new file mode 100644 index 00000000..40efb0ad --- /dev/null +++ b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.15~2024.07.28.md @@ -0,0 +1,27 @@ +### 姓名 +冯潇 + +### 实习项目 +动静统一自动并行支持MoE专家并行策略 + +### 本周工作 + +1. **配置开发环境，熟悉Paddle** + * 从源码编译paddle，并熟悉相关代码 + * 编写脚本方便环境重启后上下文的恢复 + + +2. **熟悉自动并行和Moe** + * 熟悉自动并行和MoE相关概念 + * 阅读相关文档，了解其实现方式 + * 跑通相关单元测试 + +3. **熟悉qwen2_moe** + + +### 下周工作 + +1. 将SparseMoEBlock改成自动并行版本并对其编写单元测试 + +### 导师点评 +快速熟悉相关背景和概念后可以开展具体工作 diff --git a/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.29~2024.08.11.md b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.29~2024.08.11.md new file mode 100644 index 00000000..ff540040 --- /dev/null +++ b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.07.29~2024.08.11.md @@ -0,0 +1,19 @@ +### 姓名 +冯潇 + +### 实习项目 +动静统一自动并行支持MoE专家并行策略 + +### 本周工作 + +1. 阅读moe自动并行的源码 +2. 跑通单卡版本的SparseMoEBlock代码，作为测试基准 +3. 将SparseMoEBlock 改成自动并行版本 + + +### 下周工作 + +1. 编写SparseMoEBlock自动并行版本的单元测试，测试动态图下 卡数>专家数 和 卡数<专家数的情况 + +### 导师点评 +熟悉了自动并行的概念，正在将模型改造成自动并行版本 \ No newline at end of file From ef3441bc8a27c2ea62bed117fc967e1f2cc4179a Mon Sep 17 00:00:00 2001 From: fxfxfxfxfxfxfxfx <227935476@qq.com> Date: Mon, 26 Aug 2024 16:30:18 +0800 Subject: [PATCH 2/4] fxfxfxfxfxfxfxfx add 2024.08.12~2024.08.25 WeeklyReport --- .../[WeeklyReport]2024.08.12~2024.08.25.md | 19 +++++++++++++++++++ 1 file changed, 19 insertions(+) create mode 100644 WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.12~2024.08.25.md diff --git a/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.12~2024.08.25.md b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.12~2024.08.25.md new file mode 100644 index 00000000..ea68745d --- /dev/null +++ b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.12~2024.08.25.md @@ -0,0 +1,19 @@ +### 姓名 +冯潇 + +### 实习项目 +动静统一自动并行支持MoE专家并行策略 + +### 本周工作 + +1. 构建了一个等效qwen2moe SparseMoEBlock的模型 +2. 将该模型改成自动并行版本并且验证其与单节点结果的一致性 + + * 相关pr: https://github.com/PaddlePaddle/Paddle/pull/67594 + +### 下周工作 + +1. 将qwen2moe SparseMoEBlock改成自动并行版本 +2. 编写单元测试 + +### 导师点评 From cfb2caf5b186a588752e0d084db0d258656bb87b Mon Sep 17 00:00:00 2001 From: fxfxfxfxfxfxfxfx <227935476@qq.com> Date: Sun, 15 Sep 2024 22:35:22 +0800 Subject: [PATCH 3/4] fxfxfxfxfxfxfxfx add 2024.08.26~2024.09.08 WeeklyReport --- .../[WeeklyReport]2024.08.26~2024.09.08.md | 16 ++++++++++++++++ 1 file changed, 16 insertions(+) create mode 100644 WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.26~2024.09.08.md diff --git a/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.26~2024.09.08.md b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.26~2024.09.08.md new file mode 100644 index 00000000..2ac0bd79 --- /dev/null +++ b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.26~2024.09.08.md @@ -0,0 +1,16 @@ +### 姓名 +冯潇 + +### 实习项目 +动静统一自动并行支持MoE专家并行策略 + +### 本周工作 + +1. 阅读论文 GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding，深入了解moe并行的实现 +2. 阅读deepspeed关于moe的代码 + +### 下周工作 + +1. 将qwen2moe SparseMoEBlock改成自动并行版本，尽量少改动原本的代码，最大化利用自动并行相关api的功能。 + +### 导师点评 From b71019db263ffcc74092083d97a6dbb8ea3a7529 Mon Sep 17 00:00:00 2001 From: fxfxfxfxfxfxfxfx <227935476@qq.com> Date: Tue, 1 Oct 2024 21:40:49 +0800 Subject: [PATCH 4/4] fxfxfxfxfxfxfxfx add 2024.09.09~2024.09.23 WeeklyReport --- .../[WeeklyReport]2024.08.12~2024.08.25.md | 1 + .../[WeeklyReport]2024.08.26~2024.09.08.md | 1 + .../[WeeklyReport]2024.09.09~2024.09.23.md | 15 +++++++++++++++ 3 files changed, 17 insertions(+) create mode 100644 WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.09.09~2024.09.23.md diff --git a/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.12~2024.08.25.md b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.12~2024.08.25.md index ea68745d..0d257c29 100644 --- a/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.12~2024.08.25.md +++ b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.12~2024.08.25.md @@ -17,3 +17,4 @@ 2. 编写单元测试 ### 导师点评 +尽量在不改动源代码逻辑下实现自动并行版本 \ No newline at end of file diff --git a/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.26~2024.09.08.md b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.26~2024.09.08.md index 2ac0bd79..5db6d133 100644 --- a/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.26~2024.09.08.md +++ b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.08.26~2024.09.08.md @@ -14,3 +14,4 @@ 1. 将qwen2moe SparseMoEBlock改成自动并行版本，尽量少改动原本的代码，最大化利用自动并行相关api的功能。 ### 导师点评 +熟悉代码中专家并行的实现原理和流程，有助于修改代码和排查问题 \ No newline at end of file diff --git a/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.09.09~2024.09.23.md b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.09.09~2024.09.23.md new file mode 100644 index 00000000..afd1eecc --- /dev/null +++ b/WeeklyReports/Hackathon_7th/glcc_06_fxfxfxfxfxfxfxfx/[WeeklyReport]2024.09.09~2024.09.23.md @@ -0,0 +1,15 @@ +### 姓名 +冯潇 + +### 实习项目 +动静统一自动并行支持MoE专家并行策略 + +### 本周工作 + +1. 发现并且复现 paddle 中 [where](https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/where_cn.html) 在自动并行情况下会导致shape出现-1。 + +### 下周工作 + +1. 熟悉where的实现，并作出修改，使其在自动并行情况下符合使用逻辑。 + +### 导师点评