Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[WeeklyReports] 2023.10.25~2023.11.07 周报汇总 #54

Closed
22 tasks done
MarioLulab opened this issue Nov 7, 2023 · 22 comments
Closed
22 tasks done

[WeeklyReports] 2023.10.25~2023.11.07 周报汇总 #54

MarioLulab opened this issue Nov 7, 2023 · 22 comments
Assignees
@Ligoml @MarioLulab @Lylinnnnn
Labels
weekly reports weekly report commits from members

Comments

@MarioLulab
Copy link
Collaborator

MarioLulab commented Nov 7, 2023 •
edited by Ligoml
Loading

[WeeklyReports] 2023.10.25~2023.11.07 周报汇总

请各位学员在本 issue 下以 comment 的形式填写周报摘要，ddl 本周四晚，格式示例如下：

### 姓名

xxx

### 本周工作

1. xxx
2. xxx
 
### 下周工作

1. xxx
2. xxx

### 详细周报链接：

- https://github.com/PFCCLab/Camp/pulls/xxx

完成情况：

项目一：算子规范和 ProgramTranslator 功能优化

项目二：新 IR Pass 建设和依赖的核心组件完善

项目三：新 IR API + 自动微分推全和核心组件完善

项目四：组合机制前反向架构统一

项目五：算子支持复数计算专项

项目六：量化算子集成

项目七：开源模型加速复现

项目八：CPU 融合算子 / GPU 算子融合 pass

项目九：动态图半自动并行架构研发

项目十：静态图半自动并行执行架构升级

项目十一：分布式能力矩阵建设

项目十二：全自动并行架构升级

项目十三：科学计算领域拓展专项

项目十四：Clas 套件全流程建设

项目十五：3D 方向模型全流程建设

项目十六：Nougat 复现及优化

项目十七：NLP 大模型复现

项目十八：套件压缩能力建设

项目十九：PIR 适配 AI 编译器 CINN

项目二十：PIR 子图验证+核心机制完善

项目二十一：PIR 核心组件建设与机制完善

项目二十二：PIR 动转静组件建设与单测验证推全

项目二十三：模型迁移工具建设
@MarioLulab MarioLulab added the weekly reports weekly report commits from members label Nov 7, 2023
@AndSonder
Copy link
Collaborator

AndSonder commented Nov 7, 2023 •
edited
Loading

姓名

卢畅

本周工作

当下没有工具能够直接给出自动并行模式下各个GPU设备上不同Job的运行区间，因此我们需要设计一个可视化工具来实现这个功能。

本周的主要工作依然和可视化工具有关，主要工作内容如下：

  1. 添加用命令行控制可视化工具相关逻辑
  2. 为可视化工具添加Step行
  3. 修复Job开始时间和结束时间统计不准确的逻辑bug
  4. 比对可视化结果与nsight输出的结果
  5. 完善使用文档
  6. 确定了多机可视化方案
  7. 阅读自动并行相关源码

相关PR:

下周工作

  1. 编码实现多机可视化方案
  2. 完善可视化工具的使用文档
  3. 适配新IR

详细周报链接：

@DrRyanHuang
Copy link
Contributor

姓名

黄子豪

本周工作

  1. [遗留工作] matmul 转写PR的合入&&优化完成
  2. [遗留工作] build cinn pass test 代码 case 添加
  3. [遗留工作] 修改 pir.cc 部分文档使其通过 xdoctest 检查
  4. 向研发请教了一些编译调试 Paddle 的 tricks
  5. PIR Python API适配升级相关工作
  6. 阅读 cinn 相关源码

相关PR:

下周工作

  1. 新IR Python API适配升级
    160、204、216、23、27、102、140-142

  2. 继续进行 cinn 相关源码阅读

详细周报链接：

@zrr1999
Copy link
Contributor

zrr1999 commented Nov 8, 2023

姓名

詹荣瑞

本周工作

  1. PIR Python API适配升级相关工作
  2. 跟导师学习 PIR Python API 适配工作中的相关注意事项

相关PR：

下周工作

  1. 迁移 print 算子到 PIR。
  2. 补全开启 index_put 的单测。
  3. 迁移 index_select、index_sample、multiplex、floor_mod、renorm、repeat_interleave、rad2deg 算子到 PIR 。

详细周报链接：

@gouzil
Copy link
Contributor

gouzil commented Nov 8, 2023

姓名

田川

本周工作

  1. 动转静单测机制推全
  2. python端补齐OpResult的patch方法
  3. pir 动转静理想态推全验证

下周工作

  1. pir 动转静理想态推全验证
  2. OpResult 方法补全 (__setitem__,__eq__)

详细周报链接：

@ranchongzhi
Copy link
Contributor

姓名

冉崇治

本周工作

  1. 解决PaddleDetection套件截图自动化压缩功能中遇到的问题

下周工作

  1. PaddleDetection中仍有一个bug尚待解决，待解决之后整理代码提交PR
  2. 尝试复现和修复PaddleClas套件接入自动化压缩过程中遇到的问题

详细周报链接：

@psky1111
Copy link
Contributor

psky1111 commented Nov 8, 2023 •
edited by Ligoml
Loading

姓名

宋铠玉

本周工作

完成大模型backbone适配原CLIP模型。
完成svrnet多分辨率支持。
相关pr：

下周工作

修复动转静bug。
修复可能出现的遗留问题
详细周报链接：

@Wanglongzhi2001
Copy link
Contributor

Wanglongzhi2001 commented Nov 8, 2023 •
edited
Loading

姓名

王龙志

本周工作

  1. 编写将 matmul_v2 和 quant dequant op 融合替换成 quant_linear 的 pass
  2. 完成 bert 模型的导出和量化
  3. 修复 paddle trt 在 int8 模式下的推理 bug

下周工作

  1. 该pass目前只完成了基本功能，可能还有不完善的地方, 待与导师沟通之后再进行完善
  2. 编写其他算子融合的 pass
  3. 学习其他竞品的相关优化思路

详细周报链接：

@kevincheng2
Copy link
Contributor

姓名

程延福

本周工作

理解组合规则迁移和组合规则下沉的代码逻辑，完成 relu 和 softmax 算子的前向拆解下沉

本周工作如下：

  1. 理解组合规则前向计算 call_decomp() 和组合规则反向计算 call_vjp() 的代码逻辑
  2. 完成 relu 和 softmax 算子的前向拆解下沉
    相关PR：

下周工作

  1. 实现gelu和dropout算子的迁移工作
  2. 其他算子的迁移工作
  3. 结合源码，理解组合机制相关的逻辑实现

详细周报链接：

@xusuyong
Copy link
Contributor

xusuyong commented Nov 8, 2023 •
edited by Ligoml
Loading

姓名

徐苏勇

本周工作

  1. 调研物理信息扩散模型论文并跑通代码，理解它是如何将物理方程的导数加入DDPM算法的。使用预训练模型复现原文。
  2. 调研CFD-GCN论文并跑通代码。理解整个模型的流程，使用预训练模型复现原文。
  3. 研究SU2与DDPM的结合使用方式，对比1. 直接使用SU2在精细网格中求解和2. 先用SU2在粗网格中求解再利用DDPM推理重建高分辨率，这两种方式所花费的时间。结果表明DDPM能显著提高效率。

下周工作

  1. 尝试将mesh数据转换成图片数据并实现SU2与DDPM的结合使用
  2. 撰写调研文档

详细周报链接：

@xusuyong xusuyong closed this as completed Nov 8, 2023
@xusuyong xusuyong reopened this Nov 8, 2023
@DanGuge
Copy link
Contributor

DanGuge commented Nov 8, 2023

姓名

吴晨灿

本周工作

  1. 学习PaddleNLP的FusedTransformer

  2. 完成Fused Vision Transformer

    • 实现了在fp32上精度和推理速度对齐，在fp16上推理加速1.1～1.3倍的效果

相关PR：

下周工作

  1. 使用fused vit测试实际业务场景，看看加速效果

详细周报链接：

@HermitSun
Copy link
Contributor

姓名

孙逸伦

本周工作

  1. 跟进自动并行最新进展，阅读相关论文
  2. 阅读相关代码，尝试补全策略
    1. 学习 r-s、s-r
    2. 尝试补全 r-p、p-r

下周工作

  1. 完成当前的补全工作
  2. 完善其他一维 mesh 相关策略的补全工作

详细周报链接：

@RedContritio
Copy link
Contributor

RedContritio commented Nov 9, 2023 •
edited
Loading

姓名

刘宇博

本周工作

  1. 添加部分缺失的 api 映射文档
  2. 映射主目录自动生成
  3. 映射单测调用多样性检测工具

下周工作

  1. 完善 PaConvert 单测检查工具；
  2. 基于单测检查工具，继续修复完善单测；
  3. 修复现有的映射表 api_mapping.json；
  4. 参考现有 ci 流程，将映射文档检查流程加入到 ci 流程中；

详细周报链接：

@MarioLulab
Copy link
Collaborator Author

MarioLulab commented Nov 9, 2023 •
edited by Ligoml
Loading

姓名

陆琦

本周工作

  1. 维护第三期的 PIR 迁移的任务，为开发者提供答疑和 pr review，review 18 个 PR
  2. 完成 5 个 PIR 迁移的 PR，推进 6 个 PIR 迁移的 PR

下周工作

  1. 与外部开发者协作沟通，管理任务发布, review PR, 答疑和 bug 修复 issue，推进 API PIR 下的推全验证工作
  2. 继续完善 API PIR 下的迁移工作
  3. 阅读 PIR 源码

详细周报链接：

@Corle-hyz
Copy link
Contributor

姓名

何咏哲

本周工作

  1. 建立了在单卡训练时的Llama-1显存模型

下周工作

  1. 在单卡模型的基础上，进一步考虑DP、MP、PP、VPP、AccNum、Recompute、Sharding等并行模式，将单卡模型扩展到并行训练中。

详细周报链接：

@zyt1024
Copy link
Contributor

zyt1024 commented Nov 9, 2023

姓名

张玉涛

本周工作

  1. 添加复数支持
  2. 熟悉复数的整体机制

相关PR：

下周工作

  1. 解决unstack算子在复数支持时的问题
  2. 完成kernel_type:phi中算子的复数支持工作

详细周报链接：

@xingmingyyj
Copy link
Contributor

姓名

朱新明

本周工作

  1. 修复exponential算子
  2. 修复randint算子
  3. 修复seed算子
  4. 修复sparse_momentum算子
  5. 修复repeat_interleave算子
  6. 梳理静态图执行流程
  7. 添加hook支持为test/white_list/

下周工作

  1. 继续修复算子
  2. 编写文档，将推全任务发布社区

详细周报链接：

@yangguohao
Copy link
Contributor

yangguohao commented Nov 13, 2023 •
edited by Ligoml
Loading

姓名

杨国浩

本周工作

  1. 修复动转静测试 test_build_strategy
  2. 准备代码串讲内容

下周工作

  1. 撰写社区发布的相关内容，将动转静单测修复任务发布。
  2. 完成其他单测的修复

详细周报链接：

@rampage0303
Copy link
Contributor

rampage0303 commented Nov 13, 2023 •
edited by Ligoml
Loading

姓名

罗震宇

本周工作

  1. 复现环境搭建
  2. 复现模型逐层对齐
  3. 模型权重完成转换

下周工作

  1. 权重前向对齐
  2. 完成后续对齐任务

详细周报链接：

@Xinyu302
Copy link
Contributor

Xinyu302 commented Nov 13, 2023 •
edited by Ligoml
Loading

姓名

杨新宇

实习项目

CPU 融合算子 / GPU 算子融合 pass

本周工作

  1. 梳理混合精度pass实现
    分析了旧IR下自动混合精度pass的实现，整理成文档。

  2. 思考混合精度pass在新ir下的实现
    与导师讨论了混合精度pass使用新ir下match and rewrite方式的实现, 已经搭建框架，实现了一版，但还存在一些问题。

下周工作

  1. 完善对输入输出op的处理
  2. 完善对算子输入精度的处理，例如fp16精度下的batch_norm算子仍然需要float32的输出

详细周报链接

@SecretXV
Copy link
Contributor

姓名

SecretXV

本周工作

  1. 功能支持：
    a. pp + gradient merge支持sync send
  2. 功能验证
    a. sharding stage1 + dp功能验证
    b. 为sharding stage3 + dp添加梯度累计相关单测

下周工作

  1. 定位 stage3 + dp 卡住的问题
  2. 完成 stage3 + dp，mp + stage2, mp + stage3 梯度累加功能验证

详细周报链接：

@zhangyuqin1998
Copy link
Contributor

zhangyuqin1998 commented Nov 20, 2023 •
edited by zyfncg
Loading

姓名

张钰钦

本周工作

  1. 整理基于解释器和基于kernel的常量折叠方案文档
  2. 完成常量折叠设计评审

下周工作

  1. 看常量折叠训练和推理不统一的问题
  2. 看常量折叠数据force cpu的问题

详细周报链接：

@Frida-a
Copy link
Contributor

Frida-a commented Dec 1, 2023

姓名

侯悦欣

本周工作

  1. 模型复现方法梳理

下周工作

  1. 进行本地推理
  2. 实现模型代码转换

详细周报链接：

@Ligoml Ligoml closed this as completed Dec 1, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@Ligoml Ligoml

@MarioLulab MarioLulab

@Lylinnnnn Lylinnnnn

Labels
weekly reports weekly report commits from members
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests