Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

【飞桨体验评测任务第八期】 #5450

Closed
sunzhongkai588 opened this issue Nov 24, 2022 · 0 comments
Closed

【飞桨体验评测任务第八期】 #5450

sunzhongkai588 opened this issue Nov 24, 2022 · 0 comments

Comments

@sunzhongkai588
Copy link
Collaborator

sunzhongkai588 commented Nov 24, 2022

一、背景介绍

2022年飞桨将重点开展开发者生态贡献机制,建立开发者与飞桨的多样化联动,共同打造优秀的开源生态。在今年10月16日,我们举办了外部用户评测交流会,回顾了第三季度的体验评测活动以及评测员所做的贡献,未能参会的同学可观看【视频回放】进行了解。并且在10月末,我们开展了第七期体验体验评测活动,

为了进一步提升飞桨框架的使用体验,我们诚挚的邀请你参与到第八期体验评估中。本期评估内容包含 飞桨框架中、英文API文档评测 以及 Paddle模型动态图转静态图 的验证。欢迎往期参加过相关评测任务的评测员、以及各位新同学报名参加本期活动,和我们一起共建飞桨框架,后续会陆续安排其他产品模块的体验评测,希望大家持续关注。

二、参与流程

  • 体验评测活动以月粒度开展,在每月的中下旬会进行任务的发布,本次体验评测活动时间为 11.25~12.10

  • 具体的活动参与流程如下所示:

image

  • 其中,评测官在评测过程中发现的问题,可以主动提交PR修复,并在评估表附上修复的PR链接。

三、具体任务:

1、飞桨框架API文档评测任务

(1) 中文API 文档评测任务

  • 【任务名称】 中文API文档-体验评测

  • 【负责人】 莫琰(微信昵称:moyan-JQK)

  • 【任务描述】我们精选 80篇常用API文档,分成8组,每组任务包含10篇API文档。你需要先阅读该API文档,然后根据问卷,对该API文档进行评估(注意,每个API都需要单独填写一次问卷,请一定填写正确API名称与你的微信昵称)此外,对于该API的所有建议,都可以填写到主观评价中。

  • 【任务分配】每组都会请3位同学来做交叉评测,即你可以在表格的 epoch 1、epoch 2、epoch 3 中任意认领任务。每次最多认领3组任务,若想继续认领请先完成当前任务。

  • 【任务提交】:你需要完成以下操作和内容,

    1. 完成API文档的评估问卷
    2. 中文API文档-评测任务(11月) 中更新 API 文档评估状态。
    3. 评测群中 @moyan-JQK 完成评估

【注】在API文档评估过程,遇到的任何问题,欢迎联系微信 @莫琰,我们会及时进行技术支持。

(2) 英文API 文档评测任务

  • 【任务名称】 英文API文档体验评测

  • 【负责人】 莫琰(微信昵称:moyan-JQK)

  • 【任务描述】我们精选 30篇常用API文档,分成6组,每组任务包含5篇API文档。你需要先阅读该API文档,然后根据问卷,对该API文档进行评估(注意,每个API都需要单独填写一次问卷,请一定填写正确API名称与你的微信昵称)此外,对于该API的所有建议,都可以填写到主观评价中。

  • 【任务分配】每组都会请3位同学来做交叉评测,即你可以在表格的 epoch 1、epoch 2、epoch 3 中任意认领任务。每次最多认领3组任务,若想继续认领请先完成当前任务。

  • 【任务提交】:你需要完成以下操作和内容,

    1. 完成API文档的评估问卷(英文)
    2. 英文API文档评测任务表(11月) 中更新 API 文档评估状态。
    3. 评测群中 @moyan-JQK 完成评估

【注】在API文档评估过程,遇到的任何问题,欢迎联系微信 @莫琰,我们会及时进行技术支持。


2、Paddle模型动态图转静态图验证

  • 【任务名称】Paddle模型动态图转静态图成功率验证

  • 【背景描述】飞桨动转静@to_static 功能在在2.4版本后,对语法转写逻辑进行了重点地优化,提供了更加丰富的Python语法支持,完备的支持了控制流循环嵌套等复杂场景;并统一升级核心语法为 JIT范式(Just-In-Time),借助运行时判断机制,极大地提升了转写逻辑的鲁棒性。在保持动态图灵活易用的同时,飞桨提供了更加流畅的一键转静态图的体验,实现了更加通用的产业级部署和训练加速。我们在第五期、六期论文复现赛80多个模型上验证转静成功率达92%。为了在更多用户模型上持续验证飞桨动转静功能的完备性,推动飞桨框架接口功能的迭代优化,期望协同社区开发者在第七期论文复现赛模型上验证动转静@to_static的功能。

  • 【负责人】孙钟恺

  • 【任务描述】在第七期论文复现赛模型,选取已经完成复现的模型(即在 报名队伍 中,选择和 完成队伍 相对应的队伍的repo链接),验证模型是否能成功转化为静态图模式,并在【任务登记表】登记认领的模型、上传验收材料。

  • 【任务提交和验收】为了提升社区开发者模型验证的效率,根据我们在以往第五期、六期论文复现赛的验证经验,可以在 AI Studio平台上分如下步骤开展工作。

    1. 跑通动态图训练
      在领取某个论文复现赛动转静验证任务后,按照其 Github 首页的 README 介绍搭建起原生动态图环境,跑通原生动态图训练过程,产出必要的训练日志,截图保存前50~100个step 日志。
    2. 添加动转静支持
    • 在训练逻辑(如train.py)文件中,找到模型实例化的代码行,添加动转静的支持。如下一个简单样例:
    model = build_model(**cfg)   # <---- model 为此论文模型的实例化类对象
    model = paddle.jit.to_static(model)  # <---- 使用to_static接口将模型 forward 函数进行动转静
    print("Successfully to apply @to_static")
    
    1. 验证动转静训练
      添加上述动转静代码后,执行步骤1中相同的动态图训练命令。若动转静成功,则会在终端会输出相同格式的训练日志,截图保存前50~100个step 日志。若执行报错,可以参考官方文档-报错调试初步定位报错原因,保存报错栈。
    2. 提交验收结果
      提供 AI Studio 上可一键执行动转静训练的命令和任务链接。
      • 若动转静训练成功,辛苦额外提供动态图和动转静训练的前50个step的训练日志
      • 若动转静训练失败,辛苦额外提供动转静训练失败的完整报错栈信息。若有初步定位分析,可附上失败原因分析结论。

【注】在动转静评估过程,遇到的任何问题,欢迎联系微信 @熊昆,我们会及时进行技术支持。


四、答疑

在评估过程中,有任何问题,都可以在群中或此ISSUE下进行提问,我们会尽快解答你的问题~

五、最后

再一次感谢你参与飞桨框架体验评估任务,我们会认真参考你的评分与建议,打造最好用的深度学习框架!

若对往期活动感兴趣,请前往【PPSIGs】中的【PPSIG Uuability】处进行了解。

如果您对产品体验评测任务感兴趣,可以直接联系13957128876(微信) 或 扫码加入我们。

群二维码
@luotao1 luotao1 closed this as completed Nov 14, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants