Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

【PaddlePaddle Hackathon】7、在 Paddle 中新增 Rprop #36003

Closed
TCChenlong opened this issue Sep 23, 2021 · 0 comments
Closed

【PaddlePaddle Hackathon】7、在 Paddle 中新增 Rprop #36003

TCChenlong opened this issue Sep 23, 2021 · 0 comments

Comments

@TCChenlong
Copy link
Contributor

(此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE,更多详见PaddlePaddle Hackathon

【任务说明】

  • 任务标题:在 Paddle 中新增 Rprop

  • 技术标签:深度学习框架,C++,优化算法

  • 任务难度:中等

  • 详细描述:Rprop优化器是在A direct adaptive method for faster backpropagation learning : The RPROP algorithm中提出的一种优化方法,该方法考虑到不同权值参数的梯度的数量级可能相差很大,因此很难找到一个全局的学习步长。因此创新性地提出靠参数梯度的符号,动态的调节学习步长以加速优化过程的方法。此任务的目标是在 Paddle 中,实现 Rprop 优化器。

  • 调用路径:paddle.optimizer.Rprop

【提交内容】

  • 任务 PR 到 Paddle

  • 相关技术文档

  • 任务单测文件

【技术要求】

  • 了解 Paddle 动静态图下 Optimize pass过程

  • 熟练掌握 C++ 、Python

  • 熟悉 Rprop 优化器算法原理和适用场景

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

2 participants