【Paddle Toolkit Development Competition No.3】support neural operator on paddle #1018
Conversation
|
Thanks for your contribution! |
| from ppsci.contrib.neuralop.training import CheckpointCallback | ||
| from ppsci.contrib.neuralop.utils import count_model_params | ||
|
|
||
| device = "cpu" |
There was a problem hiding this comment.
paddle与torch不同，torch的Tensor、Module默认创建在CPU上，而paddle默认创建在当前设备（一般是GPU）上，所以比较好的方式是在开头直接把paddle的当前设备设置为cpu，这样后续所有的操作都不需要再通过device去设置了。
| device = "cpu" | |
| device = "cpu" | |
| paddle.device.set_device(device) |
| factorization="tucker", | ||
| rank=0.42, | ||
| ) | ||
| model = model.to(device) |
| optimizer = paddle.optimizer.Adam( | ||
| learning_rate=8e-3, parameters=model.parameters(), weight_decay=1e-4 | ||
| ) | ||
| scheduler = paddle.optimizer.lr.CosineAnnealingDecay( | ||
| learning_rate=optimizer.get_lr(), T_max=30 | ||
| ) | ||
| optimizer.set_lr_scheduler(scheduler=scheduler) |
There was a problem hiding this comment.
optimizer和lr_scheduler建议按照下面的代码进行设置。
| optimizer = paddle.optimizer.Adam( | |
| learning_rate=8e-3, parameters=model.parameters(), weight_decay=1e-4 | |
| ) | |
| scheduler = paddle.optimizer.lr.CosineAnnealingDecay( | |
| learning_rate=optimizer.get_lr(), T_max=30 | |
| ) | |
| optimizer.set_lr_scheduler(scheduler=scheduler) | |
| scheduler = paddle.optimizer.lr.CosineAnnealingDecay( | |
| learning_rate=8e-3, T_max=30 | |
| ) | |
| optimizer = paddle.optimizer.Adam( | |
| learning_rate=scheduler, parameters=model.parameters(), weight_decay=1e-4 | |
| ) |
There was a problem hiding this comment.
examples/neuralop/models/test_fno.py
Outdated
| preactivation, | ||
| ): | ||
| if paddle.device.cuda.device_count() >= 1: | ||
| device = "cuda" |
There was a problem hiding this comment.
此处不正确，所有"cuda"的字符串在paddle里要改为"gpu"，同理"cuda:x"要改为"gpu:x"(假设x是卡号）
examples/neuralop/models/test_fno.py
Outdated
There was a problem hiding this comment.
确认下这类单测文件能在GPU环境下跑通吗？device="cuda"应该是会报错的吧
| grid_test = grid.repeat(n_test, 1) | ||
|
|
||
| x_train = paddle.concat((x_train.unsqueeze(1), grid_train.unsqueeze(1)), 1) | ||
| x_test = paddle.cat((x_test.unsqueeze(1), grid_test.unsqueeze(1)), 1) |
There was a problem hiding this comment.
paddle.cat --> paddle.concat，全局检查一遍
| grid_t.repeat([n_train, 1, spatial_length]), | ||
| grid_x.repeat([n_train, temporal_length, 1]), |
There was a problem hiding this comment.
paddle.Tensor没有repeat方法，请全局检查
| grid_x = grid_x.reshape(1, 1, spatial_length) | ||
| grid_t = grid_t.reshape(1, temporal_length, 1) | ||
|
|
||
| x_train = x_train.reshape(n_train, 1, spatial_length).repeat( | ||
| [1, temporal_length, 1] | ||
| ) | ||
| x_test = x_test.reshape(n_test, 1, spatial_length).repeat([1, temporal_length, 1]) |
There was a problem hiding this comment.
这些shape都没带中括号，代码应该都是跑不通的
| if grid is not None: | ||
| grid = paddle.linspace(grid[0], grid[1], s + 1)[0:-1].view(1, -1) | ||
|
|
||
| grid_train = grid.repeat(n_train, 1) |
There was a problem hiding this comment.
paddle里repeat应该是tile，并且参数要带中括号
| x_train = x_train.permute(0, 3, 1, 2) | ||
| x_test = x_test.permute(0, 3, 1, 2) |
There was a problem hiding this comment.
paddle.Tensor没有permute方法，请全局检查
|
@HydrogenSulfate 已经按照要求修改，另外paddle_harmonics这个部分按照下面的pr可以正常跑通 |
好的，辛苦修改。另外可以将这个PR里的 |
|
https://github.com/PFCCLab/neuraloperator 这里是否能加上 neuralop 下 tests 目录, tltorch改为tlpaddle
https://github.com/co63oc/paddle_neuraloperator |
@co63oc 好的，请问tests的目录也还是按照原来一样吗，还是统一集中在examples下 |
我也不清楚，感觉应该是neuraloperator一样 |
跟neuralop文件结构保持一致即可 |
@co63oc 已经补充tests，另外paddle_neuraloperator我没有权限查看。 test中有几个问题：
|
paddle_neuraloperator 权限已开放 |
感谢，我晚上修改一下 |
|
@co63oc 已按照要求修改。 |
|
pytest可以了，就是还少一个文件 neuraloperator/examples/plot_incremental_FNO_darcy.py @xiaoyewww |
@co63oc 这个文件我看是main上才有的，比赛题目上要求的tags是0.3.0，没有这个文件。如果需要的话我补充一下 |
好的那不用加了感谢修改 @xiaoyewww |
|
|
@co63oc 这个好像是随机性的问题，我之前用padiff测试网络没什么问题 |
|
能复现吗，如果能复现排除环境配置问题，再看其他什么问题 @xiaoyewww |
@co63oc 之前padiff的脚本，需要修改一下neural的命名：
我想起来好像数据集中随机性的问题，过去太久了想不起来了，当时看了一下无法对齐，所以只用padiff验证了一下网络 |
|
|
@co63oc 我看了一下好像是有问题，我晚上回去检查一下 |
@co63oc 模型精度没什么问题，应该是paddle和torch在初始化权重上带来的问题，paddle的初始化权重无法有效收敛。200个epoch以后这种条纹显示就不明显了。 我分别跑了一下20，100，200，300epoch的数据： 
|
初始化权重有差异但是epoch数量差别比较大，不知道是不是paddle有bug |
|
@co63oc 我这边测了一下初始化的权重，发现paddle的bias一直是0，这个地方可能有点异常 |
paddle有的函数有配置bias的参数，比如Conv1D https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/nn/Conv1D_cn.html#conv1d， |
paddle和torch采用的默认层初始化函数不同，paddle的weight是xavier初始化，bias应该默认全0，torch是kaiming norm，bias是kaiming uniform好像。 |
https://github.com/pytorch/pytorch/blob/main/torch/nn/modules/conv.py#L176 |
我觉得可以先确认下是不是将paddle的参数默认分布改为kaiming分布之后，训练的结果能恢复正常？如果是这样的话，我觉得可以把这个文件复制到你的项目里，然后统一给每个自定义层的__init__里apply递归调用一下即可： 伪代码如下： def kaiming_init(m):
if isinstance(m, nn.Linear):
kaiming_normal(m.weight)
...
...
class A:
def __init__(..):
... create parameter ..
....
...
self._init_weights()
def _init_weights(self):
self.apply(kaiming_init)其中kaiming_init应该只需要写一个通用的就行 |
|
目前权重初始化后20epoch的训练效果对比如下： 
@HydrogenSulfate @co63oc 麻烦两位再review一下还有问题吗 |
|
@xiaoyewww |
@co63oc paddle_harmonics里面少安装了一些文件或者多了一些import无用代码，这个需要修改一下paddle_harmonics。 |
|
import paddle_aux是这样只引入不调用，使用noqa标记跳过检查，可以执行其中一些初始化代码 pip install也不用修改参数了，更新代码后也可以使用，没什么问题了 |
@co63oc 感谢，已经修改 |
PR types
New features
PR changes
APIs
Describe
support neural operator on paddle