Hackathon 5th No.58 A physics-informed deep neural network for surrogate modeling in classical elasto-plasticity #558

co63oc · 2023-09-29T13:33:02Z

PR types

Others

PR changes

Others

Describe

已使用 transform修改模型，文档需要引用代码行，在代码修改完后再增加
训练精度

-	torch	paddle
-	0.098	0.097

torch

paddle

数据集在 https://github.com/meghbali/ANNElastoplasticity/tree/main/Datasets/WG
dstate-16-plas.dat
dstress-16-plas.dat

paddle-bot · 2023-09-29T13:33:06Z

Thanks for your contribution!

HydrogenSulfate · 2023-10-01T05:30:03Z

PaddleScience目前有多模型、多优化器的API：https://paddlescience-docs.readthedocs.io/zh/latest/zh/api/arch/#ppsci.arch.ModelList 、 https://paddlescience-docs.readthedocs.io/zh/latest/zh/api/optimizer/#ppsci.optimizer.optimizer.OptimizerList 但缺少SchedulerList 类，可以添加到 ppsci\optimizer\lr_scheduler.py 中；
这个模型看起来是多模型的串联结构，如下所示

PaddleScience里有几个串联模型的案例：https://paddlescience-docs.readthedocs.io/zh/latest/zh/examples/deephpms/?h=model_list#4，可以参考其实现方式，把实现逻辑合理分离到 Arch.input_transform、Arch.output_transform、Constraint.output_expr 中去。

co63oc · 2023-10-02T10:32:41Z

训练模式也不同 epnn_wrapper.py

训练一次不是用EPOCH，是多个循环

HydrogenSulfate · 2023-10-02T11:14:10Z

训练模式也不同 epnn_wrapper.py

训练一次不是用EPOCH，是多个循环

ihlayers控制模型深度，ineurons控制模型宽度，itrain控制训练数据集的量级，irepeat控制实验的重复次数，都只有一个固定的取值，main.mainfunc只会被调用一次。复现源代码跟套件有很大出入是正常，论文复现的难点在于理解源代码的运行逻辑，用套件等价实现。

co63oc · 2023-10-06T05:01:18Z

PaddleScience里有几个串联模型的案例

model_list的模型输入是x，是并行结构，串行应该是

y = model1(x)
y2 = model2(y)

lijialin03 · 2023-10-10T06:40:58Z

PaddleScience里有几个串联模型的案例

model_list的模型输入是x，是并行结构，串行应该是
y = model1(x)
y2 = model2(y)

如果model2不需要进行反向，可以参照deephpms/burgers.py中，直接按照“y2 = model2(y)”这个方式写就可以，注意这样得到的y2是dict，输入的y也应该是dict

co63oc · 2023-10-11T06:13:35Z

PaddleScience里有几个串联模型的案例

已使用 transform修改模型，文档需要引用代码行，在代码修改完后再增加
训练精度

-	torch	paddle
-	0.098	0.097

torch

paddle

数据集在 https://github.com/meghbali/ANNElastoplasticity/tree/main/Datasets/WG
dstate-16-plas.dat
dstress-16-plas.dat

lijialin03 · 2023-10-12T12:09:25Z

文档只需引用必要的代码，能够说清楚方案即可

lijialin03 · 2023-10-12T12:29:28Z

先只看了一下ppsci下的代码，example下我看目前基本上还是paddle的代码，验收标准是合入paddlescience，所以需要进行替换。
很多代码paddlescience有相关功能的实现，如果是像读取.dat文件这类没有实现的功能，应该在 ppsci/data/dataset/ 下添加代码。
训练过程需要理解之后改成paddlescience的格式，这个训练过程看起来应该是每次训练取的数据量不一样，也就是训练的batch_size会变，这样的话需要补充一个可以每个采样不同 batch_size 的 batch Sampler

ppsci/arch/epnn.py

examples/epnn/epnn.py

co63oc · 2023-10-13T12:50:55Z

文档只需引用必要的代码，能够说清楚方案即可

已增加文档，引用代码行在代码修改完成后再更新

co63oc · 2023-10-13T12:57:26Z

先只看了一下ppsci下的代码，example下我看目前基本上还是paddle的代码，验收标准是合入paddlescience，所以需要进行替换。很多代码paddlescience有相关功能的实现，如果是像读取.dat文件这类没有实现的功能，应该在 ppsci/data/dataset/ 下添加代码。训练过程需要理解之后改成paddlescience的格式，这个训练过程看起来应该是每次训练取的数据量不一样，也就是训练的batch_size会变，这样的话需要补充一个可以每个采样不同 batch_size 的 batch Sampler

dataset格式是自定义字段，使用pickle.load读取，如果增加那是不是在ppsci.utils.reader.py增加
训练数据集是生成所有batch数据，使用NamedArrayDataset, 读取batch_size都是1

co63oc · 2023-10-13T13:11:05Z

paddle.nn.L1Loss 替换为 ppsci.loss.L1Loss， ppsci.loss.L1Loss有loss.sum，如果元素shape为1会有错误

ppsci/arch/epnn.py

examples/epnn/epnn.py

lijialin03 · 2023-10-16T12:30:51Z

先只看了一下ppsci下的代码，example下我看目前基本上还是paddle的代码，验收标准是合入paddlescience，所以需要进行替换。很多代码paddlescience有相关功能的实现，如果是像读取.dat文件这类没有实现的功能，应该在 ppsci/data/dataset/ 下添加代码。训练过程需要理解之后改成paddlescience的格式，这个训练过程看起来应该是每次训练取的数据量不一样，也就是训练的batch_size会变，这样的话需要补充一个可以每个采样不同 batch_size 的 batch Sampler

dataset格式是自定义字段，使用pickle.load读取，如果增加那是不是在ppsci.utils.reader.py增加训练数据集是生成所有batch数据，使用NamedArrayDataset, 读取batch_size都是1

是的，需要在ppsci.utils.reader.py增加读入.dat的部分

lijialin03 · 2023-10-16T12:36:37Z

paddle.nn.L1Loss 替换为 ppsci.loss.L1Loss， ppsci.loss.L1Loss有loss.sum，如果元素shape为1会有错误

参考 https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/api/paddle/nn/functional/l1_loss_cn.html#l1-loss
paddle develop处于更新中的状态，因此paddlescience develop分支的代码会与当前版本paddle develop保持一致，可以尝试重新安装 paddle develop

co63oc · 2023-10-16T13:47:14Z

是的，需要在ppsci.utils.reader.py增加读入.dat的部分

已修改

co63oc · 2023-10-16T13:49:59Z

参考 https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/api/paddle/nn/functional/l1_loss_cn.html#l1-loss paddle develop处于更新中的状态，因此paddlescience develop分支的代码会与当前版本paddle develop保持一致，可以尝试重新安装 paddle develop

使用最新版本paddle ，还是提示错误，错误位置是ppsci/loss/l1.py，如果label_key是List会有错误

lijialin03 · 2023-10-17T03:33:45Z

参考 https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/api/paddle/nn/functional/l1_loss_cn.html#l1-loss paddle develop处于更新中的状态，因此paddlescience develop分支的代码会与当前版本paddle develop保持一致，可以尝试重新安装 paddle develop

使用最新版本paddle ，还是提示错误，错误位置是ppsci/loss/l1.py，如果label_key是List会有错误

在报错这一句之前把 input 和 label 打印看一下，是否符合下面指定的格式

ppsci/optimizer/lr_scheduler.py

examples/epnn/epnn.py

co63oc · 2023-10-17T03:44:28Z

在报错这一句之前把 input 和 label 打印看一下，是否符合下面指定的格式

output_dict, label_dict的shape都是[187679, 1]

lijialin03 · 2023-10-18T02:50:34Z

在报错这一句之前把 input 和 label 打印看一下，是否符合下面指定的格式

output_dict, label_dict的shape都是[187679, 1]

现在output_dict是list吗？那现在这个报错应该是output_dict[key]报的，而不是l1_loss，看type hint，这边要求是dict，应该print(output_dict[key].shape)

co63oc · 2023-10-18T06:59:44Z

现在output_dict是list吗？那现在这个报错应该是output_dict[key]报的，而不是l1_loss，看type hint，这边要求是dict，应该print(output_dict[key].shape)

测试使用ppsci.loss.L1Loss后训练，ppsci.loss.L1Loss计算的值和paddle.nn.L1Loss相同，但是训练中返回的loss值和使用paddle.nn.L1Loss不同，ppsci.loss.L1Loss中增加了部分逻辑，可能是反向过程会不一样

使用 ppsci.loss.L1Loss

使用paddle.nn.L1Loss

lijialin03 · 2023-10-18T11:58:11Z

现在output_dict是list吗？那现在这个报错应该是output_dict[key]报的，而不是l1_loss，看type hint，这边要求是dict，应该print(output_dict[key].shape)

测试使用ppsci.loss.L1Loss后训练，ppsci.loss.L1Loss计算的值和paddle.nn.L1Loss相同，但是训练中返回的loss值和使用paddle.nn.L1Loss不同，ppsci.loss.L1Loss中增加了部分逻辑，可能是反向过程会不一样

是的，经过检查，paddle.nn.L1Loss是逐元素平均的，而ppsci.loss.L1Loss是按batch平均的，感谢你的反馈，麻烦参考ppsci.loss.MSELoss，增加一个MAELoss的API吧。

co63oc · 2023-10-18T13:36:48Z

是的，经过检查，paddle.nn.L1Loss是逐元素平均的，而ppsci.loss.L1Loss是按batch平均的，感谢你的反馈，麻烦参考ppsci.loss.MSELoss，增加一个MAELoss的API吧。

已增加 MAELoss

ppsci/utils/reader.py

ppsci/loss/mse.py

examples/epnn/functions.py

ppsci/arch/epnn.py

examples/epnn/functions.py

examples/epnn/epnn.py

lijialin03 · 2023-10-23T08:37:01Z

examples/epnn/epnn.py

+    )
+    dstrainel = dstrain_real - dstrainpl_real
+    dstrainelv = paddle.matmul(x=dstrainel, y=oneten1)
+    dstrainelvten = paddle.multiply(x=dstrainelv, y=paddle.to_tensor(oneten2))


把能合的合一下，写到同一个式子里吧

examples/epnn/epnn.py

lijialin03 · 2023-10-23T08:43:26Z

examples/epnn/epnn.py

+    )
+
+    model_list = functions.get_model_list(
+        IHLAYERS, INEURONS, data_train_state1, data_train_stress1


同理：

这边的data_train_state1并没有往本文件传一下的必要

其实进到get_model_list中看的话，只是用到了数据的shape，既然如此传递shape即可，似乎没有必要连数据一起传递

examples/epnn/epnn.py

lijialin03 · 2023-10-23T08:52:06Z

examples/epnn/epnn.py

+        learning_rate=scheduler_stress,
+        weight_decay=0.0,
+    )(model_list[2])
+    optimizer_ratio = paddle.optimizer.Adam(


是否可以进行类似这样的封装（只是举个例子，也可以再调整结构）

examples/epnn/epnn.py

lijialin03 · 2023-10-23T08:56:13Z

examples/epnn/epnn.py

+    Returns:
+        paddle.Tensor: Loss value.
+    """
+    criterion = val_loss_criterion


同上这边也没必要，这边可以直接写成嵌套函数，类似这样

eval_loss_func需要统计信息，没有修改嵌套函数

examples/epnn/epnn.py

lijialin03 · 2023-10-23T09:04:35Z

examples/epnn/epnn.py

+    min_stress = paddle.to_tensor(data=get_data["miny"])
+    range_stress = paddle.to_tensor(data=get_data["rangey"])
+    global common_param
+    common_param = [


如果要用set_params，最好封装个类，不然依然使用global，似乎没什么意义
这个值实际上并没有必要在functions和epnn中来回传递，只要把loss_function封装到functions中，然后参照hpinns，把common_param写在文件最开始即可，不过看functions.set_params(functions.Data.get_common_param(DATASET_STATE, DATASET_STRESS))这一行，这行代码将一个从functions中计算得到的值传回了functions文件，完全没有必要

examples/epnn/epnn_batch.py

lijialin03 · 2023-10-23T09:15:14Z

examples/epnn/functions.py

+        for i in range(epochs):
+            shuffled_indices = paddle.randperm(n=self.data_train_state1.x.shape[0])
+            input_dict_train["state_x"].append(
+                self.data_train_state1.x[shuffled_indices[0 : self.itrain]]


好的，那就不用data sampler了吧

co63oc · 2023-10-25T12:07:17Z

使用get_opt嵌套函数测试，精度会增加，所以没有使用get_opt

使用global loss_log记录信息，Solver中配置eval_during_train=True，在每次epochs计算eval error
然后使用functions.plot_loss画图

epochs=10000，Loss是ppsci.loss.MAELoss计算结果，Error是paddle.linalg.norm计算结果

论文图 epochs=10000

lijialin03 · 2023-10-26T07:20:55Z

examples/epnn/epnn.py

+            "dataset": {
+                "name": "NamedArrayDataset",
+                "input": input_dict_train,
+                "label": label_dict_train,


代码运行报错，原因是NamedArrayDataset的输入类型不对

ppsci.utils.reader.load_dat_file()读进来的dict中value还是np.darray类型，在传到这里变成了List[Tensor,...]
functions中对数据的处理是否不需要一定转成tensor类型？
list转array可以用np.array(list)

lijialin03 · 2023-10-26T07:33:06Z

examples/epnn/functions.py

+        get_data = ppsci.utils.reader.load_dat_file(dataset_state)
+        data_state = Data(
+            x=paddle.to_tensor(data=get_data["X"]),
+            y=paddle.to_tensor(data=get_data["y"]),


Data 中调 Data 很奇怪

lijialin03 · 2023-10-26T07:37:26Z

examples/epnn/functions.py

+            shuffled_indices[n_train + n_cross_valid : n_train + n_cross_valid + n_test]
+        ],
+    )
+    return data_train, data_cross_valid, data_test


这个函数看起来只是切分了data。
一开始我感觉Data只是封装了x,y，其实不太需要，所以可以写成类似的形式，可以让Data这个类承担更多功能，相当于对数据进行简单处理的类，代码相应应该改成类似于这样

但是如果一定要用Data再对数据封装一层，它就是了一个对数据特征进行封装的类，不太一样，这样的话确实Data中不太适合放其他的函数，需要把get_data和set_common_param挪出去

lijialin03 · 2023-10-26T07:51:58Z

examples/epnn/functions.py

+        self.y = y
+        self.n_samples = self.x.shape[0]
+
+    def get_data(dataset_state, dataset_stress, ntrain_size, irepeat):


把它和set_common_param挪出Data吧

lijialin03 · 2023-10-26T07:52:19Z

examples/epnn/functions.py

+        ).get(10)
+
+    def set_common_param(dataset_state, dataset_stress):
+        global common_param


同一个文件里可以直接赋值，不用写global

lijialin03 · 2023-10-26T07:53:26Z

examples/epnn/functions.py

+
+def plot_loss():
+    global loss_log
+    global OUTPUT_DIR


不用写global，另外solver里有plot_loss_history这个函数，可以参考看看能不能用

lijialin03 · 2023-10-26T07:53:49Z

examples/epnn/functions.py

+
+
+def loss_func(output_dict, criterion) -> paddle.Tensor:
+    global gkratio, common_param


不用写global

lijialin03 · 2023-10-26T07:54:03Z

examples/epnn/functions.py

+    Returns:
+        paddle.Tensor: Loss value.
+    """
+    global loss_log


lijialin03 · 2023-10-26T08:04:20Z

examples/epnn/functions.py

+        train_size = train_size_float.astype(int)
+        itrain = train_size[ntrain_size - 1]
+
+        ppsci.utils.misc.set_random_seed(seed=10 + irepeat)


这句好像没有用到

co63oc · 2023-10-26T23:31:55Z

PR内容较长，当前PR关闭再新建PR #606

paddle-bot bot added the contributor label Sep 29, 2023

Ligoml mentioned this pull request Oct 7, 2023

【PaddlePaddle Hackathon 5th】开源贡献个人挑战赛 PaddlePaddle/Paddle#57262

Closed

luotao1 added the PaddlePaddle Hackathon label Oct 9, 2023

luotao1 assigned luotao1 and lijialin03 Oct 9, 2023

lijialin03 reviewed Oct 13, 2023

View reviewed changes

co63oc force-pushed the epnn branch from 3566124 to 9d596a9 Compare October 13, 2023 12:54

lijialin03 reviewed Oct 16, 2023

View reviewed changes

ppsci/arch/epnn.py Outdated Show resolved Hide resolved

ppsci/arch/epnn.py Show resolved Hide resolved

ppsci/arch/epnn.py Outdated Show resolved Hide resolved

examples/epnn/epnn.py Outdated Show resolved Hide resolved

lijialin03 reviewed Oct 17, 2023

View reviewed changes

ppsci/optimizer/lr_scheduler.py Show resolved Hide resolved

examples/epnn/epnn.py Show resolved Hide resolved

co63oc force-pushed the epnn branch from 3defa81 to 1358cec Compare October 18, 2023 06:56

lijialin03 reviewed Oct 20, 2023

View reviewed changes

lijialin03 reviewed Oct 23, 2023

View reviewed changes

ppsci/arch/epnn.py Outdated Show resolved Hide resolved

ppsci/arch/epnn.py Outdated Show resolved Hide resolved

examples/epnn/functions.py Outdated Show resolved Hide resolved

examples/epnn/functions.py Outdated Show resolved Hide resolved

lijialin03 reviewed Oct 23, 2023

View reviewed changes

co63oc force-pushed the epnn branch from 29888a8 to 1efecf1 Compare October 25, 2023 11:45

lijialin03 reviewed Oct 26, 2023

View reviewed changes

Add epnn model

1351ad0

co63oc force-pushed the epnn branch from 91d56e8 to 1351ad0 Compare October 26, 2023 23:29

Merge branch 'develop' into epnn

a0b977f

co63oc closed this Oct 26, 2023

co63oc mentioned this pull request Oct 26, 2023

【Hackathon 5th No.58】 A physics-informed deep neural network for surrogate modeling in classical elasto-plasticity #606

Merged



		def loss_func(output_dict, criterion) -> paddle.Tensor:
		global gkratio, common_param

Hackathon 5th No.58 A physics-informed deep neural network for surrogate modeling in classical elasto-plasticity #558

Hackathon 5th No.58 A physics-informed deep neural network for surrogate modeling in classical elasto-plasticity #558

Conversation

co63oc commented Sep 29, 2023 • edited Loading

PR types

PR changes

Describe

paddle-bot bot commented Sep 29, 2023

HydrogenSulfate commented Oct 1, 2023 • edited Loading

co63oc commented Oct 2, 2023 • edited Loading

HydrogenSulfate commented Oct 2, 2023

co63oc commented Oct 6, 2023

lijialin03 commented Oct 10, 2023

co63oc commented Oct 11, 2023 • edited Loading

lijialin03 commented Oct 12, 2023

lijialin03 commented Oct 12, 2023 • edited Loading

co63oc commented Oct 13, 2023

co63oc commented Oct 13, 2023 • edited Loading

co63oc commented Oct 13, 2023 • edited Loading

lijialin03 commented Oct 16, 2023

lijialin03 commented Oct 16, 2023

co63oc commented Oct 16, 2023

co63oc commented Oct 16, 2023

lijialin03 commented Oct 17, 2023

co63oc commented Oct 17, 2023

lijialin03 commented Oct 18, 2023

co63oc commented Oct 18, 2023 • edited Loading

lijialin03 commented Oct 18, 2023

co63oc commented Oct 18, 2023

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

co63oc commented Oct 25, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

lijialin03 Oct 26, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

co63oc commented Oct 26, 2023 • edited Loading

co63oc commented Sep 29, 2023 •

edited

Loading

HydrogenSulfate commented Oct 1, 2023 •

edited

Loading

co63oc commented Oct 2, 2023 •

edited

Loading

co63oc commented Oct 11, 2023 •

edited

Loading

lijialin03 commented Oct 12, 2023 •

edited

Loading

co63oc commented Oct 13, 2023 •

edited

Loading

co63oc commented Oct 13, 2023 •

edited

Loading

co63oc commented Oct 18, 2023 •

edited

Loading

co63oc commented Oct 25, 2023 •

edited

Loading

lijialin03 Oct 26, 2023 •

edited

Loading

co63oc commented Oct 26, 2023 •

edited

Loading