glm: add 2x8 statistics (#216)

Co-authored-by: zhouyu <zhouyu@baai.ac.cn>
FlagOpen · Aug 29, 2023 · 269c1fd · 269c1fd
1 parent 26dde69
commit 269c1fd
Showing 1 changed file with 2 additions and 1 deletion.
diff --git a/training/nvidia/glm-pytorch/README.md b/training/nvidia/glm-pytorch/README.md
@@ -46,5 +46,6 @@
 | A100单机8卡（1x8）  | fp32      | /               | 2763     | 36.5    | 42.4    | 42.4   | 0.808 | 33.0/40.0 | 0.035 |
 | A100单机8卡（1x8）  | fp32      | bs=16, lr=1e-05 | 2688     | 37.4    | 43.5    | 43.5   | 0.801 | 39.5/40.0 | 0.035 |
 | A100单机单卡（1x1） | fp32      | bs=16, lr=1e-05 | 7695     | 4.2     | 5.5     | 5.5    |       | 35.0/40.0 | 0.036 |
+| A100两机16卡（2x8） | fp32      | bs=8, lr=1e-05  | 1409     | 72.7    | 84.7    | 84.9   | 0.804 | 31.0/40.0 | 0.036 |
 
-> 注：使用GLMForMultiTokenCloze进行forward计算你，得到MFU=0.04, 使用GLMModel模型forward计算，得到MFU=0.08. 本模型的MFU值偏低是由于原始模型的MFU较低。
+> 注：使用GLMForMultiTokenCloze进行forward计算，得到MFU=0.04, 使用GLMModel模型forward计算，得到MFU=0.08. 本模型的MFU值偏低是由于原始模型的MFU较低。