[Docathon][Add CN Doc No.53] #6451

entired · 2024-01-05T15:34:19Z

PR types
Others
PR changes
Docs
Description
中文文档添加任务
#6193
新增中文文档：
• paddle.incubate.nn.FusedMultiTransformer_cn.rst
英文文档链接：
序号 API名称
53 paddle.incubate.nn.FusedMultiTransformer
英文文档地址
https://www.paddlepaddle.org.cn/documentation/docs/en/develop/api/paddle/incubate/nn/FusedMultiTransformer_en.html

@iosmers @sunzhongkai588

…y_api_53

paddle-bot · 2024-01-05T15:34:24Z

感谢你贡献飞桨文档，文档预览构建中，Docs-New 跑完后即可预览，预览链接：http://preview-pr-6451.paddle-docs-preview.paddlepaddle.org.cn/documentation/docs/zh/api/index_cn.html
预览工具的更多说明，请参考：飞桨文档预览工具

iosmers · 2024-01-15T09:22:48Z

docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

+
+.. py:function:: class paddle.incubate.nn.FusedMultiTransformer(embed_dim, num_heads, dim_feedforward, dropout_rate=0.0, activation='gelu', normalize_before=True, ln_scale_attrs=None, ln_bias_attrs=None, qkv_weight_attrs=None, qkv_bias_attrs=None, linear_weight_attrs=None, linear_bias_attrs=None, ffn_ln_scale_attrs=None, ffn_ln_bias_attrs=None, ffn1_weight_attrs=None, ffn1_bias_attrs=None, ffn2_weight_attrs=None, ffn2_bias_attrs=None, epsilon=1e-05, num_layers=- 1, nranks=1, trans_qkvw=True, ring_id=- 1, name=None)
+
+FusedMultiTransformer 由多层变压器层组成，该层包含两个子层，即自（多头）注意力和前馈网络。


翻译成变压器不太合理

╰(°▽°)╯我保留transfermer

iosmers · 2024-01-15T09:25:47Z

docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

+    - **embed_dim** (int) - 输入和输出中的预期特征尺寸。
+    - **num_heads** (int) - 多头注意（MHA）的头数。
+    - **dim_feedforward** (int) - 前馈网络（FFN）中的隐藏层大小。
+    - **dropout_rate** (float, 可选) - 在 MHA 子层和 FFN 子层的前处理和后处理中使用了丢包率。默认值 0.0


这个机翻不太恰当

iosmers · 2024-01-15T09:26:13Z

docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

+    - **num_heads** (int) - 多头注意（MHA）的头数。
+    - **dim_feedforward** (int) - 前馈网络（FFN）中的隐藏层大小。
+    - **dropout_rate** (float, 可选) - 在 MHA 子层和 FFN 子层的前处理和后处理中使用了丢包率。默认值 0.0
+    - **activation** (str,可选) - 前馈网络中的激活函数。默认的"gelu"


可修改为默认为

iosmers · 2024-01-15T09:27:01Z

docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

+    - **dim_feedforward** (int) - 前馈网络（FFN）中的隐藏层大小。
+    - **dropout_rate** (float, 可选) - 在 MHA 子层和 FFN 子层的前处理和后处理中使用了丢包率。默认值 0.0
+    - **activation** (str,可选) - 前馈网络中的激活函数。默认的"gelu"
+    - **normalize_before** (bool, 可选) - 指示是否将层归一化放入 MHA 和 FFN 子层的预处理中。如果为 True，则前处理为层归一化，后处理包括丢弃、剩余连接。另外，没有前处理和后处理，包括丢失，剩余连接，层归一化。默认值为真


把pre-process and post-precess 翻译为前处理和后处理好像不太合适

😊pre-process为预处理，post-precess这个的话就英文可以吗？查不到怎么翻QAQ

iosmers · 2024-01-15T09:27:30Z

docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

+    - **nranks** (int, 可选) - 分布张量模型并行 nranks。默认为 1，表示不使用 mp。
+    - **trans_qkvw** (bool, 可选) - 是否对 qkv 的权重进行转置。如果为真，qkv 的形状八个应该是【3,num_head,dim_head,tim_embed】。否则 qkv 的权值的形状应该是【dim_embed,3,num_head,dim_head】。默认值：真。
+    - **ring_id** (int, 可选) - 用于分布式张量模型并行化。默认值为-1，表示不使用 mp。
+    - **name** (str，可选) - 默认值为“无”。通常用户不需要设置此属性。如需详细资讯，请参阅:ref:`api_guide_Name`。


机翻的痕迹比较明显

整个文档机翻痕迹都比较明显，建议再修改修改

收到（｡ò ∀ ó｡）谢谢大佬的review

…y_api_53

iosmers · 2024-01-19T03:00:06Z

docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

+    - **dropout_rate** (float, 可选) - MHA 和 FFN 子层的预处理和 post-precess 中使用的丢失概率。默认值：0.0
+    - **activation** (str,可选) - 前馈网络中的激活函数。默认为"gelu"
+    - **normalize_before** (bool, 可选) - 指示是否将层归一化放入 MHA 和 FFN 子层的预处理中。如果为 True，则预处理是层归一化，后处理包括丢弃、残差连接。否则，没有预处理和 post-precess，包括丢失、残差连接、层归一化。默认值：True
+    - **ln_scale_attrs** (ParamAttr|list|tuple, 可选) - 指定 Attention layer_norm 的权重参数属性。 对于 Attention layer_norm 权重，如果它是一个列表/元组，则 attrs[0] 将用作 transformer 层 0 的 attr，attrs[1] 将用作 transformer 第 1 层的 attr，依此类推。否则，所有图层都将其用作创建参数的属性。默认值：None，表示使用默认权重参数属性。有关详细信息，请参阅 ParamAttr 中的用法。


图层还是有机器翻译的痕迹

iosmers · 2024-01-19T03:00:30Z

docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

+    - **activation** (str,可选) - 前馈网络中的激活函数。默认为"gelu"
+    - **normalize_before** (bool, 可选) - 指示是否将层归一化放入 MHA 和 FFN 子层的预处理中。如果为 True，则预处理是层归一化，后处理包括丢弃、残差连接。否则，没有预处理和 post-precess，包括丢失、残差连接、层归一化。默认值：True
+    - **ln_scale_attrs** (ParamAttr|list|tuple, 可选) - 指定 Attention layer_norm 的权重参数属性。 对于 Attention layer_norm 权重，如果它是一个列表/元组，则 attrs[0] 将用作 transformer 层 0 的 attr，attrs[1] 将用作 transformer 第 1 层的 attr，依此类推。否则，所有图层都将其用作创建参数的属性。默认值：None，表示使用默认权重参数属性。有关详细信息，请参阅 ParamAttr 中的用法。
+    - **ln_bias_attrs** (ParamAttr|list|tuple|bool,可选) - 指定 Attention layer_norm 的偏置参数属性。对于 Attention layer_norm 偏差，如果它是一个列表/元组，则 attrs[0] 将用作 transformer 层 0 的 attr，attrs[1] 将用作 transformer 第 1 层的 attr，依此类推。否则，所有图层都将其用作创建参数的属性。False 值表示相应的层没有可训练的偏差参数。默认值：None，表示使用默认偏置参数属性。有关详细信息，请参阅 ParamAttr 中的用法。


这里也是

iosmers · 2024-01-19T03:00:50Z

docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

+    - **normalize_before** (bool, 可选) - 指示是否将层归一化放入 MHA 和 FFN 子层的预处理中。如果为 True，则预处理是层归一化，后处理包括丢弃、残差连接。否则，没有预处理和 post-precess，包括丢失、残差连接、层归一化。默认值：True
+    - **ln_scale_attrs** (ParamAttr|list|tuple, 可选) - 指定 Attention layer_norm 的权重参数属性。 对于 Attention layer_norm 权重，如果它是一个列表/元组，则 attrs[0] 将用作 transformer 层 0 的 attr，attrs[1] 将用作 transformer 第 1 层的 attr，依此类推。否则，所有图层都将其用作创建参数的属性。默认值：None，表示使用默认权重参数属性。有关详细信息，请参阅 ParamAttr 中的用法。
+    - **ln_bias_attrs** (ParamAttr|list|tuple|bool,可选) - 指定 Attention layer_norm 的偏置参数属性。对于 Attention layer_norm 偏差，如果它是一个列表/元组，则 attrs[0] 将用作 transformer 层 0 的 attr，attrs[1] 将用作 transformer 第 1 层的 attr，依此类推。否则，所有图层都将其用作创建参数的属性。False 值表示相应的层没有可训练的偏差参数。默认值：None，表示使用默认偏置参数属性。有关详细信息，请参阅 ParamAttr 中的用法。
+    - **qkv_weight_attrs** (ParamAttr|list|tuple,可选) - 指定 Attention qkv 计算的权重参数属性。对于 Attention qkv 权重，如果它是一个列表/元组，则 attrs[0] 将用作 transformer 层 0 的 attr，attrs[1] 将用作 transformer 第 1 层的 attr，依此类推。否则，所有图层都将其用作创建参数的属性。默认值：None，表示使用默认权重参数属性。有关详细信息，请参阅 ParamAttr 中的用法。


iosmers · 2024-01-21T02:33:38Z

docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

+    - **ln_bias_attrs** (ParamAttr|list|tuple|bool,可选) - 指定 Attention layer_norm 的偏置参数属性。对于 Attention layer_norm 偏差，如果它是一个列表/元组，则 attrs[0] 将用作 transformer 层 0 的 attr，attrs[1] 将用作 transformer 第 1 层的 attr，依此类推。否则，所有图层都将其用作创建参数的属性。False 值表示相应的层没有可训练的偏差参数。默认值：None，表示使用默认偏置参数属性。有关详细信息，请参阅 ParamAttr 中的用法。
+    - **qkv_weight_attrs** (ParamAttr|list|tuple,可选) - 指定 Attention qkv 计算的权重参数属性。对于 Attention qkv 权重，如果它是一个列表/元组，则 attrs[0] 将用作 transformer 层 0 的 attr，attrs[1] 将用作 transformer 第 1 层的 attr，依此类推。否则，所有图层都将其用作创建参数的属性。默认值：None，表示使用默认权重参数属性。有关详细信息，请参阅 ParamAttr 中的用法。
+    - **qkv_bias_attrs** (ParamAttr|list|tuple|bool, 可选) - 指定 Attention qkv 计算的偏置参数属性。对于 Attention qkv 偏差，如果它是一个列表/元组，则 attrs[0] 将用作 transformer 层 0 的 attr，attrs[1] 将用作 transformer 第 1 层的 attr，依此类推。否则，所有图层都将其用作创建参数的属性。False 值表示相应的层没有可训练的偏差参数。默认值：None，表示使用默认偏置参数属性。有关详细信息，请参阅 ParamAttr 中的用法。
+    - **linear_weight_attrs** (ParamAttr|list|tuple, 可选) - 指定 Attention linear 的权重参数属性。对于 Attention linear 权重，如果它是一个列表/元组，则 attrs[0] 将用作 transformer 层 0 的 attr，attrs[1] 将用作 transformer 第 1 层的 attr，依此类推。否则，所有图层都将其用作创建参数的属性。默认值：None，表示使用默认权重参数属性。有关详细信息，请参阅 ParamAttr 中的用法。


建议调整成第0层

iosmers · 2024-01-21T02:35:03Z

docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

+    - **epsilon** (float, 可选) - 将小浮点值添加到 layer_norm 的分母上，以避免除以零。默认值：1e-05。
+    - **num_layers** (int, 可选) - transformer 的层数。如果 qkv_weight_attrs 是列表或元组，则从 qkv_weight_attrs 中获取层数。仅当 qkv_weight_attrs 不是列表或元组时，num_layers 才会生效。默认值：-1。
+    - **nranks** (int, 可选) - 分布式张量模型并行 nranks。默认值为 1，表示不使用 mp。
+    - **trans_qkvw** (bool, 可选) - 是否转置 qkv 的权重。如果为 true，则 qkv 的形状八应为 [3， num_head， dim_head， dim_embed]。否则，qkv 的权重形状应为 [dim_embed， 3， num_head， dim_head]。默认值：True。


iosmers · 2024-01-21T02:35:44Z

docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

+    - **epsilon** (float, 可选) - 将小浮点值添加到 layer_norm 的分母上，以避免除以零。默认值：1e-05。
+    - **num_layers** (int, 可选) - transformer 的层数。如果 qkv_weight_attrs 是列表或元组，则从 qkv_weight_attrs 中获取层数。仅当 qkv_weight_attrs 不是列表或元组时，num_layers 才会生效。默认值：-1。
+    - **nranks** (int, 可选) - 分布式张量模型并行 nranks。默认值为 1，表示不使用 mp。
+    - **trans_qkvw** (bool, 可选) - 是否转置 qkv 的权重。如果为 true，则 qkv 的形状八应为 [3， num_head， dim_head， dim_embed]。否则，qkv 的权重形状应为 [dim_embed， 3， num_head， dim_head]。默认值：True。


形状八是什么？

entired added 2 commits January 5, 2024 23:26

new file: docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

af09382

Merge branch 'develop' of https://github.com/PaddlePaddle/docs into m…

9f0f823

…y_api_53

paddle-bot bot added the contributor label Jan 5, 2024

luotao1 added the HappyOpenSource 快乐开源活动issue与PR label Jan 8, 2024

luotao1 assigned luotao1 and sunzhongkai588 Jan 8, 2024

luotao1 mentioned this pull request Jan 8, 2024

【Docathon】补充缺失的中文 API 文档 #6193

Closed

iosmers reviewed Jan 15, 2024

View reviewed changes

entired added 2 commits January 18, 2024 11:46

modified: docs/api/paddle/incubate/nn/FusedMultiTransformer_cn.rst

45cd8cc

Merge branch 'develop' of https://github.com/PaddlePaddle/docs into m…

6e82115

…y_api_53

iosmers reviewed Jan 21, 2024

View reviewed changes

luotao1 closed this Apr 9, 2024

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[Docathon][Add CN Doc No.53] #6451

[Docathon][Add CN Doc No.53] #6451

entired commented Jan 5, 2024

paddle-bot bot commented Jan 5, 2024

iosmers Jan 15, 2024

entired Jan 17, 2024

iosmers Jan 15, 2024

iosmers Jan 15, 2024

entired Jan 17, 2024

iosmers Jan 15, 2024

entired Jan 17, 2024

iosmers Jan 15, 2024

iosmers Jan 15, 2024

entired Jan 16, 2024

iosmers Jan 19, 2024

iosmers Jan 19, 2024

iosmers Jan 19, 2024

iosmers Jan 21, 2024

iosmers Jan 21, 2024

iosmers Jan 21, 2024


		.. py:function:: class paddle.incubate.nn.FusedMultiTransformer(embed_dim, num_heads, dim_feedforward, dropout_rate=0.0, activation='gelu', normalize_before=True, ln_scale_attrs=None, ln_bias_attrs=None, qkv_weight_attrs=None, qkv_bias_attrs=None, linear_weight_attrs=None, linear_bias_attrs=None, ffn_ln_scale_attrs=None, ffn_ln_bias_attrs=None, ffn1_weight_attrs=None, ffn1_bias_attrs=None, ffn2_weight_attrs=None, ffn2_bias_attrs=None, epsilon=1e-05, num_layers=- 1, nranks=1, trans_qkvw=True, ring_id=- 1, name=None)

		FusedMultiTransformer 由多层变压器层组成，该层包含两个子层，即自（多头）注意力和前馈网络。

[Docathon][Add CN Doc No.53] #6451

[Docathon][Add CN Doc No.53] #6451

Conversation

entired commented Jan 5, 2024

paddle-bot bot commented Jan 5, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment