From 3dde9a56f846a1cd6ae7a59e8c6aa1479c5cbf0a Mon Sep 17 00:00:00 2001 From: mrcangye Date: Sat, 8 Oct 2022 14:38:50 +0800 Subject: [PATCH] =?UTF-8?q?Paddle=20=E6=96=87=E6=A1=A3=E4=BF=AE=E5=A4=8D?= =?UTF-8?q?=20test=3Ddocument=5Ffix=20(#5211)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * Paddle 文档修复 test=document_fix * fix some bug and test test=document_fix * fix some docs * Update Sigmoid_cn.rst * Create Silu_cn.rst * revert shape related changes * Update SmoothL1Loss_cn.rst * Update SmoothL1Loss_cn.rst * Update Softmax_cn.rst * Update Softplus_cn.rst * Update sigmoid_cn.rst * Update silu_cn.rst * Update smooth_l1_loss_cn.rst * Update softmax_cn.rst * Update softplus_cn.rst * \mathrm{e} in Sigmoid_cn.rst Co-authored-by: BrilliantYuKaimin <91609464+BrilliantYuKaimin@users.noreply.github.com> * \mathrm{e} in Silu_cn.rst Co-authored-by: BrilliantYuKaimin <91609464+BrilliantYuKaimin@users.noreply.github.com> * \mathrm{e} in sigmoid_cn.rst Co-authored-by: BrilliantYuKaimin <91609464+BrilliantYuKaimin@users.noreply.github.com> * \mathrm{e} in Softmax_cn.rst Co-authored-by: BrilliantYuKaimin <91609464+BrilliantYuKaimin@users.noreply.github.com> * \mathrm{e} in silu_cn.rst Co-authored-by: BrilliantYuKaimin <91609464+BrilliantYuKaimin@users.noreply.github.com> * adjust format in Silu_cn.rst Co-authored-by: BrilliantYuKaimin <91609464+BrilliantYuKaimin@users.noreply.github.com> * :math:`k \geqslant 1` in SmoothL1Loss_cn.rst Co-authored-by: BrilliantYuKaimin <91609464+BrilliantYuKaimin@users.noreply.github.com> * :math:`k \geqslant 1` in smooth_l1_loss_cn.rst Co-authored-by: BrilliantYuKaimin <91609464+BrilliantYuKaimin@users.noreply.github.com> * beta -> \beta in softplus * threshold -> \varepsilon in softplus * delta -> \delta in smooth_l1_loss * test=document_fix Co-authored-by: Nyakku Shigure Co-authored-by: BrilliantYuKaimin <91609464+BrilliantYuKaimin@users.noreply.github.com> --- docs/api/paddle/nn/Sigmoid_cn.rst | 11 +++++--- docs/api/paddle/nn/Silu_cn.rst | 6 ++-- docs/api/paddle/nn/SmoothL1Loss_cn.rst | 28 +++++++++---------- docs/api/paddle/nn/Softmax_cn.rst | 16 +++++------ docs/api/paddle/nn/Softplus_cn.rst | 13 +++++---- docs/api/paddle/nn/functional/sigmoid_cn.rst | 8 +++--- docs/api/paddle/nn/functional/silu_cn.rst | 8 ++++-- .../nn/functional/smooth_l1_loss_cn.rst | 24 ++++++++-------- docs/api/paddle/nn/functional/softmax_cn.rst | 21 +++++++------- docs/api/paddle/nn/functional/softplus_cn.rst | 16 ++++++----- 10 files changed, 83 insertions(+), 68 deletions(-) diff --git a/docs/api/paddle/nn/Sigmoid_cn.rst b/docs/api/paddle/nn/Sigmoid_cn.rst index 6c12c7f6f67..3533e411d0b 100644 --- a/docs/api/paddle/nn/Sigmoid_cn.rst +++ b/docs/api/paddle/nn/Sigmoid_cn.rst @@ -5,23 +5,26 @@ Sigmoid .. py:class:: paddle.nn.Sigmoid(name=None) -创建一个 ``Sigmoid`` 的可调用类。这个类可以计算输入 `x` 经过激活函数 `sigmoid` 之后的值。 +用于创建一个 ``Sigmoid`` 的可调用类。这个类可以计算输入 :attr:`x` 经过激活函数 ``sigmoid`` 之后的值。 .. math:: - output = \frac{1}{1 + e^{-x}} + sigmoid(x) = \frac{1}{1 + \mathrm{e}^{-x}} 参数 :::::::: + - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 形状 :::::::: - - **x** (Tensor)- N-D tensor,可以支持的数据类型是 float16,float32,float64。 + + - **x** (Tensor) - N-D Tensor,支持的数据类型是 float16、float32 和 float64。 返回 :::::::: - 返回计算 ``Sigmoid`` 的可调用对象。 + +返回计算 ``Sigmoid`` 的可调用对象。 代码示例 diff --git a/docs/api/paddle/nn/Silu_cn.rst b/docs/api/paddle/nn/Silu_cn.rst index 9ccc0690a7d..cf46e09be4c 100644 --- a/docs/api/paddle/nn/Silu_cn.rst +++ b/docs/api/paddle/nn/Silu_cn.rst @@ -8,16 +8,18 @@ Silu 激活层。计算公式如下: .. math:: - Silu(x) = \frac{x}{1 + e^{-x}} + silu(x) = \frac{x}{1 + \mathrm{e}^{-x}} -其中,:math:`x` 为输入的 Tensor +其中 :math:`x` 为输入的 Tensor。 参数 :::::::::: + - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 形状: :::::::::: + - input:任意形状的 Tensor。 - output:和 input 具有相同形状的 Tensor。 diff --git a/docs/api/paddle/nn/SmoothL1Loss_cn.rst b/docs/api/paddle/nn/SmoothL1Loss_cn.rst index 731b6fb0120..cdf23ebd0bc 100644 --- a/docs/api/paddle/nn/SmoothL1Loss_cn.rst +++ b/docs/api/paddle/nn/SmoothL1Loss_cn.rst @@ -5,36 +5,36 @@ SmoothL1Loss .. py:class:: paddle.nn.SmoothL1Loss(reduction='mean', delta=1.0, name=None) -该 OP 计算输入 input 和标签 label 间的 SmoothL1 损失,如果逐个元素的绝对误差低于 1,则创建使用平方项的条件 -,否则为 L1 损失。在某些情况下,它可以防止爆炸梯度,也称为 Huber 损失,该损失函数的数学计算公式如下: +计算输入 :attr:`input` 和标签 :attr:`label` 间的 SmoothL1 损失,如果逐个元素的绝对误差低于 1,则创建使用平方项的条件,否则为 L1 损失。在某些情况下,它可以防止爆炸梯度,也称为 Huber 损失,该损失函数的数学计算公式如下: - .. math:: - loss(x,y) = \frac{1}{n}\sum_{i}z_i +.. math:: + loss(x, y) = \frac{1}{n}\sum_{i}z_i -`z_i`的计算公式如下: +:math:`z_i` 的计算公式如下: - .. math:: +.. math:: - \mathop{z_i} = \left\{\begin{array}{rcl} - 0.5(x_i - y_i)^2 & & {if |x_i - y_i| < delta} \\ - delta * |x_i - y_i| - 0.5 * delta^2 & & {otherwise} + \mathop{z_i} = \left\{\begin{array}{rcl} + 0.5(x_i - y_i)^2 & & {if |x_i - y_i| < \delta} \\ + \delta * |x_i - y_i| - 0.5 * \delta^2 & & {otherwise} \end{array} \right. 参数 :::::::::: - - **reduction** (string,可选): - 指定应用于输出结果的计算方式,数据类型为 string,可选值有:`none`, `mean`, `sum`。默认为 `mean`,计算 `mini-batch` loss 均值。设置为 `sum` 时,计算 `mini-batch` loss 的总和。设置为 `none` 时,则返回 loss Tensor。 - - **delta** (string,可选): SmoothL1Loss 损失的阈值参数,用于控制 Huber 损失对线性误差或平方误差的侧重。数据类型为 float32。默认值= 1.0。 + + - **reduction** (str,可选) - 指定应用于输出结果的计算方式,可选值有 ``none``、``mean`` 和 ``sum``。默认为 ``mean``,计算 ``mini-batch`` loss 均值。设置为 `sum` 时,计算 `mini-batch` loss 的总和。设置为 ``none`` 时,则返回 loss Tensor。 + - **delta** (str,可选) - SmoothL1Loss 损失的阈值参数 :math:`\delta`,用于控制 Huber 损失对线性误差或平方误差的侧重。数据类型为 float32。默认值为 :math:`1.0`。 - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 输入 :::::::::: - - **input** (Tensor):输入 `Tensor`,数据类型为 float32。其形状为 :math:`[N, C]`,其中 `C` 为类别数。对于多维度的情形下,它的形状为 :math:`[N, C, d_1, d_2, ..., d_k]`,k >= 1。 - - **label** (Tensor):输入 input 对应的标签值,数据类型为 float32。数据类型和 input 相同。 - + - **input** (Tensor):输入 `Tensor`,数据类型为 float32。其形状为 :math:`[N, C]`,其中 :math:`C` 为类别数。对于多维度的情形下,它的形状为 :math:`[N, C, d_1, d_2, ..., d_k]`,:math:`k \geqslant 1`。 + - **label** (Tensor):输入 :attr:`input` 对应的标签值,数据类型和 :attr:`input` 相同。 返回 ::::::::: + Tensor,计算 `SmoothL1Loss` 后的损失值。 diff --git a/docs/api/paddle/nn/Softmax_cn.rst b/docs/api/paddle/nn/Softmax_cn.rst index b7cad2ba8e3..15c1d28af36 100644 --- a/docs/api/paddle/nn/Softmax_cn.rst +++ b/docs/api/paddle/nn/Softmax_cn.rst @@ -4,25 +4,25 @@ Softmax ------------------------------- .. py:class:: paddle.nn.Softmax(axis=-1, name=None) -Softmax 激活层,OP 的计算过程如下: +Softmax 激活层,计算过程如下: -步骤 1:输入 ``x`` 的 ``axis`` 维会被置换到最后一维; +步骤 1:输入 :attr:`x` 的 :attr:`axis` 维会被置换到最后一维; -步骤 2:将输入 ``x`` 在逻辑上变换为二维矩阵。二维矩阵第一维(列长度)是输入除最后一维之外的其他维度值的乘积,第二维(行长度)和输入 ``axis`` 维的长度相同;对于矩阵的每一行,softmax 操作对其进行重新缩放,使得该行的每个元素在 \[0,1\] 范围内,并且总和为 1; +步骤 2:将输入 :attr:`x` 在逻辑上变换为二维矩阵。二维矩阵第一维(列长度)是输入除最后一维之外的其他维度值的乘积,第二维(行长度)和输入 :attr:`axis` 维的长度相同;对于矩阵的每一行,softmax 操作对其进行重新缩放,使得该行的每个元素在 :math:`[0, 1]` 范围内,并且总和为 1; -步骤 3:softmax 操作执行完成后,执行步骤 1 和步骤 2 的逆运算,将二维矩阵恢复至和输入 ``x`` 相同的维度。 +步骤 3:softmax 操作执行完成后,执行步骤 1 和步骤 2 的逆运算,将二维矩阵恢复至和输入 :attr:`x` 相同的维度。 上述步骤 2 中 softmax 操作计算过程如下: - - 对于二维矩阵的每一行,计算 K 维向量(K 是输入第 ``axis`` 维的长度)中指定位置的指数值和全部位置指数值的和。 + - 对于二维矩阵的每一行,计算 K 维向量(K 是输入第 :attr:`axis` 维的长度)中指定位置的指数值和全部位置指数值的和。 - 指定位置指数值与全部位置指数值之和的比值就是 softmax 操作的输出。 -对于二维矩阵中的第 i 行和第 j 列有: +对于二维矩阵中的第 :math:`i` 行和第 :math:`j` 列有: .. math:: - Softmax[i, j] = \frac{\exp(x[i, j])}{\sum_j(exp(x[i, j])} + softmax[i, j] = \frac{\exp(x[i, j])}{\sum_j(exp(x[i, j])} - 示例 1(矩阵一共有三维。axis = -1,表示沿着最后一维(即第三维)做 softmax 操作) @@ -82,7 +82,7 @@ Softmax 激活层,OP 的计算过程如下: 参数 :::::::::: - - **axis** (int,可选) - 指定对输入 Tensor 进行运算的轴。``axis`` 的有效范围是[-D, D),D 是输入 Tensor 的维度,``axis`` 为负值时与 :math:`axis + D` 等价。默认值为-1。 + - **axis** (int,可选) - 指定对输入 Tensor 进行运算的轴。:attr:`axis` 的有效范围是 :math:`[-D, D)`,:math:`D` 是输入 Tensor 的维度,``axis`` 为负值时与 :math:`axis + D` 等价。默认值为 -1。 - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 形状: diff --git a/docs/api/paddle/nn/Softplus_cn.rst b/docs/api/paddle/nn/Softplus_cn.rst index 86fd0f3a957..18b1fbc661c 100644 --- a/docs/api/paddle/nn/Softplus_cn.rst +++ b/docs/api/paddle/nn/Softplus_cn.rst @@ -7,20 +7,23 @@ Softplus Softplus 激活层 .. math:: - - Softplus(x) = \frac{1}{beta} * \log(1 + e^{beta * x}) \\ - \text{为了保证数值稳定性,当}\,beta * x > threshold\,\text{时,函数转变为线性函数 x}。 + softplus(x)=\begin{cases} + \frac{1}{\beta} * \log(1 + e^{\beta * x}),&x\leqslant\frac{\varepsilon}{\beta};\\ + x,&x>\frac{\varepsilon}{\beta}. + \end{cases} 其中,:math:`x` 为输入的 Tensor 参数 :::::::::: - - **beta** (float,可选) - Softplus 激活计算公式中的 beta 值。默认值为 1。 - - **threshold** (float,可选) - Softplus 激活计算公式中的 threshold 值。默认值为 20。 + + - **beta** (float,可选) - Softplus 激活计算公式中的 :math:`\beta` 值。默认值为 1。 + - **threshold** (float,可选) - Softplus 激活计算公式中的 :math:`\varepsilon` 值。默认值为 20。 - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 形状: :::::::::: + - input:任意形状的 Tensor。 - output:和 input 具有相同形状的 Tensor。 diff --git a/docs/api/paddle/nn/functional/sigmoid_cn.rst b/docs/api/paddle/nn/functional/sigmoid_cn.rst index dbd46260e7d..0bbe4df1879 100755 --- a/docs/api/paddle/nn/functional/sigmoid_cn.rst +++ b/docs/api/paddle/nn/functional/sigmoid_cn.rst @@ -7,21 +7,21 @@ sigmoid - sigmoid 激活函数 .. math:: - out = \frac{1}{1 + e^{-x}} + sigmoid(x) = \frac{1}{1 + \mathrm{e}^{-x}} 参数 ::::::::: - - **x** Tensor - 数据类型为 float32,float64。激活函数的输入值。 - - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。默认:None + - **x** (Tensor) - 数据类型为 float32 或 float64。激活函数的输入值。 + - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 返回 ::::::::: + Tensor,激活函数的输出值,数据类型为 float32。 代码示例 diff --git a/docs/api/paddle/nn/functional/silu_cn.rst b/docs/api/paddle/nn/functional/silu_cn.rst index ff264fdc4c3..75a25675893 100644 --- a/docs/api/paddle/nn/functional/silu_cn.rst +++ b/docs/api/paddle/nn/functional/silu_cn.rst @@ -9,18 +9,20 @@ silu 激活层。计算公式如下: .. math:: - Silu(x) = \frac{x}{1 + e^{-x}} + silu(x) = \frac{x}{1 + \mathrm{e}^{-x}} 其中,:math:`x` 为输入的 Tensor 参数 :::::::::: - - **x** (Tensor) - 输入的 ``Tensor``,数据类型为:float32、float64。 + + - **x** (Tensor) - 输入的 ``Tensor``,数据类型为 float32 或 float64。 - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 返回 :::::::::: - ``Tensor``,数据类型和形状同 ``x`` 一致。 + + ``Tensor``,数据类型和形状同 :attr:`x` 一致。 代码示例 :::::::::: diff --git a/docs/api/paddle/nn/functional/smooth_l1_loss_cn.rst b/docs/api/paddle/nn/functional/smooth_l1_loss_cn.rst index d74c25a3964..4ba9fb79a9b 100644 --- a/docs/api/paddle/nn/functional/smooth_l1_loss_cn.rst +++ b/docs/api/paddle/nn/functional/smooth_l1_loss_cn.rst @@ -8,30 +8,32 @@ smooth_l1_loss 计算输入 input 和标签 label 间的 SmoothL1 损失,如果逐个元素的绝对误差低于 1,则创建使用平方项的条件, 否则为 L1 损失。在某些情况下,它可以防止爆炸梯度,也称为 Huber 损失,该损失函数的数学计算公式如下: - .. math:: - loss(x,y) = \frac{1}{n}\sum_{i}z_i +.. math:: + loss(x,y) = \frac{1}{n}\sum_{i}z_i -`z_i`的计算公式如下: +:math:`z_i` 的计算公式如下: - .. math:: +.. math:: - \mathop{z_i} = \left\{\begin{array}{rcl} - 0.5(x_i - y_i)^2 & & {if |x_i - y_i| < delta} \\ - delta * |x_i - y_i| - 0.5 * delta^2 & & {otherwise} + \mathop{z_i} = \left\{\begin{array}{rcl} + 0.5(x_i - y_i)^2 & & {if |x_i - y_i| < \delta} \\ + \delta * |x_i - y_i| - 0.5 * \delta^2 & & {otherwise} \end{array} \right. 参数 :::::::::: - - **input** (Tensor) - 输入 `Tensor`,数据类型为 float32。其形状为 :math:`[N, C]`,其中 `C` 为类别数。对于多维度的情形下,它的形状为 :math:`[N, C, d_1, d_2, ..., d_k]`,k >= 1。 - - **label** (Tensor) - 输入 input 对应的标签值,数据类型为 float32。数据类型和 input 相同。 - - **reduction** (string,可选) - 指定应用于输出结果的计算方式,数据类型为 string,可选值有:`none`, `mean`, `sum`。默认为 `mean`,计算`mini-batch` loss 均值。设置为 `sum` 时,计算 `mini-batch` loss 的总和。设置为 `none` 时,则返回 loss Tensor。 - - **delta** (string,可选) - SmoothL1Loss 损失的阈值参数,用于控制 Huber 损失对线性误差或平方误差的侧重。数据类型为 float32。默认值= 1.0。 + + - **input** (Tensor) - 输入 `Tensor`,数据类型为 float32。其形状为 :math:`[N, C]`,其中 :math:`C` 为类别数。对于多维度的情形下,它的形状为 :math:`[N, C, d_1, d_2, ..., d_k]`,:math:`k \geqslant 1`。 + - **label** (Tensor) - 输入 :attr:`input` 对应的标签值,数据类型和 :attr:`input` 相同。 + - **reduction** (str,可选) - 指定应用于输出结果的计算方式,数据类型为 string,可选值有 ``none``、``mean``、``sum``。默认为 ``mean``,计算 ``mini-batch`` loss 均值。设置为 ``sum`` 时,计算 ``mini-batch`` loss 的总和。设置为 ``none`` 时,则返回 loss Tensor。 + - **delta** (str,可选) - SmoothL1Loss 损失的阈值参数 :math:`\delta`,用于控制 Huber 损失对线性误差或平方误差的侧重。数据类型为 float32。默认值为 1.0。 - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 返回 ::::::::: + Tensor,返回计算 `smooth_l1_loss` 后的损失值。 diff --git a/docs/api/paddle/nn/functional/softmax_cn.rst b/docs/api/paddle/nn/functional/softmax_cn.rst index be32bb3b86d..d13601b63ad 100644 --- a/docs/api/paddle/nn/functional/softmax_cn.rst +++ b/docs/api/paddle/nn/functional/softmax_cn.rst @@ -4,22 +4,21 @@ softmax ------------------------------- .. py:function:: paddle.nn.functional.softmax(x, axis=-1, dtype=None, name=None) +实现 softmax 层。计算过程如下: -实现了 softmax 层。OP 的计算过程如下: +步骤 1:输入 :attr:`x` 的 :attr:`axis` 维会被置换到最后一维; -步骤 1:输入 ``x`` 的 ``axis`` 维会被置换到最后一维; +步骤 2:将输入 :attr:`x` 在逻辑上变换为二维矩阵。二维矩阵第一维(列长度)是输入除最后一维之外的其他维度值的乘积,第二维(行长度)和输入 ``axis`` 维的长度相同;对于矩阵的每一行,softmax 操作对其进行重新缩放,使得该行的每个元素在 :math:`[0, 1]` 范围内,并且总和为 :math:`1`; -步骤 2:将输入 ``x`` 在逻辑上变换为二维矩阵。二维矩阵第一维(列长度)是输入除最后一维之外的其他维度值的乘积,第二维(行长度)和输入 ``axis`` 维的长度相同;对于矩阵的每一行,softmax 操作对其进行重新缩放,使得该行的每个元素在 \[0,1\] 范围内,并且总和为 1; - -步骤 3:softmax 操作执行完成后,执行步骤 1 和步骤 2 的逆运算,将二维矩阵恢复至和输入 ``x`` 相同的维度。 +步骤 3:softmax 操作执行完成后,执行步骤 1 和步骤 2 的逆运算,将二维矩阵恢复至和输入 :attr:`x` 相同的维度。 上述步骤 2 中 softmax 操作计算过程如下: - - 对于二维矩阵的每一行,计算 K 维向量(K 是输入第 ``axis`` 维的长度)中指定位置的指数值和全部位置指数值的和。 + - 对于二维矩阵的每一行,计算 K 维向量(K 是输入第 :attr:`axis` 维的长度)中指定位置的指数值和全部位置指数值的和。 - 指定位置指数值与全部位置指数值之和的比值就是 softmax 操作的输出。 -对于二维矩阵中的第 i 行和第 j 列有: +对于二维矩阵中的第 :math:`i` 行和第 :math:`j` 列有: .. math:: @@ -84,14 +83,16 @@ softmax 参数 :::::::::: - - **x** (Tensor) - 输入的 ``Tensor``,数据类型为:float32、float64。 - - **axis** (int,可选) - 指定对输入 ``x`` 进行运算的轴。``axis`` 的有效范围是[-D, D),D 是输入 ``x`` 的维度,``axis`` 为负值时与 :math:`axis + D` 等价。默认值为-1。 + + - **x** (Tensor) - 输入的 ``Tensor``,数据类型为 float32 或 float64。 + - **axis** (int,可选) - 指定对输入 :attr:`x` 进行运算的轴。:attr:`axis` 的有效范围是 :math:`[-D, D)`,:math:`D` 是输入 :attr:`x` 的维度,:attr:`axis` 为负值时与 :math:`axis + D` 等价。默认值为 -1。 - **dtype** (str,可选) - 输出 `Tensor` 的数据类型,支持 float32、float64。 - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 返回 :::::::::: - ``Tensor``,形状和 ``x`` 相同,数据类型为 ``dtype`` 或者和 ``x`` 相同。 + + ``Tensor``,形状和 :attr:`x` 相同,数据类型为 :attr:`dtype` 或者和 :attr:`x` 相同。 代码示例 :::::::::: diff --git a/docs/api/paddle/nn/functional/softplus_cn.rst b/docs/api/paddle/nn/functional/softplus_cn.rst index 3ea15e4bd4f..4857e806c6d 100644 --- a/docs/api/paddle/nn/functional/softplus_cn.rst +++ b/docs/api/paddle/nn/functional/softplus_cn.rst @@ -8,23 +8,25 @@ softplus softplus 激活层 .. math:: - - softplus(x) = \frac{1}{beta} * \log(1 + e^{beta * x}) \\ - \text{为了保证数值稳定性,当}\,beta * x > threshold\,\text{时,函数转变为线性函数 x}。 + softplus(x)=\begin{cases} + \frac{1}{\beta} * \log(1 + e^{\beta * x}),&x\leqslant\frac{\varepsilon}{\beta};\\ + x,&x>\frac{\varepsilon}{\beta}. + \end{cases} 其中,:math:`x` 为输入的 Tensor 参数 :::::::::::: - - **x** (Tensor) - 输入的 ``Tensor``,数据类型为:float32、float64。 - - **beta** (float,可选) - Softplus 激活计算公式中的 beta 值。默认值为 1。 - - **threshold** (float,可选) - Softplus 激活计算公式中的 threshold 值。默认值为 20。 + - **x** (Tensor) - 输入的 ``Tensor``,数据类型为 float32 或 float64。 + - **beta** (float,可选) - Softplus 激活计算公式中的 :math:`\beta` 值。默认值为 1。 + - **threshold** (float,可选) - Softplus 激活计算公式中的 :math:`\varepsilon` 值。默认值为 20。 - **name** (str,可选) - 具体用法请参见 :ref:`api_guide_Name`,一般无需设置,默认值为 None。 返回 :::::::::: - ``Tensor``,数据类型和形状同 ``x`` 一致。 + + ``Tensor``,数据类型和形状同 :attr:`x` 一致。 代码示例 ::::::::::