误差的反向传播
-
全连接层：
$\frac{∂J}{∂w^{(t)}}=\delta^{(t)}(a^{(t-i)})^T$ $\frac{∂J}{∂b^{(t)}}=\delta^{(t)}$
-
卷积层：假设当前卷积层为t，下一层池化层为t+1，上一层池化层为t-1，那么从t-1层到t层有：$a_i^{(t)}=f(u_i^{(t)})=f(\Sigma_{j=1}^{N_{t-1}}conv1(a_j^{(t-1)},K_{ij}^{(t)})+b_{ij}^{(t)})$，那么由递推得：
$\delta_i^{(t)}=\beta_i^{(t+1)}(a(u_i^{(t)})up(delta_i^{(t+1)}))$ $\frac{∂J}{∂b_i^{(t)}}=\Sigma_{s,t}(\delta_i)_{st}$ - $\frac{∂J}{∂K_{ij}^{(t)}}=\Sigma_{s,t}(\delta_i^{(t)}){st}(P_j^{(t-i)}){st}$
-
池化层：假设当前池化层为t，下一层为全连接层，那么由BP误差反传算法，有：
$a_i^{(t)}=f(\beta_I^{(t)}down(a_i^{(t-1)})+b_i^{(t)})$
符号说明：
-
$\beta$ ：池化系数 -
$∂$ ：偏微分符号 -
$\Sigma$ ：求和符号 -
$\delta$ ：特征图的误差矩阵 -
$a$ ：特征图 -
$b$ ：偏置向量 -
$f$ ：激活函数 -
$i,j$ ：矩阵索引 -
$t$ ：所在层数 -
$u$ ：特征图的输入 -
$J$ ：误差函数 -
$K$ ：卷积核 -
$P$ ：矩阵中元素 - $()_{st}$：遍历$$中所有元素
-
$conv1$ ：一维卷积层 -
$up()$ ：上采样方法 -
$down()$ ：下采样方法