吴恩达课后习题编程作业
Course 1-2:
具有神经网络思维的Logistic回归
搭建一个能【识别猫🐱】的神经网络
Course 1-3:
实现带有一个隐藏层的平面数据分类
Course 1-4:
1 初始化网络参数
2 前向传播
2.1 计算一层中的线性求和的部分
2.2 计算激活函数的部分(ReLU使用L-1次,Sigmod使用1次)
2.3 结合线性求和与激活函数
3 计算误差
4 反向传播
4.1 线性部分的反向传播公式
4.2 激活函数部分的反向传播公式
4.3 结合线性部分与激活函数的反向传播公式
5 更新参数
Course 2-1:
1 初始化参数:
1.1 使用0来初始化参数
1.2 使用随机数来初始化参数
1.3 使用抑梯度异常初始化参数
2 正则化模型:
2.1 使用二范数对二分类模型正则化,尝试避免过拟合
2.2 使用随机删除节点的方法精简模型。同样是为了避免过拟合
3 梯度校验:
对模型使用梯度校验,检测它是否存在梯度下降的过程中出现误差过大的情况
Course 2-2:
我们需要做的是分割数据集和优化梯度下降算法,所以我们需要做以下几件事:
- 分割数据集
- 优化梯度下降算法
2.1 不使用任何优化算法
2.2 mini-batch梯度下降法
2.3 使用具有动量的梯度下降算法
2.4 使用Adam算法