Skip to content

FMENGD/DeepLearingWork

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

9 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

DeepLearing_-

吴恩达课后习题编程作业

Course 1-2:

具有神经网络思维的Logistic回归

搭建一个能【识别猫🐱】的神经网络

Course 1-3:

实现带有一个隐藏层的平面数据分类

Course 1-4:

1 初始化网络参数

2 前向传播

2.1 计算一层中的线性求和的部分

2.2 计算激活函数的部分(ReLU使用L-1次,Sigmod使用1次)

2.3 结合线性求和与激活函数

3 计算误差

4 反向传播

4.1 线性部分的反向传播公式

4.2 激活函数部分的反向传播公式

4.3 结合线性部分与激活函数的反向传播公式

5 更新参数

Course 2-1:

1 初始化参数:

1.1 使用0来初始化参数
1.2 使用随机数来初始化参数
1.3 使用抑梯度异常初始化参数

2 正则化模型:

2.1 使用二范数对二分类模型正则化,尝试避免过拟合
2.2 使用随机删除节点的方法精简模型。同样是为了避免过拟合

3 梯度校验:

对模型使用梯度校验,检测它是否存在梯度下降的过程中出现误差过大的情况

Course 2-2:

我们需要做的是分割数据集和优化梯度下降算法,所以我们需要做以下几件事:

  1. 分割数据集
  2. 优化梯度下降算法

2.1 不使用任何优化算法

2.2 mini-batch梯度下降法

2.3 使用具有动量的梯度下降算法

2.4 使用Adam算法

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages