机器学习笔记1——主要过程和优化方法

一、机器学习基础

1.创建模型

2.输入一张带标签的图片

3.使用模型对其进行预测

4.将预测结果与实际标签比较，产生的差距为损失；

5.以减少损失为优化目标，根据损失优化模型参数；

6.循环重复上述第2—5步。

二、过程

首先输入一张图片把一张图片划分为一个n x n的网格用向量来表示，然后输入到神经网络中。

如下图，神经网络经过一系列的计算。

用损失函数来计算预测值和真实值之间的最优值。

三、Optimization 优化

3.1优化步骤

优化W和 b的值，使其找到最小的loss

 

 

用梯度下降算法求解梯度

• 梯度：由全部变量的偏导数汇总而成的向量。

• 移动的大小由学习率η和计算的偏导数决定。

 

3.2上述算法只能拟合线性的，非线无法拟合，因此需要借助激活函数和多层神经网络来构建非线性函数。

3.2.1用sigmoid函数拟合

        多层神经网络

 

3.2.2 sigmoid函数表达式

 

3.2.3 推倒公式

 

如上图所示，求最优的参数，把它们都拼接在一起记作：θ

寻找最优的θ用求导，求解梯度用反向传播算法。

 

3.2.4 Batch

• 把所有的batch都看过一遍为一个epoch

• 每次更新一次参数叫一次updata