写给自己看的文章,初学者+第一次写文章,可能有不对的地方,如果有其他人看的话,有问题欢迎讨论,一起学习共同进步~
文章中所用图片大部分来自李哥深度学习班
1、基本前置知识(了解)
AI基本知识,机器学习特点以及常见算法,以及深度学习分类和基本步骤。思维导图/树状图如下

2、神经网络概述
简单思维导图如下

2.1基本结构和表达式

每个神经元都可以简化成这样一个的式子,但这样简单的线性关系函数基本做不到复杂的分类,对于下图这样的三角和方形的分类就做不到,这样的分类必须要有一条曲线才能做到。

因此我们需要一个更复杂的神经网络,通过输入多个不同的属性,构建一个多层神经网络,调整相关参数以拟合现实规律。
先看一下神经元和矩阵的数学表达。


左图这样一个网络,有四个输入x1到x4,一个输出,每条到中间节点的线都对应一个w权重和b偏置的线性关系,所有的偏置值可以合并为一个bi(i从1到3)
于是将所有中间层输出就可以用右图的线性方程组进行表示,就是r=b+wx
对于后面的也是一样的,就不再赘述。(c写作列向量)
2.2激活函数
于是呢,就可以将后面的r=b+wx代入到中
由于只有x和y作为变量,其他都是参数所以总可以找到两个参数p和q得到
的形式的表达式。(只是形式)
那么这样的话构建多层神经网络就没有太大的意义,因此这里要引入激活函数。
激活函数类似起到一个门限值的作用,为神经网络引入非线性因素。
初学常用的激活函数有sigmoid和relu。
sigmoid函数
这个函数是一条平滑的曲线
在x正负轴上可以取到不同的值
求梯度可能会相对麻烦
relu函数
在小于0时取0,直接屏蔽掉,在大于0时值保持不变
该函数比较简单,求梯度容易,但拟合的曲线会有很多棱角
激活函数要添加在每次求出结点值的地方,
让结点值经过该函数即可。
通过增加激活函数,就可以拟合不同的曲线
本来直线再怎么叠加都是一条直线,但非线性的曲线经过不同变换后叠加就可以拟合不同的曲线。
上图是两个relu函数变换后得到了一个三段的折线。
下图为不断增加激活函数数量拟合的图像

3优化过程
3.1参数表示
以上讲述的网络的主要参数就是每一层的w和b,将所有参数放入一个列向量θ就得到
这样的一个列向量,于是就可将损失函数loss=L(w1,w2,b1,b2,…)表示为loss=L(θ),简化表示。
3.2损失和参数更新
损失函数的表示
模型训练和优化过程就是先前向传递,得到一个由当前参数计算的预测值,和真实值y计算loss
这里计算loss的方法是计算平均绝对值损失,就是,
由预测值和真实值的距离求和,并除以样本数量。得到预测值和真实值的差距。
计算梯度,回传
损失函数L对每个参数w和b进行求偏导,这个是一个链式求导的过程,这样的,求导以后对每个参数减去学习率×自己的偏导数进行更新。
.得到一个新的w,b也同理。
这个过程就是梯度下降GD。
当偏导数大于0时,说明关于w增加的方向,当前函数是递增的,要减少w才能大概率找到最优解,偏导数小于0时,相反,函数递减,要增加w更有可能找到最低点。
对于一个很复杂的数据集,要找到loss最小的那个点,只能依靠梯度下降这样的算法摸着找,难以通过数学的方式去进行推导。梯度下降也是一个很通用的方法,在非欧氏空间也同样可用。
神经网络的内部结构就像一个黑盒一样,具体做了什么很多时候难以说清,反正最后得到了一个还不错的结果。
4其他内容
全连接网络

这样一个网络叫全连接网络(FC),输入特征数和输出特征数要对应。
每一层都要连接下一层的所有结点,
第一层到第二层:linear(4,3),
第二层到第三层:linear(3,2),
第三层到第四层:linear(2,1).
过拟合和欠拟合
欠拟合就多加层数多堆料多训练几个epoch
过拟合有一些方法:正则化,减少训练周期简化模型,调整一些参数,Dropout剔除结点等...
1205



被折叠的 条评论
为什么被折叠?



