- 博客(27)
- 收藏
- 关注
RSS订阅原创 【10】信息熵、KL散度、交叉熵损失
关系：两者的关系类似于帅哥和靓仔。定义：用于表示一个随机事件发生时的不确定性或者信息的平均量。它是对事件发生概率分布的度量，用来衡量信息的混乱程度或者信息的不确定性。在信息理论中，一个事件发生的概率分布越均匀，即每个事件发生的概率越接近于相等，信息熵就越高。
2023-06-13 09:53:58
263
原创 js封装组件
1、方式一创建App.jsvar App = App || {};var global = window;App.ns = function (nsStr) { var parts = nsStr.split("."), root = global, max, i; for (i = 0, max = parts.l...
2022-09-16 20:21:37
2176
原创 【5】损失函数
1、损失函数在深度学习中，损失函数是用来衡量模型参数的质量函数，衡量的方式是比较网络输出和真实输出的差异，损失函数在不同的文献中名称是不一样的，主要有以下几种命名方式：损失函数、代价函数、目标函数和误差函数。损失函数在分类问题中，分为多分类任务和二分类任务的损失函数；在回归问题中，分为MAE损失、MSE损失和smooth L1损失。1.1、分类任务在深度学习中的分类任务使用最多的就是交叉熵损失函数1.1.1、多分类任务在多分类任务中通常使用softmax激活函数将logits转换为概率的
2021-11-28 16:42:14
593
原创 【4】神经网络的搭建
1、神经网络的搭建在tf.keras中构建模型有两种方式，一种是通过Sequential构建，一种通过Model类构建。图中共有三层（3,2,2），其中+1是偏置不属于神经元。构建神经网络的三种方式：通过Sequential构建，通过Model构建，通过model子类构建.........
2021-11-28 16:01:32
943
原创 【3】参数初始化
1、参数初始化对于某一个神经元来说，需要初始化的参数有两个类：权重和偏置，偏置b初始化为0即可，而权重的初始化比较重要。以下是常见的几种权重初始化方式。1.1、 随机初始化随机初始化从均值为0，标准差为1的高斯分布中取样，使用一些很小的值对参数初始化。1.2、标准初始化1.3、Xavier初始化该方法基本思想是各层的激活值和梯度的方差在传播过程中保持一致，也叫Glorot初始化。使用比较多。分为正态化的Xavier初始化和标准化的Xavier初始化。1.4、He.
2021-11-28 15:42:36
2547
原创 【8】深度学习正则化
1、为什么使用正则化图一欠拟合，图二正拟合，图三过拟合2、正则化的方法正则化通过对算法的修改来减少泛化误差，常用的策略有参数范数惩罚、提前终止、DropOut等。2.1、L1和L2正则化2.2、DropOut正则化随机删除某些节点2.3、提前停止............
2021-11-26 20:06:50
1615
原创 【7】学习率退火
1、学习率退火介绍在训练神经网络时，学习率都是随着训练而变化，这主要是由于在神将网络训练后期，如果学习率过高，会造成loss的震荡，但是如果学习率减小的过快，又会造成收敛变慢的情况。以下介绍学习率退火的方式：1.1、分段常数衰减1.2、指数衰减1.3、1/t衰减...
2021-11-26 19:30:02
2297
原创 【6】深度学习优化方法
5.1、梯度下降算法梯度下降就是一种寻找使得损失函数最小化的方法。E损失函数，W权重，η学习率，如果学习率过小训练的成本就会增加，如果学习率过大可能会跳过最优解。所以学习率也需要根据训练的进行而变化。5.1.1、梯度下降算法分类根据在进行迭代时使用的样本数量，将梯度下降算法分为3类：5.2、反向传播算法（BP算法）利用反向传播算法对神经网络进行训练，该方法与梯度下降算法相结合，对网络中所有权重计算损失函数的梯度，并利用梯度值来更新权值以最小化损失函数。5.2.1、前向传播..
2021-11-25 20:02:46
659
原创 【2】激活函数
2、激活函数在每一个神经元中引入激活函数，本质上是向神经网络中引入非线性因素，通过激活函数，神经网络可以拟合各种曲线，接下来讲解sigmoid、tanh、relu、leakrelu、softmax等激活函数。2.1、sigmoid激活函数计算公式和图像：总结：sigmoid的函数在定义域内处处可导，且两侧导数逐渐趋近于0。如果x很大或者很小，则函数的梯度会非常小，网格参数很难得到有效训练，会出现梯度消失的情况。还有，该激活函数不是以0为中心的。sigmoid函数只用于输出层的二分类问
2021-11-25 16:58:23
1042
原创 【1】神经网络
1、感知机感知机的模型，它是一个有若干输入和一个输出的模型输出和输入之间学习到一个线性关系，得到中间输出结果接着是一个神经元激活函数这个模型只能用于二元分类，且无法学习比较复杂的非线性模型，因此在工业界无法使用。而神经网络则在感知机的模型上做了扩展。2、神经网络（1）只有一层隐藏层的神经网络称为浅层神经网络，含有两个以及以上隐藏层是深度神经网络。神经网络在感知机的基础上进行扩展，可以有多层，每层可以有多个神经元，输出层的神经元可以有多个。在每一层之后增加激活函数.
2021-11-22 19:42:02
1020
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人