2301_80780428的博客

原创 深度学习——数值稳定性、模型初始化、激活函数

训练更稳定的方法就使梯度值在合理范围之内，可使用的方法有合理的权重初始化和激活函数。那么，这当前层的的输入hi^t-1，就也是独立于我当前层的权重。假设我们使用relu函数作为激活函数，所以就是一些1和0的对角矩阵。但是这两个条件很难同时满足，可以做一点权衡，取折中。假设权重是一些独立同分布，那么每一个元素的均值就是0，方差就是。均值都是为0的，那么想要让两个方差一样，就需要满足两个条件，梯度消失的问题：梯度值变成0，对16位浮点数尤为严重。随着网络的层数的增加，数值可能变得不稳定。

原创 深度学习——丢弃法

通常将丢弃法作用在隐藏层的输出上，如图，使用丢弃法，部分h（h2、h5）变成0。使用有噪音的数据等价于Tikhonov正则（正则化防止。（虽然加入了噪音，不要改变期望结果）丢弃法对每个元素进行扰动[正则项在训练中使用：影响模型参数的更新（只会对权重有影响）一部分概率变成0，一部分数据变大（其中p∈(0,1)）推理过程中h=dropout(h),保证确定性的输出。丢弃法：在层之间加入噪音。对x加入噪音得到x ′ ，希望:E[一个好的模型需要对输入的数据的扰动。假设x是一层到下一层的输入的话。

原创 深度学习——多层感知机、欠拟合和过拟合、权重衰减

多层感知机（MLP)通常包括输入层、一个或多个隐藏层以及输出层。输入层接收外部数据，隐藏层对数据进行处理和变换，输出层则产生最终的结果可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制， 使其能处理更普遍的函数关系类型。

原创 深度学习——线性回归、softmax回归

原创 深度学习---数据操作、矩阵计算、自动求导

1）删除记录：当某组中的一个数据据缺失时，删除这个组的数据 2）数据插补：使用不同方法将缺的数据补齐（均值、中位数、众数插补）两个张量的形状不同，可通过广播机制来执行按元素操作 例：x:3x1 y:1x2 相加后得到一个3x2的维度。B=A.clone():将A赋值给B，分配一个新地址，不会影响A的值（后续如果对B进行操作，则不会影响A的值）不会沿任何轴降低输入张量的维度。矩阵-向量积： x:矩阵 y:向量 torch.mv(x,y)矩阵：创建一个3x2的m矩阵，通过m.T转置成2x3的矩阵。

原创 k-近邻算法

如下图，嫁给你数据分成4分，其中一份作为验证集，然后经过4次(组)的测试，每次都更换不同的验证集，即将得到4组模型的结果，取平均值作为最终结果，又称4折交叉验证。作用与每一列，max为一列的最大值，min为一列的最小值，那么x2为最终结果，mx，mi分别为指定区间值默认mx为1，mi为0。4、通常，循环的选择坐标轴对空间划分，选择训练实例点在坐标轴上的中位数为切分点，这样得到的kd树是平衡的。若属性值之间不存在有序关系，则通常将其转化为向量的形式，如性别男女，转化为{（1，0），（0，1）}

原创 pandas相关笔记

func:自定义函数axis=0:默认是列，axis=1为行进行运算。

原创 机器学习（matplotlib、numpy的使用介绍）

获取数据数据基本处理特征工程机器学习模型评估数据集中一行数据称为一个样本，一列数据成为一个特征# ndarray的使用#创建ndarrayscore# ndarray与Python原生list运算效率对比,可得ndarray的计算速度要快​# 使用 Python 原生 lista = []​# 计算 Python 原生 list 的求和时间print(f"Python 原生 list 求和时间：{time_sum1} 秒")​# 使用 NumPy ndarray​。