夏未眠秋风起的博客

看了博客记录一下笔记图片来自https://blog.youkuaiyun.com/u012505617/article/details/108753869

对于逻辑回归，我们采用sigmoid函数进行分类可以发现，虽然这个函数看上去有很多部分组成，但是我们需要做的是取拟合去拟合一些参数(w)，使得p和x满足这样的线性关系。

使用one-hot编码，可以使得离散特征变量扩展到欧式空间，有助于特征空间中的距离计算，而在机器学习，深度学习中，在欧式空间中的距离、相似度的计算是非常重要、常见的。但如果特征是离散的，并且不用one-hot编码就可以很合理的计算出距离，那么就没必要进行one-hot编码。...

在机器学习，深度学习中，我们会用到许多方法去度量样本间的相似度。在参考了一些文章后，在这里总结记录一下。欧氏距离欧氏距离是最常用的方法。计算两点间的绝对距离。假设二维向量曼哈顿距离图像来自于https://my.oschina.net/u/4261771/blog/3399898曼哈顿距离计算方式:因此上面的四种颜色的曼哈顿距离是一样的。马氏距离马氏距离考虑了各个维度尺度不一致，且各个特征之间相关的情况。Σ是协方差矩阵，当中间的协方矩阵为单位阵的时候，马氏距离就

贝叶斯原理是英国数学家托马斯·贝叶斯提出的。贝叶斯...

引用及参考：[1]https://blog.youkuaiyun.com/reallocing1/article/details/56292877[2]https://blog.youkuaiyun.com/m_buddy/article/details/80224409[3]https://blog.youkuaiyun.com/chaipp0607/article/details/7603735...

一、相关理论   本篇博文主要讲解2013年，ICML上的一篇文献：《Maxout  Networks》，这个算法我目前也很少用到，个人感觉最主要的原因应该是这...

batch norm和dropout都可以起到正则化的作用，防止过拟合。dropout：dropout通俗理解就是，在神经网络训练的时候，有时因为神经元过多，模型参数过多等原因而导致过拟合，dropout以概率p让一部分神经元失活，从而达到降低过拟合的效果。如下图所示，使用dropout后，一部分神经元不参与训练。在前向传播时，假设有这一层n个神经元，则我们可以假设每个神经元的概...

原因梯度消失：1.深层网络，2.不合适的激活函数梯度爆炸：1.深层网络，2.权值初始化太大对于神经网络的更新，我们是采用反向传播（BP），用梯度下降策略对神经网络进行参数更新。根据链式法则求导，越靠近输入层的隐藏层导数乘的次数就越多。因此，如果导数大于1，那么层数越多，梯度以指数级增长，容易发生梯度爆炸；如果导数小于1，那么层数越多，梯度以指数级减小，容易发生梯度消失。不合适的...

只是转载了一部分基础的：https://blog.youkuaiyun.com/yinyu19950811/article/details/90476956

准确率（acc），代表分对的样本占所有样本的比例，在不平衡分类中不可信，比如当样本比例为99:1的时候，只需要让多数类都分对，准确率就可以达到99%，但实际上少数类却被全部分错了。查准率，又叫精确率，用查准率比较好理解，字面理解就是查的准不准，就是希望我判断为真的样本，有哪些是确实的是正的样本召回率(Recall, TNR, sensitivity)，就是实际为正的样本中有多少...

1 .准确率（A），查准率(P)，查全率(R)设正样本总数 T = TP + FN, 负样本总数 F = FP + TN定义各种指标如下：2 .P-R曲线原理：很多二分类器的输出是一个概率实值，我们将这个概率值与一个阈值进行比较，若大于阈值则分为正类，否则为反类。实际上，我们可以根据这个实值大小将测试样本排序，最可能是正例的样本排在最前面，最不可能是正例的样本排在最...

本文主要讲述的是标准化与归一化的区别,相同点和联系,重点讲述各自的使用场景,归一化主要是应用于没有距离计算的地方上,标准化则是使用在不关乎权重的地方上,因为各自丢失了距离信息和权重信息,最后还讲述了下归一化的使用场景,主要是针对数据分布差异比较大–标准化和奇异数据(单个数据对结果有影响的话)–归一化的情况下.使用一.不同点二.相同点及其联系三.归一化(广义)的场景3.1 特征/数据需...

1.背景 PCA算法主要用于降维，将高维的特征映射到低维的空间中。假设，我没有20个数据，每个数据特征100维，即(20,100)。通过降维，我们可以将将100维的特征降到10维，即(20,10）这样就大大减小了计算量。一般，降维后的特征数不超过样本数2.算法步骤将每个特征进行零均值化，即每个特征减去该特征的均值，比如上面的例子(20,100)有100个特征，对每一列求均值...

最左边属于欠拟合，最右边过拟合。欠拟合是对数据拟合的不好，在训练集和测试集上的表现都很差。过拟合在训练集上表现得很好，在测试集上表现得不好欠拟合原因：模型过于简单————使用更复杂的模型，集成训练次数不够————增加训练次数过拟合原因：模型过于复杂训练数据少数据中噪声多解决过拟合方法：简化模型减少模型参数：对于决策树可以剪枝对于神经网络可以减少层数，每层的神经元数目；使...

有监督学习方法可以再分为生成生成方法和判别方法1.首先官方点的说法生成模型，是去求出数据的联合概率分布，然后根据联合概率分布求出对应X的条件概率P(y∣x)=P(x,y)P(x)P(y|x) = \frac{P(x,y)}{P(x)}P(y∣x)=P(x)P(x,y)​判别模型，是用数据学习决策函数，直接求出数据的条件概率2.通俗理解生成模型就是去求出每个类别的概率模型，然后对于X，计...