DYF的博客

过拟合简单来说就是模型对数据拟合过度过拟合：根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。过度的拟合了训练数据，而没有考虑到泛化能力。过拟合主要是有两个原因造成的：数据太少+模型太复杂，因此在防止过拟合问题上也主要从数据和模型两个角度上进行解决。1）数据的角度：导致过拟合的主要的原因就是数据...

定义：偏差：描述的是预测值的期望和真实值的偏离关系，偏差越大，越偏离真实值。（boosting减少偏差）方差：描述的是预测值的离散程度（波动程度），方差越大，数据的分布越分散，波动越明显。（bagging降低方差）从数学角度看，可以理解为每个预测值与预测均值差的平方和的再求平均数。这是一张常见的靶心图。可以想象红色靶心表示为实际值，蓝色点集为预测值。在模型不断地训练迭代过程中，我们...

(1)若一个实例是正类，但是被预测成为正类，即为真正类(True Postive TP)(2)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN)(3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP)(4)若一个实例是正类，但是被预测成为负类，即为假负类(False Negative FN）准确率（正确率...

神经网络的知识激活函数 常用的激活函数有sigmoid、tanh、ReLu、LeakyReLU等为什么需要激活函数（这里说的激活函数一般指非线性激活），假设不用激活函数（相当于激活函数fx=x）,这是每一层的节点的输入都是上一层输出的线性函数，很容易证明，无论神经网络有多少层，输出都是输入的线性组合，与没有隐含层的效果相当，这种情况就是原始的感知器（Perceptron），那么...

聚类分析：聚类分析是在没有给定划分类别的情况，或者没有具体标签的情况下，进行划分类别，将样本集合中相似的样本分配到相同的类，不相似的样本分配到不同的类。聚类属于一种无监督学习。主要思想是根据样本数据之间的相似度进行划分样本的方法。其主要学习的方法是组内间隔最小化，而组间（外部）距离最大化。聚类方法分为层次聚类和k均值聚类。k-means：采用距离作为相似性的度量，常用的距离有欧式...