蒲公英

聚类在无监督学习中，训练样本的标记是没有指定的，通过对无标记样本的训练来探索数据之间的规律。其中应用最广的便是聚类，聚类试图把一群未标记数据划分为一堆不相交的子集，每个子集叫做”簇“，每个簇可能对应于一个类别标签，但值得注意的是，这个标签仅仅是我们人为指定强加的，并不是数据本身就存在这样的标签。例如音乐软件对音乐的曲分或者流派进行聚类，可以划分为伤感，轻快等一系列标签，但是这个曲分只是人为加上的...

机器学习中需要使用模型，优化，评价，其中评价指标也是用来优化的一环，这里总结一下常用的评估指标，主要分为分类和回归，其中分类指的是二分类，多分类可在此基础上拓展。分类问题对于一个二分类问题来说，实例会被分为正例和负例，则根据预测的正确与否会分为四种情况。TP（True Positive）：实际是正类，预测为正类。FN（False Negative)：实际是正类，预测为负类（漏）。FP（...

在我们机器学习和深度学习的训练过程中，经常会出现过拟合和欠拟合的现象。训练一开始，模型通常会欠拟合，所以会对模型进行优化，然而等到训练到一定程度的时候，就需要解决过拟合的问题了。如何判断过拟合呢？我们在训练过程中会定义训练误差，验证集误差，测试集误差（泛化误差）。训练误差总是减少的，而泛化误差一开始会减少，但到一定程序后不减反而增加，这时候便出现了过拟合的现象。如下图所示，从直观上理解，欠拟合...

在机器学习中，常常需要对损失函数进行优化，但是我们可能希望在给定的集合中来搜索函数的最大值或者最小值，这就是约束优化。一个简单的方法是考虑约束条件后进行修改后的梯度下降，或者直接设计一个不同的、无约束的优化问题，其解可以转化为原始优化问题的解。对于等式约束，可以直接采用拉格朗日方法，而对于不等式约束，可以使用KKT方法转换到广义的朗格朗日乘子中求解。Karush-Kuhn-Tucker（KKT...