crazty的博客

大佬讲的，又让我多了一点点感悟文章链接

聚类的评价指标Given Label均一性，一个簇中只有一个类别的样本，就是之前的准确率，h完整性，同类别样本被划分到同一个簇中，就是之前的召回率，cV-Measureβ是权重，越大越看重均一性。轮廓系数计算同簇内每一个样本到同簇内样本的平均距离，可以度量这个样本和其他同簇样本的相似性，平均距离越短越好。a计算一个簇内每一个样本到不同簇内所有样本的距离，不同簇的那些样本距离求平均，分别和不同簇中所有样本求距离平均，最小的那个，就是不相似性。b轮廓系数：越接近1，说明聚类合理越接

聚类聚类是一种无监督的机器学习任务，它可以自动将数据划分成类cluster。因此聚类分组不需要提前被告知所划分的组是什么样子的。因为我们甚至不知道我们在寻找什么，所以聚类只是用于发现，而不是预测。本质上是将N个样本，映射到K个簇中每个簇至少有1个样本一个样本只隶属于一个簇先给定一个初始划分，迭代改变隶属关系。K-means流程给定初始中心点每一点和初始中心点计算欧氏距离根据距离划分区间如图划分好区域后，分别计算这三个区域的平均点，这三个均值点作为新的初始点。

相似度欧氏距离：就是两点连线的几何距离。闵可夫斯基距离公式：欧氏距离就是p=2的时候p=1就是曼哈顿距离p=∞就是切比雪夫距离Jaccard相似系数：用于比较有限样本集之间的相似性于差异性。系数越大，相似度越高。余弦相似度：范围在[-1,1]之间，趋近于1越相近，趋近于-1越相反。皮尔逊相关系数：两变量之间协方差和标准差的商...

混淆矩阵准确率P=TP

决策树是非线性有监督分类模型决策树的生成取决于数据决策树的生成：数据不断分裂和递归的过程，每一次分裂，尽可能让类别一样的数据在树的一边，当树的叶子结点的数据是一类的时候，则停止分类。决策树必须处理离散数据。要把连续数据处理为离散数据。决策树的分割条件，通过不断的尝试去提升分割后的纯度。判断纯度的指标基尼系数（分类）熵（分类）方差（回归）决策树缺点：运算量大，加载全部数据，并寻找分割条件，计算量超级大。样本出现异常数据时候，将会对决策树产生很大的影响，抗干扰能力差。

模型评估标准与指标K折交叉验证交叉验证 交叉验证( Cross Validation )是一种比较好的衡量机器学习模型的统计分析方法，可以有效避免划分训练集和测试集时的随机性对评价结果造成的影响 ，我们可以把原始数据集平均分为 K 组不重复的子集, 每次选 K − 1 组子集作（K 一般大于 3）为训练集, 剩下的一组子集作为验证集，这样可以进行 K 次试验并得到 K 个模型,将这 K 个模型在各自验证集上的错误率的平均作为分类器的评价 。举个例子：假设有10000个数据样本选择2500个当做测

#mermaid-svg-vH2myx580D29gmMk .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-vH2myx580D29gmMk .label text{fill:#333}#mermaid-svg-vH2myx580D29gmMk .node rect,#mermaid-svg-vH2myx580D

逻辑回归（对数几率回归）表面理解逻辑回归就是基于多元线性回归的缩放。就是在计算多元线性回归之后，把输出经过下式为啥这么做呢？为了解决连续的线性函数不适合进行分类的问题, 我们引入非线性函数 sigmoid，也称之为激活函数。其实就是把线性函数的值域从实数区间 “挤压” 到了 (0, 1) 之间, 可以用来表示概率把上式变换一下，就成了对数几率的形式。目的就是用来做二分类任务的，经过sigmoid函数之后，被压缩到0~1之间，小于0.5的一类，大于0.5的一类。损失函数Q：做回

用线性算法去拟合非线性的y多项式回归：叫回归但并不是去做拟合的算法PolynomialFeatures是来做预处理的，来转换我们的数据，把数据进行升维！注意注意！！这里是改变数据，把数据整理为类似线性，所以模型依旧是线性回归Q：升维有什么用？A：升维就是增加更多的影响Y结果的因素，这样考虑的更全面，最终是要增加准确率！还有时候，就像PolynomialFeatures去做升维，是为了让线性模型去拟合非线性的数据！Q：PolynomialFeatures是怎么升维的？A：可以传入d

Ridge-Regression就是给损失函数加了个惩罚项(L2正则)复杂度参数 α≥0 控制收缩量：α值越大 ，收缩量越大，系数对共线性的鲁棒性越强。大家看上面这个损失函数嘛，左侧是最小二乘法，右侧是惩罚项，为啥要加惩罚项呢？为了防止过拟合嘛最小二乘法的目标就是拟合输入惩罚项目的就是增加泛化性这两个互相敌对，最后我们的ω拟合的结果就既有泛化性又有正确性。注意：正则化是对损失函数进行操作，在训练阶段。归一化是对输入数据进行操作，在数据预处理阶段。Q：什么是过拟合？A：拟合过度，用

啥是归一化？为啥归一化？表面理解归：数据缩放一：0~1之间那就是把输入限制在0~1之间嘛为啥归一化？就像下图的右侧，θ2先到了最优解，但是θ1还没到，这会导致θ2反复震荡。Q：为什么要做归一化？A：只要是基于梯度来进行下降求解最优解，都需要归一化，目的是各个维度梯度可以同时收敛Q：不做归一化，产生的问题是什么？A：如果X1<<X2，那么W1>>W2，那么我们W1初始化之后要到达最优解的位置走的距离就远大于W1初始化之后要到达最优解的位置走的距离！因为

minibatch是咋来的呢？这个在训练神经网络的时候仿佛已经司空见惯了，我们会根据前人的工作，惯性使然的把训练集分成一个batch，然后一轮就是个epoch，but why??随机梯度下降：我们看我们之前所做的梯度下降是使用了所有的输入，我们考虑一个...

线性回归所谓线性：体现在y于x仅仅存在 1次方 函数关系所谓回归：体现在我们所学习和预测的数据会回归到某一区间，比如正态分布，回归到平均值