一个菜鸟的Java学习历程博客

AUC（Area Under Curve） 取不同的参数值，是的TP,FN,FP,TN的分布不同的曲线图， 上述的图的参数取值位置不同，则得到TP,FN,FP,TN不同的值，然后的到TPR和FPR的点，则在图上会表示出一条线（ROC），如果AUC越大（面积越大），则表示分类器则越好；多分类的ROC曲线：可以简化为多个二分类后：第一种就将所有的得到的值取平均值，或者得到的值再去做ROC

信息熵熵：度量随机变量的确定量：如果变量完全确定则是0，如果变量完全能不确定则是1； 数学期望(mean)：是试验中每次可能结果的概率乘以其结果的总和，它反映随机变量平均取值的大小； 条件熵：在确定的一个或多个条件下，确定另一个信息的熵； 推导过程： 相对熵： 互相息： 总结： 相关熵（KL散度）：可以度量两个随机变量之间对的距离；决策树学习算法利用熵来做决策树：就是

线性回归如果我们有数据集D{（xi，yi）}，假如这些数据是连续的，那么我们将这些数据叫做回归，如果这些数据是离散的，那么我们叫这些数据是分类；在回归中我们最常见的就是线性回归。 案例：房屋价格与面积（x1）和卧室数量（x2）的关系模型表达式 ： 这里的是估计参数，这里的x变量，后面我们会根据给定的样本来估计那些的值，最后来使模型做更好的预测。 向量的表示就是下面的那个（x0是恒等于1），这

提升：可用于回归和分类，他的每一步产生一个弱分类模型，并加权累加到总模型中；如果 每一步的弱预测模型生成都是依据损失函数的梯度方向，则称梯度提升； 提升首先给定一个目标损失函数；选择一个负梯度方向逐步接近局部极小值； （中位数是绝对最小最优解） 提升算法： 梯度提升的典型基函数就是决策树

svm详解

Andrew Ng笔记