ustbbsy的博客

实现auc，pytho实现auc，javapackage com.xueqiu.infra.xdc.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.hive.ql.metadata.HiveException;import java.util.Arrays;/** * * @author *//** * 计算单特征auc */public class RocAu

FM的原理https://zhuanlan.zhihu.com/p/37963267原理FM的表达式，包含常数项，一阶项，二阶项正常情况下，只有当不为0的情况下，才能被训练到同样的，只有当都不为0的情况下，才能被训练到，再加上数据稀疏，不为0的情况非常少，所以就很难被训练到。解决办法是矩阵计算出来的值，不再是单纯一个值。是有下面矩阵计算出来的这也是矩阵分解的结果。最后经过一系列的化简然后求偏导为什么适用于稀疏在优化的时候有，同样的当为0的...

1 roc曲线计算auc我们都知道auc是roc曲线下的面积，但这种计算不方便2 公式计算auc有另外一种计算方法：任意给一个正类样本和一个负类样本，正类样本的score大于负类样本的score的概率公式如下M 是正样本的个数，N是副样本的个数值得是第i个样本的序号。对所有的预测样本的score进行从小到大的排序，然后从1进行标号。原始样本 模型打分 0.8 0.5 0.6 0.3 0.4.

1、adam优化器公式包括动量项和过去梯度平方的指数衰减平均2、偏差校正后的,3、Adam的参数更新公式重点来了第二部偏差矫正的公式是怎么等到的？？？论文中的推导但是不知道是怎么变化来的，下面是我的理解第一次迭代初始化为0，则对上式左右求期望这里对vt展开了，直接套用期望的性质，那个没有搞懂。。。这样就推出来那个公式了...

1 介绍xgboost1.1xgboost是boosting算法的一种，是多个表现一般的学习器结合成的强分类器。在目标函数上，增加了结构风险，也就是正则化项，L1和L2正则，L1是树叶子节点个数，L2是叶子节点打分的平方在目标函数的优化上，采用二阶泰勒展开，使用了二阶导数，然后令偏导等于0，于是就可以计算出每一个叶子节点的预测分数以及最小损失1.2 损失函数：二分类逻辑...

1 概述这采用boosting的思想，把表现一般的学习器通过一定的方法结合成效果相对比较好的学习器gbdt是提升树的一种，是多棵树的加权结果。采用的是分类回归树(CART)，树的划分采用基尼系数。采用前向分布算法2 提升树算法3 gbdt来源https://zhuanlan.zhihu.com/p/316392994 相关问题1 gbdt为什...

对于auc的计算参考https://blog.youkuaiyun.com/qq_22238533/article/details/78666436https://www.zhihu.com/question/39840928?from=profile_question_cardM是正样本的个数，N是负样本的个数如何理解分子，下面是我个人的理解。、总体原则：负样本数 = 样本总数 - ...

转载https://www.cnblogs.com/shixiangwan/p/7532830.html蓝鲸王子常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，...

知乎用户@顾凌峰使用的hinge损失函数来表示对于样本的分类偏差，引入松弛变量把优化问题写为：这里的就是对于第个样本点的分类损失，如果分类正确则是0，如果分类有所偏差则对应一个线性的值，是总误差，我们优化的目标当然是这个值越小越好，越小代表对训练集的分类越精准。目标函数中的另一项（常数1/2是为了方便求导加上去的）的最小化的优化方向则是使间隔大小最大。原则上C可以根据需要选择所有大...

1 KMeans1.1 算法描述随机选择k个中心 遍历所有样本，把样本划分到距离最近的一个中心 划分之后就有K个簇，计算每个簇的平均值作为新的质心 重复步骤2，直到达到停止条件停止条件：聚类中心不再发生变化；所有的距离最小；迭代次数达到设定值，代价函数：误差平方和（SSE）1.2 算法优缺点优点：算法容易理解，聚类效果不错 具有出色的速度 当簇近似高斯分...

    本文转载：http://www.cnblogs.com/datahunter/p/3808252.html?utm_source=tuicool&utm_medium=referral    看机器学习的论文时，经常会看到有作者提到“curse of dimensionality”，中文译为“维数灾难”，这到底是一个什么样的“灾难”？本文将通过一个例子来介绍这令人讨厌的“curse...

怎么讲述逻辑回归？（面试官：请你简单介绍一下逻辑回归）从以下几个方面入手 逻辑回归是什么 逻辑回归的损失函数，有什么优势 逻辑回归怎么迭代的 逻辑回归有什么优缺点 逻辑回归是什么逻辑回归一种线性回归模型，它假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降法来求解参数，进而大道二分类的目的。伯努利分布(Bernoulli distr...

1、感知器模型2、更新权重主要更新w,bt为label,y是预测，t-y=偏差，下文程序中的bias,η为学习率，步长，下文程序中的rate.3,python3代码实现import numpy as np#定义激活函数def acti_fun(x): return 1 if x > 0 else 0#创建感知器类cla

首先要清楚： 1，线性可分，即能找到超平面，对于硬间隔支持向量机 2，部分点不可分，总体近似可分，近似线性可分，对应软间隔支持向量机 3，线性不可分，需要用到核函数软间隔支持向量机要加个松弛变量ξ。 我们都知道，硬间隔满足，yi * ( wi * x + b )≥1，这是函数间隔，是几何间隔的||w|| 倍。 由于一些点出现在两条线的间隔内部，函数间隔的约束条...

lda在确定了w矩阵后，投影线也就确定了。如果不是用来降维，而是实现二分类，思路如下： 训练数据： 1>把所有数据都投影到y=wx上 2>计算两个样本投影后的中心点，u0, u1 3>确定中心点的中间值，u’ = (u0+u1)/2 测试数据： 同样计算投影后数据的中心，假设为a,b 如果 a>u’,分为一类，否则，分为另外一类 b也同样。 大致思路是这样。