
评价指标
文章平均质量分 72
机器学习评价指标
dzzxjl
大数据 & 推荐算法 工程师
展开
-
搜广推问题下的排序评价指标
Learning to rank广告排序和推荐排序优化的目标都是点击率,技术栈包括LR/FTRL、FM/FFM、GBDT、DNN等模型。排序问题的演进策略排序相关性;质量度,质量更好的结果排在前面如时效性;时效性,视频从上传开始,其相关性随着时间不断衰减;点击行为。学习排序基于用户在历史的排序结果的点击行为收集起来构造 label,根据用户在搜索时候给出的 query 以及展现给用户的 video 以及上下文信息构造特征向量,与 label 进行 join,得到 ground t原创 2021-11-21 23:33:10 · 1727 阅读 · 0 评论 -
样本不平衡问题
不平衡问题的产生机器学习中常常会遇到数据的类别不平衡(class imbalance),也叫数据偏斜(class skew)。以常见的二分类问题为例,我们希望预测病人是否得了某种罕见疾病。但在历史数据中,阳性的比例可能很低(如百分之0.1)。在这种情况下,学习出好的分类器是很难的,而且在这种情况下得到结论往往也是很具迷惑性的。以上面提到的场景来说,如果我们的分类器总是预测一个人未患病,即预测为反例,那么我们依然有高达99.9%的预测准确率。然而这种结果是没有意义的,这提出了今天的第一个问题,如何有效原创 2021-11-18 22:17:28 · 1486 阅读 · 0 评论 -
回归 Evaluation Metrics
MAEMean Absolute Error 平均绝对误差又被称为 l1 范数损失(l1-norm loss)是基础的评估方法,后面的方法一般以此为参考对比优劣中位数绝对误差 MedAEMedAE对于噪声点是鲁棒的MAPE平均绝对百分误差so MAPE >100% means that the errors are “much greater” than the actual values (e.g. actual is 1, you predict 3, so M..原创 2021-11-17 22:24:14 · 455 阅读 · 0 评论 -
分类问题评价指标
二分类问题多标签标注工作 https://blog.youkuaiyun.com/mr_muli/article/details/91897566accuracy不需要具体筛选出来某一类的分类问题,比如我想区分红色和绿色,我没有特别的偏好,就是希望红色和绿色都能分对,那就可以。而不是我就想选出全部的绿色、我只关心选出来的绿色准不准。类别是均衡的,不会红色10个点,绿色10000个点。那么多少算均衡呢?其实这个没有绝对的指标,我个人认为可以按照这个标准判断:如果把所有样本都划为多的那一类,不超过80%(或者.原创 2021-11-17 22:18:39 · 438 阅读 · 0 评论