推荐系统笔记

ctr 平滑_根据样本数进行点击率CTR的修正 - Wilson CTR 在广告和推荐系统当中,一个重要的衡量指标就是点击率,也即是CTR(Click Through Rate)。计算公式: CTR = 点击数 / 曝光数也有一种衡量指标是 uvCTR。 uvCTR = 点击uv数 / 曝光uv数。考虑 CTR = 点击数 / 曝光数 这个公式的指标,只考虑了比例的关系,但没考虑样本数大小。因为样本数少的情况下,这个比例其实是不准确的;而样本数越大,这个比例越准... 阅读详情
AI摘要

本文介绍了推荐系统中的关键指标,如PV、UV、CTR等,以及它们在评估系统性能中的作用。此外,详细阐述了FM(因子分解机)模型,强调它是矩阵分解的扩展,能有效处理稀疏数据的特征组合问题。FM模型的目标函数、计算复杂度和学习方法被解析。同时,讨论了Logistic Loss函数、Logistic回归与极大似然估计的关系。推荐算法分为基于模型和基于Memory两类,分别适用于不同场景。最后,提到了CTR预估模型,如LR和FM,以及构建特征向量和特征选择的重要性。

推荐系统中各种指标含义

  • PV:
    • 即Page View,表示访问量,具体指网站或页面或电商中某一物品的浏览量。
  • UV:
    • 即Unique Visitor,表示独立访客。根据IP地址来区分访客数,即使在一段时间内重复访问,也只算是一个UV。
  • UV价值:
    • UV价值 = 销售额 / 访客数。表示每位访客带来多少销售额。
    • 例如今天该宝贝的销售额为10000元,该宝贝有50个访客。就意味着平均每个访客能带来200块钱。uv价值就是200。
    • UV价值 = 销售额 / 访客数
      销售额 = 访客数 * 转化率 * 客单价
      因此: UV价值 = 转化率 * 客单价
  • CTR:
    • 即Click-Through-Rate,点击率。
    • 计算公式:CTR = 实际点击次数 / 展示量。
    • 可以理解为一个物品被展示出来的次数作为总次数,把用户点击并进入该物品的次数占总次数的比例叫点击率。
  • PVCTR:
    • 即pv点击率
    • PVCTR = (某物品) 点击量 / pv 页面访问量
  • UVCTR:
    • 即uv点击率
    • UVCTR = (某物品) 点击量 / uv 独立访客访问量
    • uv点击率相对pv点击率的优势在于,它不受用户重复浏览某个产品的影响。
  • GMV:
    • 即Gross Merchandise Volume,成交总额。
  • 曝光点击率:
    • 即点击量/曝光次数。
    • 曝光点击率适合支持上拉/下拉翻页的产品,比如Feed流。相比pv点击率,曝光点击率的分母随用户刷屏次数增加而变大,能更真实的记录每一屏的转化情况。
  • UV转化率:
    • 点击uv / 进入uv
  • 环比:
    • 表示本次统计段与相连的上次统计段之间的比较。
    • 例如2020年4月份与2020年3月份相比较,叫环比。11月比10月,12月比11月,1月比上年12月,就像一个环一样
  • 同比:
    • 指今年第n月与去年第n月比。
    • 同比发展速度主要是为了消除季节变动的影响,用以说明本期发展水平与去年同期发展水平对比而达到的相对发展速度。
    • 如,本期2月比去年2月,本期6月比去年6月等。
  • SPU、SKU、销售属性、CSPU:
    • SPU:Standard Product Unit (标准产品单位),即“款”,如:苹果6;
    • SKU:Stock Keeping Uint (库存量单位),为保存库存控制的最小可用单位,即“款 + 规格、颜色等”,如:苹果6-土豪金-16G-4999元-1000件;
    • 销售属性:组成SKU的特殊属性,它会影响买家的购买和卖家的库存管理,如服装的"颜色"、“套餐"和"尺码”。
    • CSPU:CSPU = SPU + 销售属性
    • SKU = CSPU + 价格 + 库存

FM-Factorization Machine(因子分解机)

  • FM (因子分解机) 与MF (矩阵分解) 的区别:
    • 首先可以简单的理解为:FM (因子分解机) 是MF (矩阵分解) 的全能版本,MF(矩阵分解) 是FM (因子分解机) 的一种简单存在形式。
    • MF (矩阵分解) 的方法是在操作和分解用户-物品矩阵,而FM (因子分解机) 方法则将用户和物品都进行了one-hot编码作为了预测评分的特征,并且解决了稀疏数据下的特征组合问题。
  • FM (因子分解机) 简介:
    • 因子分解机(Factorization Machine, FM)是由Steffen Rendle提出的一种基于矩阵分解思想的机器学习算法,FM的提出是为了解决大规模稀疏数据中的特征组合问题。
    • 假设我们从电影评论系统中获取了这么一组交互数据(见下图),其中包含用户集合,物品(这里为电影)集合。根据以上数据构造了如图所示的实值特征向量,蓝色框框内代表用户的one-hot编码,橙色框框内代表电影的one-hot编码,黄色框框内代表用户评论过的其他物品,并做了归一化,绿色框框内表示评论的时间,紫色框框内表示最近评论过的物品;最后一列为标签向量Target y,表示用户对该物品的一个评分(若将FM用于ctr预估,则y值表示是否点击,可用于线上系统的精排)。

FM (因子分解机)输入特征向量和标签

图1 FM (因子分解机) 输入特征向量和标签
  • FM (因子分解机) 模型目标函数:

    • FM在特征线性组合的前提下增加了特征交叉项(二元交叉),公式如下:
      FM (因子分解机) 模型目标函数
      在这里插入图片描述
    • 该公式中的前面两项就是我们熟知的线性模型,后面一个就是我们需要学习的交叉组合特征,这正是FM与线性模型不同的地方。
    • 前面两项中的w是输入特征的参数,最后一项中的<vi,vj>是输入特征i,j间的交叉参数,v是k维向量。
    • 那么为什么要通过向量v的学习方式而不是简单的wij参数呢?这是因为在稀疏条件下,这样向量的表示方法打破了特征的独立性,能够更好地挖掘特征之间的相关性。
    • 以上述电影为例,我们要估计用户A和电影ST的关系w(A&ST),以便更好地预测y。如果是简单地考虑特征之间的共现情况来估计w(A&ST),从已有的训练样本来看,这两者并没有共现,因此学习出来的w(A&ST)=0。而实际上,A和ST应该是存在某种联系的,从用户角度来看,A和B都看过SW,而B还看过ST,说明A也可能喜欢ST,说明A很有可能也喜欢ST。而通过向量v来表示用户和电影,任意两两之间的交互都会影响v的更新,从前面举的例子就可以看过,A和B看过SW,这样的交互关系就会导致v(ST)的学习更新,因此通过向量v的学习方式能够更好的挖掘特征间的相互关系,尤其在稀疏条件下。
  • FM (因子分解机) 模型的计算复杂度:

    • 可能有人会问,这样两两交叉的复杂度应该O(k*n2)吧,其实,通过数学公式的巧妙转化一下,就可以变成O(kn)了。转化公式如下所示,其实就是利用了2xy = (x+y)2 – x2 – y2的思路。
      转化公式
  • FM (因子分解机) 模型的学习方法:

    • 前面提到FM目标函数可以在线性时间内完成,那么对于大多数的损失函数而言,FM里面的参数w和v更新通过随机梯度下降SGD的方法同样可以在线性时间内完成,比如logit loss,hinge loss,square loss,模型参数的梯度计算如下:
      FM模型的学习方法
  • FM (因子分解机) 模型延伸-多元交叉:

    • 前面提到到都是二元交叉,其实可以延伸到多元交叉,目标函数如下:(看起来复杂度好像很高,其实也是可以在线性时间内完成的)
      多元交叉
  • FM (因子分解机) vs MF (矩阵分解):

    • 「输入数据的形式不同」 一般来说,FM的输入数据是一个实值特征向量(如图1的每一行),相当于是对多个one-hot特征的拼接;MF的输入数据是一个二元组,为用户ID,为物品ID。往往对于FM和MF理解的难点在于此,一个数据形式为one-hot,一个数据形式为标号ID。只不过MF中的数据只有user和item,因此可以通过标号ID直接查询对应的隐向量,而FM则需要通过one-hot的形式与隐向量矩阵做乘得到对应的隐向量。
    • 「融合附加信息的方式不同」 他们输入数据的形式决定了他们融合附加信息的形式不同。直观来讲,FM融合附加信息的方式更直接。比如FM融合边信息直接在列的维度拼接特征即可,比如增加性别、年龄等信息;而MF融合边信息不能直接在输入数据上拼接,而是需要通过增加正则项约束,或者在预测函数上做文章。

参考博客: https://blog.youkuaiyun.com/qq_23269761/article/details/81355383.
https://cloud.tencent.com/developer/article/1648749

Logistic Loss函数、Logistics回归与极大似然估计

参考博客:
https://www.zybuluo.com/frank-shaw/note/143260
其中重点如下:
Logistics回归
Logistic Loss函数
极大似然估计

推荐(召回?)算法的分类

基于模型的推荐算法,是与基于Memory的推荐算法相对的,基于Memory的推荐算法,主要是将所有的用户数据,读入内存,进行运算;当数据量特别大时,显然这种方法是不靠谱的,因此出现了基于模型的推荐算法,依托于一些机器学习的模型,通过离线进行训练,在线进行推荐。

电商网站:ItemCF
新闻、社交网站:UserCF

ItemBased CF

参考博客:https://www.cnblogs.com/by-dream/p/9016289.html

推荐系统中点击率CTR预估模型:LR逻辑回归、FM因子分解机

  • 数据:
    • 正样本:用户点击过的物品
    • 负样本:用户未点击过物品,或者更科学的构造负样本方法
  • 特征向量的构建
    • 特征向量大致可分为三部分:用户基本画像(如性别、省份、喜欢的颜色等),物品画像(如类别、品牌、颜色等),连接属性(如该物品颜色是否属于用户喜欢的颜色列表中、该物品是否被用户分享过等)。
    • 这些特征中有one-hot类型,也有实数类型。大致形状如图1所示。
  • LR逻辑回归模型中的特征选择
    • 逻辑回归以线性回归为支持,会求得每个特征的权重w(w1, w2, w3, … …, wn,),然后线性加权wTx+b,最后外面加一层sigmoid函数引入非线性因素。
    • 对于求得的特征权重,我们可以根据其大小的排序,确定特征的重要程度,并以此为根据进行特征筛选。
    • 如上所述,有些特征为one-hot类型,如表示性别会变为三列:(男,女,未知),男则为(1, 0, 0),女则为(0, 1, 0),因此性别这个特征最终权重为这三列权重的平均值。
    • 值得注意的是one-hot类型的特征和实值型特征的权重应该分开来比较。
    • 实值型特征中较为重要的是:长期交易商品偏好、点击浏览、交易偏好商品字典、偏好颜色、偏好商品。
    • one-hot型特征中较为重要的是:交易点击主题列表、点击主题、点击购买列表、偏好商品、社区和交易共同点击商品。
【阅读笔记】项亮前辈的《推荐系统实战》 推荐系统是个有意思的方向。项亮前辈的《推荐系统实战》来当作入门的第一本书还是很合适的,这段时间在断断续续的抽空阅读了一遍。本书写的浅显易懂,很好的勾勒出了推荐引擎十年前的主流算法,以及工业推荐系统是如何打磨的。从这个角度讲,项亮前辈很好地完成了”让学生了解如何将自己了解的算法实现到一个工业系统中去“这一写作目标。 看书的过程中简单记录了一些内容,夹杂着自己突然产生的一些想法。用以过段时间后的来重新... 阅读详情

相关推荐

1.13《推荐系统实践》笔记(下)

两天一口气看完《推荐系统实践》,非常的爽,收获非常的大。作者不仅是技术性介绍,更是结合自己的商业理解。加上作者长时间的竞赛工作第一手经验,本书价值非常大!!!

joshuajinxiaoshuai的博客 753

PV、UV、CTR含义

CTR (Click Through Rate): 点击率 PV(Page View)访问量, 即页面浏览量或点击量,在一定统计周期内用户每打开或刷新一个页面就记录1次 UV(Unique Visitor)独立访客,统计1天内访问某站点的用户数(以cookie为依据),如果清除了cookies或者更换设备访问,计数会加1。...

二月依依的博客 2万+

1.13《推荐系统实践》笔记(上)

两天一口气看完《推荐系统实践》,非常的爽,收获非常的大。作者不仅是技术性介绍,更是结合自己的商业理解。加上作者长时间的竞赛工作第一手经验,本书价值非常大!!!

joshuajinxiaoshuai的博客 6893

推荐系统综述

目录: 简述 分阶段讨论 1 离线数据准备 11 协同数据 12 特征数据 2 在线召回 21 u2i 查询 22 i2i 召回 23 打分 3 排序 31 基于规则 32 基于模型 33 多目标 4 过滤与打散 41 过滤最近已看 42 类目打散 5 bandit 探索 推荐效果评价 1 投放前评价 2 投放后效果评价 冷启动 1新用户 2新商品 实时特征 神经...

yichudu 8413

单目和多目视觉统一标定

单目和多目视觉统一标定 一.单目视觉标定 在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中,相机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此,做好相机标定是做好后续工作的前提,提高标定精度是科研工作的重点所在

吴建明wujianming_110117 2913

PhotoShop人像精修必备:Portraiture插件安装与破解全攻略(附最新下载)

本文深度解析了Portraiture插件在PhotoShop人像精修中的核心价值与应用。它不仅是智能磨皮工具,更集成了自适应平滑、肤色蒙版与细节增强等功能,能精准处理皮肤瑕疵并保留质感。文章重点分享了其合法安装方法、无缝融入ACR到PS的专业工作流,以及针对不同肤质的高级调整技巧,旨在帮助用户构建高效、无损的人像精修流程。

terraform7cloud的博客 384

PV、UV、IP之间的区别与联系

PV是网站分析的一个术语,用以衡量网站用户访问的网页的数量。对于广告主,PV值可预期它可以带来多少广告收入。一般来说,PV与来访者的数量成正比,但是PV并不直接决定页面的真实来访者数量,如同一个来访者通过不断的刷新页面,也可以制造出非常高的PV。    1、什么是PV值  PV(page view)即页面浏览量或点击量,是衡量一个网站或网页用户访问量。具体的说,PV值就是所有访问者在24小时(0点

武汉产品经理 1550

Linux下开机异常(fsck exited with status code 4)

Linux下开机异常事情是这样的,本来我呢跑着程序听着歌,结果忽然就死机了,我只能强制关机,再次打开系统的时候,就提示这样fsck from util-linux 2.26.2 /dev/sda10 contains a file system with errors, check forced. /dev/sda10: Inodes that were part of a corrupted pr

芳草碧连天 2万+

什么是CPA、CPC、CPM、CVR、CTR、PV、UV、GMV定义以及相关计算公式

PV:页面访问量,即PageView,用户每次对网站的访问均被记录,用户对同一页面的多次访问,访问量累计。 UV:独立访问用户数:即UniqueVisitor,访问网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次。 1、pv的全称是page view,译为页面浏览量或点击量,通常是衡量一个网站甚至一条网络新闻的指标。用户每次对网站中的一个页面的请求或访问均被记录...

hrbsfdxzhq01的博客 2万+

Vitis Model Composer闪退?手把手教你用命令行启动Vivado 2021后的System Generator

本文详细解析了Vitis Model Composer闪退问题的根本原因,并提供了命令行启动Vivado 2021后System Generator的完整解决方案。从环境变量配置、组件缺失排查到权限问题处理,手把手教你通过命令行深度排错,并分享高级自动化脚本和系统优化技巧,帮助开发者高效使用Vitis Model Composer与System Generator进行HDL开发。

weixin_26905487的博客 350

保姆级教程:用Docker一键部署vLLM大模型推理服务(附常见报错解决方案)

本文提供了一份详细的Docker化vLLM大模型推理服务部署指南,涵盖从环境准备到性能调优的全流程。通过容器化技术解决大语言模型部署中的显存利用率、吞吐量等核心问题,并附常见报错解决方案,帮助开发者快速构建高效、可扩展的AI推理服务。

weixin_29248313的博客 494

一文入门推荐系统——推荐系统实践读书笔记

1. 推荐系统 1.1. 什么是推荐系统 1.2. 推荐系统评测 1.2.1. 实验方法 1.2.2. 评判指标 1.2.3. 评判维度 2. 数据来源 2.1. 用户行为数据 2.2. 用户标签数据 2.3. 上下文信息 2.3.1. 时间上下文信息 2.3.2. 地点上下文信息 2.4. 社交网络数据 3. 通用推荐模型 3.1. 协同过滤推荐 3.1.1. 基于邻域的模型 3.1.2. 隐语义模型 3.1.3. 基于图的模型 3.2. 基于内容的推荐 3.3. 基于关联规则的推荐 3.4. 基于知识的

白水的博客 3万+

dToF直方图之美

上面视频里如果你能看懂,那么就能理解对于dToF单点的测距问题,对于大部分的描述在AMS和ST里的手册都非常的详细,有疑问的可以后台来找我探讨,今天我们单纯从上层讨论成像的问题。作为dToF算法工程师,应该是对直方图敏感的,直方图的每个Count峰都会表征出问题,因为dToF的输出只有直方图,观察直方图能够逆推出dToF的很多东西,这也是大多数公司不愿意开放直方图和Raw data的缘故。以上是一个小面阵的分辨率,第一张是直方图,后面是基于直方图寻峰出来的成像ToF图,Peak图,以及噪声Noise图。

dream it possible 2997

推荐系统入门——项亮老师的《推荐系统实践》笔记分享 CH1

嗨,我是射手座的程序媛,期待和大家更多的交流与学习,欢迎添加3512724768。《推荐系统实践》我的入门书,将自己的一些笔记分享一下,和大家共同学习与交流。第1章 好的推荐系统。

一枚射手座的程序媛 683

42、多媒体与虚拟现实在艺术和影视领域的创新应用

本文探讨了多媒体与虚拟现实在艺术和影视领域的创新应用,涵盖三个典型案例:影视与人类学融合项目通过协作模式模糊作者与观众界限,推动文化文献的发展;交互式数字短片《分手》利用基于对象的广播技术探索个性化影视体验;威尼斯双年展瑞士馆4D项目则通过虚拟现实技术实现文化遗产的数字化展示。这些案例展示了技术在叙事、用户体验及文化保护中的深度应用,并展望了未来技术融合、个性化深化与文化遗产传承的发展趋势。

kappa的博客 115

Qt Quick (QML) 老年人健康管理

通过 **Qt SQL** 模块将所有健康数据(用药记录、体检数据等)安全地存储在本地 **SQLite** 数据库中。你想用 **Qt C++** 结合 **Qt Quick** (QML) 来开发一个老年人健康管理软件,主要功能包含 **用药提醒** 和 **健康记录** (使用 `Qt SQL` 存储数据)。* **UI 框架**: Qt Quick (QML) - 用于构建流畅、动态的用户界面。**数据模型类 (models/MedicationReminder.h / .cpp)**

寒寒豆豆软件公司的博客 195

读书笔记 |《推荐系统实践》- 个性化推荐系统总结

原文地址https://www.jianshu.com/p/319e4933c5ba

Matrix-yang的博客 369

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

推荐系统学习笔记目录

根据b站视频推荐系统算法基础+综合项目实战(大牛老师主讲)整理的学习笔记 推荐系统学习笔记目录 推荐系统介绍 推荐算法 Hadoop Hive & HBase Spark core Spark SQL & Spark streaming 推荐系统案例 ...

打瞌睡_的博客 1550

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

推荐系统入门——项亮老师的《推荐系统实践》笔记分享CH5

推荐系统入门——项亮老师的《推荐系统实践》笔记分享CH5

一枚射手座的程序媛 394

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

推荐系统入门——项亮老师的《推荐系统实践》笔记分享 CH2

项亮老师的《推荐系统实践》笔记分享

一枚射手座的程序媛 261

推荐系统初等知识笔记

文章目录前言一: 推荐系统简介二: 推荐系统的架构三: 推荐算法四: 推荐系统的评估五: 推荐系统的冷启动问题六 : LFM七:基于内容的推荐算法用户的标签来自于哪儿八: TF-IDF 前言 知识内容不是我个人所有,是看课程视频整理截图所得,为个人学习所用 一: 推荐系统简介 推荐系统是不需要⽤户提供明确的需求,通过分析⽤户的历史⾏为给⽤户的兴趣进⾏建模,从⽽主动给⽤户推荐能够满⾜他们兴趣和需求的信息。是一个概率的问题。 而搜索引擎是在有明确需求的前提下进行内容查询 推荐系统有长尾效应,因为为了最大化利益

weixin_43845522的博客 2229

【上】王树森《小红书推荐系统公开课》- 课程笔记(推荐系统基础、召回、排序)

推荐系统基础(基本概念、链路、AB测试);召回(ItemCF、Swing、UserCF、离散特征处理、矩阵补充、双塔模型、双塔模型+自监督学习、Deep Retrieval召回、其他召回通道、曝光过滤+Bloom Filter);排序(多目标排序模型、MMoE、预估分数融合公式、视频播放时长和完播率建模、特征及处理、粗排三塔模型)

qq_43629945的博客 1万+

推荐系统入门——项亮老师的《推荐系统实践》笔记分享CH3

推荐系统入门——项亮老师的《推荐系统实践》笔记分享CH3

一枚射手座的程序媛 301

推荐系统实战 Task01——小白笔记

推荐系统实战 Task01——小白笔记 文章目录推荐系统实战 Task01——小白笔记题目要求Baseline导入库collections.defaultdict模块节约内存的一个标配函数数据预处理numpy.random.choice计算物品相似度总结 题目要求 根据用户点击的历史文章数据,为用户推荐最大概率会点击的五篇文章文章。 Baseline中的关键就是文章与文章的相似性矩阵的计算。 以下是我在跑通和理解Baseline时接触到的一些新知识。以及理解。 Baseline 导入库 import

weixin_43437466的博客 384

推荐系统入门——项亮老师的《推荐系统实践》笔记分享CH4

推荐系统入门——项亮老师的《推荐系统实践》笔记分享CH4

一枚射手座的程序媛 271

《推荐系统实践》 阅读笔记

最近读完了项亮的这本推荐系统实践,把笔记共享出来 第一章:好的推荐系统 http://app.yinxiang.com/shard/s6/sh/ad42c426-b790-4a44-9af4-76e84fed7078/a00ce7f57833aefe6f086bf03b4be083 第二章:利用用户行为数据 http://app.yinxiang.com/shard/s6/sh

菜鸟小精卫 470
上一篇: 半导体概念整理
github_37462634
博客等级 码龄10年 27粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值