【选择偏差】IPS方法——Recommendations as Treatments: Debiasing Learning

原创 已于 2023-10-31 15:40:54 修改 · 1.7k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #推荐算法

于 2022-11-14 10:35:25 首次发布

#论文题目：【选择偏差】IPS——Recommendations as Treatments: Debiasing Learning and Evaluation（作为治疗的建议:消除学习和评估的偏见）
#论文地址：https://www.cs.cornell.edu/people/tj/publications/schnabel_etal_16b.pdf
#论文源码开源地址：https://www.cs.cornell.edu/~schnabts/mnar/
#论文所属会议：ICML 2016
#论文所属单位：美国纽约州伊萨卡康奈尔大学

在这里插入图片描述

一、导读

本文可以说是推荐系统中存在的偏差问题的解决办法的“鼻祖”。提出了逆倾向分数(Inverse Propensity Score, IPS)，旨在消除推荐系统中的选择偏差问题。
注意：IPS方法是一个损失函数，用于后期对模型进行修正的方法。

二、方法

2.1 前者的工作不合理

首先，作者提出了理想的评测方法，即在所有的用户-物品对都可以观察到时的标准评测指标：
在这里插入图片描述
但是由于真实的YYY是未知的，传统做法中利用观察到的YYY的平均值来估计R(Y))R(Y))R(

最低0.47元/天 解锁文章
在线学习的深度强化学习——Online Reinforcement Learning for Learning
AI天才研究院
09-01 3728
在人工智能和机器学习领域，深度强化学习（Deep Reinforcement Learning，DRL）已经成为一个备受关注的研究方向。传统的强化学习方法在处理高维状态空间和复杂决策问题时往往力不从心，而深度强化学习通过结合深度学习的强大表示能力，极大地扩展了强化学习的应用范围。然而，在实际应用中，我们常常面临着动态变化的环境和持续输入的数据流，这就要求学习算法能够实时地适应新的情况，不断调整和优化决策策略。在线学习（Online Learning）作为机器学习的一个重要分支，专门解决在。
推荐系统公平性论文阅读(六)
猎户座的博客
10-08 938
做为最后一篇论文阅读记录，我决定对我目前为止粗读和精读的论文进行一次总结，然后陈述一些个人对该研究领域的见解和想法。 论文总结归纳 推荐系统中的偏差和不公平现象是随着推荐算法的诞生就与生俱来的，而不是人为故意产生的。目前我读过的论文中包括的一些典型的偏差和其主要的解决方案如下： (1) 人口平等(Demographic parity) 描述 用户不应因为自身的性别、年龄、种族等特征而接收到不同...
【论文笔记】CIKM‘22 ＆ Amazon | (Navip) 推荐系统中图神经网络的去偏邻域聚合
Running Snail
10-12 1281
本文是亚马逊在CIKM2022的一篇工作。图形神经网络(GNN)对于曝光偏差的脆弱性导致模型偏差，产生次优推荐效果。只在损失函数中应用IPS，但对GNN的邻域聚合关注较少，GNN 在相邻聚合过程中也可能产生偏差。首先导出图中每个用户-项目交互的倾向得分。然后利用拉普拉斯归一化的倾向得分反演方法去除暴露偏差对邻域聚集的影响（对不流行的邻居赋予更大的权重，以平衡有偏局部结构）。通过在两个公共数据集和 Amazon Alexa 数据集上进行的实验，验证了该方法的有效性，其性能提高了14.2%
【论文笔记】ICML2016 ＆ Cornell | (IPS-MF) Recommendations as treatments: Debiasing learning and evaluation
Running Snail
10-11 1875
本文是较为经典的一篇提出利用逆倾向分数(Inverse Propensity Score, IPS)处理选择偏差的文章。倾向分数可以看作是每个数据被观察到的概率。 从因果推断的角度看待推荐问题，认为在推荐系统中给用户曝光某个商品类似于在医学中给病人施加某种治疗方式。 本文提出的方法可以在数据有偏的情况下实现无偏的性能估计，并提供了一个矩阵分解方法。
Debiased Recommendation: 推荐系统去偏研究进展概述
abcdefg90876的博客
06-18 1264
本文主要介绍的是推荐系统去偏的相关研究。文章也同步发布在AIBox知乎专栏（知乎搜索 AI Box专栏），欢迎大家在知乎专栏的文章下方评论留言，交流探讨！一、引言推荐系统作为解决信...
推荐系统去偏（Debiased Recommendation）研究进展概述
Paper weekly
06-26 3717
©作者|张景森学校|中国人民大学信息学院硕士文章来源|RUC AI Box引言推荐系统作为解决信息过载的一种重要手段，已经在不同的应用场景下取得了不错的效果。近些年来关于推荐系...
论文笔记：推荐系统去偏(Debiased Recommendation)研究综述
爱学习爱运动的专栏
10-14 1385
推荐系统无偏研究综述
因果推断-解决推荐系统公平性的新思路
猎户座的博客
10-09 2323
论文引入 近年来推荐系统公平性成为新的热点，在所有解决公平性问题的方法中，因果推断显得格外靓眼。我们以论文《Recommendations as treatments: Debiasing learning and evaluation》[1]做为引入，来看看因果推断是怎么应用在推荐系统公平性研究中的。 改论文的思想如下：从因果推断的角度看待推荐问题，我们可以认为在推荐系统中给用户曝光某个商品...
SEMA: Deeply learning semantic meanings and temporal dynamics for recommendations
02-08
SEMA: Deeply learning semantic meanings and temporal dynamics for recommendations
Automated Machine Learning for Recommendations：Fundamentals and
04-23
Automated Machine Learning for Recommendations：Fundamentals and Advances 机器学习和人工智能是当前最热门的技术领域之一，而自动机器学习（AutoML）则是其中的一个重要分支。自动机器学习致力于使用机器学习...
逆向倾向评分 (Inverse Propensity Scoring, IPS) 原理解析与MF算法的结合使用
白水的博客
04-29 5348
当历史交互数据为MCAR(Missing Completely At Random，完全随机缺失)时，评级预测损失函数可以定义为： LossNaive=1∣{(u,i):ou,i=1}∣∑(u,i):ou,i=1δu,i(Y,Y^)\mathcal{Loss}_{Naive}=\frac{1}{|\{(u,i):o_{u,i}=1\}|}\sum_{(u,i):o_{u,i}=1}\delta_{u,i}(Y,\hat{Y})LossNaive​=∣{(u,i):ou,i​=1}∣1​(u,i):ou,i​
Neutralizing Self-Selection Bias in Sampling for Sortition
大肉包的博客
11-18 461
题目：消除抽样选择中的自选择偏差 研究背景：由于人的主观意识的影响可以做出不同的决策，这些决策关系到结果的公平性，从而会导致结果因为个人的选择产生一定的偏差。例如，一个组织邀请一部分公民参加专家小组，一般情况下，只有2 - 5%的公民在被联系时愿意参与panel。此外，那些参与的人表现出自我选择的偏见，也就是说，他们并不代表整个群体，而是倾向于具有特定特征的特定群体。这就是抽样过程中常常产生的自选择偏差，这篇论文的工作就是消除抽样过程中的这种子选择偏差。 创新点：论文提出了一个更有原则的抽样..
推荐系统中的偏差与去偏差——综述
beilizhang的博客
04-14 6607
参考链接 《Bias and Debias in Recommender System: A Survey and Future Directions》 概述 数据中存在多种多样的偏差，包括但不限于选择偏差（selection bias）、位置偏差（position bias）、曝光偏差（exposure bias）和流行度偏差（popularity bias）。盲目地拟合数据，而忽视这些数据内部的偏差会导致很多问题，比如离线评估和在线指标的差异、伤害用户的对推荐服务的满意度和信任等。要将大量的研究模型
因果推断笔记—— 相关理论：Rubin Potential、Pearl、倾向性得分、与机器学习异同（二）
热门推荐
素质云笔记
08-22 1万+
文章目录1 一些因果推断涉及概念1.1 内生性问题1.1.1 内生性解释1.1.2 内生性问题有四种常见形式1.1.3 内生性的解决方案1.自然实验法2.双重差分法Difference-in-Difference （DID）3.工具变量法4. 动态面板回归法1.3 因果分析两个框架1.3.1 Rubin potential Outcome 虚拟事实模型1.3.2 Pearl causal Graph因果图1.3.3 两个框架之间的联系1.9 因果推断与回归的差异？1.0 额外：调节效应与中介效应2 pea
Policy Evaluation之Doubly Robust论文讲解
对半独白
11-25 5505
● 每周一言 不用担心自己有多努力，因为每个人身边总会有一个人比你更努力。 导语 前一篇文章已经铺垫好了增强学习评估的概念，几乎所有对强化学习策略评估的方法都是基于重要性采样（Importance Sampling，IS）展开。其中最经典的方法，莫过于ICML2011上出现的Doubly Robust estimation了。那么，Doubly Robust estimation具体是如何评估RL...
推荐系统炼丹笔记：推荐系统Bias大全
炼丹笔记
11-29 2253
作 者：一元 公众号：炼丹笔记背景在实践中,做推荐系统的很多朋友思考的问题是如何对数据进行挖掘，大多数论文致力于开发机器学习模型来更好地拟合用户行为数据。然而，用户行为数据是观察性的，而不是实验性的。这里面带来了非常多的偏差,典型的有：选择偏差、位置偏差、曝光偏差和流行度偏差等。如果不考虑固有的偏差，盲目地对数据进行拟合，会导致很多严重的问题，如线下评价与在线指标的不一致,损害用户对推荐服...
《因果科学周刊》第4期：因果赋能推荐系统
BAAIBeijing的博客
12-04 2656
为了帮助大家更好地了解因果科学的最新科研进展和资讯，我们因果科学社区团队本周整理了第4期《因果科学周刊》，推送近期因果科学值得关注的论文和资讯信息， 同时我们也将向大家介绍社区正在推进的...
推荐系统离线评估指标
Junhao_Lu的博客
07-23 1506
推荐系统离线评估指标 1 评分预测指标 符号定义：对于测试集中的一个用户u和物品i，令ruir_{ui}rui​是用户u对物品i的实际评分，而 r^ui\hat r_{ui}r^ui​是推荐算法给出的预测评分 1.1 均方根误差(Root Mean Squared Error，RMSE) RMSE=∑u,i∈T(rui−r^ui)2∣T∣\mathrm{RMSE}=\frac{\sqrt{\sum_{u, i \in T}\left(r_{u i}-\hat{r}_{u i}\right)^{2}}}{|T
未使用局部函数 'generate_recommendations' ddef generate_recommendations():
最新发布
03-12
<think>嗯，用户遇到了Python中未使用局部函数generate_recommendations的警告，需要解决这个问题。首先，我得想想这个警告的原因。通常，当定义一个函数或变量但未使用时，IDE或静态检查工具会给出警告，比如PyCharm的“未使用的局部函数”或者flake8的类似提示。 用户提供的代码中有一个函数定义ddef generate_recommendations()，这里可能有个拼写错误，应该是def generate_recommendations()，但可能只是用户输入时的笔误。不过不管怎样，关键问题在于这个函数没有被调用，所以才会出现警告。 那么解决方法有几个可能性。首先，用户可能忘记调用这个函数，这时候只需要在定义后调用它即可。例如，在函数定义后添加generate_recommendations()。但需要确保调用的位置正确，不会导致循环引用或其他问题。 其次，如果这个函数是故意不使用的，比如暂时注释掉或者未来需要，可以添加一个# noqa注释来禁用警告，或者使用@unused装饰器，但这可能不是最佳实践，因为最好还是处理掉未使用的代码。 另外，可能用户误拼了函数名，导致其他地方调用时名字不一致，比如大小写或者拼写错误。这时候需要检查函数名是否在调用时一致，或者在定义时是否有错别字。 还有一种情况是这个函数是作为回调或者被其他部分引用的，但可能由于某些原因没有被正确引用。例如，在类中定义但未被其他方法调用，或者作为某个事件的处理器但未绑定。这时候需要检查代码结构，确保函数被正确引用。 另外，用户提到的其他引用信息中，比如引用[4]关于生成器的内容，可能和这个函数无关，但需要确认用户是否在函数内部使用了生成器，但未正确调用。比如，如果generate_recommendations是一个生成器函数，但未通过next()或循环来使用，也可能导致未使用的警告。 所以，总结可能的解决方案：1. 调用该函数；2. 删除未使用的函数；3. 重命名或修正拼写错误；4. 添加禁用警告的注释。需要根据具体情况选择合适的方法，并确保代码的整洁和可维护性。</think>在Python中遇到未使用局部函数的警告（例如`generate_recommendations`），通常是因为该函数在代码中被定义但从未被调用。以下是分步解决方案： --- ### **解决方法** #### 1. **调用函数（推荐）** 如果函数是实际需要的逻辑，在定义后直接调用它： ```python def generate_recommendations(): # 函数逻辑 pass generate_recommendations() # 添加调用语句 ``` #### 2. **删除未使用函数（适用于冗余代码）** 如果函数是临时调试或无用代码，直接删除定义： ```python # 删除以下定义 # def generate_recommendations(): # pass ``` #### 3. **重命名或修正拼写错误** 检查函数名是否被误写（例如用户输入的`ddef`可能是拼写错误）： ```python def generate_recommendations(): # 修正可能的拼写错误 pass ``` #### 4. **通过装饰器或注释抑制警告** 若需保留但暂时不用，可通过以下方式抑制警告： ```python def generate_recommendations(): # noqa: F811 (flake8忽略未使用警告) pass # 或使用类型注解抑制警告 @unused # 需定义或导入unused装饰器 def generate_recommendations(): pass ``` --- ### **原因分析** - **静态检查工具行为**：PyCharm、flake8等工具会检测未使用的代码，避免冗余代码影响可维护性[^4]。 - **潜在错误提示**：若函数名拼写错误，可能导致预期外的未调用行为（如`generate_recommendation`少写末尾的`s`）。 --- ### **扩展场景** - **函数作为参数传递**：若函数被其他模块或回调引用，需确保引用路径正确（例如通过`import`或参数传递）。 - **类方法未调用**：如果是类方法，需通过实例调用（如`self.generate_recommendations()`）。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值