在线广告的exploration/exploitation trade-off(勘探和开采问题)

Q-Learning从原理到落地:一张可演化的生存经验地图 Q-Learning是强化学习中最基础的价值型算法,其本质是通过‘状态-动作’对的长期收益估计(Q值)来驱动决策。它不依赖环境模型,仅靠试错、奖励反馈与贝尔曼更新实现策略优化,在工业场景中因可解释性强、鲁棒性高而被广泛用于广告出价、路径规划与实时推荐等任务。核心在于离散化状态空间、合理设计稀疏奖励函数、动态平衡探索与利用,并借助折扣因子γ体现时间价值。本文聚焦Q表作为‘动态生存经验地图’的技术内涵,结合仓储调度、迷宫求解等真实案例,解析ε-greedy、自适应学习率α与状态抽象等关键工程实践。 阅读详情

刚刚在看ICML 2010的一篇关于搜索广告CTR预估的文章:

Web-Scale Bayesian Click-Through Rate Prediction for Sponsored Search Advertising in Microsoft’s Bing Search Engine

上周跟中科院的同学吃饭时,他们说在KDDCUP竞赛时,这篇文章的算法效果非常好。当时就想好好读一下,拖了几天,今天终于看了个开头。


Bing adCenter内部举办了一个CTR预估的比赛,这篇论文的方法adPredictor表现最优异,加上方法可以并行化,而且是online learning,优点多多,后来逐渐替换了Bing原来的算法。可见这个方法的威力。

文章在介绍算法细节之前,先普及了一些搜索广告、关键词竞价、常用特征、效果评估方法等信息。其中有一点很有意思:

CTR预估方法会影响到各个广告位上的内容,进而影响到算法未来的训练数据,因此不得不面对一个“勘探”和“开采”的问题。换句话说,如果系统不能给新广告足够的展示机会,算法很容易陷入局部最优解,广告的候选池会越来越小。


CTR预估如此,推荐系统也面临同样的问题。所以豆瓣电台也添加了一个策略,在已挖掘的用户喜好之外,按一定的比例加一些用户没听过的歌曲,扩展用户的兴趣范围,避免“过度开采”。


这里还有关于计算广告的一点资料:

Estimating the Click-Through Rate for New Ads

Introduction to Computational Advertising

Bandit算法与推荐系统 作者简介:陈开江,天农科技CTO,曾任新浪微博资深算法工程师,考拉FM算法主管,个性化导购App《Wave》和《边逛边聊》联合创始人,多年推荐系统从业经历,在算法、架构、产品方面均有丰富的实践经验。 责编:何永灿,欢迎人工智能领域技术投稿、约稿、给文章纠错,请发送邮件至heyc@youkuaiyun.com 本文为《程序员》原创文章,未经允许不得转载,更多精彩文章请订阅《程序员》 推荐系统里... 阅读详情

相关推荐

Python智能推荐系统实战:从协同过滤到混合推荐完整实现

在信息过载的互联网时代,智能推荐系统已成为电商、资讯、短视频等产品的核心组件。协同过滤作为推荐算法的基石,通过用户行为数据发现兴趣相似的用户或物品,而矩阵分解则利用隐因子模型缓解数据稀疏问题。Python凭借pandas、scikit-learn、surprise等成熟生态,成为算法实验与工程落地的首选语言。从数据预处理、相似度计算到模型训练与混合加权,推荐系统的完整链路涉及特征工程、评估调优和冷启动处理等关键环节。本文以MovieLens公开数据集为依托,解析基于用户与物品的协同过滤、SVD矩阵分解以及召

weixin_32678995的博客 232

探索与利用与ExplorationExploitationTradeoff

1.背景介绍 探索与利用(Exploration-Exploitation Tradeoff)是一种常见的决策理论问题,它涉及到在不确定环境中如何平衡探索新的选择和利用已知的优势。这种问题在许多领域都有应用,例如机器学习、经济学、操作研究等。在本文中,我们将深入探讨这一问题的核心概念、算法原理、最佳实践以及实际应用场景。 1. 背景介绍 探索与利用问题的核心在于在有限的时间和资源内,如何找到...

AI天才研究院 1374

基于STM32与毫米波雷达的非接触式睡眠监测系统

物联网和嵌入式系统技术正在推动医疗健康设备的智能化发展。通过传感器网络采集生理信号,结合信号处理算法实现健康监测已成为主流技术方案。毫米波雷达凭借其非接触检测特性,在呼吸、心率等生命体征监测中展现出独特优势。STM32系列MCU凭借丰富外设和低功耗特性,成为医疗级嵌入式设备的首选平台。本系统整合60GHz毫米波雷达、红外测温与无线传输模块,构建了完整的睡眠质量评估解决方案,其硬件架构设计、信号处理算法和低功耗优化策略对可穿戴医疗设备开发具有参考价值。

weixin_36369848的博客 614

点击率预估

点击率预估是广告技术的核心算法之一,它是很多广告算法工程师喜爱的战场。一直想介绍一下点击率预估,但是涉及公式和模型理论太多,怕说不清楚,读者也不明白。所以,这段时间花了一些时间整理点击率预估的知识,希望在尽量不使用数据公式的情况下,把大道理讲清楚,给一些不愿意看公式的同学一个Cook Book。点击率预测是什么?·        点击率预测是对每次广告的点击情况做出预测,可以判定这次为点击或不点击...

HelenLi的博客 8019

Cursor Agent模式下如何优雅切换conda环境运行Python脚本?3种实用方法实测

本文针对Cursor Agent模式下运行Python脚本时环境错配的痛点,实测了三种优雅切换conda环境的实用方法。通过Shell全局配置、项目级.cursorrc文件定制以及对话中直接指令,开发者可以确保AI助手在正确的虚拟环境中执行代码,从而提升开发效率和协作流畅度。

redis7keeper的博客 599

VL53L0X测距不准?手把手教你做RefSPAD校准与环境补偿(附Arduino/STM32代码)

本文详细解析了VL53L0X激光测距传感器精度不足的原因,并提供了RefSPAD校准与环境补偿的完整解决方案。通过Arduino和STM32代码示例,手把手教你实现毫米级测距稳定性,适用于机器人避障、工业检测等场景。

weixin_28744423的博客 258

携程个性化推荐算法实践

携程个性化推荐算法实践 携程作为国内领先的OTA,每天向上千万用户提供全方位的旅行服务,如何为如此众多的用户发现适合自己的旅游产品与服务,挖掘潜在的兴趣,缓解信息过载,个性化推荐系统与算法在其中发挥着不可或缺的作用。而OTA的个性化推荐一直也是个难点,没有太多成功经验可以借鉴,本文分享了携程在个性化推荐实践中的一些尝试与摸索。 推荐流程大体上可以分为3个部分,召回、

huangshulang1234的博客 8050

基于coze studio开源框架二次定制开发教程

CozeStudio是一站式AIAgent开发工具,支持大模型接入、智能体编排、工作流开发等功能。采用Golang+React技术栈,基于微服务架构设计。项目包含后端API、领域逻辑、前端应用等模块,支持自定义任务流节点开发。开发流程涵盖前后端节点定义、实现逻辑编写等步骤,提供完整的开发规范和参考文档。相比商业版,开源版本在功能上有所精简,但仍保留核心开发能力。

coding change your life 793

UCB算法 && LinUCB

UCB(Upper Confidence Bound,置信区间上界)算法是解决 Multi-Armed Bandit(多臂老虎机) 问题最经典的算法之一。它的核心任务是在探索(Exploration,尝试新事物)与利用(Exploitation,选择已知表现最好的事物)之间取得完美的平衡。多臂老虎机(Multi-Armed Bandit,简称 MAB)是机器学习和概率论中的一个经典问题模型。这个名字来源于赌场的单臂老虎机(Slot Machine)。想象一下,你面前停着一排共 N 台老虎机(或者一台拥有多根

comli_cn的博客 388

朱长江《偏微分方程简明教程》答案第一章部分

偏微分方程简明教程第一章习题1.1 第一章 习题1.1 1、指出下列方程的阶,并判断它是线性的还是非线性的。如果是线性的,说明它还是其次的: (1)ut−(uxx+uyy)+1=0;(2)ut−uxx+xu=0;(3)ut−uxxt+uux=0;(4)ux2+uuy=0;(5)utt−uxx+t2+x2=0;(6)ux+eyuy=0;(7)ut+uxxxx+1+u=0;(8)ux(1+ux2)−12+uy(1+uy2)−12=0;(9)∂4u∂x4+2∂4u∂x2∂y2+∂4u∂y4=0;(10)∂3u∂x

ymengm的博客 6761

AI:270-基于ASFF改进YOLOv8检测头的多尺度特征融合方法详解与实战

ASFF是一种基于自适应特征融合的策略,能够动态调整不同尺度特征的融合权重,适应场景中不同大小的目标。传统的YOLOv8检测头使用固定的特征融合策略,而ASFF则通过引入学习参数,使得网络能够根据输入图像的特征自适应地选择不同尺度特征的重要性。这一策略对于检测小目标或尺度变化大的目标具有显著优势。本文提出了一种改进YOLOv8检测头的新方法,通过引入自适应空间特征融合模块(ASFF),有效提升了多尺度目标检测的性能,特别是在小目标检测任务中的表现。

一键难忘的博客 3915

Python机器学习:从零基础到项目实战

当您翻开此书,您正踏入一场数据与智慧的修行。机器学习,并非冰冷的符码,而是机器模拟人类洞察世界的法门。本书将带您,以Python为舟,泛游于算法之海。我们不只传授“术”,更探求其后的“道”——从数据的生灭流转中观照规律,于模型的迭代演进里体悟得失。愿您合上书卷时,收获的不仅是驾驭数据的技能,更有一双洞悉复杂、化繁为简的“智慧之眼”。现在,让我们一同启程。

YunWisdom 974

FAA机载电子硬件审查指南详解(评审和审查必备)

本咨询通告旨在协助认证机构、授权代表(包括组织授权)和申请人执行机载电子硬件评审(以下简称"硬件评审")。硬件评审的目的是评估机载电子硬件是否符合适航要求和建议的符合性方法(即RTCA/DO-254)。本工作辅助文件应作为评审过程中的参考工具使用。它不应被用作检查表,也不包含所有可能需要评审的情况。同样,本工作辅助文件也不是用来替代DO-254,而应与DO-254一起使用。此外,本工作辅助文件可能包含一些不适用于特定项目评估的问题。

qq_41854911的博客 614

对话推荐系统的进展与五个关键挑战!

点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入!07 1:00作者|谢明辉推荐系统旨在从用户的交互历史识别出用户的偏好,目前已经在工业界得到广泛应用。但是传统静态推荐模型难以...

AITIME_HY的博客 875

8-bit量化在YOLOv11中的部署实践-(使用PTQ、QAT量化技术实现模型体积压缩和推理加速)

本文系统介绍了YOLOv11模型量化技术,主要包括三个核心部分:首先阐述模型量化的基础理论,包括量化分类、数学原理和性能影响;其次分析YOLOv11架构特点及其量化敏感层;最后详细讲解训练后量化(PTQ)的具体实现流程。研究表明,8-bit量化可使YOLOv11模型大小缩减至1/4,推理速度提升1.7-2.3倍,精度损失控制在1%以内。文章特别强调了校准算法选择(如最小最大值法和KL散度法)对量化效果的关键影响,并提供了完整的代码实现示例,为YOLOv11的高效部署提供实用指导。

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 1630

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

种群的勘探(Exploration)与开发(Exploitation)(含MATLAB代码)

种群的勘探(Exploration)与开发(Exploitation)(含MATLAB代码)

algorithmzzy的博客 4504

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

强化学习方法(一):探索-利用困境exploration exploitation,Multi-armed bandit

欢迎转载,转载请注明:本文出自Bin的专栏blog.youkuaiyun.com/xbinworld。 技术交流QQ群:433250724,欢迎对算法、技术感兴趣的同学加入。 18年新开一个强化学习方法系列,督促自己能够再不断扩充知识并分享给更多的同学。其实前面写的机器学习方法系列和深度学习方法系列,也都还没有写够,平时工作比较忙,更新很慢,但是我还是会努力更新的。今天开始记录一些强化学习的知识,这些内容以...

Bin 的专栏 2万+

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

点击率预估综述

Twitter Facebook Google+ Pinterest Tumblr 作者:张红林,腾讯高级工程师 背景 在计算广告系统中,一个可以携带广告请求的用户流量到达后台时,系统需 要在较短时间(一般要求不超过100ms)内返回一个或多个排序好的广告列表;在广告系统中,一般最后一步的排序score=bid*pctralpha;其中alpha参数控制排序倾向,如果alpha...

guochampion的博客 4204

关于点击率模型,你知道这三点就够了 点击率预估的几个经典模型简介

关于点击率模型,你知道这三点就够了 德川 2015年11月24日 阅读 2091 快速评论 说到广告,或者运营,关注的最多的就是点击率了。我们经常能听说某某科学家通过建立更好的点击率预测模型,为公司带来上亿的增量收入。点击率这么简单直接的统计量,为什么要用复杂的数学模型来刻画呢? 说到计算广告,或者个性化推荐,甚至一般的互联网产品,无论是运营、

klzhang的专栏 1万+

微软的一篇ctr预估的论文:Web-Scale Bayesian Click-Through Rate Prediction for Sponsored Search Advertising in M...

周末看了一下这篇论文,觉得挺难的,后来想想是ICML的论文,也就明白为什么了。 先简单记录下来,以后会继续添加内容。 主要参考了论文Web-Scale Bayesian Click-Through Rate Prediction for Sponsored Search Advertising in Microsoft’s Bing Search Engine(下载链接:http://cite...

weixin_34391854的博客 369

论文Deep Character-Level Click-Through Rate Prediction for Sponsored Search

CTR(点击通过率):就是指一些公司通过付费竞价的方式支付给搜索引擎,当用户进行感兴趣的查询后,搜索结果页会展示出一系列与查询相关的广告(广告可以根据竞价来决定其显示在查询结果页中的位置:靠前还是靠后),如果用户点击了查询结果页中的某一广告,该广告的点击通过次数就+1.所以点击通过率=广告被点击的次数/广告展示的次数。CTR可以作为一个判别标准。当某一条广告CTR超过了预计的CTR,它就出现在搜索...

fredinators的博客 607

【推荐系统】深度学习大行其道,个性化推荐如何与时俱进?

作者|携程基础业务研发部 编辑|EmilyAI 前线导读:携程作为国内领先的 OTA,每天向上千万用户提供全方位的旅行服务,如何为如此众多的用户发现适合自己的旅游产品与服务,挖掘潜在的兴趣,缓解信息过载,个性化推荐系统与算法在其中发挥着不可或缺的作用。而 OTA 的个性化推荐一直也是个难点,没有太多成功经验可以借鉴,本文分享了携程在个性化推荐实践中的一些尝试与摸索。声明 | 本文为 InfoQ 特

产业智能官 8291

极端类别不平衡数据下的分类问题研究综述 | 硬货

特约作者 : 刘芷宁 不平衡学习是机器学习问题的一个重要子域,其主要关注于如何从类别分布不均衡的数据中学习数据的模式。在这篇文章中我们主要关注不平衡分类问题,特别地,我们主要关注类别极端不平衡场景下的二分类问题所面临的困难。 在这篇文章中我们将: 描述类别不平衡的定义与实际应用场景 给出不平衡场景下常用的评价指标 讨论不平衡场景下分类器学习困难的来源 概...

TensorFlowNews 3310
上一篇: C++中虚析构函数的作用
下一篇: 各大推荐引擎资料汇总
overstack
博客等级 码龄14年 115粉丝 55原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值