基于强化学习预算约束出价：Budget Constrained Bidding by Model-free ReinforcementLearning in Display Advertising

最新推荐文章于 2025-03-16 15:08:05 发布
原创 最新推荐文章于 2025-03-16 15:08:05 发布 · 1.8k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #强化学习 #拍卖机制 #广告机制 #DQN

带约束的出价优化问题是近年来在互联网广告出价机制上的热点话题，本文主要介绍了基于强化学习的预算约束出价问题，主要结合论文《Budget Constrained Bidding by Model-free ReinforcementLearning in Display Advertising》提出一些自己的思考。

1 背景

所谓的带预算约束的出价策略是一类自动出价问题，是指在客户的原始出价表达外，系统还需要通过微调出价，在不超过客户约预算情况下，使得客户的目标价值最大化。可以将带问题建模为如下线性规划问题。

\begin{matrix} \max \sum_i x_i*v_i \\s.t. \sum_i x_i * c_i \le B \end{matrix}

  • $x_i$在点击计费情况下表示点击

  • $c_i$表示点击计费

  • $B$表示预算

  • $v_i$表示点击客户心理价值，在GSP拍卖场景实际为客户原始出价$b^o_i$

通过上式我们可以看出，当系统稳定且完全竞争的情况下，当预算约束恰好满足时，客户的目标价值最大的，此时可以计算系统出价的形式为，这里的$\lambda$实际上是反映了的出价计费系数，这个出价系数可以根据历史数据通过线性规划求解。

$b_i = \frac{v_i}{\lambda}$

因为$x_i,c_i,v_i$的分布会随时间发生极大变动，一种

最低0.47元/天 解锁文章
tostq
关注
新一代自动出价范式：在线强化学习SORL框架
阿里妈妈技术
12-28 1517
丨目录：· 摘要· 动机：在离线不一致问题· 问题建模· 方法：SORL框架· 实验结果· 总结· 关于我们·参考文献▐摘要近年来，自动出价已成为广告主提升投放效果的重要方式，在真实广告系统（RAS）中，常见的自动出价策略是利用强化学习算法在复杂多变的竞价环境下进行实时调整。考虑到线上探索的成本和安全性，强化学习模型的训练通常是在一个模拟广告系统（VAS）中进行。由于RAS和VAS之间存在明显...
ADALORA: ADAPTIVE BUDGET ALLOCATION FOR PARAMETER-EFFICIENT FINE-TUNING
weixin_50917576的博客
06-13 1639
在下游任务上对大型预训练语言模型进行微调已经成为自然语言处理的一个重要范例。然而，通常的做法是对预训练模型中的所有参数进行微调，当存在大量下游任务时，这变得令人望而却步。因此，提出了许多微调方法，以参数有效的方式学习预训练权值的增量更新，例如低秩增量。这些方法通常在所有预训练的权重矩阵上均匀地分配增量更新预算，而忽略了不同权重参数的不同重要性。因此，调优性能不是最优的。为了弥补这一差距，我们提出了AdaLoRA算法，该算法根据权重矩阵的重要性评分自适应地在权重矩阵之间分配参数预算。
rlb-dp:展示广告中通过强化学习进行的实时出价
05-26
展示广告中通过强化学习进行的实时出价 这是实验代码的存储库，支持WSDM 2017中的“展示广告中的强化学习实时出价”一文。 小型评估演示 有关小规模评估的演示，请在脚本文件夹下运行： $ bash small-scale.sh 或在python文件夹下运行： $ python3 bid_ss.py 运行后，您可以在控制台中打印性能表，如下所示： setting objective auction impression click cost win-rate CPM eCPC ipinyou, camp=1458, algo=ss_mdp, N=1000, c0=0.03125 11 350000
阿里文娱dsp应用介绍20200210
山中有石为玉
02-11 1376
视频地址：http://mudu.tv/watch/4568414 参考论文： Optimized Cost per Click in Taobao Display Advertising-oCPC：https://arxiv.org/abs/1703.02091 Bid Optimization by Multivariable Control ...
转转商业化OCPC产品的护航之旅
zhuanzhuantech的博客
09-08 1392
本文聚焦二手平台蓝海品类，围绕流量充足物料不够的诸多情况，设计了OCPC产品方案用以商家拉新促活。方案满足了商家多种诉求，并详尽地梳理了机制策略模块的研究进展，充分调研了不同的技术选型，最终落地并取得收益。
字节跳动 | 基于深度强化学习的广告推荐模型 DEAR
abcdefg90876的博客
04-20 2403
作者：被包养的程序猿丶来源：https://www.zhihu.com/people/liang-xiao-95-14-1论文名称：Deep Reinforcement Learning...
EU Archive Index Database: Carbon Budget Model 欧盟档案索引数据库：碳预算模型-数据集
03-11
存档索引数据库（AIDB）是一个Microsoft Access数据库，它跟踪模型输入与结果之间的关系，跟踪模拟的状态，并存储...the-eu-archive-index-database-customised-for-the-carbon-budget-model-cbm-cfs3_metadata.json
Visual-Town-Budget:开源预算可视化框架-Source City
03-25
预算可视化框架 我们的2017年WordPress插件可在此处获取： : 开源预算可视化框架。 要求 启用PHP的网络服务器 SCSS编译器 设置 将此存储库克隆到本地计算机，并将您的Web服务器根指向src/httpdocs ，应用程序应...
论文阅读笔记——ADALORA: ADAPTIVE BUDGET ALLOCATION FOR PARAMETER-EFFICIENT FINE-TUNING
最新发布
Multiple_x的博客
03-16 1272
ADALORA: ADAPTIVE BUDGET ALLOCATION FOR PARAMETER-EFFICIENT FINE-TUNING 论文阅读笔记
强化学习在广告参数上的应用（未完待续）
骆驼分析师的博客
06-05 922
前言：本文是根据个人自己看的blog及日常工作对其进行的一些总结。因为才疏学浅，如有不对之处，请发邮件指点liedward@qq.com。非常感谢帮忙指正错误。 目录 一、业务说明： 二、数据模型抽象： 三、强化学习算法说明 四、例子： 一、业务说明： 搜索、推荐广告通常是一个多目标的需求。比如电商GMV公式通常如下： Ctr：一个item对应该用户的点击率预测 Cvr：一个...
使用强化学习建立下一个最佳活动（或称行动营销）模型【译文初稿】
肖永威的专栏
01-13 3055
本文是译自griddynamics英文博客，讲述了使用强化学习算法进行客户行为预测分析，案例中详细介绍了客户管理业务及业务数据与强化学习算法中的state、action映射关系，以及实际应用经验。
阿里定向广告智能投放技术体系
hellozhxy的博客
05-11 4711
导读：随着经济数字化地快速发展，互联网广告在赋能商家营销、帮助消费者高效了解商品和服务、以及商业平台的变现等方面扮演着越来越重要的角色。互联网广告生态中，广告主通过付费在媒体上对目标用户进行营销信息传达来完成营销过程。其中，广告主通常希望在有限的资源投入下最大化营销效果。然而流量环境、其他参竞广告形成的竞争环境的复杂性、以及广告投放策略中出价、目标人群、资源位、投放时间等变量的巨大组合复杂度，使得最优广告投放策略的计算与执行充满了挑战。通过本文，我们将从更好地帮助广告主做营销的视角出发，比较系统地介绍阿里妈
强化学习在阿里广告排序和竞价中的应用
想写就写咯
12-11 2597
文章目录业务背景竞价机制 业务背景 搜索⼴告业务不论是在阿⾥巴巴还是京东的电商体系下，都是最为重要的⼀个业务，在创造整个集团⼤部分营收的同时，也承担着重要的⽣态调节功能，是帮助商家成长的“快车道”和“名校”。 搜索⼴告的竞价和排序遵循下⾯的业务流程：⼴告上在竞价词上定义⾃⼰的出价，对于每个⼴告位，搜索⼴告引擎根据⼴告质量（包括⼴告的点击率、转化率等）和⼴告主的出价对候选⼴告集合进⾏排序，排名第⼀位的⼴告获得当前⼴告位的展⽰机会。 从整个业务流程来看，每⼀次搜索⼴告的展⽰都牵扯到了⼴告商、⽤户和平台三方的利益
Model-based RL自动出价算法的演进之路
阿里妈妈技术
01-08 1956
▐导读近年来，强化学习自动出价算法已成为智能投放领域的标志性技术，然而其所存在的在离线不一致、线上数据覆盖空间受限等关键问题尚未被完全解决。在本文中，我们提出一种Model-based RL（MBRL）自动出价算法训练新范式，进一步缓解上述两点挑战。经过一年的迭代，MBRL自动出价算法已在阿里妈妈万相台无界版全站推场景、货品场景、关键词场景和精准人群推广场景中完成扩流，显著增强了投放效果。未来，...
Real-Time Bidding with Multi-Agent Reinforcement Learning in Display Advertising 笔记
想写就写咯
12-17 929
文章目录前言淘宝展示广告系统相关工作多智能体广告竞价RTB as a Stochastic GameAgent ClustersStateActionReward and TransitionBidding by Multi-Agent RLImplementation & Distributed ArchitectureBalance Computing Efficiency and Bid GranularityHandle Impression-Level Information Summar
实时竞价的技术及行业展望
weixin_33936401的博客
01-11 1978
实时竞价的技术及行业展望 本文对广告的RTB技术进行梳理，从优化算法到架构设计，同时展望了现在相关产品的发力点。 实时竞价。实时竞价允许广告买家根据活动目标、目标人群以及费用门槛等因素对每一个广告及每次广告展示的费用进行竞价，是DSP系统的核心。这里汇聚了Dr. Zhang的一系列相关论文和书籍，内容很丰富，供大家学习和参考。 Tutorials Le...
【论文阅读-Bidding】《Real-Time Bidding by Reinforcement Learning in Display Advertising》
weixin_30896511的博客
08-20 619
Another 转载于:https://www.cnblogs.com/ai1024/p/9508528.html
强化学习Reinforcement Learning在计算广告Computational Advertising中 Real-Time Bidding中的应用 资料集锦
Damion
08-05 2664
深度强化学习DRL博客好文搜集与总结 知乎博主黄伟亮总结深度学习与强化学习 【知乎好文】从强化学习到深度学习（上） 【知乎好文】从强化学习到深度学习（下） 南京大学LAMBDA实验室俞扬博士关于强化学习的前沿演讲 【雷锋网】南京大学俞扬博士强化学习前沿（上） 【雷锋网】南京大学俞扬博士强化学习前沿（下）...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值