本文探讨了在线广告中点击率（CTR）预测的重要性，强调了语义信息在塑造用户决策和提高CTR效果中的关键作用。作者提出了一种新颖的方法，利用大型语言模型（LLMs）的全面世界知识能力，端到端地建模深度语义信息。提出的LLM融合CTR预测框架（Multi-level Deep Semantic Information Infused CTR model via Distillation, MSD）旨在通过利用LLMs提取和蒸馏关键信息到更小、更高效的模型中，实现无缝的端到端训练和推理。

本文对单个多头注意力层的学习和泛化能力进行了严格的理论研究。注意力层是Transformer架构的核心构建块，在现代人工智能中取得了重大突破。文章考虑了随机特征设置，其中注意力层具有大量头，随机采样的冻结查询和键矩阵，以及可训练的值矩阵。研究表明，这种随机特征注意力层能够表达广泛的目标函数，这些函数对键向量是排列不变的。文章进一步为使用有限头数的随机特征注意力学习这些目标函数提供了量化的超额风险界限。

本文针对构建有效推荐系统中的一个基本研究问题——点击后转化率（CVR）估计，长期受到数据稀疏性和样本选择偏差问题的困扰。为了缓解数据稀疏性问题，基于整个空间的多任务模型通过利用用户行为序列（曝光→点击→转化）构建辅助学习任务。然而，这些方法仍然存在两个主要缺陷：（1）内在估计偏差（IEB），即CVR估计值本质上大于实际值；（2）错误独立先验（FIP），即可能忽视了从点击到点击后转化的因果关系。

本文探讨了推荐系统中用户交互的复杂性，特别是用户在面对推荐内容时的犹豫行为及其对用户体验的影响。通过大规模调查，研究者们发现犹豫不仅普遍存在，而且对用户体验有着深远的影响。当用户在他们最终不感兴趣的内容上花费额外时间时，可能会导致负面情绪，这种现象被称为容忍。调查结果显示，容忍行为通常在犹豫之后出现，并可能侵蚀对平台的信任、满意度和长期忠诚度。研究者们识别了表明容忍行为的信号，并分析了来自电子商务和短视频平台的数据集，发现容忍行为的增加与用户活动减少之间存在强相关性。

作为全球知名的电商平台Amazon，很早就开始在其平台上大规模应用机器学习算法进行在线产品的推荐。这其中，协同过滤（Collaborative Filtering）是最常见且基础的一种在线产品推荐方法。协同推荐有多种不同的方法，通常归为两大类：基于用户的协同推荐（User-based Collaborative Filtering, UserCF） 与 基于商品得协同推荐（Item-based Collaborative Filtering, ItemCF）。

现代工业级电商搜索技术，HA3搜索引擎平台简介