weixin_44880995的博客

原创 超参数怎么选

缺点是搜索空间大，而且离线指标和线上指标不一定对齐。这是工业界最常用的超参搜索方式，之前我们聊过。

原创 推荐系统模型更新方式

流式训练时点击样本立刻进入训练，但标签（是否转化）还不知道，需要设计延迟标签机制，比如先以点击为正样本训练 CTR，等转化信号到来后再补充训练 CVR，或者用之前讲的 DFM 方案处理延迟反馈。这样设计的原因是：Embedding 层的更新是稀疏的（每次只更新出现过的 ID 对应的向量），流式更新成本低；不从头训练，而是在上一个版本的模型参数基础上，用新增的数据继续训练几个 step 或几个 epoch，然后更新线上模型。样本实时生成，实时输入模型做梯度更新，模型参数持续更新，没有明显的"批次"概念。

原创 Scaling Up 的工程优化

原生解决方案是 partition，但 partition 的粒度是固定的，灵活性差。，训练时每个 batch 都要实时做字符串分割和类型转换，这是纯 CPU 计算，而且在 Python/TF 的 data pipeline 里效率很低，容易成为数据读取的瓶颈（IO bound 变成 CPU bound）。第一是列式存储天然适合压缩。存储成本降低 95% 的直接收益是：在相同存储预算下，样本量从 40 亿扩大到 120 亿，训练窗口从 65 天扩大到 150 天，模型能看到更长的历史数据，泛化能力更强。

原创 moe的变体

原创 延迟反馈建模

经典修正方案：DFM（Delayed Feedback Model）

原创 hot 100 刷题记录（1）

如果新的ch已经在d里面了，并且位置在left右侧，证明当前窗口里面有这个字符，需要移动left到这个字符之后，保证当前窗口无重复字符。4. 给定两个大小分别为 m 和 n 的正序（从小到大）数组 nums1 和 nums2，请你找出并返回这两个正序数组的。思路：建一个哈希表（dict），遍历数组，如果target-nums[i]的值在哈希表里面，返回；也就是说，要求子串中的每个字符都不重复，返回这样的最长子串的长度。思路：中心扩展法，分奇偶长度，从中间开始遍历，返回最大的左右位置。

原创 TBGRecall-淘宝适用于推荐场景的生成式检索模型

《TBGRecall：电商推荐场景的生成式召回模型》提出了一种创新的Next Session Prediction框架，通过会话级自回归建模解决传统自回归模型在推荐召回中的顺序依赖问题。该模型将用户序列划分为多会话段，采用会话掩码和对比学习损失优化检索性能，并引入Partial Incremental Training提升训练效率。在淘宝工业数据集上的实验表明，该模型HR@4000提升3%，在线A/B测试实现交易金额增长2.16%，验证了生成式模型在电商推荐中的实用价值。

原创 python 的lambda表达式

（3）sorted 自定义排序。（2）filter 筛选。

原创 Python速成（刷力扣用）

【代码】Python速成（刷力扣用）

原创 推荐系统学习笔记（二十一）冷启动

冷启动指对新发布UGC内容的分发策略优化。相比PGC，UGC冷启动面临内容质量参差、数量庞大等挑战。优化目标包括精准推荐、激励创作和挖掘优质内容。评价指标涵盖作者发布意愿、用户消费体验和优质内容占比。具体方法包括改进双塔模型（共享ID/相似embedding）、类目/关键词召回、聚类召回和内容相似度模型等召回策略，以及流量调控机制。这些方法致力于解决新内容缺乏用户交互数据导致的推荐难题，同时平衡用户体验与创作者激励。

原创 推荐系统学习笔记（二十）SECR-快手-用户留存建模

快手团队提出分层专家克隆（SEC）方法，通过模仿学习复制高留存用户行为，优化推荐系统的长期用户保留。该方法将高留存用户分层训练专家策略，动态匹配用户状态，并引入动作熵正则化提升推荐多样性。实验表明，SEC在快手平台显著提升用户留存和兴趣多样性，日均活跃用户增加20万以上。该方法适用于大规模推荐系统，但对高留存用户数据依赖较强，冷启动场景存在挑战。

原创 推荐算法学习笔记（十九）阿里SIM 模型

sim模型

原创 推荐系统学习（十八）- 阿里 DIN 模型

和变得更精准。一般称这些用户的行为序列为 lastN ，表示用户最近交互过 n 个物品。本节介绍对用户行为序列建模的方法。

原创 推荐系统学习笔记（十七）SENet ＆ Bilinear Cross

senet

原创 推荐系统学习笔记（十六）LHUC（PPNet）

ppnet

原创 推荐系统学习笔记（十五）- DCN 深度交叉网络

推荐系统DCN模型

原创 推荐系统学习笔记（十四）-粗排三塔模型

粗排三塔模型

原创 推荐系统学习笔记（十三）- 排序特征处理

排序模型特征类别处理

原创 推荐系统学习笔记（十二）视频播放建模

视频播放建模

原创 推荐系统学习笔记（十一）预估分数融合

本文介绍了5种内容推荐的排序融合公式，包括：1）简单加权和；2）点击率加权；3）海外短视频APP公式；4）国内短视频APP基于预估时长加权的公式；5）电商转化率公式（点击率×加购率×付款率）。这些方法通过不同维度（点击、时长、转化等）对内容进行评分排序，适用于短视频推荐和电商场景，核心思想是将多个指标加权或相乘得到最终排序分数。

原创 推荐系统学习笔记（十）多目标排序模型

多目标排序模型的构建方法，涉及场景特征处理、神经网络选择等环节。针对训练中常见的类别不平衡问题，提出了负样本降采样的解决方案。文章特别强调了预估值校准的重要性，推导了点击率预估值的校准公式，以解决采样导致的预估偏差问题，确保模型输出与真实值一致。

原创 推荐系统学习笔记（九）曝光过滤 & Bloom Filter

曝光过滤是一种防止重复推荐的技术，通过记录用户近期曝光物品实现。

原创 推荐系统学习笔记（八）其他召回通道

几种简单有用的召回通道

原创 推荐系统学习笔记（七）字节非内积召回 Deep Retrieval

字节2021的非内积召回Deep Retrieval: Learning A Retrievable Structure for Large-Scale Recommendations

原创 推荐系统学习笔记（六）自监督学习

自监督学习

原创 王树森推荐系统公开课

github：https://github.com/wangshusen/RecommenderSystemb站：推荐系统公开课——8小时完整版，讲解工业界真实的推荐系统_哔哩哔哩_bilibili知乎上一个比较全面的笔记：https://zhuanlan.zhihu.com/p/678664853

原创 推荐系统---AUC计算

auc计算

原创 推荐系统之用户画像

推荐算法，常用的文本结构化算法

原创 tex常见错误及解决方法（更新中）

记录自己遇到的tex运行的问题，及解决办法

原创 MMOE+ESSM

另外，Gate网络最后的输出会经过softmax进行归一化。Gate网络最后一层全连接层经过softmax归一化后的输出，对应作用到每一个expert上（图2中GateA输出的红、紫、绿三条线分别作用与expert0，expert1，expert2），注意是通过广播机制作用到expert中的每一个隐藏单元，比如红线作用于expert0的2个隐藏单元。这里gate网络的作用非常类似于attention机制，提供了权重。

原创 集成学习总结

集成学习

原创 常用指标和损失总结

求解 L1 损失的问题通常比求解 L2 损失的问题更难。L1 损失的优化问题是一个非凸问题，而 L2 损失的优化问题是一个凸问题。由于其凸性，L2 损失的优化问题（如最小二乘法）通常更容易解决，并且有多种有效的算法（如梯度下降、牛顿法等）。精确度（precision）/查准率：TP/（TP+FP）=TP/P 预测为真中，实际为正样本的概率。当模型的稀疏性非常重要时，例如在文本分析或生物信息学中，L1 损失是一个很好的选择。当模型的参数需要保留非零值，并且对异常值不太敏感时，L2 损失是一个更常用的选择。

原创 attention机制

attention整理

原创 岛屿数量dfs

dfs

原创 推荐系统-FM模型

FM

转载 深度优先搜索（dfs）模版题

dfs

原创 推荐系统GBDT+LR

GBDT+LR

原创 刷题记录（240619）

刷题记录

原创 刷题记录（240613）

aliyun0512

原创 Exploiting Static and Dynamic Human Joint Relations for 3D Pose Estimation via Cascade Transformers

Transformer已经成为自然语言处理（NLP）中的主导模型。研究人员最近试图利用Transformer架构进行各种计算机视觉任务，并取得了有竞争力的结果。然而，很少有工作已经做了探索Transformer架构的三维人体姿态估计（HPE）。在这项工作中，我们提出了级联变压器，一种新的基于变压器的方法，从一个单一的图像三维HPE。具体而言，我们的级联变压器包括两个变压器编码器，分别利用静态和动态的人类关节关系。利用自我注意力模块和级联结构，我们的方法全面模拟静态和动态人体关节关系。