- 博客(131)
- 收藏
- 关注
RSS订阅
原创 【整理】博客中的论文笔记汇总
漏洞挖掘Neural Network-based Graph Embedding for Cross-Platform Binary Code Similarity Detection （待补充）固件漏洞挖掘，利用程序控制流图和图嵌入方法Vulnerability Extrapolation: Assisted Discovery of Vulnerabilities using Machi...
2019-02-24 00:06:57
1882
2
原创 OpenClaw工作流程——让龙虾解剖自己
以下是openclaw对自己工作流程和一些细节的解读，博主作为虾佬的interface做了一些简要记录和可视化修饰。
2026-03-16 17:56:19
107
原创 X For You Feed Algorithm
近期开源的X的“For you”（为你推荐） tab推荐框架GitHub地址：https://github.com/xai-org/x-algorithm?
2026-01-22 17:14:08
770
原创 HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User
现在定义序列推荐：给出一个用户uuu，一个按时间顺序排列的用户的交互历史UI1I2InUI1I2...In，预测下一个itemIn1I_{n+1}In1，每个item都有关联的ID和文本信息（例如标题和tag等），然而本文只用到了item的文本信息。
2026-01-16 18:47:38
708
原创 QARM:Quantitative Alignment Multi-Modal Recommendation at Kuaishou
在得到与业务信息对齐的多模态表示后，下一步就是通过MLLM的世界知识提升下游模型的准确率。首先利用k-mean将全部embedding聚成L个簇，然后对每个embedding，用与它距离最近的聚类中心来表示，并求出它与聚类中心点的残差。然后对全部embedding的残差执行相同的操作。上面的问题，以往的解决办法通常是在模型中增加额外的对比模块，然而这样的对比loss作用很弱并且容易过拟合。而我们的做法是首先构建一个纯的多模态表示，然后利用召回模型的知识来监督学习它，让它反映出真实业务的特性。
2025-09-15 18:29:57
1142
翻译 OneRec: Unifying Retrieve and Rank with Generative Recommender and Preference Alignment
一个session指的是一次用户请求返回的一个batch的视频，通常是5个到10个，一个session内的视频通常会考虑到用户兴趣、连贯性和多样性等多种因素。我们将RQ-VAE的方法改进为使用一个多层的平衡的量化机制，用残差K-means量化算法来进行embedding的转换。然而过往的推荐系统采用召回-粗排-精排的级联结构，导致某一级的上限受到前面一级的限制。，然后为生成的每个session计算奖励，然后我们用得分最高的session和得分最低的session为一个用户构建一个偏好对。
2025-09-08 15:05:17
481
翻译 Deep & Cross Network for Ad Click Predictions
原文链接：https://arxiv.org/pdf/1708.05123。
2025-03-25 18:55:35
152
翻译 Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Pr
为了快速拿到当前用户行为序列中与当前item category相同的部分，我们使用了一个两层的结构来存储用户行为，命名为user behavior tree (UBT) ，UBT是一个key-key-value结构，第一层key是user_id，第二层key是category id，value是用户有过交互的item序列。我们观察到在电商场景，上述hard-search和soft-search的效果相近，出于线上延迟要求和性能的考虑，线上serving直接采用hard-search方式。
2025-03-25 18:27:57
256
翻译 Language Models are Few-Shot Learners
zero-shot, one-shot, few-shot, 上下文中example数, 有无prompt以及模型大小对模型性能的影响如上。本文的主要工作是评估在不同的setting下GPT-3在各种任务中的评估结果如何。
2024-10-24 16:11:48
146
翻译 Generating Long Sequences with Sparse Transformers
本文的主要贡献是对attention矩阵做了一些稀疏的分解，通过对完整的attention进行分解能够更快地进行计算，并且合并之后能够对稠密的attention操作有一个比较好的近似。我们用这一方法来解决长序列内存和计算性能的问题。
2024-10-21 18:23:26
297
翻译 Language Models are Unsupervised Multitask Learners
语言模型通常被定义为对于一系列样本无监督分布的估计，其中每个样本是一个符号序列s1s2...snpxi1∏npsn∣s1...sn−1学习单个任务可以用以上框架表示为估计联合概率poutput∣input，而一个泛化的系统即便给出相同的输入，也会根据提供的任务不同而输出有所不同，此时建模就应该估计poutput∣inputtask。
2024-10-14 17:04:07
330
翻译 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
我们进行了两种简化，第一是我们不再对网络层的输入输出联合白化，而是单独对每个标量进行归一化，让它们均值为0方差为1，也就是对于一个向量的每一维单独归一化，每一维的均值和方差都由整个训练集计算得到。在训练阶段，batch normalization中activation的均值和方差使用一个mini-batch的计算结果，而推理过程中则是使用的训练过程中所有batch样本的移动平均值和方差。对于网络的某一层，如果能够固定住它输入的分布，那么这一层的参数就不需要因为输入的分布变化而调整。
2024-09-23 19:11:52
188
翻译 Improving Language Understanding by Generative Pre-Training
自然语言理解支持了包括文本蕴含、问答、语义相似评估、文本分类在内的多种任务。尽管大规模未标注的文本训练集是充足的，但这些特殊领域的有标注的数据是缺乏的，导致一些领域的任务没有办法充分训练。我们证明了这些任务可以通过在大规模未标注文本数据集上进行生成式的pre-train，然后再对每个任务进行单独的fine-tune来取得较大的性能提升。与之前工作不同的是，我们在fine-tuning阶段利用任务感知的输入transformation来达到在对模型结构改变很少的前提下也能进行有效迁移。
2023-10-22 00:12:49
312
翻译 Semi-Supervised Classification with Graph Convolutional Networks
解决的问题我们提出了一个稳定的方法来半监督地学习图结构的数据，这种方法基于一种卷积网络的变体，是将卷积网络直接作用在图上。我们是基于对一种谱图卷积的一阶近似选择的这种卷积结构。我们的模型能够学到既可以编码局部的图结构也可以编码节点特征的隐藏层表示。在引文网络和知识图谱数据集上进行的一系列实验表明，我们的方法跟类似方法相比有显著的提升。问题形式化本文考虑的是对图上的节点进行分类，而图中只有一小部分节点有标签。这类问题可以被形式化为基于图的半监督学习，其中标签信息通过一些显式的基于图的正则来进行平滑，例如
2022-05-20 19:44:14
584
翻译 Personalized Approximate Pareto-Efficient Recommendation
真实推荐系统中通常会有不同的学习目标和评估标准，例如准确度、多样性或新颖度。因此多目标推荐正在被广泛使用和探索。最近帕累托最优模型被应用到了多目标推荐系统中，然而现有方法全部都是对所有样本共享一套目标权重。为了抓住用户在目标级别的偏好，并在帕累托最优系统中加入个性化，我们提出了PAPERec框架，设计了一个基于KKT条件标量化的近似帕累托最优学习，其中每个用户对每个目标有个性化的权重。我们还提出了一个面向帕累托的强化学习模块来为每个用户寻找合适的个性化目标权重，以所有目标梯度的加权和为奖励。我们在实际推荐系
2022-04-28 18:09:46
394
翻译 Deep Session Interest Network for Click-Through Rate Prediction
解决的问题CTR预估在广告和推荐系统中都扮演者重要角色。在CTR预估中，如何从用户的行为序列中抽取出动态变化的用户兴趣是一大课题。然而现有的方法都忽视了用户行为序列的一大特性：用户行为序列是由多个session组成的，而每个session由行为的时间进行划分。我们发现用户在同一session内的行为是高度同质化的，而不同session间的行为是异质的。基于上述观察我们提出了Deep Session Interest Network (DSIN) 模型来利用用户行为序列的多个session。我们首先从每个s
2022-04-26 18:03:15
499
翻译 self-supervised learning for large-scale item recommendations
解决的问题长尾item的用户反馈数据稀疏是推荐系统中长期存在的一个问题。近期受到CV和NLP领域在自监督学习任务上进展的启发，我们提出了一个针对大规模item推荐的自监督学习(SSL)框架。框架主要通过更好地学习item特征之间的潜在联系来解决label稀疏的问题。特别地，SSL既优化了item表征，又优化了线上服务，从而提升了模型的泛化能力。除此之外，我们还在框架中提出一种新颖的利用特征交互来进行数据增强的方法。我们通过两个真实的数据集和一个线上真实的app-to-app推荐场景来评估我们的模型，实验结
2021-11-01 14:00:41
2372
3
翻译 Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems
解决的问题解决推荐系统中的召回问题，标准的方法就是通过采样进行极大似然估计。然而真实的推荐系统通常存在严重的曝光偏差，而极大似然估计从长期来讲会加重曝光偏差，而不合适的采样和特征选取会使得item表示学习效果打折扣。本文提出了CLRec，一种对比学习范式，来解决召回阶段的曝光偏差。问题形式化推荐系统的召回阶段范式为学习一个用户行为encoder fθ(x)∈Rdf_\theta(x) \in R^dfθ(x)∈Rd和一个item encoder gθ(y)∈Rdg_\theta(y) \in R^d
2021-08-27 01:04:26
1221
翻译 Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Pr
解决的问题基于记忆网络的MIMN通过对算法和服务架构的共同设计成为了state-of-the-art方法。MIMN是工业界第一个能够为超过1000条用户行为建模的方法，然而在用户行为更多的情况下MIMN便不能精确把握用户兴趣了。本文提出了一种新的范式Search-based Interest Model (SIM)，SIM通过两个级联的搜索单元来抽取用户兴趣：General Search Unit (GSU)从原始的任意长度的行为序列中进行搜索，从而抽取出与候选item相关的子序列；Exact Searc
2021-08-18 01:07:20
675
原创 flink流式作业入门
最近换项目，交接了乌乌泱泱的一大片flink作业。时间紧任务重，于是扒各种资料连猜带蒙入了个门。在这里记录一些粗浅的经验。以下全部内容均为flink scala版的streaming任务相关，如有错误（大概率有）欢迎大佬们指正。跑通第一个flink streaming作业环境和版本：ubuntu 18.04java 1.8flink-scalaIDEA...
2021-08-16 01:21:56
505
翻译 CAN: Revisiting Feature Co-Action for Click-Through Rate Prediction
feature co-action特征间的联合效应。例如一个点击历史中有泳衣的女性用户很有可能会点击推荐给她的泳镜，因为“泳衣”和“泳镜”之间是有联系的。特征co-action可以对于一系列原始特征子图进行建模。如果子图中只有两个特征，那么特征co-action等价于为两个特征ID的边建模。以往研究工作对于feature co-action的建模方法可以分为以下三类：基于聚合的方法研究如何将用户的历史行为序列聚合起来用到ctr预估中。...
2021-06-17 20:26:36
1240
原创 tfrecord相关
给自己留档，因为永远记不住用法。python读tfrecord文件python读取tfrecord文件有很多种姿势，但大体过程类似：# 定义feature字典，字典key必须在tfrecord中存在，反之则不要求def parse(example): features = { 'id': tf.FixedLenFeature(1, dtype=tf.string), 'label': tf.FixLenFeature(1, dtype=tf.float32), 'fea
2021-06-15 23:17:42
291
原创 tensorflow AUC & streaming_auc
对AUC和它计算方法的解释可以看这位大佬的文章：https://www.cnblogs.com/peizhe123/p/5081559.html，本文主要讲tensorflow中计算AUC的API实现。tf.contrib.metrics.streaming_auc & tf.metrics.auc在tf1.x中有两个计算AUC的API: tf.contrib.metrics.streaming_auc和tf.metrics.auc，在使用tf.contrib.metrics.streaming
2021-04-07 20:20:50
1748
翻译 Progressive Layered Extraction: A Novel Multi-TaskLearning Model for Personalized Recommendations
解决的问题多任务学习在推荐场景中已经得到了广泛的应用。然而多任务模型常常会受到负迁移的影响而性能变差。为解决这一问题，本文提出了Progressive Layered Extraction (PLE)，它将共享组件和每个任务独有的组件分隔开，并引入了一种先进的路由机制来深层的语义抽取分离出来。跷跷板现象在多任务学习中负迁移是很常见的现象，这一现象在相关性不强的任务间尤为显著。对于有着复杂关联性的多任务学习，我们还观察到了跷跷板现象：在全部任务中超越单任务模型是非常困难的。我们将会通过腾讯的视频推荐系统
2021-03-15 20:18:37
1353
4
翻译 Recommending What Video to Watch Next: A Multitask Ranking System
本文是一个大型多目标推荐系统的实践。我们尝试了诸如MMoE等许多soft-parameter sharing技术，此外我们还通过wide&deep的方式引入了selection biases。场景我们的应用场景是视频的next watch场景的排序阶段。设计并实现一个真实场景中的大规模实时视频推荐系统会面临如下挑战：我们的优化目标经常是存在冲突的。例如我们不仅想要为用户推荐他们可能观看的视频，还想要推荐他们可能评分很高并进行分享的视频。系统中通常会存在隐式偏见(bias)，例如用户会点击并
2021-03-09 20:19:14
858
翻译 Modeling Task Relationships in Multi-task Learning withMulti-gate Mixture-of-Experts
背景多目标深度学习系统越来越多被运用在了大规模真实推荐系统中。然而目前常用的多目标模型通常对数据分布和任务间的关系过于敏感。因此在单个任务目标和多个任务的关系之间的tradeoff就变得很重要。本文提出了MMoE，一个能够显式学习到任务间关系的多任务模型。MMoE模型在多个任务间共享expert子模型，并且有一个门控网络来优化每个任务。为在相关程度不同的任务上验证我们的模型，我们首先将它应用在了一个由我们自己控制相关程度的人工数据集上，发现在相关程度不强的任务上它的表现优于baseline模型。然后我们
2021-03-01 02:02:29
522
翻译 GateNet: Gating-Enhanced Deep Network for Click-Through Rate Prediction
解决的问题当前CTR预估模型中一般都有embedding和MLP组件，我们提出一个新的GateNet模型，通过引入特征embedding门来学习特征级别的潜在信息，而hidden gate帮助模型更好地习得高阶交互特征。
2021-01-12 00:35:40
1519
翻译 Learning to Rank: From Pairwise Approach to Listwise Approach
解决的问题关于排序已经有很多方法提出了，它们的共同点就是将object对当做学习的实例，我们把它们叫做pairwise的方法。Pairwise方法有诸多优点，但它们忽略了一个事实——排序是一个在object列表上进行预测的任务。本文认为排序应该以一个list的object作为实例。listwise方法在本节我们以文档召回为例简短介绍一下learning to rank，再着重介绍listwise方法。下面我们用上标来代表query的index，下标表示doc的index。在训练过程中，给出一个集合的
2020-12-29 15:17:32
1226
翻译 Deep Interest Network for Click-Through Rate Prediction
解决的问题以往的CTR预估模型遵从一个常规套路：大规模的稀疏的输入特征首先被映射为低维度的embedding向量，然后通过某种方式转换成一组固定长度的向量，拼接在一起，然后喂给全连接层来学习特征间的非线性关系。与普通的逻辑回归模型相比，这种方法能够省去大量的特征工程。然而用户兴趣具有多样性，用一个低维度向量来表示用户可能会变成表达用户兴趣的瓶颈。另一方面，在预测某一特定广告的CTR时，没有必要把用户的全部兴趣压缩在一个向量中，因为用户兴趣中只有一部分能够影响到他对这条广告的行为。基于以上的分析，我们提出
2020-10-27 17:01:39
359
翻译 Latent Cross: Making Use of Context in Recurrent Recommender Systems
WSDM’18, Google, Inc.解决的问题本文主要研究了如何有效率地处理推荐系统中的上下文信息（时间、地点、场景…）。首先我们对前馈网络利用上下文信息的传统方法进行了分析，并证明了这种方法在特征交叉方面是低效率的。秉持着这样的观点，我们设计了一个state-of-the-art的RNN推荐系统。...
2020-10-14 00:46:29
369
翻译 Learning and Transferring IDs Representation in E-commerce
解决的问题本文提出了一种基于embedding的框架来学习ID的表示，通过学习item ID的序列和ID间结构上的联系，所有种类的ID都可以表示为同一低维语义空间上的向量。然后这些ID表示就可以被利用来解决以下四个场景的问题：度量item间的相似度有过用户行为的物品和新物品间的迁移不同领域间的迁移不同任务间的迁移学习ID表示用户交互序列的skip-gramtbc...
2020-10-09 01:00:19
180
翻译 Multi-Interest Network with Dynamic Routing for Recommendation at Tmall
场景&解决的问题本文提出的方法解决了天猫主页的个性化推荐（占天猫流量的约50%）中的召回部分。在天猫的个性化推荐场景中，无论是召回还是排序阶段，最重要的都是为用户兴趣建模。然而建模用户兴趣存在问题：一个用户可能对多种物品感兴趣。现有的推荐算法采取过多种方法来对用户兴趣建模。基于协同过滤的方法用用户历史行为或隐性因子来表示用户兴趣，这种方法的局限性在于稀疏性和计算困难。深度学习方法通常将用户兴趣表示为一个低维度的embedding，然而这种方法中，embedding的维度可能会成为表达用户各种
2020-09-09 00:08:19
1960
翻译 Embedding-based Retrieval in Facebook Search
解决的主要问题搜索中的语义匹配问题——找到那些与qeury文本不精确匹配，却能够满足用户搜索意图的结果EBR—— embedding based retrieval，基于embedding的检索text-user-context embedding主要工作Facebook搜索的基于embedding的检索系统模型：unified embedding——query文本，用户和上下文组成模型的一侧，另一侧由document组成，从搜索日志中获得训练样本，并利用一个recall metric作为
2020-08-02 01:28:22
2445
翻译 tf.train.Saver
Saver类用于保存和重载变量到checkpoint。Checkpoint是一系列有特定格式的二进制文件，这些文件会把变量名和tensor值映射起来。Saver能够通过一个给定的计数器自动给checkpoint文件排序，这使得我们能够在训练一个模型时，在不同的step下保存多个checkpoint。同时Saver还能够自动管理checkpoint，例如我们可以通过Saver来只保存最近N个ch...
2020-04-30 19:40:43
409
翻译 Deep Neural Networks for YouTube Recommendations
问题YouTube推荐在以下三个方面有极大的挑战性：规模大新的item多噪声 由于稀疏性和一些无法观测的外部因素，YouTube的历史用户行为是十分难以预测的，而与内容相关的元数据也不能定义一个规整的结构。我们的算法需要足够健壮以应对我们训练数据的这些特性。系统架构系统中有两个网络，分别用于召回（candidate generation）和排序。召回网络从用户行为历史中拿到ev...
2020-02-27 19:27:12
1623
翻译 Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations
Introduction推荐系统常被视作召回+排序的两阶段系统。本文的重点就在于为一个有百万量级item的个性化推荐构建一个召回系统。给出一个{user, context, item}的三元组，召回模型通常的解决方法是：1）分别学习{user, context}和{item}的表示，2）利用一个简单的打分函数（例如点积）来为query生成候选item。context通常是有动态性质的变量，例如...
2020-02-26 22:23:56
5133
翻译 Sequence to Sequence Learning with Neural Networks
Sequence to Sequence Learning with Neural NetworksIlya Sutskever et al. Google. 2014Sequence to sequenceDNN的一个显著问题在于只能应用到输入和输出都能表示为固定维度的向量的问题中。这是一个显著的缺陷，因为很多重要的问题中，输入和输出都需要被描述为预先不知道长度的序列。本文提出了直接用一...
2020-01-27 19:51:51
406
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人