qq_39091546的博客

摘要顺序推荐旨在利用用户的历史行为来预测他们的下一次交互。现有的工作还没有解决序列推荐中的两个主要挑战。首先，用户在其丰富的历史序列中的行为往往是隐含的、噪声的偏好信号，不能充分反映用户的实际偏好。此外，用户的动态偏好通常会随着时间的推移而快速变化，因此很难捕捉其历史序列中的用户模式。在这项工作中，我们提出了一个称为Surge的图神经网络模型来解决这两个问题。具体地说，Surge通过基于度量学习将松散的项目序列重构为紧凑的项目-项目兴趣图，将长期用户行为中的不同类型的偏好整合到图中的簇中。通过在兴趣图中形

tf的代码文章解决的是召回的问题共分为：召回，精排，重排。摘要推荐系统旨在帮助用户从不断增长的项目语料库中发现最喜欢的内容。尽管深度学习使推荐器有了很大的进步，但它们仍然面临着一些挑战：(1)行为比句子中的单词复杂得多，因此传统的注意力和递归模型在捕捉用户偏好的时间动态方面存在局限性。(2)用户偏好具有多样性和渐进性，很难将长期记忆和短期意图结合起来。在本文中，我们提出了一种时间门控方法来改进注意机制和循环单元，以便在信息过滤和状态转换中都能考虑时间信息。此外，我们还提出了一种混合序贯推荐器，称为

使用UIC (User Interest Center).解决长序列问题（数千长度）。 tensorflow的代码摘要本文直面长序列用户行为建模的挑战，介绍了我们与机器学习算法和在线服务系统共同设计的CTR预测任务的实践。(I)从服务系统的角度出发，通过设计一个独立的模块UIC(User Interest Center)，将用户兴趣建模中最耗费资源的部分从整个模型中解耦出来。UIC维护每个用户的最新兴趣状态，其更新取决于实时用户行为触发事件，而不是流量请求。因此，UIC对于实时CTR预测是无延迟的。(I

跑模型的时候遇到这个问题，查了一下是关于pytorch版本的问题，我使用的版本1.7.0.看了网上说的换成是1.6.0就可了我找了服务器上的一个1.4.0，就能够跑起来了

介绍的博客作者讲解摘要传统的推荐系统主要针对固有的、长期的用户偏好进行建模，而动态的用户需求也是非常重要的。通常，历史消费会影响用户对其关系项的需求。例如，用户倾向于一起购买互补产品(iPhone和AirPods)，而不是替代产品(Powerbeats和AirPods)，尽管替代购买的产品仍然迎合了他/她的偏好。为了更好地模拟历史序列的影响，以前的研究引入了项目关系的语义来捕捉用户的推荐需求。然而，我们认为，不同关系造成的影响的时间演化是不能忽视的。在上面的例子中，用户对耳机的需求可以在需要新耳机的较

ABSTRACT图卷积网络(GCNS)在推荐方面显示出巨大的潜力。这归功于他们通过利用来自高阶邻居的协作信号来学习好的用户和项目嵌入的能力。与其他GCN模型一样，基于GCN的推荐模型也存在一个臭名昭著的过度平滑问题–当堆叠更多层时，节点嵌入会变得更加相似，最终无法区分，从而导致性能下降。最近提出的LightGCN和LR-GCN在一定程度上缓解了这一问题，然而，我们认为它们忽略了推荐中过度平滑问题的一个重要因素，即没有用户共同兴趣的高阶相邻用户也可以参与用户在图形卷积操作中的嵌入学习。因此，多层图卷积将使兴

ABSTRACT顺序推荐由于其实用性和通过捕获顺序信息的高精度而一直是研究的热点。由于广泛采用基于深度学习（DL）的方法来对用户行为序列下的本地和动态偏好进行建模，因此用户的全局和静态偏好的建模往往被低估了，通常只有一些简单而粗略的用户潜在表示是介绍。此外，大多数现有方法都假设通过考虑历史行为可以完全捕获用户的意图，而忽略了现实中用户意图的可能不确定性，这可能会受到要推荐候选项目的出现的影响。因此，在本文中，我们着眼于这两个问题，即大多数基于DL的顺序推荐方法中用户全局偏好的不完善建模以及候选项目带来的用

RLR_{L}RL​表示的是生成的推荐列表， 表示的是ama_{m}am​这个兴趣对u的重要程度（一种概率）。然后，我们提出了一种端到端意图感知的多样化顺序推荐(IDSR)模型，可以根据公式(3)直接生成多样化的推荐项目列表。IDSR的主要框架如图2所示。如图2所示，IDSR由三个模块组成：序列编码器、隐式意图挖掘(IIM)模块和意图感知分集促进(IDP)解码器。首先，序列编码器将用户的序列行为投影到潜在表征中。然后，IIM模块捕获反映在用户顺序行为中的多个潜在意图。最后，使用IDP解码器根据公式...

首先要了解 self attention，知乎上的一篇文章讲解的很好，这个图很好的讲解了self attention,而Multi- Head Attention就是在self attention的基础上把，x分成多个头，放入到self attention中，最后再把他们结果cancat到一起，现在我要处理的一个问题是，如何把x的维度与head的维度一样，也就是扩展x，达到我的想法。先留白，接下来要放入代码...

摘要知识图(KG)在推荐系统中发挥着越来越重要的作用。最近的一个技术趋势是开发基于图神经网络(GNN)的端到端模型。然而，现有的基于GNN的模型在关系建模中是粗粒度的，不能(1)在细粒度的意图级别识别用户-项关系，(2)利用关系依赖来保持远程连通性的语义。在这项研究中，我们通过使用辅助项目知识来探索用户与项目交互背后的意图，并提出一种新模型，即基于知识图的意图网络（KGIN）。从技术上讲，我们将每一个意图建模为KG关系的细心组合，鼓励不同意图的独立性，以实现更好的建模能力和可解释性。此外，我们为GNN设

这篇文章说的是学习用户之间不同的意图，并且意图之间要有独立性我们之前都是一个物品学习一个embedding ,但是一个物品也会有很多不同的属性，所以分别进行表示，比如说一个物品20维度，四个属性，每一个属性就是五个维度，确定用户交互是处于何种目的，一个k 是一个意图，之后在整个图整个到一起，每个intent尽可能的不一样。用户的embedding是有每一部分的意图embedding组成的，之前学习的用户意图是使用的mutle-head ，要做的是确保head之间的独立性。数据的初始化

摘要人们越来越关注下一项推荐系统，该系统可以通过顺序的用户交互来推断动态的用户偏好。尽管项目的语义可以随时间和跨用户而变化，但可以通过短期内由用户交互定义的项目相关性进行精炼，以捕获此类变化，并有助于发现动态的用户首选项。因此，我们有动力开发一种由连续的超图支持的新颖的下一项目推荐框架。具体而言，框架：（i）采用超图表示短期项相关性，并应用多个卷积层以捕获超图中的多阶连接； （ii）使用残留选通层对不同时间段之间的连接进行建模； （iii）配备了一个融合层，在将动态项嵌入和短期用户意图结合到每个交互的表示

Abstract用户项目交互的时间顺序可以揭示许多推荐系统中时间演变和顺序的用户行为。用户将与之交互的项目可能取决于过去访问的项目。然而，用户和项目的大量增加使得顺序推荐系统仍然面临着不小的挑战：（1）短期用户兴趣建模的难度； （2）难以计算长期用户兴趣； （3）项目共现模式的有效建模。为了解决这些挑战，我们提出了一种内存增强图神经网络（MA-GNN），以捕获长期和短期的用户兴趣。具体来说，我们应用图神经网络在短期内对项目上下文信息进行建模，并利用共享内存网络捕获项目之间的长期依赖关系。除了对用户兴趣进行

摘要近年来，序贯推荐因其作为电子商务必不可少的服务而受到研究者的广泛关注。准确理解用户意图是提高推荐系统性能的重要因素。然而，用户意图具有高度的时效性和灵活性，因此学习用户潜在的动态意图进行顺序推荐是非常具有挑战性的。为此，本文提出了一种基于有序和无序刻面(IMfOU)的顺序推荐意图建模方法。具体地说，我们提出的全局和局部项嵌入(GLIE)能够全面地捕捉序列中的顺序上下文信息，突出用户关心的重要特征。进一步设计了有序偏好漂移学习(OPDL)和无序购买动机学习(UPML)，分别得到用户偏好漂移和购买动机的过

摘要近年来，图神经网络（GNN）由于其在各种应用中的令人信服的性能而日益受到欢迎。先前的许多研究还尝试将GNN应用于基于会话的推荐并获得了可喜的结果。但是，我们发现在这些基于GNN的基于会话的推荐方法中存在两个信息丢失问题，即有损会话编码问题和无效的远程依赖捕获问题。第一个问题是有损会话编码问题。由于从会话到图的有损编码以及消息传递期间的排列不变聚合，因此忽略了有关项目转换的一些顺序信息。第二个问题是无效的远程依赖捕获问题。由于层数有限，因此无法捕获会话中的某些远程依赖性。为了解决第一个问题，我们提出了一

参考文献l0:非0的个数l1: 所有数的绝对值相加为了避免过拟合，所以我们采用l1范数的正则项正则化，损失函数加上正则化避免过拟合，正则化越小，矩阵越稀疏，我们求解的时候回得到很多满足条件的解，所以选择一个比较稀疏的矩阵防止过拟合，留下的都是有用的这就是解与正则相互作用...

摘要基于会话的推荐因其能够为匿名用户提供推荐而成为研究热点。但是，现有的基于会话的方法具有以下局限性：（1）它们要么缺乏学习复杂依赖性的能力，要么主要专注于当前会话，而没有明确考虑协作信息。 （2）他们假设商品的表示形式是静态的，并且在每个时间步中对所有用户都是固定的。我们认为，即使是同一项目，也可以在同一时间步骤为不同的用户以不同的方式表示。为此，我们提出了一种新颖的解决方案，用于基于会话的推荐的协作式自我关注网络（CoSAN），以学习会话表示并通过调查邻居会话来预测当前会话的意图。特别地，我们首先通过

腾讯摘要学习用户表示对于推荐系统来说是一项关键任务，因为它可以对个性化服务的用户偏好进行编码。通常从行为数据（例如单击交互和评论）中学习用户表示。但是，对于不太受欢迎的域，行为数据不足以学习精确的用户表示。为了解决这个问题，自然的想法是利用内容丰富的域来补充用户表示。受到BERT在NLP中的最新成功的启发，我们提出了一种新颖的基于预训练和微调的方法U-BERT。与典型的BERT应用程序不同，U-BERT是为推荐而定制的，并在预训练和微调中使用了不同的框架。在预培训中，U-BERT专注于内容丰富的领域，并

摘要顺序推荐中的最新方法着重于从用户的行为序列中学习下一个推荐的整体嵌入向量。但是，通过经验分析，我们发现用户的行为序列通常包含多个概念上不同的项目，而统一的嵌入向量主要受一个人最近的频繁动作的影响。因此，如果概念上相似的项目在最近的交互中不占主导地位，则可能无法推断出下一个首选项目。为此，另一种解决方案是用编码该用户意图的不同方面的多个嵌入矢量来表示每个用户。尽管如此，最近有关多兴趣嵌入的工作通常考虑了通过聚类发现的少量概念，这可能无法与真实系统中的大量项目类别相提并论。有效地建模大量不同的概念原型是一

ABSTRACT顺序推荐（SR）是根据用户当前访问的项目为用户准确地推荐项目列表。在新用户不断进入现实世界的同时，一项关键任务是拥有感应式SR，它可以产生用户和物品的嵌入而无需重新培训。考虑到用户与项目之间的交互可能极为稀疏，另一个关键任务是拥有可转移的SR，该SR可以将来自具有丰富数据的一个域的知识转移到另一个域。在这项工作中，我们的目的是提供同时适用于常规，电感和可转移设置的整体SR。我们为整体SR提出了一个新颖的基于深度学习的模型，即关系时间关注图神经网络（RetaGNN）。 RetaGNN的主要思

要明白超图，我的理解就是一个边上可以有很多个节点。一般的理解是2介超图，一条线上有两个节点是我们一般理解的，但是超图就是说一条边上有多个节点。摘要基于会话的推荐器系统旨在改进在许多平台上都可以找到的短期会话中的推荐。关键的挑战是在这些简短的会议中，仅以有限的证据准确地建模用户意图。例如，查看鲜花花束是作为购买婚礼的一部分还是用于家居装饰？这种不同的观点极大地影响了下一步应该推荐的内容。因此，本文提出了一种基于超图注意力网络的基于会话的新型推荐系统。该方法的三个独特特性是：（i）为每个会话构造一个超图，以

ABSTRACT下一篮子推荐(NBR)在电子商务和零售业中非常普遍。在此场景中，用户一次购买一组商品(一个篮子)。NBR基于一系列篮子执行顺序建模和推荐。NBR通常比被广泛研究的顺序(基于会话)推荐要复杂得多，后者根据一系列项目推荐下一项。递归神经网络(RNN)已被证明是一种非常有效的序贯建模方法，因此适用于NBR。然而，我们认为现有的RNN不能直接捕获推荐场景中的项目频率信息通过对真实数据集的仔细分析，我们发现个性化商品频率(PIF)信息(记录用户购买每件商品的次数)为NBR提供了两个关键信号。但是，

ABSTRACT受深度学习成功的启发，最近的工业点击率(CTR)预测模型已经从传统的浅层方法过渡到深度方法。深度神经网络(DNNs)具有从原始特征中自动学习非线性交互作用的能力，然而，非线性特征交互作用是以隐式方式学习的。这种非线性的交互作用可能很难捕捉并显式建模，原始特征的交互作用有利于CTR预测，协同作用指的是特征对最终预测的集体影响。在这篇文章中，我们认为目前的CTR模型没有充分挖掘特征共同作用的潜力。我们进行了实验，结果表明特征协同作用的效果被严重低估。基于我们的观察，我们提出了特征协同作用网络(

作者德克萨斯农工大学阿里巴巴集团香港理工大学Abstract在各种在线服务中，顺序推荐变得越来越重要。它的目的是根据用户的历史交互来建模用户的动态偏好，并预测他们的下一个项目。真实系统上累积的用户行为记录可能非常长。这些丰富的数据带来了追踪用户实际兴趣的机会。之前的努力主要集中在根据相对较新的行为提出建议。然而，整个顺序数据可能没有得到有效利用，因为早期的交互可能会影响用户当前的选择。此外，在对每个用户执行推理时扫描整个行为序列已经变得无法忍受，因为现实世界中的系统需要较短的响应时间。为了弥补这一

ABSTRACT最近，卷积网络在为推荐的顺序用户交互建模方面显示出巨大的前景。关键是，这样的网络依赖固定的卷积核来捕获顺序行为。在这篇论文中，我们认为，在基于会话的设置中，项目到项目转换的所有动态可能在训练时间都是观察不到的。因此，我们提出了DynamicRec，它使用动态卷积来根据当前输入动态地计算卷积核。我们通过实验表明，在基于会话的环境下，该方法在真实数据集上的性能明显优于现有的卷积模型。日常用户与不同电子商务平台上的各种项目交互，执行一系列动态操作。这些平台通常使用会话密钥在短时间内记录这些顺序

在虚拟环境中安装了Pytorch后，如何加载到PyCharm和Jupyter

摘要为了提高用户满意度和业务效率，点击率(CTR)预测是电子商务中最重要的任务之一。通常的情况是，用户的兴趣可能会与他们过去的习惯不同，或者像促销项目这样的印象可能会在很短的时间内爆发。从本质上讲，这些变化与项目演化问题有关，而以往的研究还没有对此进行研究。序贯推荐中最先进的方法使用简单的用户行为，不能对这些变化进行充分建模。这是因为，在用户行为中，可能存在过时的兴趣，并且没有很好地表示项目随时间的受欢迎程度。为了解决这些限制，我们引入了时间感知的项目行为来解决新兴偏好的推荐。项目的时间感知项目行为是一组

SIGIR 2020华东师范大学微信腾讯搜索应用部ABSTRACT顺序推荐和分组推荐是推荐系统领域的两个重要分支。虽然这两个分支已经以独立的方式投入了大量的精力，但我们将它们结合起来，提出了一种新颖的序贯群推荐问题，该问题能够对群的动态表示进行建模，并且对于获得更好的群推荐性能是至关重要的。该问题的主要挑战是如何基于过去时间范围内组成员的顺序用户-项目交互来有效地学习动态组表示。为了解决这个问题，我们设计了一种群体感知的长期和短期图表示学习方法，即GLSGRL，用于连续的群体推荐。具体地说，对于目

摘要基于会话的推荐问题旨在预测基于匿名会话的用户行为。以前的方法将会话建模为序列，并估计除项表示之外的用户表示以提出建议。虽然取得了令人满意的结果，但它们不足以获得会话中准确的用户向量，也不足以忽略项目的复杂迁移。为了获得准确的项目嵌入，并考虑到项目的复杂过渡，我们提出了一种新的方法，即基于会话的图神经网络推荐(SR-GNN)，简称SR-GNN。在该方法中，会话序列被建模为图形化数据。在会话图的基础上，GNN能够捕捉到传统的顺序方法难以揭示的复杂的项目变迁。然后，使用注意力网络将每个会话表示为全局偏好和该

摘要：本文对传统的RNN结构进行了改进，提出了时间感知控制器和内容感知控制器，以便更好地考虑上下文信息来控制状态转换。我们进一步提出了一个基于注意力的框架，将用户的长期偏好和短期偏好结合起来，从而可以根据特定的上下文自适应地生成用户的表征。本文重点研究了两个关键问题：动态时间间隔和动态潜在意图。第一个问题表明用户连续操作之间的时间间隔可能不同。例如，他/她的下一个动作可能发生在第二天或下周。直观地说，短时间间隔内的两个动作往往比长时间间隔内的两个动作共享更紧密的关系。因此，这种时间距离值得特别处理。另一方

摘要  在序列推荐领域，基于深度学习（DL）的方法在过去几年中受到了广泛的关注，并超越了基于马尔可夫链和基于因式分解的传统模型。但是，关于基于DL的方法的系统研究很少，尤其是关于如何设计有效的DL模型进行序列推荐的系统研究。在这种观点下，本调查通过考虑上述问题，重点关注基于DL的序列推荐系统。具体来说，我们说明了序列推荐的概念，根据三种类型的行为序列对现有算法进行了分类，总结了影响基于DL的模型性能的关键因素，并进行了相应的评估，以展示和证明这些效果因素。我们通过系统地概述该领域的未来方向和挑战来结束本调

摘要  近年来，序列推荐系统（SRS）的新兴话题已引起越来越多的关注。与传统的推荐系统（RS）包括协作过滤和基于内容的过滤不同，SRS尝试理解并建模顺序用户行为，用户与项目之间的交互以及用户偏好和项目受欢迎程度随时间的演变。 SRS涉及以上方面，以更精确地表征用户上下文，意图和目标以及项目消费趋势，从而导致更准确，定制和动态的建议。在本文中，我们对SRS进行了系统的综述。我们首先介绍SRS的特征，然后对本研究领域中的关键挑战进行归纳和归类，然后是相应的研究进展，包括该主题的最新进展和代表性发展。最后，我们

图神经网络相关综述论文推荐1.1 Relational inductive biases, deep learning, and graph networks1.2 论文链接论文链接 视频链接 论文翻译2.1 Graph Neural Networks: A Review of Methods and Applications2.2 论文链接论文链接 视频链接 论文翻译...

论文背景：FFM（Field-aware Factorization Machine）最初的概念来自Yu-Chin Juan（阮毓钦，毕业于中国台湾大学，现在美国Criteo工作）与其比赛队员，是他们借鉴了来自Michael Jahrer的论文[14]中的field概念提出了FM的升级版模型。通过引入field的概念，FFM把相同性质的特征归于同一个field。摘要点击率(CTR)预测在计算式广告中起着重要的作用。基于2次多项式映射和因子分解机(FMs)的模型被广泛用于这一任务。最近，FMs的一个变种

FM算法是进行特征组合时的常见算法。1. FM要解决的问题FM主要是为了解决数据稀疏的情况下，特征组合问题。one-hot编码存在的两个问题：1.样本数据会变得很稀疏，2.特征空间变大普通的线性模型，各个特征都是独立考虑的，没有考虑到特征之间的相关性，如果能找出有关联的特征，会有很大的帮助。一般的线性模型为:在实践经验中，对特征进行交叉组合往往能够更好地提升模型效果。2. FM定义M以特征组合进行切入点，在公式定义中引入特征交叉项，弥补了一般线性模型未考虑特征间关系的缺憾。公式如下（FM模型

Q&R: A Two-Stage Approach toward Interactive RecommendationABSTRACTRecommendation systems, prevalent in many applications, aim to surface to users the right content at the right time. Recently, researchers have aspired to develop conversational syste

colah 写了一篇介绍LSTM的博客，写的非常的好。为了能够是自己更加深入的了解。特此，将它翻译了过来。原文地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/递归神经网络(Recurrent Neural Networks)人类并不会每一秒都重新开始他们的思维。当你阅读这篇文章，你能够基于你前面的理解，来理解当前的每一个单词。你并不会丢掉前面所有的东西和重新开始你的思维。因为你的思维具有持久性。传统的神经网络并没有能力做到这

之前看过很多次的方差与偏差的定义但是总是忘记，还是写下来更好一点如何判断模型对数据的拟合程度 出现欠拟合，过拟合等情况，我们应该如何进行修改。第一个问题：偏差与方差的直观理解偏差：就是偏离的意思，与“标准”之间的差距。方差：是离散程度，波动程度的意识。图1，2的偏差都比较小（都能在靶心的范围内），但是图1的方差更小（数据集中），而图2则方差更大（数据发散）。图3，4...