- 博客(58)
- 收藏
- 关注
RSS订阅原创 “AttributeError: module ‘numpy‘ has no attribute ‘long‘”报错问题！！（有效！！）
“AttributeError: module ‘numpy‘ has no attribute ‘long‘”报错问题！！（简单高效！！！）
2024-01-29 21:37:04
975
原创 【图对比学习】GACN：使用对抗网络增强图对比学习
论文提出了一种新颖的图对比学习框架GACN，使用对抗生成网络去生成视图，以解决图对比学习（GCL）在真实世界应用中广泛存在的标签稀缺问题。将图GAN和图对比学习GCL结合进行自监督预训练。具体来说，GACN通过学习视图分布和利用GCL的节点互信息最大化，可以在有限甚至无标签的情况下训练GNNs。通过设计的优化框架，GACN可同时训练图GAN模型和GCL模型。并通过两种精心设计的自监督学习损失函数——图对比损失和贝叶斯个性化排名损失，提高了训练效果。
2023-12-11 14:51:00
2062
1
原创 【序列推荐】MAN：跨领域顺序推荐的混合注意网络
本文提出了一种具有**局部**和**全局**注意模块的混合注意网络(MAN)来提取特定领域和跨领域的信息。首先，提出了一个**局部/全局编码层**来捕获特定领域/跨领域的序列模式。在此基础上，提出了一个包含**项目相似度、序列融合和群体原型**的混合注意层，用于捕获局部/全局项目相似度，融合局部/全局项目序列，并分别提取不同领域的用户群体。最后，提出了一个局部/全局预测层，以进一步发展和结合特定领域和跨领域的兴趣。进一步的研究还表明，提出的方法和组件分别是模型无关的和有效的。
2023-11-28 12:26:49
1778
1
原创 【序列推荐】MTAW：Mining Interest Trends and Adaptively Assigning Sample Weight for Session-based Recommend
基于会话的推荐（Session-based Recommendation，SR）旨在根据用户在短时间内的行为来预测用户的下一次点击，这对于在线平台至关重要。然而，大多数现有的会话推荐方法在某种程度上忽略了这样一个事实：用户偏好不一定与交互顺序密切相关。并且没有考虑不同样本之间重要性的差异，这限制了模型拟合的性能。为了解决这些问题，文中提出了挖掘用户兴趣变化趋势和自适应分配样本权重的方法，简称MTAW。具体地，根据用户当前的行为和所有以前的行为来建模用户的即时兴趣。同时，为了捕捉用户兴趣的变化趋势，进行有区别
2023-11-18 12:41:37
292
原创 【序列推荐】Recformer：Text Is All You Need: Learning Language Representations for Sequential Recommendatio
本文用自然语言的方式对用户偏好和商品特征进行建模。将商品表示为“句子”（单词序列），从而使用户的商品序列变成句子序列。提出Recformer方法来理解“句子”序列并检索下一个“句子”。为了对商品序列进行编码，设计一个类似于Longformer模型的双向Transformer。提出新的预训练和微调方法将语言任务和推荐任务结合。
2023-11-16 13:48:16
630
原创 【Transformer】iTransformer: INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTING
作者提出的iTransformer，考虑多维时间序列的数据特性，未修改任何Transformer模块，而是打破常规模型结构，在复杂时序预测任务中取得了全面领先，试图解决Transformer建模时序数据的痛点。
2023-10-30 22:03:55
9797
13
原创 【序列表征、自监督学习】Meta-ma：Correlated Time Series Self-Supervised Representation Learning via Spatiotempora
时间序列无监督预训练的文章，相比原来的TS2Vec等时间序列表示学习工作，核心在于提出了将空间信息融入到预训练阶段，即在预训练阶段考虑各个序列之间的关系。因此，本文提出的方法也更适合作为时空预测领域的预训练模型。
2023-10-08 11:14:18
286
原创 【LLM、多模态】X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalitie
以ChatGPT/GPT-4为代表的大规模语言模型（LLM）最近很火，但是我们不知道GPT-4的模型架构以及训练策略，本篇文章结合多模态信息（X在本模型中表示图像、视频、语音）构建X-LLM模型，它使用X2L接口将多种模式（图像、语音、视频）转换为外语，并将其输入到大型语言模型（ChatGLM）中
2023-06-27 10:17:22
1000
原创 Pytorch DataLoader中的num_workers (选择最合适的num_workers值)
Pytorch DataLoader中的num_workers (选择最合适的num_workers值)
2023-01-16 09:54:57
17504
2
原创 【序列推荐、图神经网络】SR-GNN：Session-based Recommendation with Graph Neural Networks
本文提出SR-GNN模型，首先将用户序列行为分别构图，之后使用GNN方法得到图中每个item的向量表示，定义短期和长期兴趣向量得到用户兴趣向量：短期兴趣向量为用户序列中最后点击的item的向量；长期兴趣向量采用广义注意力机制将最后一个item与序列中所有item相结合。最后使用传统二分类方法进行推荐。
2023-01-09 10:33:27
1517
2
原创 Pytorch学习笔记①——anaconda和jupyter环境的安装（小白教程）
Pytorch在anaconda和jupyter环境的安装（小白教程）
2023-01-02 15:04:57
2862
原创 【序列推荐、长短期兴趣】SDM: Sequential Deep Matching Model for Online Large-scale Recommender System
本文提出了一种新型的序列推荐模型SDM，该模型基于自注意力机制，融合长期兴趣和短期兴趣来捕捉用户动态偏好。
2022-12-13 13:30:12
1104
原创 【长序列推荐、勒让德记忆单元】Legendre Memory Units: Continuous-Time Representation in Recurrent Neural Net
本文提出了一种新型长序列推荐模型LMU，该模型类似于LSTM。
2022-12-12 09:58:05
1208
原创 【序列推荐、勒让德记忆模型】FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forec
这是阿里在NeurIPS 2022发表的一篇有关长序列推荐的论文。在长期预测中，关键的挑战是在历史信息保存和噪音降低之间进行权衡，以实现准确和稳健的预测。为了应对这一挑战，论文提出了一种频率改进的勒让德记忆模型FilM，以准确地保存历史信息并消除噪声信号。此外，论文还从理论和经验上证明了勒让德和傅立叶投影在模型中的有效性。
2022-12-08 16:06:48
2788
1
原创 【序列推荐综述】IJCAI‘19:Sequential Recommender Systems: Challenges, Progress and Prospects
本文发表在IJCAI‘19’会议上有关序列推荐综述文章，也是近几年来顶会中唯一发表的序列综述性文章。序列推荐系统（sequential recommender system, SRS）与传统的推荐系统（协同过滤、基于内容的过滤）不同，传统的推荐系统,例如基于内容和协同过滤的推荐系统，以一种静态的方式建模用户和商品的交互并且只可以捕获用户广义的喜好。而相反地，SRSs则是将用户和商品的交互建模为一个动态的序列并且利用序列的依赖性来活捉当前和最近用户的喜好。
2022-12-05 10:39:52
1918
原创 【选择偏差】IPS方法——Recommendations as Treatments: Debiasing Learning
本文提出了逆倾向分数(Inverse Propensity Score, IPS)，旨在消除推荐系统中的选择偏差问题。注意：IPS方法是一个损失函数，用于后期对模型进行修正的方法。
2022-11-14 10:35:25
1422
1
原创 【图对比学习 难样本挖掘】ICML‘22 ProGCL: Rethinking Hard Negative Mining in Graph Contrastive L
本篇文章作者发现现有的其他领域的难负样本挖掘技术并不能很好地提高图对比学习的表现，并对这一现象进行深入探究，发现可以归因于图神经网络的信息传递机制。此外作者提出了一种挖掘图网络中的难样本对的方法。此方法原则上可以替换任何一个图对比学习中计算难样本对的模块，实验表明，此方法有着更为显著的效能提升。
2022-11-07 15:25:31
909
原创 【序列推荐】 RETR：Recommender Transformers with Behavior Pathways
作者为了解决在序列中只有一小部分关键行为可以演变成用户未来的行为，提出了RETR模型，该模型可以动态规划每个用户指定的行为路径，并通过该行为路径有节制地激活网络，从而有效地捕捉到对推荐有用的进化模式。关键设计是一个可学习的二进制路由，以防止行为路径被琐碎的行为所淹没。
2022-11-04 22:26:55
1025
原创 【曝光偏差】UKD: Debiasing Conversion Rate Estimation via Uncertainty-regularized
UKD：通过不确定性正则化知识蒸馏的去偏转化率（CVR）估计。本文采用对抗学习方法，提出了一种不确定性正则化知识蒸馏 (UKD) 框架：通过从未点击的广告中提取知识来消除 CVR 估计的偏差。教师模型学习点击自适应表征，并在未点击的广告上生成伪转换标签作为监督信号。然后通过知识蒸馏对已点击和未点击的广告训练学生模型，进行不确定性建模以减轻伪标签中的固有噪声。
2022-11-03 15:18:37
555
原创 【曝光偏差】WWW 2021Unbiased Sequential Recommendation with Latent Confounders
由于存在曝光偏差，观测数据可能受到曝光和选择的偏差，这使得学习的序列模型不可靠。为了解决这一基本问题，本文提出用潜在结果框架重新表述序列化推荐任务，在这个框架中，我们能够清楚地理解数据偏差机制，并通过使用反向倾向评分（IPS）重新加权训练实例来纠正它。为了提高建模的鲁棒性，在IPS估计中采用了裁剪策略，以减小学习目标的方差。为了使框架更加实用，设计了一个参数化模型来消除潜在的混杂因子的影响。最后，从理论上分析了该框架在IPS权重下和裁剪IPS权重下模型估计的无偏性。
2022-11-02 15:27:27
398
原创 【曝光偏差、对比学习】CLRec：Contrastive Learning for Debiased Candidate Generation in Large-Scale
KDD‘21阿里达摩院会议上提出了一种对比学习方法，主要为解决曝光度偏差问题。为了能够让所有样本都有机会被当做负样本，作者设计了队列机制来存储之前的正样本，并只从里边采样下一个batch的负样本。文章设计了CLREC，这是一种对比学习方法，用于在具有超大候选容量的推荐系统中提高DCG的公平性、有效性和效率。进一步改进了CLRec，并提出了multi-CLRec，以精确减少基于多意图的偏差bias。
2022-11-01 14:33:14
678
原创 Tensorflow⑦——循环神经网络使用方法及API实现
主要介绍了TF中的循环神经网络的API实现（RNN、LSTM、GRU）以及初始化编码Embedding
2022-10-31 14:28:55
328
原创 【序列推荐、Transformer】DIF-SR： Decoupled Side Information Fusion for Sequential Recommendation
《DIF-SR：用于序列推荐的辅助信息解耦》该模型提出了一种新型的注意力机制，分别计算出每个子项目的注意力，之后再进行融合表示，并且在损失函数中强行加入了边缘信息损失。
2022-10-23 14:20:39
1838
3
原创 【序列推荐、长短期兴趣】CLSR：Disentangling Long and Short-Term Interests for Recommendation
《CLSR：解耦长短期兴趣》这是一篇清华大学和快手共同发表在WWW2022上的有关序列推荐的文章。模型通过两种无监督方法对长期兴趣和短期兴趣的商品序列分别建模，之后通过平均向量的方法设置两个基准代理，作为用户兴趣的伪标签（第一个损失函数），然后通过GRU网络得到两个子序列的权重，最终得到物品的向量表征（用户的向量表征未进行修正），之后通过两层MLP进行预测。
2022-10-22 19:15:05
1741
原创 Tensorflow④——常用TensorFlow 学习率函数、激活函数、损失函数API及代码实现
常用TensorFlow 学习率函数、激活函数、损失函数API及代码实现
2022-10-18 13:47:16
1296
1
原创 Tensorflow学习笔记③——Anaconda安装报错：Failed to create Anaconda menus
Anaconda安装报错：Failed to create Anaconda menus
2022-10-17 14:21:40
868
原创 Tensorflow学习笔记①——Pycharm中的Tensorflow2.1安装教程（小白版本）
Anaconda和Pycharm中的Tensorflow2.1安装教程（小白版本）
2022-10-15 09:38:51
6417
11
原创 【异质网络、超图、因果学习】HyperSCI ——KDD 2022 Best Paper：Learning Causal Effects on Hypergraphs
KDD‘2022 最佳论文：HyperSCI_基于超边的因果推断模型。该模型具体通过聚合混杂因子（利用MLP）和高阶干涉（利用注意力机制修正超边中的节点信息、利用多层图卷积网络进行迭代训练）的两部分节点向量表征进而得到ITE
2022-09-23 15:29:54
1044
原创 【图学习、双曲几何空间】LKGR：Modeling Scale-free Graphs with Hyperbolic Geometry for Knowledge-aware
本篇文章是香港中文大学和华为诺亚实验室联合发布的一篇基于将user-item-KG组合起来形成三部图，在双曲空间依靠洛伦兹模型进行图表征学习的模型，此外，文章还提出了一个知识感知的注意力模型来自动度量不同信息的贡献。
2022-09-22 14:20:47
877
原创 【图神经网络】新范式：Profiling the Design Space for Graph Neural Networks based Collaborative Filtering
北邮石川教授团队在WSDM发布的文章。主要提出了基于GNN的CF设计空间，并证明了并不是越复杂的模型拥有越高的性能。
2022-09-21 09:44:49
575
原创 通俗理解机器学习——K-means++ 聚类算法
K-Means++算法选择初始聚类中心的基本原则是：初始的聚类中心之间的相互距离要尽可能的远。这个改进虽然直观简单，但是却非常得有效。缺点：由于聚类中心点选择过程中的内在有序性，在扩展方面存在着性能方面的问题(第k个聚类中心点的选择依赖前k-1个聚类中心点的值)。
2022-09-20 10:39:19
9796
2
原创 【CTR预测、神经网络参数自适应生成】 APG: Adaptive Parameter Generation Network for Click-Through Rate Prediction
这是阿里发表的关于神经网络中网络参数自适应生成的文章，不仅可以做到不同的样本有不同的网络参数，同时通过拆分矩阵等操作大大提升了推理性能。
2022-05-16 17:08:05
1583
原创 【动量网络、对比学习】MP2: A Momentum Contrast Approach for Recommendation with Pointwise and Pairwise Lea
该方法是一个整体方法，由于在小批量梯度下降中，如果每次选取的样本数量较小，损失会呈现震荡的方式下降，而用动量下降方法，则会抑制这种现象。作者发现成对标签的软标签特性可以用来减轻逐点标签的偏差。因此，为减轻样本集合中逐点标注的偏差，本文提出了动量对比框架（MP2），它结合了逐点和成对学习。在本文中，研究了推荐中的标注偏差，这是一个广泛存在但被忽视的问题，它是由二进制点标签的有限表达性引起的。论文提出了MP2，一个动量对比框架的推荐，结合点态和成对学习，以减轻注释偏差。
2022-05-05 10:07:01
667
原创 【序列推荐、长短期兴趣、】 CaFe：Coarse-to-Fine Sparse Sequential Recommendation(从粗粒度到细粒度的稀疏序列推荐)
《CaFe：从粗粒度到细粒度的稀疏序列推荐》本文是一篇针对序列推荐的短文，主要想解决的问题是现阶段提出的采用自注意力机制的算法无法很好的应对稀疏矩阵，进而无法很好的对稀疏数据集提供准确性保障。本文提出从粗粒度到细粒度的自注意力方法CaFe。该方法同时从**购物意图**和**交互商品**中对用户动态性进行建模，进而显示的从粗粒度到细粒度两个方面学习序列中的蕴含的信息。
2022-04-19 16:39:32
1231
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人