文本为王:如何在序列推荐过程中学习语言向量

向量相似性度量的常用方法 阅读详情

推荐系统是 1992 年施乐公司的 David Goldberg 在论文中首次提出的。人类历史上第一个发表的推荐系统算法是协同过滤。该算法长期占据着主导地位。一直到最近,仍然有研究者发问称对比了大量的推荐算法,发现基于物品的协同过滤性能优异,吊打其他算法。

随着时间的推移,出现了越来越多的推荐系统算法。1998年,亚马逊公司的员工发明了基于物品的推荐系统。随后在 2006 年,因为 Netflix 推荐系统大赛的缘故,基于矩阵分解的推荐系统被发明出来。随后在 2010 年左右,线性模型和排序学习算法风靡一时。从 2016 年开始,基于深度学习的推荐算法后来居上,一举占据了包括 RecSys 在内的各大学术会议的显要位置,给推荐系统领域带来了一场彻底的革命。

2017 年开始,人工智能领域的研究者开始广泛关注人工智能伦理问题。随后,推荐系统的具体场景落地问题得到了关注,尤其是序列化推荐,成为了热门研究课题。本文将带领读者阅读数据挖掘顶级会议 ACM KDD 2023 年的论文 Text Is All You Need: Learning Language Representations for Sequential Recommendation。论文的作者来自美国高校 UCSD 和美国公司亚马逊。

图一输入数据中用户信息

图一输入数据中用户信息

图一中显示了这篇文章中的算法利用的输入数据与其他算法的不同:物品不再是由物品 ID 唯一表示的数字,而是一个键值对构成的数据集合。例如,一台苹果笔记本电脑,不再由一个数字 315 表示,而是由产品名称、品牌名称和颜色代表的数据集合表示。

图二算法架构图

图二算法架构图

在作者设计的算法架构中,共有 4 个嵌入层:

  • 元素嵌入向量:键值对中每个元素的嵌入向量
  • 元素位置向量:用于表示元素在序列中位置的向量
  • 元素类型向量:用于表示元素类型的向量
  • 物品位置向量:用于表示物品在序列中位置的向量

算法架构在 4 个嵌入层求和之后加入了一个 Layer Normalization 层:

随后我们得到嵌入层的终极表示方法:

我们随后利用双向 Transformer 结构 Longformer 对嵌入层编码,得到物品的嵌入式向量表示:

给定序列 S,序列中下一个出现的物品为物品 i 的评分由下述公式计算:

预测出现的物品 i 为使上面公式得分值最高的物品:

为了让算法效率更高,作者提出了预训练模型+两阶段微调算法来实现算法架构:

为了使上面的算法执行速度更加高效,研究者提出了利用预训练模型来实现上述算法结构。第一种预训练模式是 MLM,也就是 Masked Language Modeling 。MLM 的算法架构流程如下:

另一种预训练模式是 item-item contrative (IIC)。这种预训练模式的损失函数定义如下:

在算法的实际执行中,我们采用了加权和的形式:

最后,我们对算法做两阶段微调。算法的伪代码如下:

作者最后在论文中针对该算法做了对比实验:

通过实验,我们发现作者在论文中提出的算法性能优越。

推荐系统自诞生以来,算法架构变得越来越复杂。随着大模型的兴起,如何利用大模型进行推荐也成为了研究的热点。如果有一天大模型被证明能使推荐的效果明显好于其他方法,推荐系统的研发将被集中在极少数有能力提供数据和大规模 GPU 集群的公司。因此,趁着这一切还没有发生,广大中小企业,还有高校师生,以及独立研究者应该抓紧时间为这一领域增砖添瓦。

R语言创建一个指定数值范围序列的向量 阅读详情

相关推荐

向量表征&向量简介

在人工智能领域,向量表征(Vector Representation)是核心概念之一。通过将文本、图像、声音、行为甚至复杂关系转化为高维向量(Embedding),AI系统能够以数学方式理解和处理现实世界中的复杂信息。这种表征方式为机器学习模型提供了统一的“语言”。

m0_37599304的博客 745

如何使用ChatGPT进行文本推荐与排序

1.背景介绍 1. 背景介绍 随着互联网的发展,文本数据的生成和存储量不断增加,这为文本推荐和排序提供了丰富的数据源。文本推荐和排序是现代信息处理系统中不可或缺的功能,它们可以帮助用户找到他们感兴趣的内容,提高用户体验。 在这篇文章中,我们将讨论如何使用ChatGPT进行文本推荐和排序。我们将从核心概念和联系开始,然后深入探讨算法原理、具体操作步骤和数学模型。最后,我们将讨论实际应用场景、工...

AI天才研究院 385

(2-5)基于内容的推荐:文本分类和标签提取

文本分类是指将文本数据按照预定义的类别或标签进行分类的任务。它是自然语言处理(NLP)领域中的一个重要问题,具有广泛的应用,例如情感分析、垃圾邮件过滤、新闻分类等。在Python中,有多种方法可以进行文本分类和标签提取,其中常用的方法有三种:传统机器学习、卷积神经网络、循环神经网络。

码农三叔 1926

论文笔记:Text Is All You Need: Learning Language Representations for Sequential Recommendation

商品集合表示为I,用户的交互序列为,序列推荐的目标是基于现有交互序列去估计下一个交互的item论文中每一个ii都对应的是商品的属性字典k是属性,v是属性值平展成sequence,就是每个商品的序列。

qq_40206371的博客 271

深度学习在自然语言处理中的应用:文本分类与情感分析

深度学习在自然语言处理中的应用:文本分类与情感分析 1. 背景介绍 1.1 自然语言处理的重要性 随着信息时代的到来,自然语言处理(Natural Language Processing,NLP)技术在许多领域发挥着

AGI×大数据,开启智能时代的认知跃迁;解码AGI,赋能数据驱动的智能革命。 822

基于深度学习的文本分类综述

《Deep Learning Based Text Classification: A Comprehensive Review》总结笔记。 1.序章 基于深度学习的文本分类模型在情感分析、新闻分类、问答和自然语言推理等多种文本分类任务中已经超越了经典的基于机器学习的方法。论文在回顾150多种深度学习模型后,分类简单讲述了多种文本分类模型,涵盖了基于前馈神经网络的模型、基于RNN的模型、基于CNN...

qq_40377498的博客 5291

GNN | 文本序列的常用构图方法与代表案例剖析

每天给你送来NLP技术干货!来自:老刘说NLP传统的NLP任务中,通常将文本作为一个序列进行处理,而随着GNN图神经网络的兴起,将文本转换为图结构,并且使用GNN等模型进行建模的想法也逐渐...

zenRRan的博客 4338

安卓端目标检测模型部署血泪史:从NCNN/TFLite/MNN全军覆没到Torchscipts终见光明

公司需在Android设备部署目标检测模型,要求: ✅ 实时检测速度≥15FPS ✅ 模型精度损失<5% ✅ 兼容中低端安卓设备👉 GitHub项目地址:pytorch/android-demo-app/ObjectDetection我已上传这份源码到csdn下载准备模型(必须走这步才能跑通安卓端源码)如果您没有设置PyTorch环境来运行该脚本,可以下载模型文件此处转到“android演示app/ObjectDetection/app/src/main/assets”文件夹,然后跳过此步骤的其余部分,直

机器学习、深度学习、强化学习、迁移学习 1578

专题解读 | 大语言模型在序列推荐中的应用

序列推荐技术通过分析用户的过往交互历史,能够有效挖掘出用户可能感兴趣的项目,对于提升各类应用的服务质量具有重要作用。近期,大语言模型(LLMs)的发展在应对复杂的推荐问题上展现出了显著的优势。不过,这种方法也面临一些挑战。本篇文章将重点探讨两项将大语言模型应用于序列推荐领域的相关研究。两篇文章都致力于通过大语言模型(LLMs)提高序列推荐的性能,但采用了不同的方法和技术。SAID通过显式学习语义对齐的项目ID嵌入,解决了现有方法在处理长令牌序列时的效率问题。

xx_nm98的博客 1571

手把手教你修改miniwiggler配置信息,解决UDE连接问题(附FT_PROG工具下载)

本文详细介绍了如何使用FT_PROG工具修改miniwiggler配置信息,解决UDE连接问题。通过分析FT2232芯片的EEPROM结构,提供从驱动安装到配置烧写的完整流程,帮助开发者实现无缝连接英飞凌TriBoard开发板。文章还包含常见错误解决方案和高级批量配置技巧。

weixin_30919429的博客 374

Win10安装Nek5000

1 安装wsl 2 2 安装Nek5000 3 安装依赖项 4 安装openmpi 5 配置Nek5000 6 编译Nek5000 7 运行Nek5000算例 8 安装paraview并查看结果

weixin_43176703的博客 3451

CIKM 2023|TASTE:通过文本匹配缓解序列化推荐中流行偏差问题

我们提出了一种基于文本匹配的序列化推荐(TASTE)模型,该模型用文本表示用户交互历史和商品,捕获文本匹配信号以对它们之间的相关性进行建模。TASTE在广泛使用的序列化推荐数据集上达到了最先进的水平。它的性能优于以前的基于商品ID的方法,缓解了流行偏差问题并使用商品ID和属性更好地表示长尾商品。值得注意的是,TASTE能够根据长期的用户-商品交互历史更好地建模用户行为,并返回更多与文本相关且多样化的商品来满足用户需求。

AI_Conf的博客 341

SAP物料主数据中的销售视图。这是一个在销售与分销模块中至关重要的核心主数据,直接关系到从报价到交货的整个销售流程

SAP物料主数据的销售视图是销售流程的核心基础,它定义了物料如何被销售、定价、开票和交付。销售视图包含五个关键控制点:1)基本销售数据控制物料销售状态;2)销售组织数据决定销售渠道和产品分类;3)通用物料数据管理销售描述和税务分类;4)交货计划控制交付参数;5)开票计划管理定价规则。这些设置直接影响销售流程顺畅度、数据准确性、客户满意度、财务合规性和业务灵活性。建议将销售视图创建纳入新产品引入流程,并建立规范的维护机制,确保业务变化时及时更新配置。

金牌架构师 667

用户行为序列推荐模型

导读:今天我们谈谈用户行为序列上的推荐模型。首先我们对序列推荐问题做一个定义和描述,然后主要讲述可以用在序列推荐任务中的 NN 模型,最后给出一点个人看法以及文中相关的参考文献供参阅。 用户行为大多数情况下都是存在时间上的先后关系的,在某一个时刻向用户推荐哪些物品一般是根据当前时刻之前用户的行为来做决策的,我们可以将序列推荐问题看做是在时间维度去学习一个模型策略来根据用户过去的行为历史来预测用户...

hellozhxy的博客 5564

【ZYNQ】VDMA 的使用

VDMA, Video Direct Memory Access 是 Xilinx 官方提供的高速内存存取 IP,采用 AXI4-Stream 与 AXI4 协议实现存储映射接口(Memory Map)与非存储映射接口(Non-Memory Map)接口的转换,主要用于视频数据缓存,同时提供帧缓存与帧同步控制功能。本文主要介绍 AXI VDMA 的配置与使用方法。

洋洋Young的博客 1582

大语言模型在序列推荐中的应用

序列推荐技术通过分析用户的过往交互历史,能够有效挖掘出用户可能感兴趣的项目,对于提升各类应用的服务质量具有重要作用。近期,大语言模型(LLMs)的发展在应对复杂的推荐问题上展现出了显著的优势。不过,这种方法也面临一些挑战。本篇文章将重点探讨两项将大语言模型应用于序列推荐领域的相关研究。

python12222_的博客 1057

黏菌优化算法(SMA)详解:从生物智能到优化引擎

黏菌优化算法(SMA)是一种新型生物启发式优化算法,模拟多头绒泡菌的智能觅食行为。该算法包含接近食物、包围食物和抓取食物三个阶段,通过数学模型将生物行为转化为优化过程。SMA采用权重自适应机制和参数振荡模型实现探索与开发的平衡,具有参数简单、收敛性好等优势。算法可通过MATLAB/Python实现,并应用于函数优化、工程设计和神经网络训练等领域。研究表明SMA在求解复杂优化问题时表现优异,未来可通过混沌增强、混合策略等方式进一步提升性能。

qq_42212808的博客 661

深度序列模型与自然语言处理:基于TensorFlow2实践

本期博主给大家推荐一本深度学习的好书,对Python深度学习感兴趣的小伙伴快来看看吧!本书以自然语言和语音信号处理两大应用领域为载体,详细介绍深度学习中的各种常用序列模型。在讲述理论知识的同时辅以代码实现和 讲解,帮助读者深入掌握相关知识技能。本书共12章,不仅涵盖了词向量、循环神经网络、卷积神经网络、Transformer等 基础知识,还 囊括了注意力机制、序列到序列问题等 专题,同时还包含其他书籍中较少涉及的预训练语言模型、生成对抗网络、强化学习、流模型 等前沿内容,以拓宽读者视野。

AIGC 4万+

硬核实战!Python爬虫从0到1完整版:爬取知乎热榜+回答内容(数据去重+Excel一键导出+避坑指南,零基础友好)

✔️ 适用人群:Python爬虫零基础、想练手实战爬虫、需要爬取知乎内容做数据分析、办公/学习素材整理的同学爬取知乎热榜全量数据(排名+标题+热榜链接+热度值) →自动跟进爬取每个热榜问题的回答内容(回答者昵称+赞同数+评论数+回答正文+发布时间) →数据清洗+智能去重→一键导出格式化Excel文件,所有功能一站式完成入门级难度,无复杂反爬破解、无分布式/代理池,纯requests请求+静态解析,新手能看懂、能运行、能修改;爬取速度快,热榜+回答全程仅需几十秒。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1462

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Embedding词嵌入层的文本向量化原理【NLP入门详解】

本文深入讲解了 NLP 中词嵌入(Embedding)层的原理与应用,适合初学者理解文本向量化的全过程。文章从分词与词ID映射讲起,阐述词嵌入层如何通过词向量矩阵将离散的词ID转化为连续的语义向量。接着分析了词向量的两种来源:随机初始化与加载预训练词向量(如 Word2Vec、GloVe),并说明了它们各自的适用场景与优势。通过示例代码与图示,帮助读者掌握词嵌入的实际使用方式,并指出其局限与进阶方法,如动态词向量(BERT)与子词建模(FastText)。

m0_60610428的博客 1961

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

[人工智能-大模型-137]:如何把文本语言转化成词向量,然后作为模型的输入?给出详解的步骤描述

将是自然语言处理(NLP)任务中的基础且关键步骤。以下是,适用于如文本分类、情感分析等常见任务。

文火冰糖(王文兵)的博客 1218

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

深度学习与自然语言处理的应用在文本纠错领域

1.背景介绍 文本纠错是自然语言处理领域的一个重要任务,其目标是将错误的文本转换为正确的文本。近年来,深度学习技术在文本纠错领域取得了显著的进展,尤其是在使用神经网络模型的基础上进行文本生成和编辑。本文将从以下几个方面进行阐述: 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体最佳实践:代码实例和详细解释说明 实际应用场景 工具和资源推荐 总结:未来发展趋势...

AI天才研究院 1067

文本表示与词向量

技术适用场景优缺点关键点面试/工作出现频率One-Hot玩具级演示维度灾难、无语义★★BoW简单分类、Baseline快、丢失词序★★★TF-IDF关键词提取、搜索、传统ML区分度高、仍丢失语义★★★★★(高频)N-gram语言模型、小数据场景捕捉词序,但稀疏★★★★序号化+Embedding所有现代NLP/LLM项目端到端、可迁移★★★★★(核心)生产中常用组合Baseline语义增强:Word2Vec 平均池化句子向量 → 全连接分类主题分析。

GGCCCL的博客 457

KDD2022 | 推荐系统通用序列表示模型UniSRec

© 作者|侯宇蓬 机构|中国人民大学研究方向 | 推荐系统和图机器学习本文提出一种面向推荐系统的通用序列表示学习方法。已有序列推荐模型通常显示地建模商品 ID,迁移性较差并存在冷启动问题。本文提出基于商品文本学习可迁移的通用商品表示,并在多领域行为序列上预训练来学习通用序列表示。预训练得到的模型可以高效地迁移至新领域和新平台。前言:当前对序列推荐的研究集中...

abcdefg90876的博客 2149

CIKM 2025 | IADSR:创新框架融合大语言模型,提升序列推荐去噪效果

今天为大家分享来自香港城市大学的最新工作 IADSR (Interest Alignment for Denoising Sequential Recommendation) 。这篇工作聚焦于序列推荐中的噪声问题,提出了一种结合协同信息与大语言模型(LLM)语义信息的去噪框架,通过跨模态对齐与重构机制,有效缓解了过度去噪问题,提升了推荐的准确性和稳健性。本论文已发表于 CIKM 2025。

2401_84204207的博客 1272
上一篇: 如何使用AI帮助开发者处理正则表达式
下一篇: 人工智能在低代码和无代码开发中的积极作用
老贾的AI世界
博客等级 码龄7年 3335粉丝 254原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老贾的AI世界

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值