LLM4POI【2025 SIGIR】

原创 已于 2025-02-21 23:52:21 修改 · 1.6k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读

于 2025-02-21 11:06:02 首次发布

POI推荐任务概述

POI（兴趣点）：指代例如商场、学校、家等各种可能吸引到用户的有意义的区域。

序列推荐任务，根据用户的历史轨迹序列，预测出将来某个时间点用户可能感兴趣的POI.

Next-POI推荐的两种范式

本文提出的即为下边的新范式

传统的POI推荐将原始异构数据直接映射成Embedding, 然后对embedding进行融合，通过编码解码结构获得下一个POI推荐,这种方法被认为是有信息损失的

新兴的架构将原始数据汇聚成Prompt提示词,而后经过大语言模型处理，最后得到下一个POI推荐

模型解决的问题

  1. 如何利用多种数据中丰富的语义信息，先前都是直接转化成数值然后做embedding,是没有有效进行融合的。【如何理解？多源数据在向量embedding空间进行融合是无依据的融合，但是LLM是处理文本的高手，我们如果能把多源数据以文本的形式给LLM，我们就认为它能够对信息进行无损整合】
  2. 包含了常识性信息，进而能够理解上下文含义
  3. 使用键-值相似度匹配来缓解冷启动问题

模型缺点

  1. 模型训练时间和推理时间慢
  2. 由于LLM语料库的限制，部分数据是用不了的

介绍

  • 当前工作主要解决短轨迹问题和冷启动问题，没有注意到如何深度融合多源数据，这些数据如果很好融合就能够精确建模用户行为,甚至推断出数据中没有体现的信息，比如在教学时间访问教学楼的频率可以推断出用户是教师还是学生,显然，这两种群体在假期时间要访问的POI也不同。
  • 之前工作存在的弊端：
    • 没有充分融合语境信息
    • 过度依赖人工设计模式、难以理解复杂模式（主要是统计学习的问题，深度学习解决的挺好）
  • 充分融合语境信息有两个挑战
  1. 需要从原始数据中直接进行信息的提取，避免embedding融合时候的信息损失
  2. 需要常识推断能力，能够逻辑推理出原始数据中并不直接包含的信息

     针对挑战1：本文将不同的语境信息以一定格式的自然语言整理成<question>

     针对挑战2：本文将整理好的<question> 给到预训练好的大模型中，让大模型去理解这些信息

方法论

原始数据用于生成提示词和进行提示词相似度匹配,为LLM的提示词由相似度匹配的结果以及原始数据共同构成，而后训练过程根据上述给出的prompt进行微调

Trajectory Prompting

将多源异质数据整理成下面prompt里所属的格式，红色代表当下，紫色代表过去轨迹，橙色代表指令，蓝色代表目标回答。

对于用户轨迹数据中的一个点𝑞 = (𝑢, 𝑝, 𝑐, 𝑡, 𝑔)

  • u 用户id
  • p poi id
  • c poi 种类
  • t 时间
  • g 地理位置点

将其整理为了上边表格中check-in record的格式，注意到其中g被省略了，因为需要节省token

,并且如果不对地图数据进行专门微调，LLM也无法区分地理坐标

注意：对于当前轨迹，只能有来自于当前用户的一条轨迹，而对于历史轨迹，可以有来自任意用户的任意条轨迹，其中来自其他用户的轨迹是通过相似度匹配加上去的，用户解决短轨迹问题和冷启动问题，具体的匹配过程会在方法论第二节讲到

目标块是用户当前轨迹的最后一个点，在训练的过程中被排除了出去

文章尝试过在目标块中加入POI种类信息，企图让模型更加关注POI ID和POI 种类之间的关联，但是发现没有显著的效果，可能模型已经隐性学到了。

Key-Query Pair Similarity

这一个模组，用于筛选可能和用户行为相似的历史轨迹，参与模型的训练

如下图所示，每一条轨迹都会被整理成key 和 query, Query比Key多一条，就是最后一个，在训练的时候key会和所有比当前轨迹早的轨迹进行匹配。

具体的匹配过程如下，Key和Query都会经过Encoder映射到隐空间，然后进行余弦相似度匹配（具体是取多少条文章里这个部分没说）

Supervised Fine-tuning

这里使用三个技巧：

LoRA:快速进行微调的方法

Quantization:减少GPU压力

FlashAttention:在原始的prompt中由于历史轨迹很长，普通的attention满足不了需求，我们使用flash-attention.

实验部分

数据处理

  1. 删除被访问次数小于10的POI
  2. 删除访问记录少于10条的用户
  3. 将用户的轨迹按24小时的间隔进行切分,排除只有一条访问记录的轨迹

实验

  1. 最毛坯的版本既没有来自其他用户的轨迹（健值匹配），也没有自己的历史轨迹
  2. 装修版本1提示词里有了有了自己的历史轨迹
  3. 装修版本2两个都加上了

结果证明是在变好的

分析

冷启动分析

为了验证冷启动部分的有效性，使用STHGCN进行对比（该模型设法解决冷启动问题）

将用户按照轨迹条数分为三类群体，前30%为非常活跃用户，中间40%为中等活跃用户，最后30%为不活跃用户，对比如下

发现在非常活跃用户上效果反而不好，可能是由于进行K-Q匹配的时候基本来源于自己，导致轨迹模式单一化，推荐不是很准确

轨迹长度分析

由于语境信息限制，在预测的时候，如果当前轨迹很长，会导致历史轨迹变短；如果当前轨迹短则反之；所以不同的轨迹长度预测效果应该不太一样【token长度限制】。定义前30%长的是长轨迹，最后30%是短轨迹，中间为中轨迹，看效果:

历史轨迹条数

终于说到了这个,看样子不同轨迹在这里没有做定长处理，而之前的深度学习模型都是会去把轨迹限制到一个定长方便训练; 轨迹不定长，所以用历史的轨迹点去衡量历史轨迹的数目

结论是增长活降低历史轨迹点数目和性能的提升没有必然关系，所以模型不如选一个比较低的历史点数目，加快训练速度

模型泛化分析

文章提到，由于使用的是大语言模型生成，结果并非产生概率输出，所以天然具有应用到未见场景的能力，在一个数据集上微调就可以放在其他数据集上进行测试

有趣的是，在NYC上微调然后来预测TKY反而比TKY上微调预测TKY好，为啥这么好效果？

文章做了个漂亮的解释：因为<Answer>一般出现在了<Question>里边，所以LLM微调学到的东西就是从<Question>里边理解逻辑，找出答案。 所以他实质上,学会的很多从问题里边找答案（POI ID这个事情 占很大比重，模型对POI category 理解不是特深刻，即便没有category，也会有还行的效果，下边也会说到）。

 语境信息分析

想测试模型对语境信息的理解程度对加深理解有何作用，文章试图把prompt中的POI category全都替换成空白的词语，最后发现效果确实变差了，证明这些语义信息对预测还是具有一定的作用

 但是细看分类的结果，对于不同用户，NYC、CA两个并成一组，在Inactive上升，Normal 和active下降，TKY反之，需要探究一下这里的原因

看看这，我们发现了这两组数据集的POI种类分布很不一样，所以模型在两组数据集上的行为不同，进而在上边展示出了不同模式，也侧面印证了模型确实是有学到语境相关信息的。

不同组件的影响

分别是:用户自己的历史轨迹、其他用户的历史轨迹、语境信息（POI种类）

总结

文章提出了使用LLM进行POI推荐，开创了一种新范式，达成了很好的效果；但也存在由于token不足问题无法有效利用geo数据。为POI推荐提供了一种新思路

Large Language Models for Next Point-of-Interest Recommendation
c_cpp_csharp的专栏
07-01 313
下一个兴趣点（POI）推荐任务是在给定用户的历史数据的情况下预测用户的下一次POI访问。基于位置的社交网络数据通常用于下一个POI推荐任务，但也面临挑战。一个经常被忽视的挑战是如何有效地使用基于位置的社交网络数据中存在的丰富上下文信息。以前的方法受到其数值性质的限制，未能解决这一挑战。在本文中，我们提出了一个使用预训练的大型语言模型来应对这一挑战的框架。我们的框架允许我们以原始格式保存异构的基于位置的社交网络数据，从而避免上下文信息的丢失。此外，由于包含了常识性知识，我们的框架能够理解上下文信息的内在含义。
首发：LLM4Decompile反编译大模型的试用实践过程梳理
qq_34241037的博客
08-03 1193
手把手，一步一步实践LLM4Decompile
复现LLM4POI踩的坑
CANDY的杂货铺
01-04 997
复现llm4poi论文代码，踩坑记录以及宝宝教程
复现LLM4POI
weixin_43767184的博客
04-11 1324
论文LLM4POI复现记录
“推荐系统”方向相关CCF会议及SCI期刊推荐清单【25-10-27版】
热门推荐
JinyuZ1996的博客
04-07 3万+
本文分享了笔者课题组整理的一份推荐系统领域“投稿目录”，汇总了相关的CCF推荐会议和SCI期刊，希望能为你的科研之路指引方向。在投稿时请注意：这个领域有许多真正的“顶刊”，可能分区或影响因子并不耀眼，却是业内公认的权威；同样，像WSDM、RecSys这样的CCF-B类会议，其质量与口碑也常常比肩A类。希望这份清单能帮你高效避坑，助力你的科研工作。
SIGIR25征稿 | 第二届基于Agent的信息检索研讨会
zenRRan的博客
03-17 719
尽管DRL在IR任务中已有广泛研究，但诸多核心挑战尚未解决，例如DRL环境下的信息理论基础、强化学习在工业IR中的局限性，以及基于DRL的IR系统模拟。本次研讨会将聚焦基于Agent视角的DRL与LLM驱动的IR系统，汇聚学术界与产业界的顶尖研究者与实践者，探讨前沿挑战，促进跨界合作，挖掘创新应用。2025年7月17日，AgentIR: 第二届基于Agent的信息检索研讨会将在意大利帕多瓦隆重举行，继续推动深度强化学习（DRL）与大语言模型（LLM）在信息检索领域的创新应用！：4-9页（不含参考文献）
SIGIR2025新发现：从SFT到类强化学习，LLM推荐系统的新范式！
2401_84204413的博客
06-19 1054
本文提出了一种基于生成流网络（GFlowNet）的大模型推荐系统微调方法Flower，以解决传统监督微调（SFT）带来的流行度偏差问题。研究发现，SFT在序列推荐任务中会放大流行度偏差，导致推荐多样性和公平性降低。Flower通过将推荐过程建模为前缀树形式的GFlowNet，将项目级奖励分解为token级奖励，使用子轨迹平衡损失（SubTB loss）进行训练。实验表明，Flower能更好地拟合目标分布，相比SFT、DPO和PPO等方法，在保持推荐公平性和多样性方面表现更优。
LLM应用程序 OWASP十大安全风险2025.pdf
最新发布
08-05
内容概要：本文档详细介绍了《OWASP LLM应用程序 Top 10安全风险2025》的主要内容和更新。该报告由全球社区共同推动，旨在突出并解决与大规模语言模型（LLM）应用相关的安全问题。2025年版本在原有基础上增加了对...
Where to Move Next: Zero-shot Generalization of LLMs for Next POI Recommendation
hehehehejiejie的博客
11-26 1366
基于位置的社交网络 (LBSN) 的发展现状，以及兴趣点 (POI) 推荐任务的价值和意义。然后，本章引出了下一个 POI 推荐任务，并指出了现有方法存在的问题，即依赖大规模用户签到数据、计算资源消耗大、缺乏泛化能力等
精选资源
面向开发者的LLM入门教程
12-24
面向开发者的LLM入门教程是一份针对软件开发人员的知识指南，旨在帮助他们理解和掌握大语言模型（LLM）的基本原理和应用。大语言模型是一种基于人工智能的自然语言处理技术，它通过学习大量的文本数据，形成对语言的...
2025大模型LLM构建AI Agent：工具、规划与记忆挑战.pptx
05-02
### 2025大模型LLM构建AI Agent的知识点 #### AI Agent的定义与应用 AI Agent（人工智能代理）是一个广泛应用的概念，它可以理解为一个人工智能系统，通过接收指令或目标，独立思考并采取行动以完成特定的任务。AI ...
ETEGRec-人大高瓴-SIGIR2025-端到端生成式推荐
weixin_46351593的博客
05-09 2151
本文提出了一种端到端的生成式推荐框架ETEGRec，旨在解决传统两阶段生成式推荐模型中物品标记化与生成推荐器分离训练的问题。ETEGRec通过引入序列-物品对齐和偏好-语义对齐机制，实现了物品标记器与生成式推荐器的协同优化。物品标记器采用RQ-VAE将物品编码为离散token序列，生成式推荐器则基于Transformer自回归地生成目标物品的token。通过联合优化token重构损失、生成损失及对齐损失，ETEGRec在推荐任务中表现出更高的效率和效果。该框架为生成式推荐提供了一种新的端到端学习范式，具有重
2024年人工智能顶级会议投稿信息汇总（数据挖掘领域）
audyxiao001的博客
03-22 1万+
本文对数据挖掘领域内的顶级会议进行了介绍，以便读者了解会议的截稿日期、举办时间和地点以及相关关键信息。最后，还将这些信息以表格的形式呈现，为读者提供了便利。
SIGIR 2024 | 美团技术团队精选论文解读 & 论文分享会预告
美团技术团队
06-27 921
总第594篇 |2024年第014篇本文精选了美团技术团队被SIGIR2024收录的3篇论文进行解读，第一篇论文围绕如何利用深度学习，来整合广告拍卖和混排；第二篇论文扩展定义了全用户纵向联邦推荐范式，并首次提出基于检索增强的纵向联邦推荐框架ReFer，解决了跨域特征缺失问题；第三篇论文提出了一种新颖的框架——解耦对比超图学习，并应用于下一个兴趣点推荐任务中。这些论文有美团技术团队的独立产出，也...
交通 | 大语言模型在交通领域的研究进展
weixin_53463894的博客
08-01 1161
对于每个用户请求，作者利用LLM与基于嵌入的模块协作，从用户的POI数据库中检索候选POI，然后使用空间优化模块对这些POI进行排序，最后由LLM生成个性化且空间连贯的行程。这篇文章针对大城市中的交通拥堵问题提出了一种创新的方法，将大语言模型（LLMs）引入到交通信号控制（TSC）系统中，以应对传统TSC系统在处理复杂和多变的城市交通流时的不足。这项研究针对智能车辆（IV）领域中场景获取效率、多样性和复杂性不足的问题，提出了一个名为SeGPT的创新框架，用于生成复杂和具有挑战性的场景。
SIGIR 2023 时空数据论文总结
suzukiwudi的博客
11-02 794
SIGIR 2023于2023年7月23-27日在中国台湾举行，长文（Full papers）接收率20.1% (165/822)，短文(Short Papers)接收率25.12% (154/613)。本文总结了SIGIR2023上两篇有关时空数据的论文（包含POI推荐和异常检测的内容），5篇长文，2篇短文。
SIGIR 2025 | 告别“一问一答”！个性化实时检索让聊天机器人秒变“社牛”
Paper weekly
05-15 870
为了保持对话的质量并提供有效的陪伴，对话系统应主动引入新颖且有趣的话题，新话题的选择需结合用户的兴趣点，并对现有实时信息进行检索（例如搜索用户感兴趣的体育项目的最新动态），以确保话题内容既具个性化又富有趣味性，从而持续优化用户的对话体验，提高整体陪伴效果。人类在相互聊天时，常常会根据兴趣、场景或情绪，主动换话题或引出新鲜话题，然而现有的机器人通常忽略了在对话过程中与用户积极互动的重要性，同时也由于更加偏向被动的对话策略，进一步限制了对话的深度和交互时间，最终，使得虚拟情感陪伴机器人的用户体验大打折扣。
SIGIR 2025 AgentIR研讨会征稿：探索Agent驱动的信息检索新边界
Paper weekly
03-17 654
信息检索（IR）技术是现代数字化生活的核心，从搜索优化到内容排序，IR系统通过与用户的动态交互，帮助人们快速获取关键信息。2025年7月17日，第二届AgentIR研讨会将在意大利帕多瓦与SIGIR 2025同期举行，聚焦Agent视角下的信息检索创新，特别关注深度强化学习（DRL）和大语言模型（LLM）的融合应用，助力IR领域迈向新高度！本次活动将邀请学术界与产业界的先锋人物，围绕DRL与LLM在IR中的前沿应用展开深入探讨，推动理论创新与实践落地，激发跨领域合作的新火花。
2022年会话推荐综述
aklwdhikuwa的博客
08-04 2106
会话推荐
LLM4CVE
07-08
LLM4CVE 是一个将大型语言模型（LLM）应用于 CVE 漏洞分析与利用的研究方向。其核心在于利用 LLM 的强大自然语言处理能力来解析漏洞描述、生成攻击链设计以及协助安全研究人员进行自动化或半自动化的漏洞挖掘和利用。 ### 漏洞分析 LLM4CVE 在漏洞分析方面主要依赖于对 CVE 描述的语义理解。通过解析 CVE 信息，LLM 可以识别出漏洞类型（如缓冲区溢出、SQL 注入等）、受影响的软件版本以及可能的攻击向量。例如，在某些实验中，GPT-4 被用于分析沙盒环境中复现的漏洞，并尝试生成有效的利用策略，即使其中一些漏洞超出了 GPT-4 的训练数据截止时间[^3]。 在实际应用中，LLM 还可以结合已有的漏洞数据库（如 NVD）进行推理，预测潜在的漏洞影响范围，甚至建议修复方案。这一过程通常包括： - **漏洞分类**：根据 CVE 描述判断漏洞类型。 - **影响评估**：分析漏洞可能导致的安全风险，如远程代码执行、拒绝服务等。 - **修复建议生成**：基于已有知识库提出缓解措施或补丁建议。 ### 利用方法 LLM4CVE 的另一项关键技术是自动生成漏洞利用（Exploit）逻辑。这通常涉及以下几个步骤： 1. **攻击面识别**：通过分析漏洞描述，确定攻击入口点（如特定 API 或函数调用）。 2. **Payload 构造**：生成可用于触发漏洞的输入数据，例如构造恶意字符串、畸形网络请求等。 3. **控制流劫持**：在某些情况下，LLM 可辅助构造 ROP 链（Return-Oriented Programming），实现对程序控制流的劫持[^4]。 4. **自动化测试与优化**：利用强化学习或其他探索机制，迭代改进攻击链的有效性。 值得注意的是，尽管 GPT-4 等先进模型在某些场景下表现出色，但在面对未知或 0day 漏洞时仍存在局限性[^2]。因此，增强模型的规划能力和探索机制成为未来研究的重要方向之一[^1]。 ### 安全研究 随着 LLM 在漏洞分析和利用中的广泛应用，相关的安全研究也日益受到重视。一方面，LLM 本身可能存在 Prompt 注入等新型攻击面，攻击者可以通过精心设计的输入诱导模型输出恶意内容；另一方面，LLM 的使用也可能加剧网络安全攻防的不对称性——黑客若能有效利用 LLM 代理自动化攻击流程，则企业将面临更大的防御压力[^2]。 此外，针对 LLM 代理的安全性问题也成为研究热点。研究表明，即使是当前最先进的模型，在没有详细漏洞描述的情况下也会面临挑战。因此，如何提高模型在面对复杂、模糊或不完整信息时的鲁棒性和适应性，是未来研究需要重点解决的问题之一[^1]。 ### 示例代码：LLM 辅助生成 SQL 注入 Payload 以下是一个简单的 Python 示例，展示如何使用 LLM 生成 SQL 注入 Payload： ```python import openai def generate_sql_injection_payload(prompt): response = openai.Completion.create( engine="gpt-3.5-turbo-instruct", prompt=prompt, max_tokens=100 ) return response.choices[0].text.strip() # 示例提示词 prompt = "Generate a SQL injection payload to bypass login authentication." payload = generate_sql_injection_payload(prompt) print("Generated SQL Injection Payload:", payload) ``` 该脚本会调用 OpenAI 的 GPT-3.5 接口，根据提供的提示词生成一个绕过登录验证的 SQL 注入 Payload。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值