- 博客(28)
- 收藏
- 关注
RSS订阅原创 论文笔记-NeurIPS2017-DropoutNet
大多数潜在模型主要集中在用户-物品交互的建模上，关于冷启动问题的研究相对较少。因此，本文提出了一种名为 DropoutNet 的基于神经网络的潜在模型，以解决推荐系统中的冷启动问题。与现有方法不同的是，DropoutNet 没有引入额外的基于内容的目标项，而是专注于优化，表明神经网络模型可以通过 dropout 明确训练以应对冷启动问题。
2025-02-28 18:06:16
1276
1
原创 论文汇总-Cold Start Recommendation
本文主要关注Cold-Start Recommendation领域较为经典，经常被作为Baseline的论文，发表时间不限，5篇包含源码。
2025-02-27 11:54:12
652
原创 论文汇总-LLM+Cold Start
本文是对综述Cold-Start Recommendation towards the Era of Large Language Models (LLMs): A Comprehensive Survey and Roadmap中使用LLM解决冷启动问题的进一步阐述，主要关注发布时间在2024年之后，且公开源码的文章。（共16篇）综述也有相关博客，博客标题为: [论文笔记-arXiv2025-A survey about Cold Start Recommendation]。
2025-02-25 17:01:08
949
原创 论文笔记-WWWCompanion2024-LLM as Data Augmenters for Cold-Start Item Recommendation
传统推荐系统在没有历史交互的情况下难以推荐冷启动项目。为了解决这一问题，本文提出利用 LLM 作为数据增强工具，以弥补训练期间对冷启动项目的知识差距。首先，使用 LLM 根据用户历史行为的文本描述和新商品描述推断用户对冷启动项目的偏好。然后，通过辅助的成对损失将增强的训练信号纳入下游推荐模型的学习中。在公共 Amazon 数据集上的实验证明了 LLM 能有效增强冷启动项目的训练信号，从而显著改善各种推荐模型对冷启动项目的推荐效果。
2025-02-21 20:16:22
875
1
原创 论文笔记-WSDM2025-ColdLLM
冷启动商品仅依赖于内容特征，这限制了它们的推荐性能。目前的模型通过内容特征生成嵌入，但未能解决核心问题：缺乏历史行为数据。为了解决这个问题，本文引入LLM模拟器框架，该框架利用大语言模型模拟用户与冷启动商品的交互，从根本上解决了冷启动问题。然而，仅使用 LLM 来遍历所有用户可能会在亿级系统中引入显著的复杂性。为管理计算复杂性，本文提出了一个用于在线推荐的耦合漏斗 ColdLLM 框架。ColdLLM 通过训练的耦合过滤器有效地将候选用户数量从亿级减少到数百，从而使 LLM 能够在过滤后的用户集上高效运行。
2025-02-20 19:56:44
1322
1
原创 论文笔记-WSDM2024-LLMRec
以往的研究通过引入辅助信息来解决数据稀疏问题，但这种方法常常引发噪声、可用性和低数据质量等问题，从而影响用户偏好的准确建模。本文提出了一个名为LLMRec的新框架，基于LLM图增强策略提升推荐系统。LLMRec通过三种方式增强交互图：(i) 强化用户-项目交互边，(ii) 加深对项目节点属性的理解，以及 (iii) 从自然语言角度生成用户画像。此外，为确保增强数据的质量，本文还开发了一种去噪数据稳健化机制，包括噪声隐式反馈剪枝和基于MAE的特征增强技术，以优化增强数据并提高其可靠性。
2025-02-19 20:17:38
1280
1
原创 论文笔记-CIKM2023-GALORE
现有的减轻长尾问题的技术主要集中在传统方法上，缺乏能够有效处理长尾问题的基于图的方法。本文提出了一个图增强方法GALORE，该方法可以应用到任何基于图的推荐模型中。GALORE结合了一个边添加模块，通过注入额外的项目边来丰富尾部项目的图连接性。为了进一步平衡图结构，GALORE采用了基于度数的边丢弃策略，保留尾部项目中更有价值的边，丢弃头部项目中不太重要的边。除了结构增强外，还合成新的数据样本，从而解决尾部项目的数据稀缺问题。此外，本文引入了一个两阶段的训练策略，以促进对头部和尾部项目的学习。
2025-02-10 17:30:52
932
1
原创 论文笔记-COLING2025-LLMTreeRec
训练数据的缺乏导致推荐系统面临冷启动问题，使其难以提供有效的推荐。大语言模型可以根据其广泛的开放世界知识提供零样本结果。然而，大规模的项目语料库对LLMs构成了挑战，导致大量的令牌消耗。为了解决这一挑战，本文提出了一种基于树的LLM推荐框架LLMTreeRec，该框架将所有项目结构化为一个项目树，以提高LLM的项目检索效率。LLMTreeRec在两个广泛使用的数据集下的系统冷启动设置中实现了先进的性能。
2025-02-09 15:58:14
1358
2
原创 论文笔记-NeruIPS2024-LLM-ESR
大多数用户只与少量项目交互，而大多数项目则很少被消费，这两个问题被称为长尾用户挑战和长尾项目挑战。虽然已有工作旨在解决这两个挑战，但是由于交互的稀缺性仍存在摇摆或者噪音问题。本文提出大模型增强框架LLM-ESR，该框架利用LLM的语义嵌入来增强序列推荐，而不增加LLM的额外推理负担。为了解决长尾项目挑战，设计一个双视角建模框架，结合LLM的语义信息和传统序列推荐的协同信息。对于长尾用户挑战，提出检索增强自蒸馏方法，使用来自相似用户的信息交互来增强用户偏好表示。
2025-01-18 20:25:01
1455
1
原创 论文笔记-arXiv2025-A survey about Cold Start Recommendation
冷启动推荐的主要挑战在于新用户和新商品几乎没有或没有可用的信息。在这种情况下，系统很难基于非常稀疏的信息建模用户与商品之间的相似性。因此，冷启动成为推荐系统中长期存在的问题。本文旨在对冷启动推荐中最先进的技术和框架进行广泛的回顾，并对知识范围不断扩大的大模型时代进行特殊展望。根据收集的数据，考虑到外部知识源的规模，本文将现有工作分为四类：内容特征、图关系、领域信息和来自大语言模型的世界知识。
2025-01-16 21:39:53
1481
1
原创 论文笔记-KDD2024-TransRec
现有的基于ID的标识符和基于描述的标识符可能会失去语义或缺乏足够的独特性。此外，生成方法可能会生成无效的标识符，从而与语料库中的项目不匹配。为了解决以上问题，本文提出一种新颖的基于LLM的推荐系统过渡范式TransRec，以桥接项目和语言的关系。具体而言，TransRec提出了多方面的标识符，结合ID、标题和属性进行项目索引，保留了语义和独特性。TransRec还引入了一种特殊的数据结构，以确保仅生成有效的标识符。最后，TransRec提出聚合模块，利用生成的多方面标识符有效地对语料库中的项目进行排序。
2024-12-17 16:14:37
907
1
原创 论文笔记-CIKM2024-LLM-CF
现有的研究主要利用大语言模型（LLMs）生成知识丰富的文本，或利用基于大语言模型的嵌入作为特征来改善推荐系统。虽然LLM中广泛的世界知识通常对推荐系统有益，但这种应用只能将有限数量的用户和项目作为输入，而不能充分利用协同过滤信息。本文受LLM的上下文学习和思维链推理CoT的启发，提出了大语言模型增强协同过滤框架LLM-CF，该框架将LLM的世界知识和推理能力提炼到协同过滤中。此外，本文还探索了一种简洁高效的指令微调方法，该方法提高了LLM的推荐能力，同时保留了其通用功能。
2024-12-13 16:57:54
1293
1
原创 论文笔记-WWW2024-ClickPrompt
传统的CTR模型存在语义信息丢失的问题。另一个研究方向将输入数据转换为文本句子，尽管保留了语义信息，但无法捕获协作信息，而且推理开销大。本文提出了一种新颖的模型无关框架ClickPrompt，结合CTR模型生成与交互相关的软提示供PLMs使用。同时设计了一种提示增强的掩码语言建模预训练任务PA-MLM，其中PLM根据上下文信息以及CTR模型生成的软提示恢复被掩码的标记。然后，选择将CTR模型与PLM一起调优以获得更好的性能，或者单独调优CTR模型而不使用PLM以提高推理效率。
2024-11-29 09:49:56
1494
1
原创 论文笔记-SIGIR2024-BAHE
LLM处理长文本用户行为时的效率很低，随着用户序列越来越长，LLM当前的效率不足以训练数十亿用户和项目。为了解决这个问题，本文提出一种行为聚合分层编码模型BAHE，将用户行为的编码与行为间的交互解耦。首先，BAHE采用LLM的预训练层从广泛的用户序列中提取最细粒度的原子用户行为嵌入，并将其存储在离线数据库中。然后，使用LLM训练层生成全面的用户嵌入，将高级用户表示独立于低级行为编码，显著降低计算复杂性。最后，将细化的用户嵌入与项目嵌入结合到模型中计算CTR分数。
2024-11-22 23:39:22
732
1
原创 论文笔记-ACL2024-BinLLM
现有的大模型推荐方法通常在LLMs的潜在空间中学习协同嵌入，或从外部模型进行映射。然而，这些方法无法将协同信息表示为类似文本的格式，与LLMs的运作方式不一致。本文提出了一种新颖的方法BinLLM，通过类似文本的编码方式整合协同信息，即将来自外部模型的协同嵌入转换为二进制序列。此外，BinLLM还使用点十进制表示法压缩二进制序列，以避免长度过长。
2024-11-13 15:44:30
860
1
原创 下载llama2-7b并转hf模型
包含Huggingface请求llama2-7b下载权限、下载llama2-7b和转化llama2-7b为llama2-7b-hf。
2024-11-12 16:44:08
2645
原创 论文笔记-SIGIR2024-DEALRec
在日益增长的推荐数据上微调大语言模型所耗费的高额成本限制了基于LLM的推荐模型的发展。实现高效微调旨在识别代表性样本，即选择核心集coreset。然而，现有的核心集选择方法通常依赖于次优启发式指标，或者需要对大规模推荐数据进行成本高昂的优化。为了解决以上问题，本文提出了一种数据修剪方法DEALRec，结合了两个分数，即影响分数和努力分数。使用小型代理模型获取影响分数，估计删除样本对整体性能的影响。考虑到替代模型和LLMs之间的潜在差距，进一步提出了努力分数，以优先考虑针对LLMs的一些硬样本。
2024-11-04 20:24:54
1008
1
原创 论文笔记-RecSys2024-KAR
推荐系统模型在特定领域内单独训练和部署的隔离性质限制了他们获取开放世界知识的机会。本文提出了 KAR，一个通过利用大型语言模型将开放世界知识有效整合到推荐系统中的框架。 KAR 从LLM中识别出两种类型的关键知识，即关于用户偏好的推理知识和关于项目的事实知识，这些知识可以通过因式分解提示来主动获取。KAR还设计了混合专家适配器来转换获得的知识，从而与推荐任务兼容。然后将获得的增强向量用于增强推荐模型的性能。
2024-11-04 12:05:09
845
1
原创 论文笔记-SIGIR2024-LLaRA
以往的研究将大语言模型输入提示中的项目表示为ID索引或者文本元数据，但是这种方法不能概括全面的世界知识或足够理解用户行为。为了解决这个问题，本文提出了LLaRA，使用混合提示方法将传统推荐模型学习到的基于ID的项目嵌入和文本项目特征相结合。具体而言，LLaRA使用投影仪将传统序列推荐模型的ID表示与LLMs的输入空间对齐。同时，LLaRA还采用课程学习策略逐渐增加训练复杂度。
2024-10-30 19:57:12
1197
1
原创 论文笔记-arXiv2024-LLM-InS
推荐冷启动项目对于协同过滤模型而言是一个长期存在的挑战。现有的冷启动模型使用映射函数根据冷启动项目的内容特征生成行为嵌入。然而，生成的行为嵌入与真实的行为嵌入有显著差异，会对推荐性能产生负面影响。为了应对这一挑战，本文提出了LLM交互模拟器LLM-InS，基于内容方面对用户的行为模式进行建模。这个模拟器可以模拟每个冷启动项目的交互，将冷启动项目转换为热启动项目。
2024-10-18 15:43:28
966
1
原创 论文笔记-WWW2024-MacGNN
预测数十亿规模的CTR推荐对图神经网络来说具有很大的挑战，现有的方法通常从数十亿个邻居中采样数百个，但是这种采样方法会导致严重的采样偏差，不能涵盖全部的信息。为了解决这个问题，这篇论文提出了MacGNN，将具有相似行为模式的节点聚类分组为宏节点，使用宏观图描述数百个宏节点。MacGNN可以聚合宏观层面的信息并修改宏节点的嵌入。
2024-10-17 12:00:37
682
1
原创 论文笔记-WWW2024-LLM-TRSR
当推荐场景的项目包含丰富的文本信息，LLM需要长文本才能全面描述用户的历史行为序列，这就带来了以下挑战：文本长度限制；大量时间和空间开销；次优的模型性能。针对以上问题，本文提出LLM-TRSR，首先对用户行为序列进行分段，然后采用基于LLM的摘要器来封装用户偏好（包括分层摘要和循环摘要），最后使用基于LLM的推荐器来执行推荐任务，并使用监督微调SFT和低秩适应LoRA对参数进行微调。
2024-09-25 10:38:18
802
1
原创 论文笔记-arXiv2024-GraphRAG: A Survey
RAG有效缓解了大语言模型的“幻觉”、缺乏特定领域知识和过时信息等问题。然而，数据库中不同实体之间复杂的关系结构给RAG带来了挑战。为了解决这一问题，研究人员提出了图检索增强生成（GraphRAG）。GraphRAG利用跨实体的结构信息来实现更精确更全面的检索，捕获知识之间的关系，并促进更精确和上下文感知的响应。
2024-09-24 10:36:36
996
1
原创 论文笔记-RecSys2023-TALLRec
提出TALLRec 框架，该框架可以通过两个调优阶段（alpaca tuning和re-tuning）将大语言模型与推荐任务有效结合。
2024-09-23 12:00:00
954
1
原创 在Hadoop下运行wordcount一直报错系统找不到指定路径
在Hadoop下运行MapReduce任务欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入在分布式计算课上老师要求在windows10上安装hadoop并运行wordcount任务，以下是运行
2020-05-22 21:10:00
1969
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人