Evaluating Position Bias in Large Language Model Recommendations

文章主要内容和创新点

主要内容

1. 研究背景：大型语言模型（LLMs）被广泛探索用于推荐任务，凭借零样本和指令跟随能力成为传统推荐方法的灵活替代方案，但存在输入敏感性等问题。
2. 核心发现：LLM推荐模型存在显著的位置偏差，即候选项目在提示中的顺序会严重影响推荐结果（例如，相同候选项目仅颠倒顺序，输出排名会大幅不同）。
3. 方法提出：为缓解位置偏差，提出一种新的提示策略——RISE（Ranking via Iterative SElection，迭代选择排序）。其核心是将完整排序任务拆解为多个子任务，通过迭代方式让LLM每次从候选列表中选择1个（或N个）项目，逐步构建排名列表。
4. 实验验证：在MovieLens和Amazon Books数据集上，将RISE与标准提示（一次性排名）、Bootstrapping（多次随机打乱后聚合）等基线方法对比，结果显示RISE能将位置偏差减少高达25%，同时保持推荐质量的稳定性。

创新点

1. 首次系统研究LLM推荐中的位置偏差：明确量化了LLM对候选项目顺序的敏感性，证实该偏差在不同数据集和候选规模下的普遍性。
2. 提出轻量高效的偏差缓解方法：RISE无需模型微调或后处理，仅通过提示策略优化，将复杂排序任