BASES: Large-scale Web Search User Simulation with Large Language Model based Agents

本文是LLM系列文章，针对《BASES: Large-scale Web Search User Simulation with Large Language Model based Agents》的翻译。

摘要

由于大型语言模型（LLM）的卓越能力，开发用于可靠用户模拟的基于LLM的代理变得可行。考虑到真实用户数据的稀缺性和局限性（如隐私问题），本文对网络搜索进行了大规模的用户模拟，以改进对用户搜索行为的分析和建模。特别地，我们提出了BASES，这是一种新的用户模拟框架，具有基于LLM的代理，旨在促进对网络搜索用户行为的全面模拟。我们的模拟框架可以大规模生成独特的用户档案，从而导致多样化的搜索行为。为了证明BASES的有效性，我们基于中英文两种人类基准进行了评估实验，证明BASES可以有效地模拟大规模的类人搜索行为。为了进一步适应网络搜索的研究，我们开发了WARRIORS，这是一个新的包含网络搜索用户行为的大规模数据集，包括中文和英文版本，可以极大地支持信息检索领域的研究。我们的代码和数据将很快公开发布。

1 引言

2 相关工作

3 面向Web搜索的大规模用户模拟

4 有效性验证

5 The WARRIORS数据集

6 结论

在这项研究中，我们介绍了BASES，这是一种新的框架，用于使用基于LLM的代理模拟大规模网络搜索用户行为。我们设计了特定的策略来构建大规模的用户档案，从而在我们的框架中生成类似人类的搜索行为数据。通过广泛的实验，我们不仅证明了BASES在模拟真实和多样的用户行为方面的有效性，还突出了其在改进信息检索任务方面的潜力，尤其是在低资源的情况下。此外，为了便于相关研究，我们开发了WARRIARS数据集，有中英文两个版本，其中包括BASES模拟的大量网络搜索用户行为数据。我们相信，这项工作可以为研究网络用户的搜索行为提供新的视角，从而有助于搜索技术的进步和用户体验的优化。对于未来的工作，我们将丰富模拟用户的行为类型，并考虑将BASES框架应用于社会学分析等其他领域。