AutoWebGLM: Bootstrap And Reinforce A Large Language Model-based Web Navigating Agent

本文是LLM系列文章，针对《AutoWebGLM: Bootstrap And Reinforce A Large Language Model-based Web Navigating Agent》的翻译。

摘要

大型语言模型（LLM）推动了许多智能代理任务，如网络导航，但由于三个因素，大多数现有的代理在现实世界的网页中的表现远不能令人满意：（1）网页上动作的多功能性，（2）HTML文本超过了模型处理能力，以及（3）由于网络的开放域性质导致的决策复杂性。鉴于这一挑战，我们开发了AUTOWEBGLM，这是一款基于ChatGLM3-6B构建的GPT-4性能优于自动网络导航代理。受人类浏览模式的启发，我们设计了一种HTML简化算法来表示网页，简洁地保留了重要信息。我们采用混合人工智能方法为课程训练构建网络浏览数据。然后，我们通过强化学习和拒绝抽样来引导模型，以进一步促进网页理解、浏览器操作和高效的任务分解。为了测试，我们为现实世界的网页浏览任务建立了一个双语基准——AutoWebBench。我们在各种网络导航基准测试中评估了AUTOWEBGLM，揭示了它的改进，但也揭示了应对真实环境的潜在挑战。相关代码、模型和数据将发布在https://github.