A Survey on Large Language Model based Autonomous Agents

828 篇文章

已下架不支持订阅

本文详述了基于大型语言模型(LLM)的自动代理的构建、应用和评估,探讨了角色扮演能力、人对齐、提示鲁棒性、幻觉、知识边界和效率等挑战。研究了如何利用LLM在社会科学、自然科学和工程领域的应用,并提出未来的研究方向。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列的文章,针对《A Survey on Large Language Model based Autonomous Agents》的翻译。

摘要

自动代理一直是学术界的一个突出研究课题。该领域先前的研究通常集中在孤立环境中训练知识有限的智能体,这与人类的学习过程有很大差异,从而使智能体难以实现类似人类的决策。最近,通过获取大量的网络知识,大型语言模型(LLM)在实现人类水平的智能方面表现出了巨大的潜力。这引发了研究基于LLM的自动代理的热潮。为了充分利用LLM的潜力,研究人员设计了适合不同应用的不同代理架构。在本文中,我们对这些研究进行了全面的调查,从整体的角度对自动智能体领域进行了系统的回顾。更具体地说,我们的重点在于构建基于LLM的代理,为此我们提出了一个统一的框架,该框架包含了以前的大部分工作。此外,我们还总结了基于LLM的人工智能代理在社会科学、自然科学和工程领域的各种应用。最后,我们讨论了基于LLM的人工智能代理常用的评估策略。在前人研究的基础上,我们还提出了该领域的一些挑战和未来方向。为了跟踪该领域并不断更新我们的调查,我们维护了一个库用于相关参考文献https://github.com/Paitesanshi/LLM-Agent-Survey.

### 关于多模态大模型的研究概述 多模态大语言模型(Multimodal Large Language Models, MLLMs)近年来成为人工智能领域的重要研究方向之一。这些模型能够处理多种数据形式,如文本、图像、音频和其他传感器输入,从而实现更加复杂的任务解决能力[^1]。 #### 自动驾驶中的多模态大语言模型 在自动驾驶场景下,MLLMs 的应用尤为突出。它们可以融合来自摄像头、激光雷达和毫米波雷达等多种传感器的数据,提供全面的环境感知能力。一篇重要的综述文章《A Survey on Multimodal Large Language Models for Autonomous Driving》详细探讨了这一领域的进展及其挑战[^2]。该文章不仅涵盖了自动驾驶技术的发展历程,还分析了多模态语言模型如何逐步融入到自动驾驶系统中,并提出了未来可能的研究方向。 #### 数据集与基准测试 为了推动多模态大语言模型的进步,研究人员创建了许多公开可用的数据集和评估标准。例如,在自动驾驶领域,特定的任务驱动型数据集被用来验证模型的有效性和鲁棒性。这些资源对于促进学术界和工业界的协作至关重要[^3]。 #### 跨语言支持的重要性 尽管目前大多数先进的大型语言模型主要专注于单一语言(通常是英语),但也有不少努力旨在构建具备跨语言功能的版本。比如 VisCPM 和 Qwen-VL 这样的项目展示了通过精心设计的训练策略来增强模型对不同自然语言的支持程度的可能性。 ```python # 示例代码展示如何加载一个多模态预训练模型并执行推理操作 from transformers import AutoProcessor, CLIPModel model_name = "openai/clip-vit-base-patch32" processor = AutoProcessor.from_pretrained(model_name) model = CLIPModel.from_pretrained(model_name) image_url = "https://example.com/sample_image.jpg" text_input = ["a photo of a cat", "a photo of a dog"] inputs = processor(text=text_input, images=image_url, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get probability distribution over texts print(probs) ``` 上述代码片段演示了一个简单的例子,说明如何利用现有的开源工具包加载预先训练好的多模态模型来进行基本推断。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值