Agent的未来范式探索

生物信息学新手必看:MAFFT多序列比对从安装到实战(附参数优化技巧) 本文为生物信息学新手提供了MAFFT多序列比对工具的完整指南。从Linux环境下的安装部署,到核心算法策略(如FFT-NS-i、L-INS-i)的选择逻辑,再到空位罚分等关键参数的深度解析与优化技巧,手把手教你完成从原始序列到高质量比对结果的实战流程,为后续进化树构建等分析奠定坚实基础。 阅读详情

文章全面介绍了AI Agent的发展现状、分类架构、核心模块、评测体系和未来趋势。详细分析了Agent的能力水平划分、模态分类和应用场景,深入探讨了Agent的核心规划模块(任务分解、反思提炼等),并系统梳理了Agent的评测维度和开源项目。文章指出Agent正处于蓬勃探索期,随着LLM能力的提升,评测体系和应用场景不断扩展,可靠性、安全性等始终是核心关注点。


Agent的发展在25年大概是巅峰赛季了,层出不穷,agent的定义不断地被横向或者纵向的扩展,总之,范式不断地被颠覆。

这是一篇过期的文章…,关于范式的定义、开源的评测、未来的探索…

针对Agent的探索以及开源项目进行了深度的分析,并综合给出了个人层面对于Agent的进化历程。

相关重点Paper

  • Understanding the planning of LLM agents: A survey(https://arxiv.org/pdf/2402.02716)
  • HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face(https://arxiv.org/pdf/2303.17580、https://github.com/microsoft/JARVIS)
  • Why Do Multi-Agent LLM Systems Fail?(https://arxiv.org/abs/2503.13657)
  • API Agents vs. GUI Agents: Divergence and Convergence(https://arxiv.org/pdf/2503.11069)

从多个维度(如模态、可靠性、效率、可用性、灵活性、安全性、可维护性、透明度和类人交互)对API代理和GUI代理进行了全面评估

  • A Survey on (M)LLM-Based GUI Agents(https://arxiv.org/pdf/2504.13865)

GUI Agent的综述

Agent范式阐述

Autonomous agents 又被称为智能体Agent。能够通过感知周围环境、进行规划以及执行动作来完成既定任务。

这个图大概是对Agent阐述最多的了。作为一个经典的Agent框架图,也是最基础的,明确说明了现在Agent所涉及的模块,以及模块涉及的技术点,但随着国内技术的一日千里,描述也稍有欠缺了。

AI Agent的能力水平划分

  • L0-没有人工智能,仅有基本的工具(能实现感知)和行为能力;

  • L1-规则符号智能,基于规则的 AI,包含早期NLP的任务规则;

  • L2-推理决策智能,基于互动学习(IL)/强化学习(RL)的 AI,并增添推理和决策能力,典型的就是Dify、manus为代表的流程编排;

  • L3-记忆反思智能,基于LLM的 AI 替换互动学习/强化学习的方式,并增加记忆(Memory)+自我反思(reflection);

  • L4-自主学习智能,在 L3的基础上,加强自我学习+泛化的能力;

  • L5-个性群体智能,在 L4的基础上,增加了个性(情感+性格)和协作行为(MultiAgent)

Agent模态上划分

  • 基于语言的智能体
  • **基于视觉的智能体:**SpiritSight
  • 视觉-语言混合智能体:MobileFlow

推荐paper:

- AppAgentX:Evolving GUI Agents as Proficient Smartphone Users

  • MobileFlow:A Multimodal LLM for Mobile GUI Agent(移动设备专用)

  • OS Agents:A Survey on MLLM-based Agents for General Computing Devices Use

  • SpiritSight Agent:Advanced GUI Agent with One Look.

  • Levels of AI Agents: from Rules to Large Language Models

Agent按照应用场景划分:

  • OS Agents

  • GUI Agents

  • Computer-Using Agent, CUA

下图作为当前大部分Agent的核心架构,其实完全足够了,大家基本是在其基础上对模块进行补充扩展。

源自:Executable Code Actions Elicit Better LLM Agents(https://arxiv.org/pdf/2402.01030)

源自:Character-LLM: A Trainable Agent for Role-Playing(https://aclanthology.org/2023.emnlp-main.814v2.pdf)

下面的五种Agent模式,能非常准确的反应当前Agent的演变路线,

  • 反射模式(Reflection pattern)

Reflection是指Agent能够对自己的行为和决策进行推理和分析的能力

  • 工具使用模式(Tool use pattern)

  • 查询矢量数据库、执行 Python 脚本、调用 API 等,利用外部工具和资源来提升自己的决策和执行能力。

  • ReAct(Reason and Act) 模式

ReAct 结合了上述两种模式:Agent 可以反映生成的输出。它可以使用工具与世界交互。Agent根据环境的变化做出反应。这种设计范式涉及到Agent如何根据环境的变化来调整自己的决策和行为。

  • Planning pattern规划模式

规划是Agent AI 的一个关键设计模式,我们使用大型语言模型自主决定执行哪些步骤来完成更大的任务。

  • Multi-agent pattern多智能体模式

常见的Agent,包括Manus、Deep Research大部分都是LLM+Wrapper(Prompt、Function Call,MCP、A2A等)。

此时此刻,对于Agent到底是个什么

Agent核心Plan模块

核心思想:任务分解 & 反思和提炼

  • Understanding the planning of LLM agents: A survey
  • 任务分解(Task Decomposition):分治思想。

分解优先(Decomposition-First):先分解,再计划,如:HuggingGPT、Plan-and-Solve、ProgPrompt

交错分解(Interleaved):一边分解任务,一边制定计划,如:ReAct、COT、POT

  • 多计划选择(Multi-Plan Selection):投票思想。给智能体一个“选择轮”,生成多个计划,然后选择最优计划来执行。

多计划生成:利用LLM在解码过程中的不确定性,比如通过温度采样或top-k采样获得多个不同推理路径。

最优选择:启发式搜索算法, 比如 简单的多数投票策略,或者利用树结构来辅助多计划搜索

如:Self-consistency:投票的方式

Tree-of-Thought (ToT):**树搜索(BFS/DFS)**算法,使用LLM评估多个动作并选择最优动作

Graph-of-Thought (GoT):同ToT

LLM-MCTS 和 RAP:树结构辅助多规划搜索,但采用MCTS算法进行搜索

推荐paper:

- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

(https://arxiv.org/abs/2201.11903)

thought_prompt = f"""
  • 辅助规划(External Planner-Aided Planning):借助外部规划器**,在旁边出谋划策**

在特定场景约束下,LLM能力不足,如:高P场景、数学推导等,辅助规划的思想主要是在对LLM本身比如通过强化学习或模仿学习技术训练的深度模型,针对特定领域展现出有效的规划能力,或者借助外部Model来进行辅助补丁。

  • 反思细化(Reflection and Refinemen):执行计划过程中,能够停下来反思,然后改进计划。

LLM 规划过程中可能会产生幻觉**,或因为理解不足而陷入“思维循环”,反馈和改进是规划过程中不可或缺的组成部分,增强了LLM Agent 规划的容错能力和错误纠正能力。**

思想:生成、反馈和改进

如:Self-refine:利用迭代过程,包括生成、反馈和精炼

Reflexion:扩展 ReAct 方法,通过引入评估器来评估轨迹

CRITIC:使用外部工具,如知识库和搜索引擎**,验证LLM生成的动作**

InteRecAgent:ReChain的自我纠正机制

LEMA:收集错误的规划样本,然后使用更强大的GPT-4进行纠正

推荐paper:

- Self-Refine: Iterative Refinement with Self-Feedback

- CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing

  • 记忆增强(Memory-Augmented Planning):使用过去经验,为将来规划提供帮助。

通过记忆来增强 LLM-Agents 规划能力的方法: RAG记忆 和 参数记忆

如:Generative Agents:以文本形式存储类似于人类的日常经验,并根据当前情况的相关性和新鲜度来检索记忆。

MemoryBank、TiM 和 RecMind:记忆编码成向量,并使用索引结构(如FAISS库)来组织这些向量。

MemGPT:借鉴了计算机架构中的多级存储概念,将LLM 上下文视为RAM,并将额外的存储结构视为磁盘。

REMEMBER:将历史记忆以Q值表的形式存储,每个记录是一个包含环境、任务、动作和Q值的元组


Agent的评测体系

推荐paper:

  • Survey on Evaluation of LLM-based Agents(https://arxiv.org/pdf/2503.16416)

评测主要来自paper,有一定的参考意义。

智能体评测(CUP)的上层体系:

  • Capacity: 有什么样的力。能做什么

  • Under standing: 深度理解能力。能听懂么

  • Performance: 性能评估。智能体做得怎么样

LLM Agent 利用大语言模型的强大理解与推理能力,结合外部工具(如数据库查询、代码执行、网页访问),实现多轮交互、长期记忆与自主规划,能够主动解决复杂、多步骤的现实问题。

Agent当前处于一个蓬勃探索期,随着LLM本身能力跃迁式的变化,评测体系也在不断地演变,但万变不离其宗,可靠性、安全性、效率等始终是其核心:

  • 确保在实际应用中可靠有效:Agent 在真实场景下会碰到大量意外情况或长尾需求,必须用严格的测试来检验其鲁棒性。

  • 指导下一步研发和迭代:良好的评测可以帮研发者发现 Agent 的「短板」和错误模式,从而持续改进。

  • 安全与合规:随着 Agent 能调用外部工具甚至有权限访问企业数据库,如果无法正确评测安全性,就会产生较大的潜在风险。

  • 成本与效率:评测还应包含成本、效率等,以免 Agent 可以完成任务但不切实际或代价过高。

主要有以下四大维度:

  • 智能体的基础能力(Agent Capabilities)
  • 规划与多步推理(Planning & Reasoning)

    评测集:数学推理【GSM8K小学数学、MATH高等数学、AQUA-RAT选择题推理】、多跳问答【HotpotQA、StrategyQA】、科学推理【ARC】、逻辑推理【FOLIO】、日常任务【MUSR】。

    评测要点:任务分解、状态追踪、自我纠错、因果推断

    评测Bench:ToolEmu【测试 Agent 在出错后能否调整】、PlanBench【发现 Agent 在长期规划上的短板】、NaturalPlan【用自然语言描述真实世界任务】

  • 工具调用与函数使用(Tool Use)

    评测要点:意图识别、工具选择、参数匹配、执行工具调用、结果整合

    评测Bench:ToolBench、APIBench、BFCL【是否会调用给定的 API、调用参数是否正确】、ToolSandbox、NESTFUL【涉及多轮对话、多步嵌套调用,场景更加贴近真实复杂需求】

  • 自我反思与自我纠错(Self-Reflection):

    评测要点:感知新信息、信息更新、决策调整

    评测思路:单步校验、多轮反馈

    评测Bench:LLFBench【围绕自反性进行基准构建,测试 Agent 在多回合得到外部反馈时的能力】、ReflectionBench【从认知科学的角度,试图把「新信息识别、记忆复用、惊讶时的 belief 更新、决策调整」等拆解,构建更精细化的评测】

  • 长期记忆(Memory)

    评测方法:长文本阅读场景、多回合信息集成、动作 - 状态跟踪

  • 特定应用领域的智能体(Application-Specific Agents)
  • 网页智能体(Web Agents)

    评测思路:能否正确理解网页结构、多步网页操作、安全性与合规

    评测Bench:**MiniWoB、WebShop、**WebArena / Visual-WebArena【更逼真的在线购物或网页浏览环境,并包含动态变化】、AssistantBench【测试 Agent 在跨网站、多步长任务下的效率】

  • 软件开发智能体(Software Engineering Agents)

    评测Bench:HumanEval、MBPP【考察函数实现正确率】、SWE-bench【从真实开源项目的 issue 切片而来,提供更复杂多文件、多步骤的问题】、AgentBench【让 Agent 跟真实的开发环境或模拟环境进行多次交互,评测其多轮对话、工具调用、调试等能力】

  • 科学研究智能体(Scientific Agents)

    评测方法:科学知识回忆与推理、文献理解与摘要、实验设计与执行、代码生成与结果复现

  • 对话式智能体(Conversational Agents)

    评测Bench:ABCD、MultiWOZ、**SMCalFlow【**基于人工众包数据,涵盖了多种对话场景和功能调用】、**ALMITA【自动生成各种客户服务对话路径,然后测试 Agent 对不同对话走向的应对能力】、\tau-Bench【**人工构建了航空、零售两大典型行业场景,用模拟用户和真实数据库来考评 Agent 执行任务的正确率】、IntellAgent

  • 通用型智能体(Generalist Agents)
  • 综合多项能力,适用于多种复杂环境
  • 开发与评测工具框架(Evaluation Frameworks)
  • 各类辅助开发者持续评测智能体性能的工具与平台

Agent 开发的过程中,对每一次推理调用做记录,监控日志和输出,然后自动或人工来标注对错、分析错误原因,通常叫 Observability 或 Monitoring。

多粒度的评测:

  • 最终输出 (Final Response) 评测: Agent出的最后答案是否满足需求,可使用人工或 LLM 批改;

  • 逐步动作 (Stepwise) 评测

    :针对 Agent 每一步对话、调用、工具执行都做结果验证,能更准确定位问题;

  • 完整执行轨迹 (Trajectory) 评测:分析 Agent 从头到尾的动作序列是否合理,高级一点还能做与「最优路径」对比。

  • 数据管理与标注:A/B 测试

  • 可视化与比较

目前代表性的平台有 LangSmith、Langfuse、Google Vertex AI evaluation service、Arize AI、Galileo Agentic Evaluation、Patronus AI、Databricks Mosaic AI Agent Evaluation 等。

Agent的未来范式探索

  • Generative Agents: Interactive Simulacra of Human Behavior

斯坦福25个AI智能体「小镇」:25个AI智能体不仅能在这里上班、闲聊、social、交友,甚至还能谈恋爱,而且每个Agent都有自己的个性和背景故事。

  • Paper:https://arxiv.org/pdf/2304.03442
  • GitHub:https://github.com/joonspk-research/generative_agents
  • https://twitter.com/drjimfan/status/1689315683958652928

架构:

  • 记忆流(Memory Stream): 长期记忆模块,以自然语言记录虚拟人个人经历的总列表。

  • 思考(Reflection): 将记忆综合成具有时间序列的高级推理,使得虚拟人能够对自身和他人做出总结,以便很好地操控自身行为。

  • 规划(Plan): 结论和当前环境转化为高级行动规划,然后递归地转化为详细的行为和反应。

  • GRUtopia: Dream General Robots in a City at Scale

上海人工智能实验室 OpenRobotLab 等机构的一批研究者也打造了一个虚拟小镇。

  • https://arxiv.org/pdf/2407.10943

  • https://arxiv.org/pdf/2503.06580

行业最流行的一句话:模型即服务

受限统一一下口径:

现阶段的开源Agent项目还是集中在流程编排智能体这个阶段,即L2,具体架构如下:

典型的当前Agent架构

非常典型的应用模式:

流程编排式:替换上一个时期的重复性功能的能力,重点聚焦于单点能力。

在对话场景,

开源Agent项目评测

短短一年,社区开源的agent项目如同雨后春笋,感叹开源大佬们精力旺盛,开源项目实在是太优秀了…,而且是乱花渐欲迷人眼,不知何从选择,从个人维度来说,方便自身快速部署、修改、使用,重要的点:

  1. 开源关注度:当然支持度是多多益善,代表的就是大家的认可度,但是,关注度 == 认可度 != 好产品,行业的竞争其实导致了很多的重复性产品,个人认为同质性产品差异不大,最后有没有胜出者就犹未可知了,ToB的应用并没有太大门槛,自建成本也不是很高
  2. 语言特性:前端、后端、算法,比如前端vue、JS、ST,如今的agent产品主打一个可拖拽,LLM的统一导致并没有太多的算法成分,唯一一个比较重的大概就是RAG了,存在一定的定制化,未来大概就是一个tool工具的存在。
  3. 能力范围:项目是为了解决什么样的问题,流程编排、RAG、agent等,支持的能力怎么样(阅读理解、问答、检索)。

注:个人工作范畴:算法应用,所以主要语言是python,以上仅为个人比较浅显的理解推断,非喜勿喷!!!

开源ProjectStarsLanguage项目简介能力初评 (带*表示重点评估)推荐指数 (颜色表示)
*Dify96.3kTS:56.4% PY:30.5%(算法) JS:8%Workflow流程编排目前最完备的流程编排工具(不依赖langchain+llama_index)★★★★★
langflow59.7kPY:42.2%(算法) JS: 29.7% TS: 27.2%Workflow 对话编排工具对话流程设计工具★★
Flowise36.8kJS: 37.6% TS: 62%Workflow流程编排流程agent设计工具★★
FastGPT24kPY:41.8%(算法) JS: 29.7% TS: 27.2%Workflow流程编排RPA的架构思想 NextJs + TS + ChakraUI + MongoDB + PostgreSQL (PG Vector 插件)/Milvus★
MaxKB16.5kPY:53.2%(算法) vue: 33.1% TS: 12.4%RAG Workflow流程编排基于LangChain架构构建★
ragflow51.7kPY:46.1% TS: 51%Agent Workflow流程编排文档RAG编排问答引擎★★★
*OpenHands54kPY:78.6% TS: 17.4%Code assistant代码助手,支持代码修改、命令行、访问网页★★★★
*MetaGPT55.4kPY:97.5%纯Agent架构逼近真正的Agent架构★★★★★
Graphrag25kPY:95.7%RAG架构图谱问答top one★★★★
anything-llm43.8kJS: 97.6%RAG架构标准JS的RAG,感觉对于算法定制不太友好,前端颜值好看★
*quivr37.6kPY:99.3%RAG架构具备记忆能力的对话问答brain,支持File问答★★★★
*Langchain-Chatchat34.5kPY:25.3% TS:65.9%RAG架构标准的Langchain的问答★
*LightRAG13.3kPY:76.1% TS:23.3%RAG架构标准RAG: 仅支持keyword、emb、graph三种检索,非llama_index★★★

注:①、带*号的表示有深度评估;

②、本人技术栈偏向于PY,评测会具有PY倾向;

③、注意不同颜色表示不同领域,评测仅对同领域内进行对比推荐;

附件参考:

(截图来源于github,评估比较浅显,对于应用落地价值不是很大,但可以供参考)

Code:

https://github.com/All-Hands-AI/OpenHands

https://github.com/Mintplex-Labs/anything-llm

https://github.com/QuivrHQ/quivr

https://github.com/chatchat-space/Langchain-Chatchat

https://github.com/microsoft/graphrag

https://github.com/FlowiseAI/Flowise

https://github.com/lFa

https://github.com/infiniflow/ragflow

https://github.com/HKUDS/LightRAG

https://github.com/microsoft/graphrag

https://github.com/2noise/ChatTTS


  • Dify深度评测

Code: https://github.com/langgenius/dify

项目特性:

1. Workflow: 可视化可拖拽式构建工作流.

  1. Comprehensive model support: 开源LLM API接入,覆盖GPT, Mistral, Llama3, and any OpenAI 等,对于国内本地LLM支持度也不错.

  2. Prompt IDE: 具备直观的ui用于chat、prompt配置等.

  3. RAG Pipeline: 完善的RAG能力支持,从文档解析、处理、chunk等操作.

5. Agent capabilities: 支持自定义tool、Function Calling、ReAct、或者开源built-in tools(Google Search, DALL·E, Stable Diffusion and WolframAlpha)等.

6. LLMOps: 日志监控分析,系统的闭环反馈.

7. Backend-as-a-Service: 支持产品独立部署拆分,适用于业务.

Dify能力简述:对应用场景抽象拆分至独立子任务,借助万能的LLM,映射至抽取(参数提取)、分类(控制流转)、生成(自适应响应)算法任务维度,基于可视化的work flow进行拖拽式的流程编排。对于三类算法任务,LLM基本能够完全覆盖,兼顾到准确率和效率,

核心RAG组件:

参考部署方案:

https://blog.youkuaiyun.com/u013563715/article/details/136764707

https://zhuanlan.zhihu.com/p/7851207343

**个人评测:

1、对于模型的支持(LLM\Embedding\Reranker\API\ollama)支持是最完善

2、RAG板块所有开源项目中最好的:代码结构、向量数据库、数据流处理,本人比较推荐!

3、RAG并非基于LLamaIndex实现: 在RAG的技术深度上,个人认为有所欠缺,同时,由于整个代码耦合度很高,改造比较困难,依赖modelInstance和LB;

4、标准的工作流制造工具,非Agent形态;

5、多模态的交互支持比较一般,主要用于企业级的RPA-Agent构建很成熟,接入第三方IM一般;

6、暂不支持MCP**

  • langflow深度评测

Code: https://github.com/langflow-ai/langflow

项目特性:

1. Visual Builder:to get started quickly and iterate.

2. Access to Code:so developers can tweak any component using Python.

3. Playground:to immediately test and iterate on their flows with step-by-step control.

4. Multi-agent:orchestration and conversation management and retrieval.

5. Deploy as an API:or export as JSON for Python apps.

6. Observability:with LangSmith, LangFuse and other integrations.

7. Enterprise-ready:security and scalability.

**个人评测:

1、LangFlow 是一个,它专注于对话流程的可视化设计和管理;

  1. 直观的界面和工具,可以帮助开发者设计和管理对话流程,包括对话节点、条件逻辑和回复等。

  2. LangFlow 还支持多语言和多渠道的对话流程设计;

**4. 整体上和Fowise其实比较接近,场景侧重点有所不同,langflow只想干好对话,所以基本不支持RAG。

  1. 应用可参考下面的设计案例,就是一个RAP的流程编排…****

具体可参考:https://docs.langflow.org/

WorkFlow设计案例

  • Document QA

包含chat输入、Prompt、OpenApi、chat输出、文件加载等组件

  • Memory chatbot

对话机器人:增加了chat memory组件,支持历史信息的思考逻辑

  • Math Agent flow

数学agent,在对话机器人的基础上新增tool calling agent、Python REPL tool、Calculator组件。

  • Sequential tasks agent

序列任务agent(任务编排器,针对具体场景定制),在对话机器人的基础上新增YFinance tool、Tavily AI Search tool、Calculator tool 组件。

  • Travel planning agent

旅行agent,在对话机器人的基础上新增tool calling agent、Python REPL tool、Calculator组件。

  • Flowise深度评测

项目特性:

  1. Multi-Agents:简单的来说就是 LLM + FuncCalling,基于supervisor进行选择agent进行跳转和任务执行;

  1. Sequential Agents:利用LLM的推理能力、FuncCalling能力、rag能力等,根据具体小场景的预设流程进行自动跳转;

  2. Flowise的整个后台能力支持多workspace管理;

  1. 对义变量设计;

  2. 支持images, audio, and other files的问答,主要借助OpenAI LLM的能力;

…(主要基于JS+TS构建,在工程设计上应该很多投入,不在我的关注范围上,太复杂😂)

个人评测:

  1. 项目基于LLM的语义理解能力,聚焦解决简单的RPA工作,就是agent的能力都包含,但都不是那么有指向,通用型的RAP agent 对话编排工具;

  2. 支简单RAG(内存型),用于支持agent问答中的文档内检索,如paper问答;

  3. 语义理解和对话管理功能,可以处理复杂的对话场景,并支持多轮对话和上下文理解;

  4. 支持预训练的模型和工具,可以加速对话系统的开发过程;

具体可参考:https://docs.flowiseai.com/using-flowise

  • FastGPT深度评测

Code: https://github.com/labring/FastGPT

FastGPT通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景.

评测结论:

1、整个后端基于TS构建,py负责模型加载部分工作

推荐阅读:

①、https://doc.tryfastgpt.ai/docs/intro/

②、企业微信/飞书接入(Laf + FastGPT 把AI知识库装进企业微信): https://www.bilibili.com/video/BV1Tp4y1n72T/?spm_id_from=333.999.0.0&vd_source=5526e4b54a23d0b2af7aca06ec8c6f36

  • MetaGPT深度评测

Code: https://github.com/geekan/MetaGPT

Multi-Agent Framework:

  1. MetaGPT takes a one line requirement as input and outputs user stories / competitive analysis / requirements / data structures / APIs / documents, etc.

  2. Internally, MetaGPT includes product managers / architects / project managers / engineers. It provides the entire process of a software company along with carefully orchestrated SOPs.

智能体 = 大语言模型(LLM) + 观察 + 思考 + 行动 + 记忆

多智能体 = 智能体 + 环境 + 标准流程(SOP) + 通信 + 经济

能力介绍:

系统主要接口能力:

内部机制:

多Agent实例:

个人评测:**1、依托GPT-4的能力构建助手;支持发布为openai兼容的接口(除ollama外)但需要做改动,

不支持直接本地化部署调用;**

2、Agent/Multi-Agent架构,依托LLM本身的语义理解能力进行多轮交互;

3、问答模式,对于多模态场景的支持比较弱;

4、基本python实现,整个架构比较清晰;

5、有点接近终极Agent架构:非流程编排式的workflow, agent大脑设计模式;

狼人杀:https://github.com/geekan/MetaGPT/tree/main/metagpt/environment/werewolf

斯坦福小镇:https://github.com/geekan/MetaGPT/tree/main/metagpt/environment/stanford_town

安卓模拟器:https://github.com/geekan/MetaGPT/tree/main/metagpt/environment/android

  • maxKB深度评测

CODE: https://github.com/1Panel-dev/MaxKB

基于RAG pipeline构建的一个知识问答编排器,重点是以RAG为核心构建,利用LLM的prompt生成能力构建RPA的自动化助手。

特性说明:

  1. RAG pipeline: 说是支持文档的splitting,向量化,但是从源码上看,其能力支持一般,比如splitting、vector支持度都比较一般

2. Agentic Workflow:流程编排能力

3. Seamless Integration:…没啥用

4. Model-Agnostic: …大家都有

5. Multi Modal: support for input and output text, image, audio and video.

个人评测:

1. 不支持自定义变量、FuncCalling,能力比较受限;

2. RAG本身能力其实也不够深入;

  • Langchain-Chatchat深度评测

code: https://github.com/chatchat-space/Langchain-Chatchat

依托于 langchain 框架支持通过基于 FastAPI 提供的 API 调用服务,或使用基于 Streamlit 的 WebUI进行操作。

项目特性:

  1. 可使用 Xinference、Ollama 等框架接入 GLM-4-Chat、 Qwen2-Instruct、 Llama3 等模型

2.主流的开源 LLM、 Embedding 模型与向量数据库,可实现全部使用开源模型离线私有部署。

  1. 从 0.3.0 版本起,Langchain-Chatchat 不再根据用户输入的本地模型路径直接进行模型加载,涉及到的模型种类包括 LLM、Embedding、Reranker 及后续会提供支持的多模态模型等,均改为支持市面常见的各大模型推理框架接入,如 Xinference、Ollama、LocalAI、FastChat、One API 等。

个人评测:**1、本质上还是一个对话RAG能力的实现;

2.基于标准的langchain插件实现(标准版);**

  • anything-llm深度评测

code: https://github.com/Mintplex-Labs/anything-llm

全栈的RAG应用。

项目特性:

  1. 支持MCP;

  2. 支持多模态问答

  3. 集成了多用户权限管理;

  4. 标准RAG能力栈:文档切片、向量化、LLM等

  5. 官方表示在产品化上很强:部署、云端、ui等

  6. 支持TTS、ASR的接入

个人评测:

  1. 简化版的流程编排Agent,以JS为主要开发语言的同学可以重点研究一下

  2. 向量数据库支持偏弱,毕竟不是为国人开源的

  • LightRAG深度评测

code: https://github.com/HKUDS/LightRAG

全栈的RAG应用。


普通人如何抓住AI大模型的风口?

为什么要学习大模型?

在DeepSeek大模型热潮带动下,“人工智能+”赋能各产业升级提速。随着人工智能技术加速渗透产业,AI人才争夺战正进入白热化阶段。如今近**60%的高科技企业已将AI人才纳入核心招聘目标,**其创新驱动发展的特性决定了对AI人才的刚性需求,远超金融(40.1%)和专业服务业(26.7%)。餐饮/酒店/旅游业核心岗位以人工服务为主,多数企业更倾向于维持现有服务模式,对AI人才吸纳能力相对有限。

在这里插入图片描述

这些数字背后,是产业对AI能力的迫切渴求:互联网企业用大模型优化推荐算法,制造业靠AI提升生产效率,医疗行业借助大模型辅助诊断……而餐饮、酒店等以人工服务为核心的领域,因业务特性更依赖线下体验,对AI人才的吸纳能力相对有限。显然,AI技能已成为职场“加分项”乃至“必需品”,越早掌握,越能占据职业竞争的主动权

随着AI大模型技术的迅速发展,相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业:

img

人工智能大潮已来,不加入就可能被淘汰。如果你是技术人,尤其是互联网从业者,现在就开始学习AI大模型技术,真的是给你的人生一个重要建议!

如果你真的想学习大模型,请不要去网上找那些零零碎碎的教程,真的很难学懂!你可以根据我这个学习路线和系统资料,制定一套学习计划,只要你肯花时间沉下心去学习,它们一定能帮到你!

大模型全套学习资料领取

这里我整理了一份AI大模型入门到进阶全套学习包,包含学习路线+实战案例+视频+书籍PDF+面试题+DeepSeek部署包和技巧,需要的小伙伴文在下方免费领取哦,真诚无偿分享!!!

vx扫描下方二维码即可

在这里插入图片描述

部分资料展示

一、 AI大模型学习路线图

这份路线图以“阶段性目标+重点突破方向”为核心,从基础认知(AI大模型核心概念)到技能进阶(模型应用开发),再到实战落地(行业解决方案),每一步都标注了学习周期和核心资源,帮你清晰规划成长路径。

img

二、 全套AI大模型应用开发视频教程

从入门到进阶这里都有,跟着老师学习事半功倍。

在这里插入图片描述

三、 大模型学习书籍&文档

收录《从零做大模型》《动手做AI Agent》等经典著作,搭配阿里云、腾讯云官方技术白皮书,帮你夯实理论基础。

在这里插入图片描述

四、大模型大厂面试真题

整理了百度、阿里、字节等企业近三年的AI大模型岗位面试题,涵盖基础理论、技术实操、项目经验等维度,每道题都配有详细解析和答题思路,帮你针对性提升面试竞争力。

在这里插入图片描述

适用人群

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …
第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …
第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …
第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

Linux中断子系统(二)—— 通用框架处理 1、数据结构分析 (1)中断描述符结构structirq_desc: 1)打开CONFIG_SPARSE_IRQ宏(中断编号不连续),中断描述符以radix- tree来组织,用户在初始化时进行动态分配,然后再插入radix-tree中; 2)关闭CONFIG_SPARSE_IRQ宏(中断编号连续),中断描述符以数组的 形式组织,并且已经分配好; 3)不管哪种形式,最终都可以通过linuxirq号来找到对应的中断描述符; (2)stru... 阅读详情

相关推荐

Altium Designer铺铜陷阱:为什么你的死铜总是清除不干净?

本文深入探讨Altium Designer中铺铜操作导致死铜无法清除的常见问题,分析死铜形成的五大诱因,并提供高级参数优化和网络连接性验证技巧。通过调整边界计算精度和泪滴算法设置,有效解决死铜残留问题,提升PCB设计质量与制造良率。

weixin_29169505的博客 359

Agent的未来范式探索,从零基础入门到精通,一篇全收藏!

对话式智能体(Conversational Agents)

Everly_的博客 768

DVWA全级别详细通关教程

dvwa全级别详细通关教程,暴力破解,命令注入,CSRF跨站请求伪造,文件包含,文件上传​,SQL注入,XSS

m0_62063669的博客 1万+

Agent的未来范式探索:架构设计、评测方法与开源项目评测

对话式智能体(Conversational Agents)

jennycisp的博客 1025

从‘最长白列’到‘八邻域’:智能车图像巡线算法怎么选?我的踩坑经验分享

本文深入探讨了全国大学生智能汽车竞赛中图像巡线算法的选型与优化,对比了最长白列法、八邻域算法等五种主流方法的性能与适用场景。通过实战数据和代码示例,分析了各算法在直道、弯道及特殊赛道元素中的表现,并提供了内存优化、参数调整等实用技巧,帮助参赛团队提升智能车的巡线精度与效率。

weixin_30374009的博客 638

我装了10个ClawHub技能,这些最好用!

ClawHub就是Clawdbot的"应用商店"。Clawdbot是手机ClawHub是App Store技能就是各种App装了技能,Clawdbot才能干更多事。这个技能解决了我的信息过载问题。为什么装我订阅了很多Newsletter。每天收到一堆长文章,根本看不完。怎么用“总结这篇文章的核心观点”“把这个Newsletter提炼成3个要点”“这篇技术博客有哪些可以实践的建议?安装命令真实体验现在我收到长文章,直接转发给Clawdbot。它会提炼出核心要点和行动清单。

Maynor的博客 6101

从扣子,看 AI Agent 产品开发范式演进

由于泛娱乐的场景最能吸引 C 端用户的眼球,所以这个阶段的智能体很多以社交、娱乐、个人提效作为切入点,各方脑洞大开,涌现了很多创意十足的智能体,譬如:角色扮演的陪聊、星座占卜、游戏NPC、段子生成等等;而随着 AI Agent 的发展,未来一定是跨平台、跨领域、多 Agent 协同解决问题的形态,在 Agent 通信协议上,A2A 已经给出了解法,而Agent 更大范围的生态急需建设,是否有一个中心化的 Agent Marketplace,或者去中心化通过统一协议各自交互,也都是我们要考虑的问题。

meepo1006的博客 1166

python全栈入门到实战【基础篇 01】Python初识:定位、优势与发展历程

本文介绍了热门编程语言Python。它是解释型高级语言,具通用、入门友好、胶水型特点,以简洁易读为设计哲学。优势包括语法简洁高效、生态庞大、跨平台、社区活跃、应用广泛、门槛低。发展历经诞生(1989-1994,吉多创建,1994年1.0发布)、成长(版本迭代,3.0发布)、崛起(Web与大数据推动)、爆发(AI浪潮助推)及持续迭代阶段。

那些看似不起波澜的日复一日,会在某天让你看到坚持的意义 1万+

AI Agent + 电商:应用与探索

后台留言『交流』,加入NewBee讨论组导读本文将分享 AIAgent 在电商平台中的探索。主要内容包括:1.LLM 在电商的价值位2.Agent 解决方案3.应用架构介绍4.AI 创新范式5.预期与规划6.问答环节分享嘉宾|王卓隽 1688 AI创新产品及应用负责人出品社区|DataFun01LLM 在电商的价值位首先来介绍大模型所赋予电商领域的一些新特性,AI 在电商模式下的应...

Kaiyuan_sjtu的博客 1016

Chrome DevTools MCP 实战完整教程

本教程介绍了Chrome DevTools MCP(Model Context Protocol)在智能Web测试中的应用。该系统通过MCP协议将Chrome开发者工具能力标准化,并与AI结合,提供了统一的测试解决方案。核心功能包括智能自动化、深度调试分析和性能监控优化。教程详细讲解了环境搭建、MCP服务器配置、参数说明及多种工具集(输入自动化、导航、设备仿真、性能分析等)的使用方法。通过mcp-use库的MCPAgent和MCPClient组件,用户可以轻松实现自然语言驱动的浏览器操作和测试流程管理。

blues_C的博客 3805

dToF直方图之美_deadtime死区时间

IMX459的死区时间可以在6ns,这个时间是什么级别,车载激光雷达激光器的光脉宽一般都在4ns以上,也就是这个时间贴近去SPAD的死区时间,这就导致了pile up会非常弱,不会有太多数量的光子计数堆积,加上某些SPAD设计,对TDC有一些更深入的考量,所以不需要去校正pile up算法。Sensor层面决定了pile up的复杂程度,如果一个dToF的SPAD一致性非常好,那么pile up校正可以简单到极致,也就是一句代码的事,比如IMX611,优秀到不需要后端去考虑校正pile up。

致力于lidar应用开发 2149

第八章:探索新兴趋势:Agent 框架、产品与开源力量

当我们尝试将早期 Agent(如 AutoGPT 的探索或基于简单 ReAct 循环的应用)投入到真实的、复杂的任务中时,往往会遇到一系列严峻的挑战:Agent 的行为。

YPeng_Gao的博客 1575

深水区探秘:小红书App x-s参数逆向与高并发爬虫实战(2026版)

在移动互联网的碎片化时代,小红书凭借其“社区+电商”的独特模式,积累了超过3亿月活用户。其内容生态覆盖了从美妆、穿搭到旅行、数码等几乎所有垂直领域。对于数据分析师、市场研究员以及AI算法工程师而言,小红书平台蕴含的价值是巨大的——无论是热门趋势洞察、KOL画像分析,还是多模态图文数据的采集。然而,想要高效、稳定地获取小红书App的公开数据,却并非易事。与Web端相比,小红书App的防护体系堪称“铜墙铁壁”。其核心的反爬机制建立在动态混淆的加密参数之上,尤其是请求头中的X-SX-T以及X-S-Common。

2201_76125261的博客 263

AI Agent + 电商:应用与探索,零基础入门到精通,收藏这一篇就够了

导读 本文将分享 AIAgent 在电商平台中的探索。主要内容包括:LLM 在电商的价值位Agent 解决方案应用架构介绍AI 创新范式预期与规划问答环节分享嘉宾|王卓隽 1688 AI创新产品及应用负责人出品社区|DataFun01LLM 在电商的价值位首先来介绍大模型所赋予电商领域的一些新特性,AI 在电商模式下的应用,以及 1688 对 AIAgent 的探索。1. 大模型赋予的新特性在电商领域,AI 技术的应用涉及众多场景。通过抽象,归纳出大模型的六大基础能力:生成、总结、提取、改写、分类和检索。这

logic1001的博客 1587

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Chat模式:AI交互的范式演进、优势局限与混合交互未来

人机交互范式经历了从命令行到图形界面,再到当前以Chat为代表的对话式交互的演进。Chat模式凭借其极致的自然语言亲和力与低门槛,迅速成为AI交互的主流范式。它本质上是一种“需求翻译器”,允许用户用模糊、探索性的语言表达意图,通过多轮对话实现复杂任务的协作求解,极大地扩展了AI技术的应用人群。然而,这种范式在效率瓶颈、可重复性差、对结构化数据处理乏力等方面存在固有局限,尤其在需要精确控制和流程自动化的专业场景中表现不足。因此,未来的趋势并非取代Chat,而是走向混合交互范式,例如Chat与GUI结合以增强控

weixin_31715171的博客 291

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

AICon演讲实录 | 谢皓:AI Agent 在边缘云的探索与实践

另一部分是近场边缘和云边缘,其实都可以看成是云边缘,从端侧角度来看,它们与云计算在本质上没有太大差异,都是在远离数据产生现场的地方进行计算,不过,它们的部署位置和规模有所不同。由于功耗、成本的原因,边缘算力相对来说比较受限,通过图片上 Nvidia 典型边缘设备的算力与内存的发展趋势,可以看到增长非常快,但跟中心比较,总体算力偏小,以 7B 模型为例,假设是 FP16 或是 FP8 的算力,基本上需要 100TOPS/32G 的算力才能满足模型运行的要求,按照这个标准的话,其实能满足这一条件的芯片并不多。

VE_Edge的博客 1280

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

智能体开发的新范式体验与展望

<p>  <p>  在数字化的浪潮中,人工智能与编程语言的发展日新月异。我有幸体验了基于仓颉编程语言原生构建的LLM Agent开发平台——Cangjie Magic。作为首个开源的此类平台,Cangjie Magic以其独创的Agent DSL架构、原生支持的MCP通信协议以及智能规划,为智能体开发带来了全新的范式。</p>

thinkersone的博客 208

Cangjie Magic体验分享与探索之旅

<p>  <p>  在数字化和人工智能高速发展的今天,Cangjie Magic作为首个基于仓颉编程语言原生构建的LLM Agent开发平台,以其独创的Agent DSL架构、原生支持的MCP通信协议以及智能规划,为智能体开发带来了全新的范式。我有幸体验了仓颉社区最新推出的Cangjie Magic,并在此与大家分享我的使用心得。</p>

thinkers 436

2024世界人工智能大会|实在智能孙林君分享实在Agent创新应用与落地进展

孙林君在AI商业落地论坛的演讲中,进一步分析了数字员工技术突破及产品演进的三个阶段(从RPA到IPA,再到Agent),并演示了实在Agent的落地应用效果,例如要求实在Agent打开某银行客户端,查询某一时间段的交易数据,并下载导出至Excel——实在Agent准确理解、规划并高效执行完成了这一流程。华为与实在智能已合作多年,实在TARS大模型基于昇腾开发,全面兼容产业生态,具备效果可用、成本可控、定制化训练、私有化部署等突出优势,可解决央国企与政府大模型本地化部署的刚需,为自主创新数智生态建设添动力。

企业级智能体,全行业解决方案,5000+企业签约,海量场景覆盖。 1389

从“拖拉拽”到智能开发:AI如何重构低代码开发范式

在这个阶段,低代码平台厂商也纷纷进入到低代码+AI Copilot的赛道,随着场景越做越深、越做越广,低代码不再只是简化开发的“工具”,而是摇身一变,成为融合了人工智能(AI)技术的智能平台,掀起了一场开发模式的革新。在企业中,“可信性大于创造性,凡是不能被验证的,就是不能被使用的”。在以上的助理实践中,通过将AI嵌入现有系统,并结合系统内的数据、权限、规则引擎等信息,实现了通过自然语言描述业务需求,系统实时响应,做到“听得懂、做得出”,为AI生成的结果提供了结构化治理框架,确保智能开发可控、可审计。

xinyuan82的博客 523

深入理解上下文感知检索:AI Agent工程中的高级RAG技术指南

在当今AI Agent开发领域,**上下文感知检索**已成为提升智能体性能的关键技术。随着《深入理解AI Agent:设计原理与工程实践》项目的深入探讨,我们发现传统RAG(检索增强生成)系统在处理复杂查询时存在显著局限性,而上下文感知检索技术则提供了突破性的解决方案。本文将为您详细解析这一高级RAG技术的核心原理、实现方法以及在AI Agent工程实践中的应用价值。 ## 为什么传统RAG系统

gitblog_00492的博客 556

AI Agent:未来开发的全新范式

开发AI智能应用,就下载InsCode AI IDE,一键接入DeepSeek-R1满血版大模型! 标题:AI Agent:未来开发的全新范式 在当今快速发展的科技时代,人工智能(AI)正以前所未有的速度改变着我们的生活和工作方式。无论是日常工具的智能化,还是复杂系统的自动化构建,AI都在其中扮演着越来越重要的角色。而AI Agent作为这一领域的重要组成部分,正在成为开发者手中的一把利器。本文将...

BloodstoneHawk77的博客 818

第十二章:前沿 Agent 探索:新兴框架、项目与范式

本章,我们探索了智能 Agent 的前沿动态,通过案例研究分析了领域适应和热门开源项目的设计模式与挑战,探讨了新兴范式,并分享了持续学习的策略。前沿探索常建立在 LangChain, LangGraph, AutoGen, CrewAI 等提供的基础概念和组件之上,并在自主性、规划、记忆、多模态等方面进行突破。理解基础有助于评估前沿进展。本章提及的具体项目(特别是 12.2 节)具有时效性。掌握12.4 节的持续学习方法至关重要,以便自行跟踪最新进展。

YPeng_Gao的博客 1242

o3原生Agentic能力会重塑Agent技术范式吗?

o3的原生agentic能力代表了Agent技术发展的一个重要里程碑。通过将规划、推理和工具使用能力内化到模型本身,o3开创了一种新的Agent开发范式,从外部编排转向内生决策,使得agent的核心能力进一步向模型"靠拢",具备更强的agent端到端处理能力。然而目前的o3仍然不是agent的终极解决方案,存在'工具虚假调度'(这可能是强化学习的奖励劫持导致的),幻觉率升高,成本高昂等问题,而且模型的可靠性和能力范围是否可以扩展到multi-agent,均需要在现实场景中进行更多验证。

zjjtilm的博客 1311
上一篇: 前端AI自动化测试:brower-use调研让大模型帮你做网页交互与测试
下一篇: 解决RAG“卡壳“难题:复旦团队GlobalRAG框架让大模型“观全局“
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值