不写代码也能年薪百万?Prompt+低代码开发实战

23ced45fc6befa10664e91e45b47dc0f.png

bff2e1888bd92f00a536a8bc6832914a.gif

👉腾小云导读

近期 AIGC 狂潮席卷,“前端走向穷途”“低代码时代终结”的言论甚嚣尘上。事实上 GPT 不仅不会干掉低代码,反而会大幅度促进低代码相关系统的开发。本文会介绍 GPT Prompt Engineering 的基本原理,以及如何帮助低代码平台相关技术快速开发落地的技术方案。接着往下看吧~

👉看目录点收藏,随时涨技术

1 提示工程

    1.1 提示工程基本概念

    1.2 如何使用 OpenAI/Chatgpt 做提示工程测试

    1.3 role & token

    1.4 提示工程技巧-少样本提示(few shot)

    1.5 提示工程技巧-思维链提示(Chain-of-Thought,CoT)

    1.6 提示工程技巧-生成知识(knowledge generation)

    1.7 提示工程的总结

    1.8 langchain 的介绍

2 低代码技术

    2.1 低代码技术介绍

    2.2 Hello world:AI2SQL

    2.3 接口网关:构建 AI 友好的应用

    2.4 低代码搭建:生成知识技术的大规模使用

    2.5 低代码搭建:逻辑编排技术与 GPT

    2.6 低代码搭建:数据可视化技术与 GPT

    2.7 文档系统的 GPT 搭建

    2.8 总结

3 GPT 高级使用技巧走马观花与总结

01、提示工程

   1.1 提示工程基本概念

提示工程是什么?如图所示。你同大模型的交谈就是所谓的 Prompt, 而如何设计、组织、优化则称为提示工程(Prompt Engineering)。

提示工程是通用技术,适合于几乎所有大语言模型(Large Language Models,简称LLMs)。

0687182a520c3e996fe8b633526ea26b.jpeg

在大模型应用的开发过程中,Prompt Engineering 做得好,不仅可以提升回答的质量,也可以限制回答的格式,因此提示工程也能够帮助大模型返回的内容更友好地被解读,这对后续跟其他系统的集成非常重要。

一般来讲提示工程包含如下的信息:

375f4e701f4e845c07b07c378015412a.jpeg

· 指令 —— 希望模型执行的特定任务或指令,文字描述清楚。

· 上下文 —— 可以包含外部信息或额外的上下文,以引导模型更好地进行响应,在对话类型的 GPT 应用中就是所谓的“聊天记录”。

· 输入数据 —— 用户希望找到响应的输入或问题。

· 输出指示符 —— 指示输出的类型或格式,比如可以要求输出 SQL/JSON。

   1.2 如何使用 OpenAI/Chatgpt 做提示工程测试

除了直接访问官网之外,各位开发者同时也可以使用 Node.js or Python 直接调用 OpenAI api 。基本思路就是直接引用 OpenAI 的包,然后传入适当的参数即可。例如 :

068fe4151ff8abbb7bbeac7e18a262cc.jpeg

 

在测试过程中需要关注两个点。首先是参数 temperature 、top_p。

· temperature(温度) —— 简言之,温度越低,结果越具有确定性,因为总是选择概率最高的下一个词。提高温度可能导致更多的随机性,鼓励产生更多样化或富有创意的输出对基于事实的问答任务使用较低的温度值,以鼓励更加准确和简洁地回答。对于诗歌生成或其他创意任务,提高温度值可能会更有益。

· top_p —— 类似的,通过 top_p 调节名为 nucleus sampling 的温度抽样技术,可以控制模型在生成回应时的确定性。如果需要准确和事实性的答案,请保持较低的 top_p 值,如果希望获得更多样化的回应,请增加到较高的 top_p 值。

另外是模型 text-davinci-003 和 gpt-3.5-turbo 的区别。

text-davinci-003 和 gpt-3.5-turbo 都是 OpenAI GPT-3 系列中的两个模型,区别在于性能和价格,此处我们着重讲下性能的对比。

性能:gpt-3.5-turbo 相对于 text-davinci-003 在性能方面有所提高。根据 OpenAI 的说法,gpt-3.5-turbo 在许多任务中的性能与 text-davinci-003 相当或更好。这意味着,与 text-davinci-003 相比,gpt-3.5-turbo 可以在保持相同质量输出的同时更有效地完成任务。

   1.3 role & token

在调用 OpenAI 的过程中你会看到,消息会传入一个参数叫做 Role 。

746a5ec397b59a5df82284c3b549cb64.jpeg

不同 Role 的含义如下:

系统消息(role = system):一般用于定义 GPT 对话的行为,比如:你是一个 SQL 工程师,擅长写 SQL。gpt-3.5-turbo-0301 并不会把这个系统消息做很高的优先度关注。未来的模型将被训练为更加关注系统消息。

用户消息(rule=user):一般是用户自己的输入以及开发者给 GPT 的一些指令。

助手消息(rule=assistant) :可以帮助存 GPT 自己的响应。

当对话场景需要引用之前的消息时,就需要维护好这个 message 数组,这就是所谓 GPT 对话的上下文 or 历史记录。

大模型对过去的请求没有记忆,所以你如果想保持这个上下文,必须维护好这个 message,然后在每次对话过程中,把完整的 message 传过去。因此,如果这些记录超过了模型的 token 限制,就需要以某种方式缩短它。

另外我们经常说的 Token 是什么意思呢?

GPT 家族的大语言模型会使用 Token 作为处理文本的标识,用来标识一段文本中的“词”。大语言模型会理解这些 Token 之间的关系,并能够预测一系列 token 中的下一个。文本占据多少 Token 我们可以通过 https://platform.openai.com/tokenizer or tiktoken  来计算 ,如图:

6e614c8f6e6dd6b0368faae30cf24939.jpeg

228d23140942d3241e12c1ef4b7891d7.jpeg

 

在这里可以很明显地看到,中文占据了大量 Token,同时换行、标点符号等也会占据 Token。根据 OpenAI 的建议,一个 token 能写4个字母,或者0.5个汉字。因此4000个 token 可以写2000字的中文。

下图是输入和输出都会计算 Token 。比如 API 调用在消息输入中使用了 10 个 Token,而您在消息输出中收到了 20 个 Token,则需要支付 30 个 Token 的费用。如果在调用时候超了,会调用失败。输出的时候超了,会被截断。因此你自己的 GPT 应用, 一定要实现“试算 Token”的功能。不同模型支持的 Token 最大值参考 。

f00e0a00f8809866c4dc3a7131cca177.jpeg

 

由于 Token 价格昂贵,因此在一段时间之内,“省 Token ”都是 AI 应用需要关注的重要问题。

   1.4 提示工程技巧-少样本提示 (few shot)

目前的大语言模型(LLMs)通过大量的数据训练和指令调整,能够在零样本情况下完成任务。

5e9045c9372518683f2d18499ba42149.jpeg

6b5319aa4e296ad92b92f5fa20cb46ed.jpeg

 

以上例子中我们直接向大模型提问,并没有添加任何需要示范的例子,就可以得到很好的回复,这便是零样本能力。但事实上很多场景零样本是无法得到我们想要的结果的:

e13d6a17da0c4b1e6fd1b809f28b06ff.jpeg

 

这时候我们就可以通过少样本提示技术,给 GPT 举几个例子,帮助它学习思考:

cc407afd3dcbfebfc28f0a3924aa3e44.jpeg

 

这样看,效果就好很多了。这个例子也体现了大模型强大的学习能力。在我们后续要讲的低代码开发中,few shot 技术是非常常用的,如图:

80e8c92ae50f834786e87eb77966836d.jpeg

 

我们通过 few shot,让 GPT 学会了我们自己定义的图表 DSL 。但零样本提示是万能的吗?比如我们看以下例子。零样本提示:

f597ab9fa06bfd5c3f8c07dbbea4dafd.jpeg

 

这明显是错误的,我们使用 few shot 技术:

99572dd541dd1a0ee18b8b5fdcdde6c7.jpeg

 

可以看出来还是错误的。因此 few shot 技术,并不能解决一些数学和推理场景。

   1.5 提示工程技巧-思维链提示(Chain-of-Thought,CoT)

思维链提示(Chain-of-Thought,CoT)是一种用于提高大语言模型推理能力的技术,通过提示模型生成一系列推理步骤来解决多步骤的问题。研究表明,这种技术可以显著提高模型在数学、常识、推理等方面的准确性。该技术的应用使得模型能够将多步骤的问题分解成中间步骤,从而更好地理解和解决问题。

比如一个简单的例子 :

f4c7e66a06b1f03a5f9147dec46ed0f9.jpeg

 

我们发现 GPT 已经完全懵了。但如果我们加入一句“请一步步思考下”,引导 GPT 按照步骤思考呢?

2ece6fd52f2743c1d1ffb64d55689f89.jpeg

 

效果非常惊人。同样我们在之前的例子中使用魔法咒语:

cf8aa353a730afed858a93b3352a5cc0.jpeg

 

效果也非常好。事实上思维链的“触发”方式,就是在原始提示中添加“逐步思考”"请一步步思考问题",但它能够起到非常惊人的效果。在去年 google io 中还专门演示了这个技术 。

d4319c4db18b7968302915444dfe65fb.jpeg

 

事实上,思维链远远不止“让我们逐步思考”这一魔法咒语,它可以仅仅通过 Prompt 就可以让 GPT 完成非常复杂的任务。下面我们来举个例子:

假设今天我需要送给一个朋友礼物,希望有一个机器人能告诉你。如果我们考虑下自己的思考过程,可能会这么想:

· 我这个朋友是男生。

· 男生可能会喜欢一些高达、手办、相机等等。

· 那我就在其中选择一个。

可以看出,人们在得到一个问题的最终答案前,通常是会有若干个「中间步骤(intermediate steps)」的。因此我们可以把这些“中间步骤”明确出来,引导 GPT 进行思考,prompt 设计如下:

177bb4994b2da1a0bb3cab282d253923.jpeg

 

这个 Prompt 中,首先我提供了两个工具,告诉这两个工具可以帮助 GPT 获得答案。之后特别指出,GPT 每次思考都要返回 Thought、Action、Action Input,它要先去我的工具库中寻找工具,调用适合的工具,并返回答案,同时要一直不停地做,直到得到答案。那我们看下实际使用时,GPT 是如何思考的:

0d48ac83a648c9fc65da22e70512035c.jpeg

 

可以看到 GPT 像人一样,一步步地思考问题,它首先理解了这个问题,并从工具库中取出了性别判断工具,进行判断后,它又在工具库中取出了礼物推荐工具,并进一步得到结论。其实这个思路就是非常流行的 Reasoning + Acting :ReAct 技术,每次让 LLM 输出一个当前的【思考】和【要做的动作】,这个动作并不只限于检索信息,可以是调用任何工具,类似 ChatGPT plugin。LLM 通过 few shot 的例子和工具自带的描述,还有它自己学到的常识来决定何时调用工具以及如何调用工具。

这样 ReAct 引入了外部工具的概念,让 LLM 能够通过这种步进式的方式逐步思考并调用外部工具,根据结果进一步思考循环。同时也可以仅仅是输出一步思考,并继续下去,类似 CoT。在流行的开发框架 Langchain 中就封装了帮助实现这个思路的一系列工具。

   1.6 提示工程技巧-生成知识(knowledge generation)

生成知识提示是一种利用语言模型自动生成知识并整合到常识推理中的方法。这种方法利用了大语言模型的优势,将其作为改进常识推理的、灵活的外部知识来源。通过使用通用的提示格式直接从语言模型中生成知识陈述,然后选择与给定任务相关的知识,可以提高常识推理的准确性。这种方法在语言生成、自然语言推理和问答系统等领域具有广泛的应用前景。

aa835e14f486cd52a3a04924c2250708.jpeg

 

举例来讲:

971f973edcbee366ce53a13fd0ca2e61.jpeg

 

事实上高尔夫球应该是总分越低越好,GPT 对高尔夫球的理解一知半解。但我们在 prompt 的时候传入高尔夫球知识呢?

cf69931fc95615e2421626c77b018048.jpeg

 

可以看到回答就很准确了。因此生成知识可以帮助 GPT 掌握并加深已有知识的理解。同样我们从低代码角度来考虑一下这个问题。

c9b48045392e0c2cf75cc84c5596407f.jpeg

 

在这个 prompt 中,我们要求 GPT 给我们一个流程描述的 DSL,GPT 给了,事实上这也是一种常用的 DSL 叫做 mermaid 。

ffdee72a0e20896ac26c6ee650c35b87.jpeg

 

当我们有自己的 DSL 想让 GPT 返回,这样就可以借助生成知识+ few shot 技术:

7d24483b3e0c82d570c852462c16550e.jpeg

 

可以看到 GPT 返回了我们想要的逻辑编排的 DSL。因此生成知识技术结合 few shot 是很多 AI +低代码技术的基石。后续我们的文章也会大面积地使用生成知识技术。

   1.7 提示工程的总结

基本原则:

· 从最基本,最原子的任务做起,将大任务分解成多个子任务。

· 提示内容最好包含:指令、上下文、输入、输出格式。

· 对于希望模型执行的指令和任务要非常具体。提示越具有描述性和详细性,结果越好。最好带上例子。

· 不要写太多没有意义的话。尽量精炼,不要带前后矛盾的提示。

同样我们也可以使用以下的高级技巧:

· 少样本提示(Few-Shot Learners)。给出一些样例,引导模型按照样例回答。

· 思维链(Chain-of-Thought(CoT)prompting)。通过提供推理步骤,让大语言模型具备分析能力。过程中也提到了(Zero-Shot CoT),引导模型在回答的时候,给出推理步骤,会更容易获得理想的结果。

· 生成知识(Generated Knowledge Prompting)。对于一些大模型不掌握的知识。我们可以通过提示的形式输入进去,从而获得更准确的答案。

   1.8 langchain 的介绍

langchain 是一个非常好用的框架,能够帮助我们快速构建基于大模型的应用程序。它提供了很多工具、组件和接口。对于前端来讲甚至可以把它类比成 lodash/jquery 一样的基础库。

7fa3eae0539f73da21356f175e0f567d.jpeg

langchain 的模块大致如上所示,简单介绍一下就是:

· 针对各种 LLM 调用的封装和缓存。

· 基于文本的处理,包括各种文档的加载方式(本地/云),文档的处理方式,以及各类向量数据库的连接工具。

· 提示词 prompt 管理,其实可以理解为一个模板引擎,可以方便地管理我们的各种提示词模板、few shot的例子等等,也可以帮助解析 OpenAI 返回的内容。

· Chains 是 LangChain 中最重要的概念,其实可以理解为一个个有明确输入/输出的独立任务,可以使用 Chain 构建完成某个特定任务的应用程序。例如,我们可以创建一个链,它接收用户输入,使用 Prompts 相关组件格式化输入,然后将格式化后的结果传递给 LLM,然后将 LLM 的输出传递给后端组件或者其他链。我们也可以通过将多个链组合在一起,或将链与其他组件组合来构建更复杂的链。LangChain 实现了很多现成的链,比如用于对文章进行总结的 Summarization 链,用于对指定文本进行问答的 Question Answering/Question Answering with Sources 链,用于对指定知识库问答的 Retrieval Question Answering/Retrieval Question Answering with Sources 链,用于获取并解析网页的 LLMRequestsChain 链,用于操作关系型数据库的 SQLDatabaseChain 链等。

我们可以看下如何使用 langchain 快速搭建一个基于 GPT 的爬虫应用:

15495ec8ca6d3399b6fe1d3c29c9de95.jpeg

结果如下:

8bb65627a9a0f9c0f37ced915f9701c9.png

可以看到,我们结合 langchain + 简单的 prompt 就完成了一个爬虫的编写。

02、低代码技术

   2.1 低代码技术介绍

ce7810207c1af246179259b95b983e54.jpeg

 

近年来,低代码开发热潮又一次袭来,业界对“降本、增效、提质”的声音越来越强。腾讯的微搭等大量低代码产品相继而至,在业界引发关注。目前的低代码产品,大部分偏重于 “UI 界面可视化编排”,但低代码这个概念其实涵盖范围非常广。如图所示,在国外,低代码类产品矩阵非常庞大。某站点将低代码类产品按照功能分为以下几类:

· BI 数据可视化图表搭建

· CRM 类应用搭建

· 机器学习类应用搭建

· 企业应用搭建

· 店铺装修工具

· 物联网、IOT 构建工具

· Web、Mobile 应用开发

· 工作流系统

同时对于一个完整的 web 应用来讲,它会经过用户界面-接口服务-数据服务等多个模块,因此这次的低代码与 GPT 结合,我们也会在整个链路上进行尝试:

7259293ee03c1545028265fe7e2bb2db.jpeg

 

我们的思路简单拆解就分为以下三步:

1f01cb48dcaaba5ea7006a377a1bc7ea.jpeg

 

   2.2 Hello world:AI2SQL

写 SQL 是接口/数据工程师极其头疼的问题,以这个为开场的原因是 AI2SQL 的场景足够明确,Prompt 也比较好设计。

分解任务:

· 目标:希望能够根据需求自动生成 SQL。

· 我需要获取目前的库表信息,之后根据 SQL 知识构建 SQL。

构造 prompt:

· 指令 —— 希望模型输出 SQL

· 上下文 —— 当前在哪个库,哪个表 

· 输入数据 —— 表结构 - DDL

· 输出指示符 —— 我希望输出纯正 sql,不想解析一堆内容

于是我们就有如下构造方式:

d340a915065d348d798955e0bb509620.jpeg

其思路就是把表结构和用户输入传给 GPT 由 GPT 去编写。我们目前的可能产品形态如下:

67a1b8fb888be4f6e7578e0134c21703.png

用户输入复杂的描述,其中甚至带有很多对 SQL 语法的要求,GPT 也能快速准确地返回。

在这个例子中,我们发现构建 GPT 产品时,主要的工作都在组织 prompt 上,因此对 prompt 进行设计可以有效达到目的。同时 SQL 是 GPT 非常擅长编写的语言。注意我在这里特别强调了“非常擅长”,后面还会讲这个的重要性。最后为了让 GPT 感知到我们的表结构,我们利用生成知识(Generated Knowledge Prompting) 这一技巧,让 GPT 掌握了它不知道的东西。

AI2SQL 这一类系统的架构设计如下:

b993f19c8476af2b334f1aef1a9bd4a8.jpeg

 

在实际产品中,我们把 GPT 当作是一个服务,人机交互由产品进行处理,同时通过代理访问 GPT。系统的表结构、元数据可以“喂给”GPT 当作语料,但单纯传入 DDL 会严重超出 Token, 所以也可以通过对元数据的缩减可以减少 Token:

b2ed893c0bb253c625553439ad435021.jpeg

 

目前这一类的开源产品有  https://github.com/sqlchat/sqlchat  大家可以看看其产品形态。

同样,langchain 在开发这一类应用时也具有天然的优势,因为各种包都是现成的,甚至有一个现成的 AI2SQL 的 chain,如图所示:

b0bf6c15519d5bfb2e5a811db34b49db.jpeg

0d66af177701caecb11215a9fb119f59.jpeg

 

我们可以看到利用 langchain 开发 AI 应用的基本思路:选择一个合适的 chain, 初始化需要的参数模块,之后 run 即可。

   2.3 接口网关:构建 AI 友好的应用

低代码绕不开的就是接口服务网关了。通常来讲,用户希望能够通过服务直接获取需要的数据 /API ,而不是对着一堆接口列表进行开发,因此我们的思路是这样的:

分解任务:

· 通过目前系统的接口如何获得数据

· 需要返回接口或者数据

· GPT 是不知道我的接口的

构造 prompt:

· 指令 —— 希望告诉我如何组装接口,获取有效的数据

· 上下文 ——  当前的接口数据

· 输入数据 —— 用户需要的字段

· 输出指示符 —— 指示输出的类型或格式

我们给 GPT 添加一套宠物管理系统,之后看一下效果:

首先我们获取系统内的接口:

f5bc14cb4cbd8b9bc39ae2ab70a1f654.jpeg

GPT 可以正常返回并构造好系统 API 给我们。之后我们直接请求数据:

0b7dddcd5ebea16ea9005563461a2b68.jpeg

GPT 也可以把数据加工好给到我们。那如何才能让 GPT 了解系统内的接口呢?答案是使用 Swagger API,因此这类系统可以这样设计:

a9810bb0b92f531658bd27ba43fe0232.jpeg

我们仍然利用万能的“生成知识”,首先把 Swagger API 加载到系统中,并首先传给 GPT 作为知识和上下文。之后用户的询问会经过代理服务传给 GPT,GPT 的学习能力能够理解很多接口操作,因此 GPT 会首先返回符合要求的接口以及相关的参数。由于用户可能需要直接获取数据,因此我们可以让系统自己去请求数据,之后可以把返回数据再给到 GPT, GPT 会帮你加工成“人话”,最终给到用户,这样就完成了一个接口网关的 GPT 实现。

但这样的设计还存在不少问题,如:

· 接口数据仍然占据大量的 Token,Swagger API 体积巨大,冗余信息很多。

· 接口的能力会限制服务能力,用户的需求是枚举不完的,比如宠物管理系统中,没有用户和宠物的关联接口,提问后 GPT 的反应就很懵了。

cc2bcc3a1597141704bfe53d2fafbbaf.jpeg

 

因此可以考虑这个思路:在缩减 Token 的基础上,能够让 GPT 提供的接口服务更加灵活。

举例来讲 ,一个通常的 RBAC 模型,它的设计是这样的:

12bccfa6c6e8ca624255def130de5d62.jpeg

如果我们使用 restful 接口开发一个权限管理系统,需要至少实现以下的接口:

a877156e8b6e4663e095214f96e8c1a2.jpeg

可以看到仍然会陷入无尽的接口开发工作中。但我们如果换个思路,通过另一种对数据模型描述性很强的语言 graphql 来实现呢?首先我们转换成 graphql 模型,即使不会写也没关系,GPT 可以帮助你把 DDL 转换为 graphql :

4a391615fd3e5384492e491c0d80b501.jpeg

 

之后我们就可以自由地进行查询:

12061fbb27625e60473548b41dc84fa2.jpeg

b211ea17782fd7284fea999f921559b1.jpeg

 

注意,我们并没有做任何的接口开发工作,仅仅是定义好模型,就可以自由地通过 GQL 做查询。为什么我们换一个技术栈,GPT 就变得更加丝滑了,其中有以下几个原因:

· restful 接口在进行一些复杂查询时需要多轮,而 GQL可能一轮 query 就搞定了。

· AI 对 GQL,SQL 的知识掌握,是远远比我们喂给它的现成接口要多的!

因此,AI 可以认为是一个很成熟的 SQL/GQL/React 等的开发者,却并不是一个好的 http 接口的开发者。

AI 友好,即在可以使用各种 prompt engineer + 各种技术栈的基础上, 你仍然可以选择 AI 最会的技能。 

   2.4 低代码搭建:生成知识技术的大规模使用

首先我们来看一个 Demo, 这是来自腾讯揭光发老师的精彩分享,通过自然语言生成页面,并支持二次编辑

经过上面的实战,实现此系统的基本思路:

· 利用生成知识技术,设计一个 prompt,使 GPT 返回自己的 DSL。

· 利用相关的系统 API,将页面依赖的数据源,系统的组件等信息加载进来。

利用生成知识技术,设计一个 prompt,使 GPT 返回自己的 DSL。

5c914fe0f081f8941ebc24d9461daed1.png

但通过生成知识,存在以下问题:

· 组件层面:组件很多,属性很多,如何全部丢到 prompt 中?

· 大部分的 AIGC 类需求,都以一次生成为主,但低代码这种高频编辑(需求高频变动的)如何解决更新问题?

首先我们来构造 prompt:

7dee6d43acdbc70c4320846a6462ad53.png

大部分的 AIGC 类需求,都以一次生成为主,但低代码这种高频编辑(需求高频变动的)如何解决更新问题?

53302afd9dbb203ecd24adc818c95535.png

可以看出跟我们想要的预期是一致的。但一般低代码产品有几十上百个组件,把所有的组件文档塞进去很不现实,因此我们可以前置提供一个组件路由的模块,根据用户输入来判断需要哪些组件:

5ff3be12639ecddbb2588539681825d1.png

这样我们就可以根据用户的需求选择对应组件,整体的系统架构如图所示:

9f6b38428f7af64b1094816e56b70079.png

第二个问题,如何实现根据需求二次编辑 DSL 呢,我们当然可以每次都生成一份新的 DSL,但这样很容易浪费 Token。由此我们使用了一个有意思的技术叫 JSON patch:

JSON Path 可以描述 JSON 文档变化. 使用它可以避免在只需要修改某一部分的时候发送整个文档内容. 补丁(Patch)内容的格式也是 JSON.JSON Patch 由 IETF 在 RFC 6902 - JavaScript Object Notation (JSON) Patch 中规范。

举例来讲:

81340e1428a837f5e78609293ec4675e.png

可以看到,JSON patch 能够比较准确的描述对 JSON 这一 DSL 的操作。由此我们可以设计 prompt 让 GPT 返回 JSON patch 和相关修改后的 DSL:

42a2dcbff61efa69a53d3bfb6fbf5142.png

同样我们也可以限制 GPT 只返回 Patch。

f954c9d35466b8d8b8c861f4e0feee95.png

   2.5 低代码搭建:逻辑编排技术与 GPT

逻辑编排主要解决能够通过 FLOW(流程)或有向图来描述的业务形态,如业务流程编排,接口服务编排,UI 复杂联动,微服务(FAAS)编排,大数据/机器学习 pipleline 等 。一般来讲它的基础思路基于 FBP,所以我们需要根据 FBP 的思路设计 DSL。

Flow Based Programing (https://github.com/flowbased)是 J. Paul Rodker Morrison 很早以前提出的一种编程范式。FBP 把应用看作一个黑盒子,它能够看到的是一张进程(processes)组成的网,而进程间通过连接(connection)进行通信,进程通过端口(port)来访问连接(这种抽象类似网络编程)。

aac3e053767f78c0a4d5b8609dce9ad4.png

FBP 有三大概念,支撑整个架构:

· 进程:组件(component)的一个实例,可以跟其他进程并行运行。其他进程可以是同个组件的其他实例。

· 网络:表示为一个有向图,其中进程作为节点,而连接作为边。

· 组件:对于应用开发者,通常可以看作黑盒;当要使用传统高级语言来创建组件或者组件本身是个子图时,它就是白盒。

基于此类场景,我们设计一个 schema 来存储“图“,兼顾绘图和逻辑:

814d7a2fca5caea835fc481c19595c8d.jpeg

Logic schema 由三个主要的实体结构构成:

Flow 流程主体, Node 节点描述,Link 节点关系描述:

c4fd0280eb753268deed77052b1cc252.jpeg

 

46b9cf2d36f23c26875a70991ca907ef.jpeg

 

0f2ad2680b38f593fbb48f3d054a5634.jpeg

 

之后我们对 GPT 的 Prompt 也从这个角度切入 :

934cbad6a17d953076bff92f758a4f7c.jpeg

 

d5c5bfb96b5ab1f992e2dc5666993d18.jpeg

 

这里我们仍然使用生成知识 + few shot 的方式对 GPT 进行 Prompt,可见低代码自定义 DSL 这类场景,这种解决方案堪称万金油。最终将 DSL 接入一个流程编排工具或引擎,即可完成整个系统的构建。

同样的实践也可以直接在其他成熟的逻辑编排平台完成,如 Node-red ,sequence Diagrams 等 。

   2.6 低代码搭建:数据可视化技术与 GPT

数据可视化的绘制部分相对比较简单。按照通常的思路,我们仍然分析 Prompt 要求:

分解任务:

· 生成一个柱状图,横轴是 year,纵轴是 count,数据是 XXX 。

构造 Prompt:

· 指令 —— 生成一段图表的描述

· 上下文 ——  图表 DSL 的规范

· 输入数据 —— 当前的数据

· 输出指示符 —— 输出一段描述图表的 DSL

由于 echarts 在互联网内的流行,GPT 对 echarts 的掌握很好。一般来讲低代码系统都会对其做一定的封装,所以我们仍然可以使用生成知识 + few shot 技术对 GPT 进行 Prompt:

0bf50071001ff7a358118aeb0d6f5545.jpeg

 

在这里我们使用了自己定义的一个简单图表 dsl,可以看出 GPT 毫不费力地就返回过来了。这一类系统在设计时也基本遵循类似架构:

196b9f1272bb1f3c4cd3d073acfc6aac.jpeg

 

GPT 仍然作为一个服务,同时当前的数据以及图表组件的描述作为生成知识一起传给 GPT。此类创业产品也非常多,感兴趣的开发者可以自行搜索。

但 AI 时代,这样的可视化真的有用吗?事实上,对于一个能够使用自然语言接触 BI 产品的工程师,它的诉求绝对不只是说一句话制作一个图表那么简单,它需要让 AI 辅助它发现数据的异常,并智能地可视化出来,也就是所谓“增强分析”技术。因此我们对 Prompt 的分解会变成这样:

分解任务:

· 展示袜子每年的销量数据趋势,并分析其中的异常,标注在图表上。

构造 Prompt:

· 指令 —— 生成图表描述

· 上下文 —— 当前的库表字段,趋势要用什么图表,如何分析异常

· 输入数据 —— 当前的图表数据

· 输出指示符 —— 输出一段描述图表的 DSL

其中就有两个难点需要解决:

· 如何判断数据的问题;

· 如何根据数据选择合适的可视化图表。

幸好之前正好做过相关的研究这次有了 GPT,很多东西就变得简单起来。

首先我们可以选择能够发现图表异常的算法,告诉 GPT, 可以参考:

279eed2d1381f3bb298c17cab8d09792.jpeg

 

我们将对应的数据,以及异常检测算法 Prompt 给 GPT:

8594ba4f7dcc6d15533428a5487555fd.jpeg

 

可以看到 GPT 有强大的编程能力,直接就将异常数据返回了。因此在可视化之前,可以先让 GPT 基于内置的算法做一次自动化分析,检测数据中的问题。

之后我们需要选择合适的图表,此时我们可以接入一个图表选择模块,这个模块的功能叫“自动化可视化”,自动可视化的概念非常简单,就是根据你的数据结果自动选择合适的可视化方式进行展示,以提升报表整体的可读性,自动化报表与自然语言查询、自然语言生成等技术配合,将大大加快整个分析流程,降低从业者制作报表的成本。简单来讲自动化可视化就是这张图的技术实现:

de4e6f0bd8244527dd4816924a72efde.jpeg

 

其 Prompt 方法示例:

e59991078c3b188d09e2444cbbc93a51.jpeg

 

c8da1865ed4e65d30251fc95fd86d27a.jpeg

 

最终结合所有模块,当我们输入 “ 展示袜子每年的销量数据趋势,并分析其中的异常,标注在图表上 ” 时, GPT 直接生成了完整的页面,显示如下 :

6ec698a1d960efb386828c97de2e01f6.jpeg

bf7902ddcb5195e228fb4007b03232d2.jpeg

 

完美!所以完全不用担心 GPT 会干掉你。在这个场景中,我用 GPT + 我之前的可视化知识,成功快速实现了当时要做几个月才能实现的增强分析效果,因此当 GPT 配合工作的经验,将是一把非常好用的利器。

   2.7 文档系统的 GPT 搭建

对于一个开放系统来讲,文档永远是最令人头疼的事情。但我在使用 GPT 的过程中发现,有一款向量数据库的文档及其强大:

2e8dd5025a9ace51c94efa0c811b1055.jpeg

 

我第一反应,这是怎么实现的?使用 ChatGPT 应该如何实现?因此仍然回到原来的思考模式上:

分解任务:

· 提问:平台如何支持在线打包发布

构造 Prompt:

· 指令 —— 返回打包发布的文档

· 上下文 ——  全部文档

· 输入数据 —— 我需要哪方面的文档

· 输出指示符 —— 输出一段文档内容

但显然,以上 Prompt 方案有很大的问题:

· token 不够,把全部文档喂给 GPT 需要大量 Token。

· 如何判断用户的提问跟你的文档内容吻合?

· 我输入的是中文,这文档是英文啊,如何搜索?

这里我们就有一种思路,如果我们可以提前把跟用户提问内容有相关性的文章摘录出来,让 GPT 判断,是不是就可以既节省 token, 又不需要逐字阅读?这里就回到一个本质问题:如何判断两段文字。于是我们可以使用 embedding 技术。

在自然语言处理和机器学习领域,"embeddings" 是指将单词、短语或文本转换成连续向量空间的过程。这个向量空间通常被称为嵌入空间(embedding space),而生成的向量则称为嵌入向量(embedding vector)或向量嵌入(vector embedding)。

嵌入向量可以捕获单词、短语或文本的语义信息,使得它们可以在数学上进行比较和计算。这种比较和计算在自然语言处理和机器学习中经常被用于各种任务,例如文本分类、语义搜索、词语相似性计算等。

在中文语境下,"embeddings" 通常被翻译为 "词向量" 或者 "向量表示"。这些翻译强调了嵌入向量的特点,即将词汇转换成向量,并表示为嵌入空间中的点。embedding 其实来源于 word2vec 技术。

举例来讲,你是无法通过像字符串匹配,编辑距离等方式判断以下三个表达的相似性的。

· "狗咬耗子"

· "犬类捕食啮齿动物"

· "我家养了只狗"

但我们如果转换为向量,如图所示:

89910facb7583195022b0909dc0fc86f.jpeg

 图片来源:微博@宝玉 xp

可以看到"狗咬耗子","犬类捕食啮齿动物"在向量空间上,通过数学计算能够发现一定的相似性。因此 embedding 就解决了我们寻找相似文本的诉求。OpenAI 官方也提供了 embedding 工具,官方推荐使用 ada-002。

49e8203576ffcd25efd2ae8d3ebc349e.jpeg

 

接下来继续考虑,除了数学计算与内存之外,我们如何快速计算并存储大段文档的向量呢?这里就需要借助向量数据库技术。向量数据库能够存储文本转换后的向量,并能够帮助你进行查询。向量数据库技术如图所示:

23ca64039c8e252461cf8f99c9ec68a9.jpeg

 

向量数据库一般工作方式为三个步骤:

索引:向量数据库使用 PQ、LSH 或 HNSW 等算法对矢量进行索引

查询:向量数据库将索引查询向量与数据集中的索引向量进行比较,找到最相近的结果

后处理:某些场景下向量数据库从数据集中检索最相近的结果后,对其进行后处理以返回最终结果。比如通过使用不同的相似性算法重新排列所有结果。如图所示。

a6dc402234ac174ec2602ae6cdcb331a.jpeg

 

在实际使用场景中,我们可以选择类似 supabase 这一类开源向量数据。

库 https://supabase.com/docs/guides/database/extensions/pgvector

一般来讲,查询向量数据库的内容跟 SQL 非常类似,比如寻找跟某段文本向量最相似的五段文本。

SELECT * FROM items WHERE id != 1 ORDER BY embedding <-> (SELECT embedding FROM items WHERE id = 1) LIMIT 5;

向量数据库搜索,本质是以向量作为索引,在同义词/近义词搜索中有很好的表现,但它不能完全代替普通基于字符串索引的普通搜索技术,普通搜索和向量搜索的异同。对于这块知识点,感兴趣的用户可以访问腾讯云开发者社区进一步了解:https://cloud.tencent.com/developer/article/1941250?

基于以上的技术,我们就可以搭建一个文档机器人:

a91cd83e2f62ccd76d00f735295a2609.jpeg

 

整个过程非常简单,首先将大文本按照一定规则切开成小块(换行/字数),之后批量转换为向量存储起来。之后在用户搜索时,先在向量数据库中查出相似的文本,然后将这些文本 + 用户的 query 发给 GPT,GPT 来判断分析并生成回答即可。

同样我们也可以基于 langchain 快速搭建:

b132d08d2d639b0ba78dde8690cf0531.jpeg

 

在这里训练了一个生物学家 GPT 给它灌入了蜜蜂相关的知识,之后在提问环节可以看到它返回了准确的回答:

94e162a807c3340fa57e3ca6ccdb0e9b.jpeg

 

以上讲的 embedding + 向量数据库组合的技术,本质还是生成知识 knowledge generation 技术 ,同样可以用于以下场景:

· 搜索(结果按查询字符串的相关性进行排序)

· 聚类(将文本字符串按相似性分组)

· 推荐(推荐具有相关文本字符串的项目)

· 异常检测(识别相关性较小的异常值)

· 多样性测量(分析相似度分布)

· 分类(文本字符串按其最相似的标签进行分类)

   2.8 总结

我们可以看到,低代码类系统,大部分都可以使用 GPT prompting 帮助快速构建完成,大大加快了低代码系统的开发速度,但同时我们发现,很多技术仍然是之前使用的,AIGC 只是建立了一个从自然语言到 DSL 的桥梁。AIGC 技术,一定是建立在一个好的 DSL 上才会实现开发者层面与机器交互。从 sql 到 gql/swagger 到 ui schema 到 logic schema 一直到 chart,DSL 是人机交互的桥梁,DSL 的编写才是提效的关键技术。

· 在使用 GPT 实现低代码能力时,仍要遵循基本 Prompt 原则:指令、上下文、输入输出,其中输出的格式记得明确。

· GPT 具有强大的学习能力,可以降低代码方方面面的知识都灌输给它,给它提供完善的knowledge,甚至可以“教”它一些它不懂的专业知识。

· 对于搭建场景,设计一个完善的 DSL 是重中之重,Prompt 技巧只是补充,DSL 设计得好,使用简单的 few shot 就可以实现大多数场景。

· 可以通过向量数据库+ embedding 的方式,突破 token 的限制,从而实现大规模文本搜索的功能。

· langchain 是实战利器,推荐所有想跟自己系统集成 GPT 能力的开发者使用。

03、GPT 高级使用技巧走马观花与总结

langchain 是不是很简单,我能不能把 langchain 也低代码,做 AI 系统的低代码化?当然可以!

之前有个产品叫 ChatPDF,可以快速解析用户的 PDF 并总结。根据上一节的内容我们很容易就可以想到可以通过向量数据库 + embedding 解决此类问题。感兴趣的用户可以访问 GitHub - FlowiseAI/Flowise: Drag &amp; drop UI to build your customized LLM flow using LangchainJS 查看演示 flowwise 如何三分钟实现一个 ChatPDF 系统。

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

之前走马观花讲了那么多 GPT 和低代码结合的部分,都没有离开系统设计,只是把 OpenAI 作为服务,那如果我不想用你那一套老旧的系统设计,用 AI 驱动整个系统可以吗,当然可以!

815049c90f0cab7026d4e318eeeeb2b2.jpeg

 

226e2ac2452d01dd1987139cfc77e3cf.jpeg

 

如果大家对前沿技术比较关注,就可以看到这是 AutoGPT 的实现原理,虽然代码写得非常面条,但是实现了匪夷所思的功能,圈内也有不少人进行了分析。

AutoGPT 创新的灵感+ 待完善的代码的矛盾组合,称之为 ai-based system,可能未来完全会颠覆传统的系统设计。

在本篇中,我们详细介绍 Prompt Engineering 的技巧,并为各位分享了如何与低代码结合进行开发实战。整体来说:GPT 绝不是无所不能,通过 DSL 和 Prompt 的构建才能发挥价值。

而通过工程能力可以大幅度提升 GPT 的效果,因此我们绝对不是“无事可做”。GPT 拥有令人“匪夷所思”的强大的学习理解等等能力。工欲善其事 ,君子善假于物也,一个工程师应该把 GPT 当作自己手里最锋利的武器。更多AIGC原理和实战教程欢迎滑到文末查看!

-End-

原创作者|姜天意

技术责编|loyluo

5a05786e0221948d99273c2e11387c52.png

AIGC 时代,前端等技术从业者如何提升自己的不可替代性?欢迎在评论区讨论。我们将选取1则最有意义的分享,送出腾讯云开发者-手腕垫1个(见下图)。6月14日中午12点开奖。

0677fea7c2b8d10af08da26ac698af91.png

7edd6641b7c7b666bfa06c17bf07271f.png

4b8c3528a69df689845727ce1ca238cf.png

➤ 算法工程师深度解构ChatGPT技术

➤ 这波可以,终于有内行人把 GPT-4 说透了

➤ ChatGPT深度解析:GPT家族进化史

➤ 对标ChatGPT,新AI助手Claude来了

➤ 白话科普:10分钟从零看懂AI绘画原理

➤ 鹅厂专家讲透AI文本生成解码策略与代码实现

83b9ddf40e2f4eae1400ad9dcdf15319.png

➤ GPT4结对编程实战,鹅厂研发真实使用感受

➤ 低代码结合ChatGPT开发,每天多出1小时摸鱼

➤ 鹅厂程序员怎么用ChatGPT?如何高效Prompt?

➤ 让AI替你打工?GPT提升开发效率指南

3d73fbd69f014f1a8908fa4e285a9548.png

➤“GPT们”背后谁来支撑大模型训练的极致算力

➤ QQGC?揭秘QQ的AI绘画大模型技术

a3b83581fc34805e72ede9ad6ad723b1.png

➤ 给想玩AIGC的小白:教你从0搭图文视频网站

➤ 快收藏!手把手教你用AI绘画

➤ 3小时开发ChatGPT微信小程序

9d1c4131a76d3564bd3b55e67b2b01a5.png

➤ 十问ChatGPT:一个新的时代正拉开序幕

➤ 154页GPT-4报告刷屏:提到了这些新能力和缺陷

➤ TVP专家夜聊:不用ChatGPT的开发都该被炒掉

相关推荐

大模型的Agent Skill功能,在LLM HTTP底层交互流中是怎么承载的?

网络文章文本的 skill,昨天我实现了之后也就开始好奇起 Skills 的底层原理了——相比起各种花里胡哨的 agrnt 应用,我一直以来都很对大模型在纯粹的 HTTP 交互层面是如何交互的更感兴趣。Skill 的全部"魔法"都发生在 system prompt 的措辞和 SKILL.md 文件的编写质量上——本质上是一种 prompt engineering + 文件系统的组合。但是各种天花乱坠的 skills,是如何在底层的 HTTP 中,与大模型——这个只会嘴遁的工具交互的呢?

QcloudCommunity的博客 407

万字入门AI Infra:深入理解大模型中的数学与Infra优化

关注腾讯云开发者,一手技术干货提前解锁👇AI Infra科普、入门或者进阶 ~~ 不到 5 万字,带你融会贯通理解大模型的数学、算法、硬件到系统工程。任何问题欢迎沟通交流。可怕,我竟然有点认同这句话。当然大概率是因为姚顺宇太懂AI了,而我则是因为无知者无畏。不过仔细想想,大模型推理中的数学逻辑确实不复杂,很多原理只需要高中数学知识就能看懂。但是为什么像 vLLM 这种推理系统这么复杂呢?本文将拆解大模型中几个核心操作(RMSNorm、Softmax、Causal Mask、Sampling)背后的数学与

QcloudCommunity的博客 1170

平平无奇的源码,竟藏着Agent的核心秘密?

System Prompt 是剧本,Skill 是剧本的扩展包,Agent Loop 是演员按剧本行动。欢迎留言,我们将邀请作者针对性回复你的评论,我们将选取1则优质的评论,送出腾讯云定制文件袋套装。,让 Agent 能主动"巡逻",而不只是被动等待用户消息。OpenClaw 的 System Prompt 分层结构。的"行为底线",任何 Skill 或用户命令都无法覆盖它。精华 2:Skill 的"按需加载"避免 token 浪费。精华 1:System Prompt 是"分层乐高积木"

QcloudCommunity的博客 426

QQ音乐Harness Engineering实践

一个看似简单的需求,背后可能牵动服务调用链、配置、灰度、埋点、错误码、接口契约和历史兼容性。当 AI 开始快速生成大量代码,真正的瓶颈就不再是"写不出来",而是"看不完、想不清、管不住"。在对话式编码阶段,一种典型的工作模式逐渐流行:开发者把需求丢给 AI,扫一眼输出"看起来对"就直接采纳,不审 diff、不追问逻辑、不验证边界。以音乐商业化业务为例,一个需求可能从 TAPD 单开始,经过需求评审、技术方案、服务影响面分析、IDL 契约变更、业务代码实现、测试验证、CR、灰度上线,最后才进入稳定运行。

QcloudCommunity的博客 716

从Prompt、Context到Harness,工程的三次进化与终局之战

同时,强制要求散落各处的决策记录(Slack、邮件、文档)全部迁移至代码仓库,确保 Agent 的唯一信息来源是可信的、版本受控的仓库。更坑爹的是,研究表明,当上下文过长时,模型会出现"中间遗忘(Lost in the Middle)"现象:它对开头和结尾的内容记忆较好,对中间大段内容的关注度大幅下降。这篇文章,我想带你完整走一遍这三次进化的逻辑:它们分别解决了什么问题,它们之间是什么关系,它们的边界在哪里,以及:当三者融合,AI 工程师的终极形态究竟是什么?大语言模型的本质,就是这位金鱼助理。

QcloudCommunity的博客 719

让Skill自己训练自己:8阶段Loop、3层评测、5维AND门控,从此实现自进化

所以每一轮改动都是有据可查的,不是「感觉这里可以优化」,而是「Case 41 挂了,因为 agent 把离职问题路由到了邮箱分类,但正确答案在通讯录,所以我改 root_index.md 加个易混淆提示」。但让我最后决定把它记录下来的,不是这的个「吸收」过程,而是它真的在替我探索我不想费脑力触达的边界,这看起来更像是一个机器智能应该有的样子。不准跨层,每轮只改一层的东西。但我经过这 19 轮之后觉得,更准确的描述是互补——你在明处看着,AI 在暗处替你试错,你看不见的那一半就是 AI 能贡献的地方。

QcloudCommunity的博客 1128

只加两行代码,为什么要两天?一文深度理解业务系统的复杂性

关注腾讯云开发者,一手技术干货提前解锁👇业务系统复杂性一直是令开发者头痛的问题。复杂的不是增加一个需求需要耗费多少时间,而是在增加一个需求后带来的蝴蝶效应:其它功能会不会受到影响、要如何去找到这些影响,最终如何实现系统正常运行......功能之间隐秘增加的耦合、不可避免的代码腐化在导致业务复杂性增加。大家都在说的软件开发提效到底在提什么?程序员日常工作中应该如何提升开发效率?敏捷开发、瀑布流式开发孰是孰非?欢迎阅读。业务背景与目标我依然非常清晰地记得某个时候,我所在团队 Leader 曾讲过一段话:“我担

QcloudCommunity的博客 713

从零设计生产级 Multi-Agent Harness:架构、评估、记忆、成本与 MCP 工具接入全拆解

在 AI Agent 领域,Multi-Agent Harness 指的是把多个 Agent 的能力、工具、状态、通信、编排、监控统一收束在一个运行时之内的框架。第三,Agent 路由。一个输入框,一个大模型,几个工具,一段写得很漂亮的 System Prompt,再配上一个炫酷的前端,看起来就像一个能干活的“数字员工”。Multi-Agent 完全不一样——它有计划、有中间步骤、有工具调用、有 Agent 协作、有重试、有反思、有最终合成。增加 Budget、权限、重试、压缩、轨迹评估、审计、回归测试。

QcloudCommunity的博客 710

拆完Hermes源码,我发现Agent的“自我进化“根本不需要训练模型

两个月 5.2 万 Star,Hermes Agent 用一个"LLM 审判官"机制实现了 Agent 的自我进化——不改模型权重,只改"怎么用模型"的策略。OpenClaw(社区昵称"龙虾"🦞)是 2025-2026 年最火的开源 Agent 框架,30 万+ Star,插件市场 ClawHub 里有数千个插件,能接入 Telegram、WhatsApp、Slack、飞书、企业微信——几乎是一个"个人 AI 操作系统"。Skill 是英语写的,Memory 是英语写的,审查 Prompt 也是英语写的。

QcloudCommunity的博客 911

AI Infra 其实没有多少新东西

传统 Infra 追求横向扩展,而 AI Infra 呈现 “AI 大型机”特性,是因为传统后台服务的可以容忍毫秒级延迟,但 AI 集群不行,GPU 的算力是 CPU 的数百倍,微秒级的延时等待也会造成很大的算力损耗,需要硬件的高度集成。在可预见的1-3年的未来,这样的专用硬件+网络的集中式架构很难发生比较大的改变。与之相似,模型推理的批处理就是将多个输入样本打包(batch),将原本串行的 N 次轻量的推理计算,合并为 1 次重量的计算,实现单位时间内处理更多的请求,提高了 GPU 利用率。

QcloudCommunity的博客 826

程序员越早想通这些越好

永远没有正确架构,你永远无法偿还完所有的技术债务,如同你永远不会设计出完美的界面,请避开完美主义的陷阱,永远没有完美的代码,能够满足当前需求,又为未来不管是自己还是他人留有扩展空间,就很好了。我们努力的方向就是将现实世界映射到有限的数据结构中,这就需要用户自定义类型,如果你的代码中包含类似 trader portfolio 这样的概念,你就可以使用他们的名称来建模,而不是使用基本数据类型复杂嵌套表述你的目的。从另一个角度看,代码里的注释都是补丁,是碎片化的,局部的注释很难推导模块整体的顺序及耦合关系。

QcloudCommunity的博客 466

RAG已死?不,是Grep回归了!

这样一来可以直接复用已有的计算缓存,只为新增的增量部分付全价,前面累积的大头按约 1/10 的缓存价计费。所以实际的工具组合方式是灵活的:Grep(默认模式)→ Read 是最常见的路径,但 Grep(content 模式)可以独立使用,LLM 也可以直接调 Read(如果已经知道文件路径),或者一次同时发起多个 Grep 并行搜索。它从零开始构建自己的对话历史,不继承主对话的消息,这意味着它搜索过程中产生的大量 grep 结果、代码片段都留在自己的 context 里,主对话只收到一段总结性的文本结论。

QcloudCommunity的博客 576

深入浅出Harness Engineerring之核心模式与理念

在智能体生命周期的关键节点(如会话开始、工具调用后)自动触发预设动作(如代码格式化),由系统确保关键流程被执行,不依赖可能被模型遗忘的指令。简单讲就是利用向量存储这个技术,来实现模糊检索,原理是:即使字面不同,但语义相近的文本,其向量在数学空间中的位置也很接近。根据命令类型、参数和影响,自动评估其风险等级(安全、有风险、危险),并采取自动执行、请求确认或直接拦截等不同策略。关键特性是可隔离、可重建、可扩展。不是一次判断就定终身,允许你改变、允许情况复杂,通过不断观察、思考、调整,越来越懂真实的你。

QcloudCommunity的博客 625

Harness Engineering实践心得:如何高效驾驭AI?

但如果这些经验被拆成一条条 Rule、一个个 Skill、一项项 Script 检查——"XAML 不能有中文"、"编译要用这个路径的 MSBuild"、"SVN 命令必须带认证参数"——AI 就能在秒级时间里"吸收"十年的踩坑经验。然后可以看到下方的图,我的PM会很顺利的调度其他agent分别负责不同的事项,遇到问题的时候也能准确的找到合适的agent。MCP 本质上是在扩展 AI 的"感知范围"——Rule 管"该怎么做",Skill 管"怎么操作",MCP 管"能看到什么、能碰到什么"。

QcloudCommunity的博客 843

从第一性原理思考 Agentic Engineering

需要注意的是,这一结论是有条件的:如果 AI 缺乏领域知识,过早介入反而可能引入 1.2 节所述的"似是而非"损耗——因此上下文供给(实践 1)是 AI 全链条参与的前提,而非结果。通过一个专门的自迭代 Skill 实现——当 AI 在协作过程中识别到自己被纠正(用户否定了 AI 的输出并给出了正确方向),它自动评估这个错误的根因,搜索现有的 Rules 和 Skills 中是否已有针对该类问题的处理规则。事实上,越是复杂的项目,工程师的认知负担越重(公理 3),AI 分担认知负担的潜在边际价值也越大。

QcloudCommunity的博客 757

万字干货!Harness Engineering如何工程化落地?

关注腾讯云开发者,一手技术干货提前解锁👇Harness Engineering 的概念已经火了有一阵了,全网很多文章基本都是在讲理念,讲为什么今天做 AI 开发,不能只靠一段提示词,也不能把模型当一个“更聪明的代码补全”。但与此同时,一个问题也在持续地发酵:这个问题特别重要。因为 Harness 这个词听上去很大,很像一个抽象的方法论,但它如果不能落到工程、目录、文档、脚本、工作流里,那它最后就只是一句漂亮的话。事实上,不同项目落地出来的 Harness,表面上可能完全不一样。有的项目是 CI 很强,有的

QcloudCommunity的博客 1171

全方位对比:Hermes VS OpenClaw

多账号矩阵运营 如果你的业务涉及同时管理多个社交媒体账号、多个平台的内容分发、多渠道的客户互动——OpenClaw是目前市场上的"无可替代的底座"。一个有专业背景的个人,现在可以快速构建一个垂直领域的AI助手:比如"财务分析Hermes"、"法律咨询Hermes"、"技术架构Hermes",直接通过微信提供服务,积累自己的专业IP。跨平台生态融合 如果你的工作流涉及飞书、Slack、Discord等多个平台的深度集成,需要这些平台之间的数据流转和联动——OpenClaw的生态支持是强大的。

QcloudCommunity的博客 1219

一文讲透:Harness Engineering即控制论!

而研发模式的升级我认为将会是一个飞跃的过程,之所以现在我们仍然需要需要参与编码,一个非常大的原因就是缺乏传感器和基建,仍然需要人来串流程,比如需要人来验证UI是否正确、需要人来告诉AI代码不符合代码规范,因此在有些场景我们仍然感觉 AI 完成的很吃力,但这不是 AI 能力不行,而是我们并没有为 AI 提供友好的环境……控制论中的突变理论介绍了矫枉过正和飞跃现象之间的矛盾,如果质变中经历的中间过渡态是不稳定的,那么他就是一个飞跃的过程,如果中间过渡态是稳定的,那么他就是一个渐变的过程。但是这些阶段要解决的。

QcloudCommunity的博客 1204

神级开源插件!一句话让QClaw变3D小镇,Agent工作可视化,赛博云监工

这个架构是翻了几次车才想通的—原有AI的实现机制是用 setTimeout 猜动画时长导致了幽灵 NPC、工位撞车、越改越崩,后面我停下来换了思路,推翻原有的架构,按照“意图+回传”的架构进行重构,之前的问题一次性全部解决。15 天,我和 AI 吵了 185 次架, 4.5 万行代码,开发了一款 QClaw / OpenClaw 的UGC游戏插件,这可能是人类跟 Agents 交互的新范式,插件已完全开源,有需要的欢迎自取~我天天用,用着用着我就在思考,Agent 产品现在的交互体验,基本都一个样。

QcloudCommunity的博客 1198

一文搞懂Hermes:新顶流Agent如何从经验中自我进化

Voyager 是一个能在 Minecraft 中自主探索、学习技能、无限积累能力的 AI Agent,它提出了 "Skill Library"(技能库)的概念——Agent 将成功的行为序列编码为可复用的技能函数,存储在一个持续增长的代码库中。如果 Skill 的名称和描述不够精准,或者用户的任务描述与 Skill 的触发条件有语义差距,Agent 可能会错过相关的 Skill。如果进程在写入过程中崩溃,目标文件要么是旧内容(还没被替换),要么是新内容(替换已完成),绝不会出现写了一半的损坏文件。

QcloudCommunity的博客 2637

自掏腰包一万元,拥抱AI这一年,我的工具、实践和思考

其实也很好理解,过往的每个领域(比如前端、后端、设计、测试等等)都主要是这个领域的从业者在为它添砖加瓦,但是大模型时代的 AI 应用领域却几乎是所有使用 AI 的人类一起在迭代,无分领域,无分文理,无分老少。因为每个时期的 AI 都有着不同的特点,很多时候当我费尽心思去钻研,自以为有点弄明白 AI 应该怎么玩的时候,基座模型和行业范式常常就会迎来颠覆式的变革,很多过往的经验都会倾覆,然后只能从头再来。过去一年多,被热议的 AI 范式大概是沿着四个阶段递进演化,每一个阶段其实都在解决前一个阶段的核心问题。

QcloudCommunity的博客 627

办公Agent的CI/CD时刻到来了

核心观点是:企业给员工配了一堆 AI 工具,试点跑了几百个,但真正拖慢 AI 转型速度的瓶颈不在模型能力,在"最后一公里":AI 输出和实际工作流之间的那道鸿沟。代码写完,打个 tar 包,开 FTP 传到服务器上,SSH 进去解压,改配置文件,重启服务,刷一下页面祈祷别 500。你复制,切窗口,粘贴到腾讯文档里,发现 Markdown 格式全乱了,手动调标题层级,代码块重新标记语言类型,表格散架了重排一遍。模型是越来越聪明了,但"生成"到"落地"之间那段路,还是你自己在走,一步一步,手动搬运。

QcloudCommunity的博客 608

4亿token买来5个教训:让6个AI Agent连写4天代码发生了什么?

Watchdog 检测到崩溃 → 启动诊断 Agent 分析原因 → 诊断 Agent 跑满 20 轮没搞定 → Watchdog 判定“已修复”,重启系统 → 重启的系统因为诊断 Agent 留下的环境变量被继承,连续 3 次拒绝启动 → 触发连续失败保护退出 → Watchdog 第 3 次巡检,发现进程和记录文件都没了,尝试手动重启,自己也停了。启动前我翻了论文、做了架构设计、写了监控+修复异常的脚本。这个发现让我的情绪从沮丧变成了兴奋——不是那种"终于修好了"的释然,是"我找到根因了"的快感。

QcloudCommunity的博客 584

赛博斗蛐蛐:9大模型决战三国志,天命在谁?

我猜是这样的,当Gemini面临决策的时候,一系列关键词比如 守城,劣势,粮草,三国等等,在语义层面的关联性中LLM发现了竖壁清野这个关键词概率非常高,所以以此为策略,然后再根据这个策略完美执行操作。MiMo 的外交是三方中最精明的。Kimi作为国产模型,也同样颠覆了我对他的看法,最后的比赛他甚至一度是优势者,存在很多夺冠的可能性,要知道他的对手可是claude和gemini,而他经常出兵慢,回过头来想想或许正是他的策略,毕竟中后期他的优势都来自于稳健的发展和较少的战斗频率(和claude比).

QcloudCommunity的博客 875

Claude Code是怎么知道你在骂他的?这 12 条发现值得关注

确实存在——5,500+ 行,集成了消息队列、工具装配、MCP 编排、会话状态、权限、分析、文件持久化和优雅关闭,基本上一个文件干了所有事。对抗虚假声明——"不要在输出显示失败时声称所有测试通过,不要压缩或简化失败的检查来制造绿色结果"。完整的 KAIROS 是一个持续驻留的守护进程,能感知你在不在电脑前、主动寻找有用的工作做,更像是住在终端里的全职同事。源码里藏着一个叫 "Buddy" 的电子宠物系统,完整度令人惊讶——这不是一个 TODO,而是一个从数值系统到 ASCII 动画都实现了的完整功能。

QcloudCommunity的博客 702

逆向深扒Claude Code源码,我发现了什么!?

Anthropic 内部用户获得更严格的质量控制 prompt、更好的验证机制(独立 Verification Agent)、以及针对 model 弱点的专门对策(如 Capybara v8 的 29-30% 错误声明率对策)。这不是代码混乱的标志——它是整个 Agent Loop 的心脏,所有的流式处理、工具调度、上下文压缩、子代理管理都在这个文件中协调。这种"胖核心"设计是刻意的:保持核心循环的原子性,避免分散到多个模块导致的协调复杂度。核心价值:Fork 代理的工具输出不会回到主代理的上下文窗口。

QcloudCommunity的博客 893

一文讲透如何构建Harness——六大组件全解析

本文将从"裸模型的四个硬伤"出发,逐一拆解 Harness 的六大组件——文件系统、Bash + 沙箱、记忆(AGENTS.md)、Web Search + MCP、上下文工程、编排 + Hooks——带你看清 AI Agent 真正的竞争壁垒,不在模型层,而在 Harness 层。如果你用过 Agent 做复杂任务,你一定有过这样的体验:一开始 Agent 的表现很好,但随着对话变长,它开始"变笨"——遗忘之前的约定,重复之前犯过的错误,甚至对同一个问题给出前后矛盾的回答。对于简单的问答场景,这无所谓。

QcloudCommunity的博客 762

Harness Engineering 来了,SDD 还有意义吗?

他们的解法是把「品味」编码进规则,然后用一个定期运行的「doc-gardening」Agent 自动扫描漂移、发起修复 PR——「技术债务就像一笔高息贷款,不断地以小额贷款的方式偿还,总比让债务不断累积要好」。代码仓库本地的、已版本化的工件,才是 Agent 所能看到的全部。在 Vibe Coding 模式下(即不做规划、随意向 AI 提需求的开发方式),大量设计决策、跨服务约定、「为什么不选另一个方案」的讨论,全部停留在一次性的 AI 对话里——下一个人,或者下一次 AI 会话,完全无从获取。

QcloudCommunity的博客 419

零废话!一文讲透从0构建AI Agent

每个工具都要写一套"定义→解析→执行"的胶水代码。上下文管理就是在"记住足够多"和"别超标"之间找平衡,常见策略包括滑动窗口、摘要压缩、RAG 检索增强。上下文窗口是 Agent 的"工作记忆",但它有硬性限制。LLM 负责"动脑"决策,代码负责"动手"执行。这是从"聊天机器人"进化到"Agent"的关键一步。每次调 API 都把完整对话历史发过去,LLM 本身是无状态的,"记忆"完全靠客户端的数组模拟。这样 Agent 一开始就知道自己"在哪里"、"手头有什么",不需要先花一轮工具调用去探索环境。

QcloudCommunity的博客 712

距离AI把小编我裁掉还有72小时

这是一个基于 OpenClaw 开源生态打造的本地化 AI Agent 助手,已于上周开启全量公测,无需复杂配置,三步即可上手,自带安全防护,支持微信直连绑定,内置多款优质国产大模型,现阶段也是完全免费使用,基本上前面提到过的痛点都可以靠它解决。对了,这里特别强调一点,上面的截图让产品同事汗流浃背,再三找我确认 QClaw 思考过程中优美的“草”字说法,不会是默认出现的吧?AI 好,AI 得学,但更重要的是,在你的工作和生活里,哪些东西是能结构化地被 AI 所接入的,不要死守着那些脏活累活不放。

QcloudCommunity的博客 674
上一篇: 鹅厂专家讲透AI文本生成解码策略与代码实现
下一篇: 学习中心上新丨Python教程-Django框架快速入门到实战
腾讯云开发者
腾讯云开发者 企业官方账号 企业官方账号
博客等级 码龄10年 6291粉丝 1962原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值