面向AI的开发:从大模型(LLM)、检索增强生成(RAG)到智能体(Agent)的应用

引言

随着人工智能技术的飞速发展,大型语言模型(LLM)、检索增强生成(RAG)和智能体(Agent)已经成为推动该领域进步的关键技术,这些技术不仅改变了我们与机器的交互方式,而且为各种应用和服务的开发提供了前所未有的可能性。正确理解这三者的概念及其之间的关系是做好面向AI编程开发的基础:

大模型(LLM)检索增强生成(RAG)智能体(Agent)
定义大型语言模型(LLM),如GPT系列、BERT等,是利用大量文本数据训练的模型,能够生成连贯的文本、理解语言、回答问题等。检索增强生成技术结合了传统的信息检索技术和最新的生成式模型。它先从一个大型的知识库中检索出与查询最相关的信息,然后基于这些信息生成回答。智能体是指具有一定智能的程序或设备,能够感知环境并根据感知结果做出响应或决策的实体。它们可以是简单的软件程序或复杂的机器人。
作用LLM作为基础技术,提供了强大的语言理解和生成能力,是构建复杂人工智能系统的基石。RAG可以视为在LLM基础上的扩展或应用,利用LLM的生成能力和外部知识库的丰富信息来提供更准确、信息丰富的输出。智能体可以利用LLM进行自然语言处理,通过RAG技术获得和利用知识,以在更广泛的环境中做出决策和执行任务。它们通常位于应用层级,是对LLM和RAG技术在特定环境下的集成和应用。

从层级关系上看,大模型(LLM)提供了基础的语言理解和生成能力。在此基础上,检索增强生成(RAG)技术利用这种能力结合特定的知识库来生成更为准确和相关的输出。智能体(Agent)则在更高层次上使用LLM和RAG,结合自身的感知和决策能力,在各种环境中执行具体的任务。

因此,可以理解为LLM是基础,RAG是在LLM基础上的进一步应用,而智能体则是综合运用LLM和RAG以及其他技术,在更复杂环境中进行交互和任务执行的实体。这种关系体现了从基础技术到应用技术再到实际应用的逐级深入。

随着技术的快速进步,如何更高效地利用这些大模型(LLM)来解决具体问题?如何通过检索增强生成(RAG)技术提高信息的准确性和相关性?以及如何设计能够有效集成LLM、RAG和其他AI技术的智能体?这些问题的解决,不仅需要深入理解这些技术的工作原理和应用场景,还需要探索它们之间的相互作用和集成方法。

大模型(LLM)的概念与工程化实践

大型语言模型(LLM),如OpenAI的GPT系列,是一种基于深度学习的自然语言处理技术。它们能够理解、生成、翻译文本,完成问答任务,甚至编写代码。这些模型通过在大规模文本数据上的预训练,学会了语言的复杂结构和丰富的知识,使其能够在没有明确指示的情况下执行各种语言任务。GPT系列模型基于变换器(Transformer)架构,这是一种高效的深度学习模型结构,特别适合处理序列数据,如文本。变换器利用自注意力(self-attention)机制,能够捕捉文本中长距离的依赖关系,这对于理解和生成自然语言(NLG)至关重要。

目前,OpenAI最新版本的LLM工程化应用是以GPT-4为基础的,针对普通用户有3个版本,分别是免费版本(只能使用GPT-3.5)、Plus版本以及团队版本(Plus的功能加上团队协同工作管理)。每个月支付20美元(不含税)即可使用Plug版本,即ChatGPTPlus,它的主要功能有:

Chat(对话)

与“OpenAI最强大的模型GPT-4”进行对话,不止是文本的交互生成,还可以同时进行基于DALL-E的图文交互生成,以及从互联网实时获取最新知识进行辅助分析和生成。如下图:

GPTs(插件)

如果你想将自己独有的指令、知识库或任何能力的API服务,同预训练的GPT-4 LLM结合在一起,创建一个“自定义模型”,那么,可以使用“GPTs”插件功能在Open AI的Web应用上快速构建出来。GPTs的推出体现了OpenAI与众不同的工程化创新能力,其交互设计理念值得我们借鉴。使用它的步骤可以参考如下这个例子:

  1. 告诉 GPT Builder向导(实际上这也是一个官方的GPTs)你要做什么,它会提示你可以这样说:"制作一个帮助生成新产品视觉效果的创意人 "或 “制作一个帮助我格式化代码的软件工程师”。如下图:

  1. 输入“创建一个物流系统的技术支持工程师,帮助商家解答系统问题和处理异常订单”,接下来GPT Builder会和你做一些j简单的对话,比如征求你对于命名、Logo的建议等等,如下图:

  1. 仅需要2轮简短对话,一个名为“小狗物流平台技术支持”的GPTs被初步创建出来了。生成的“Instrucitons”部分可以视为GTP的System Prompt(系统提示),需要特别注意按照这4个维度修正Instrucitons,直到其准确符合你的意图:1)定位,希望GPTs执行什么类型的任务;2)上下文,给GPTs提供一些额外的信息,比如垂直领域的常识,从而引导其给出更好的回答;3)输入数据,“限定”GPTs引导用户提出的问题,确保不偏离主题;4)输出数据,“限定”GPTs给出指定格式和范围的输出,确保不输出无关的内容。如下图:

  1. 重点来了,在这里可以使用“Upload files”功能上传你自己的“知识库”文件给到大模型推理,文件可以是文档、表格、图片等多种格式,这可以理解是一种对LLM的“静态”增强。如下图:

  1. 更重要的是,可以通过添加“Actions”的方式,接入你的API服务给到大模型调用,API通过遵循OpenAPI3的规范进行自描述。大模型可以根据API的功能描述以及输入输出定义,结合用户会话上下文进行智能的调用,获取你的私域数据进行推理,这可以理解是一种对LLM的“动态”增强。如下图:

  1. 最后,你可以把你精心“调教”出来的“自定义模型”分享给任何人或者发布到OpenAI的GPTs商店,如下图:

GPTs商店自2024 年初上线以来3个月时间,已经有超过 300 万个自定义的 ChatGPT发布。商店的功能包括2个排行榜,分别是“顶级推荐”和“流行趋势”;具体的分类有 DALL-E图像创作、写作、效率、研究和分析、编程、教育以及生活方式共7项,并且将由ChatGPT官方创作的自定义模型进行单独分类展示。例如在研究和分析(Research & Analysis) 类排名第二的“Scholar GPT”能够利用Google Scholar、PubMed、JSTOR、Arxiv等学术库的2亿+资源和内置的批判性阅读技能,助力你提高研究水平,可谓是撰写论文的神器;在效率(Productivity)类排名第一Canva能够轻松帮助你设计演示文稿、徽标、图文混排等多种内容,并且支持你直接在其提供的Web应用上对AI生成的源文件进行编辑调整,直到达成满意的效果。目前,已经有创作者通过GPTs商店独特的AI生态,实现了自己的商业模式,值得我们学习借鉴。

API(开放接口)

如果你不想依赖于OpenAI的生态平台实现自己的AI应用和商业模式,但又想借助其提供的ChatGPT等基础能力,那么,通过调用其对外开放的API接口一直是最好的选择。因此,OpenAI在推出GPTs的同时,也快速的上线了“Assistant API” 的Beta版本,在这个版本中,你可以实现GPTs中提到的所有“增强”大模型的能力,并通过API的方式将其对外发布,供第三方应用调用,并且支持GPT-4模型(当然调用价格也是不菲),如下图:

同时,你仍然可以通过传统的“fine-tuning model”API定制自己的微调大模型,这种方式主要是通过你上传格式化的“问-答”型的训练数据文件来实现对LLM的“增强”。相对于最新推出的“Assistant API” ,感觉这种方式在工程化的显得不够灵活和直接,不是很“智能”,目前“fine-tuning model”最高也只能支持GPT-3.5系列模型。如下图:

检索增强生成(RAG)技术概述和应用

通过上一章的介绍,你可以发现OpenAI已经大规模使用工程化的技术使用户能够基于自己的知识库对其GTP系列大模型进行“增强”,从而实现更加垂直化、个性化的能力。那么,如果你基于成本或安全的考虑,想在私域进行自有知识库的“增强”,甚至切换成其它的大模型来使用这个“增强”,就不得不考虑自行开发实现了,这时候就需要了解检索增强生成(RAG)概念和向量数据库技术的应用。

什么是检索增强生成

检索增强生成(RAG)技术人工智能的应用方法,它通过结合传统的信息检索技术与最新的生成式深度学习模型,来提升信息的准确性和相关性。RAG理论来自于2020年Facebook的论文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(知识密集型自然语言处理任务的检索增强生成,原文:https://arxiv.org/abs/2005.11401)。RAG的核心思想是在大模型生成回答之前,先从一个知识库中检索出与查询最相关的信息,然后基于这些信息生成准确的回答。

一般来说RAG的工作原理是:首先利用一个检索组件在知识库(这个过程一般使用向量数据库实现)中查找与用户查询相关的文档或数据,这一步骤确保了生成过程基于的是与查询高度相关的信息。随后,这些检索到的信息被送入一个生成模型(如GPT系列大模型),该模型结合检索到的信息和原始查询生成详尽的回答或内容。其核心流程如下图(参考:https://aws.amazon.com/cn/what-is/retrieval-augmented-generation):

RAG典型的应用场景一般在问答系统、内容推荐、数据分析领域。其优势主要在于能够结合检索结果生成回答,提高了只依赖大模型回答的准确度、实时性和信息的丰富性。

为什么是向量数据库

上面我们提到RAG技术一般会使用向量数据库做为“知识库”来支撑用户存储和检索自己的文档或数据。关于向量数据库的理论和概念最近随着AIGC的火热被谈论的很多了,这里有2篇文章能让你快速的了解它:

1.介绍向量数据库的数学理论:相似性度量——余弦相似度和点积,曼哈顿距离(L1)和欧几里得距离(L2),https://cloud.tencent.com/developer/article/2336891

2.介绍向量数据库的概念、原理、算法以及选型:https://guangzhengli.com/blog/zh/vector-database

对于RAG(检索增强生成)技术方案来说,为什么使用向量数据库,主要是因为其不仅能提供传统的结构化/非结构化数据库增删改查(CRUD)以及元数据管理的能力,还在处理高维数据,特别是处理深度学习模型生成的向量数据方面具有特殊的优势,具体表现在:

1.维度。深度学习模型生成的文本、图像或语音向量通常位于高维空间中。传统的关系型数据库并不擅长处理这类高维数据,因为它们主要是为处理结构化数据(如表格数据)而设计的。相比之下,向量数据库天生就是为了存储和管理高维空间数据而构建,能够有效地处理和存储这类数据。

2.速度。向量数据库专门设计用于存储高维向量,并支持快速的相似性搜索。在RAG技术中,需要从大量数据中检索与查询最相关的信息,这通常涉及到计算查询向量与数据库中所有向量之间的相似度。向量数据库通过优化的索引结构和近似最近邻(ANN)搜索算法,能够高效地完成这一任务,显著提高检索速度。

3.推理。向量数据库支持基于向量相似度的复杂查询,这对于RAG技术中的自然语言查询处理至关重要。它们可以根据查询的语义内容相关性而非仅仅是关键字匹配来检索信息,这使得向量数据库具有“推理”的能力,而非只是“查询”。

向量数据库一般基于嵌入模型(Embedding Models)将文本向量化,从而来完成推理。前面提到Google发布的BERT模型和OpenAI发布的GPT模型都能提供嵌入(Embedding)计算的能力,但一般BERT系列模型相对于GPT系列模型会“小”很多,这体现在参数数量和磁盘占用上,可以说是“小模型”和“大模型”之分,在做向量计算时该如何选择呢?简单的说它们的相同点都是基于深度学习“将数据转换为高维向量表示”。不同点在于小模型侧重于数据的有效关联判定和简单逻辑推理,而大模型则侧重于深入理解和生成文本等更复杂的任务,具体如下:

小模型大模型
设计目标和用途通常设计为特定任务的一部分,比如将单词、句子或文档转换为向量形式,这些向量随后用于各种任务(如聚类、相似度搜索等)。为理解文本上下文并生成文本而设计的。可以直接用于生成文本、问答、提取摘要等任务。
模型规模和复杂性往往相对简单,参数量少,专注于有效地将数据转换为嵌入向量。一般模型主体占用数百MB磁盘空间。拥有极大的参数量(从几十亿到几百亿不等),设计更为复杂,可以捕获数据中的细微语义和结构。占用TB级磁盘空间(AI估算)。
训练数据和过程训练通常基于特定任务的数据集,目标是学习良好的数据表示。通过在庞大的数据集上进行预训练,学习语言的广泛特征和模式,然后可以在特定任务上进行微调(fine-tuning)以提高性能。
在向量数据库中的应用产生的向量直接用于向量数据库中,以支持快速的相似性检索和推理。产生的向量可以用于向量数据库。但通常更注重捕捉丰富的语义信息,在需要深度理解的应用场景中作用更大。

下一节的例子会展示以上区别。

目前,在市场上可供选择的向量数据库产品越来越多了,其中Faiss(Facebook AI Similarity Search)、Milvus等产品已经可以用于企业级生产。

Chroma是2023年中旬发布的一个面向AI应用的开源向量数据库,简单、轻量、易用,是专门为自然语言处理(NLP)、图像分类、构建推荐系统和聊天机器人等领域的应用而设计的,非常适合用来快速构建和探索RAG应用。

举个例子

下面用实际Python代码展示一个基于Chroma向量数据库实现RAG关键步骤“文本推理”(对应3.1节示意图环节②③)的例子,分别使用“小模型”和“大模型”对中文文本进行向量化处理,然后针对三个问题进行推理,比较这两种不同模型得到的结果:

  1. 创建chroma数据库实例并启动它。当然,在此之前你可能需要用一行代码先安装它“pip install chromadb”,更多的资料可以参考官方文档:https://docs.trychroma.com/getting-started
import chromadb

basePath = "/dev/chromadbDemo/"


chroma_client = chromadb.PersistentClient(path=basePath + "chromadata")
print("数据库已启动:" + str(chroma_client))
  1. 从磁盘上加载4段长文本以及录入4段短文本,用来构建你自己的“知识库”。
# ——————————————————————准备数据——————————————————————

# 红楼梦(千字概述,正常风格)
file_path_hlm = basePath + "book_HLM.txt"
# 金瓶梅(千字概述,正常风格)
file_path_jpm = basePath + "book_JPM.txt"
# 水浒传(千字概述,无厘头风格)
file_path_shz = basePath + "book_SHZ.txt"
# 指环王(千字概述,莎士比亚风格)
file_path_zhw = basePath + "book_ZHW.txt"
docs = [
    open(file_path_hlm, "r", encoding="utf-8").read(),
    open(file_path_jpm, "r", encoding="utf-8").read(),
    open(file_path_shz, "r", encoding="utf-8").read(),
    open(file_path_zhw, "r", encoding="utf-8").read(),
    "不可以,早晨喝牛奶不科学",
    "吃了海鲜后是不能再喝牛奶的,因为牛奶中含得有维生素C,如果海鲜喝牛奶一起服用会对人体造成一定的伤害",
    "吃海鲜是不可以吃柠檬的因为其中的维生素C会和海鲜中的矿物质形成砷",
    "吃海鲜是不能同时喝牛奶吃水果,这个至少间隔6小时以上才可以",
]
metas = [
    {"source": file_path_hlm, "uris": file_path_hlm, "author": "曹雪芹"},
    {"source": file_path_jpm, "uris": file_path_jpm, "author": "兰陵笑笑生"},
    {"source": file_path_shz, "uris": file_path_shz, "author": "施耐庵"},
    {"source": file_path_zhw, "uris": file_path_zhw, "author": "托尔金"},
    {"source": "my_source1"},
    {"source": "my_source2"},
    {"source": "my_source3"},
    {"source": "my_source4"},
]
ids = ["id-hlm", "id-jpm", "id-shz", "id-zhw", "id1", "id2", "id3", "id4"]
  1. 定义处理数据的4个函数,分别是文本转向量的函数、插入数据表的函数以及2种不同模型创建数据集(可以理解为“数据库表”)的函数。
# ——————————————————————定义处理数据的函数——————————————————————

# 用于将文本输入转换为Bert嵌入向量,默认使用 bert-base-chinese 模型和分词器处理文本。
def bert_embedding(text, modelName="bert-base-chinese"):
    from transformers import BertModel, BertTokenizer

    tokenizer = BertTokenizer.from_pretrained(modelName)
    model = BertModel.from_pretrained(modelName)
    inputs = tokenizer(
        text, return_tensors="pt", padding=True, truncation=True, max_length=512
    )
    outputs = model(**inputs)
    embeddings = outputs.last_hidden_state[:, 0, :].detach().numpy()
    return embeddings


# 插入数据
def setData(collection, embedding=None):
    if embedding is None:
        collection.upsert(
            documents=docs,
            metadatas=metas,
            ids=ids,
        )
    else:
        collection.upsert(
            embeddings=embedding,
            documents=docs,
            metadatas=metas,
            ids=ids,
        )
    return collection


# 使用指定的嵌入模型建数据集,不指定则默认为:Sentence Transformers all-MiniLM-L6-v2
def getDefaultEmbeddingCollection(embeddingModelName=""):
    collection = chroma_client.get_or_create_collection(name="collection_default")
    if embeddingModelName is None or not embeddingModelName:
        # 默认的向量模型
        setData(collection)
    else:
        embedding = bert_embedding(docs, embeddingModelName)
        collection = setData(collection, embedding)
        collection.name = "collection_" + embeddingModelName
    return collection


# 使用OpenAI的text-embedding-ada-002模型建数据集
def getOpenAIEmbeddingCollection():
    import chromadb.utils.embedding_functions as embedding_functions

    openai_ef = embedding_functions.OpenAIEmbeddingFunction(
        api_key="[填入你的 OpenAI API Key]",
        model_name="text-embedding-ada-002",
    )
    collection = chroma_client.get_or_create_collection(
        name="collection_text-embedding-ada-002", embedding_function=openai_ef
    )
    setData(collection)
    return collection
  1. 在这里定义3个问题,用来测试基于不同模型数据集的推理能力。同时定义一个函数,打印推理结果。
collections = chroma_client.list_collections()
print("现有数据集:" + str(collections))

# 三个问题,用来测试不同数据集和向量模型的推理能力
q1 = "我想了解中国四大名著"
q2 = "关于宋朝发生的故事"
q3 = "吃完海鲜可以喝牛奶吗?"


def testModel(collection, q, rtNum, embeddingModelName=None):
    if embeddingModelName is None:
        results = collection.query(query_texts=[q], n_results=rtNum)
        print(q + " - 查询结果:" + str(results) + "\n")
    else:
        results = collection.query(
            query_embeddings=bert_embedding(q, embeddingModelName), n_results=rtNum
        )
        print(q + " - 查询结果:" + str(results) + "\n")

有了以上的准备,就可以开始测试了。

首先我们使用“bert-base-chinese”这样的“小模型”对问题进行推理测试,这是Google基于BERT架构(Bidirectional Encoder Representations from Transformers)推出的中文预训练模型,能够理解中文语境和语义,模型本身约400+MB(参考:https://huggingface.co/google-bert/bert-base-chinese),执行Python可以自动下载到本地。测试代码如下:

modelName = "bert-base-chinese"
collection = getDefaultEmbeddingCollection(modelName)

print("当前collection:" + str(collection) + "\n")
testModel(collection, q1, 2, modelName) #问题1返回2笔推理结果
testModel(collection, q2, 3, modelName) #问题2返回3笔推理结果
testModel(collection, q3, 5, modelName) #问题3返回5笔推理结果

执行上述Python代码,截取控制台打印的相关输出如下:

当前collection:name='collection_bert-base-chinese' id=UUID('d0fe761d-3e64-4b89-ab8a-59a7253d44a7') metadata=None tenant='default_tenant' database='default_database'

我想了解中国四大名著 - 查询结果:{'ids': [['id1', 'id4']], 'distances': [[202.48262633262166, 266.160556742396]], 'metadatas': [[{'source': 'my_source1'}, {'source': 'my_source4'}]], 'embeddings': None, 'documents': [['不可以,早晨喝牛奶不科学', '吃海鲜是不能同时喝牛奶吃水果,这个至少间隔6小时以上才可以']], 'uris': None, 'data': None}

关于宋朝发生的故事 - 查询结果:{'ids': [['id1', 'id3', 'id4']], 'distances': [[253.08461381250856, 300.2129506027819, 334.78790699255]], 'metadatas': [[{'source': 'my_source1'}, {'source': 'my_source3'}, {'source': 'my_source4'}]], 'embeddings': None, 'documents': [['不可以,早晨喝牛奶不科学', '吃海鲜是不可以吃柠檬的因为其中的维生素C会和海鲜中的矿物质形成砷', '吃海鲜是不能同时喝牛奶吃水果,这个至少间隔6小时以上才可以']], 'uris': None, 'data': None}

吃完海鲜可以喝牛奶吗? - 查询结果:{'ids': [['id1', 'id2', 'id4', 'id3', 'id-hlm']], 'distances': [[
  173.57739555949934, 
  201.32507459764457, 
  202.22220711154088, 
  261.7239443921094, 
  452.04586252776966]], 'metadatas': [[{'source': 'my_source1'}, {'source': 'my_source2'}, {'source': 'my_source4'}, {'source': 'my_source3'}, {'author': '曹雪芹', 'source': '/dev/chromadbDemo/book_HLM.txt', 'uris': '/dev/chromadbDemo/book_HLM.txt'}]], 'embeddings': None, 'documents': [[
  '不可以,早晨喝牛奶不科学', 
  '吃了海鲜后是不能再喝牛奶的,因为牛奶中含得有维生素C,如果海鲜喝牛奶一起服用会对人体造成一定的伤害', 
  '吃海鲜是不能同时喝牛奶吃水果,这个至少间隔6小时以上才可以', 
  '吃海鲜是不可以吃柠檬的因为其中的维生素C会和海鲜中的矿物质形成砷', 
  '《红楼梦》是清代曹雪芹创作的一部长篇小说,被誉为中国古代四大名著之一。该作品通过贾、王、史、薛四大家族的兴衰史,细腻地描绘了封建王朝末期的社会生活,深刻揭示了封建社会的腐朽与衰败……此处省略1000字'
]], 'uris': None, 'data': None}

解读一下关键信息:ids字段是返回的结果标识;distances字段是向量距离,意思是问题和结果的相关性,距离越短表示越相关;documents字段则是返回的具体结果数据。可以发现:

1.“bert-base-chinese”模型的distances一般算出来是百位数;

2.“小模型”是可以基于简短文本数据进行一些简单推理的,例如“bert-base-chinese”模型对问题3“吃完海鲜可以喝牛奶吗?”的推理结果“基本”合格;

3.“小模型”基于较长文本数据的推理很“随机”,效果很差,例如“bert-base-chinese”模型对于问题1“中国四大名著”和问题2“宋朝的故事”的问题就完全无法理解,尽管在我提供的长文本数据里明显含有这2个问题的关键词。

然后我们使用“OpenAI text-embedding-ada-002”这样的“大模型”对问题进行推理测试。测试代码如下:

collection = getOpenAIEmbeddingCollection()

print("当前collection:" + str(collection) + "\n")
testModel(collection, q1, 2) #问题1返回2笔推理结果
testModel(collection, q2, 3) #问题2返回3笔推理结果
testModel(collection, q3, 5) #问题3返回5笔推理结果

执行上述代码,得到如下关键输出:

当前collection:name='collection_text-embedding-ada-002' id=UUID('ec450ccf-8359-4bfb-ab2b-f4bde881cb06') metadata=None tenant='default_tenant' database='default_database'

我想了解中国四大名著 - 查询结果:{'ids': [['id-hlm', 'id-jpm']], 'distances': [[
  0.38686231602994325, 
  0.401715835018107]], 'metadatas': [[{'author': '曹雪芹', 'source': '/dev/chromadbDemo/book_HLM.txt', 'uris': '/dev/chromadbDemo/book_HLM.txt'}, {'author': '兰陵笑笑生', 'source': '/dev/chromadbDemo/book_JPM.txt', 'uris': '/chromadbDemo/book_JPM.txt'}]], 'embeddings': None, 'documents': [[
  '《红楼梦》是清代曹雪芹创作的一部长篇小说,被誉为中国古代四大名著之一。该作品通过贾、王、史、薛四大家族的兴衰史,细腻地描绘了封建王朝末期的社会生活,深刻揭示了封建社会的腐朽与衰败。小说以贾宝玉和林黛玉的爱情悲剧为主线,通过丰富的人物群像和错综复杂的情节展现了一个广阔的社会生活画卷……此处省略1000字', 
  '《金瓶梅》是中国文学史上的一部重要小说,被认为是明代中期的作品,作者一般被认为是兰陵笑笑生。这部小说以宋代开封为背景,详细描绘了主人公西门庆与他的家人、情人、朋友之间的复杂关系,以及由此引发的一系列社会和家庭冲突……此处省略1000字']], 'uris': None, 'data': None}

关于宋朝发生的故事 - 查询结果:{'ids': [['id-shz', 'id-jpm', 'id-zhw']], 'distances': [[
  0.322985944455922, 
  0.3312445684997755, 
  0.33733609769548206]], 'metadatas': [[{'author': '施耐庵', 'source': '/dev/chromadbDemo/book_SHZ.txt', 'uris': '/dev/chromadbDemo/book_SHZ.txt'}, {'author': '兰陵笑笑生', 'source': '/dev/chromadbDemo/book_JPM.txt', 'uris': '/dev/chromadbDemo/book_JPM.txt'}, {'author': '托尔金', 'source': '/dev/chromadbDemo/book_ZHW.txt', 'uris': '/dev/chromadbDemo/book_ZHW.txt'}]], 'embeddings': None, 'documents': [[
  '水浒传,一本让人眼花缭乱的古典名著,故事内容丰富得可以用来炒一大锅剧情泡面。整个故事发生在北宋时期,可以想象成一个古代的超级英雄联盟,但这些英雄不穿紧身衣,而是穿着古代汉服,横扫江湖,打击不公……此处省略1000字', 
  '《金瓶梅》是中国文学史上的一部重要小说,被认为是明代中期的作品,作者一般被认为是兰陵笑笑生。这部小说以宋代开封为背景,详细描绘了主人公西门庆与他的家人、情人、朋友之间的复杂关系,以及由此引发的一系列社会和家庭冲突……此处省略1000字', 
  '在中世纪幻想的土地,被称为中土的地方,诞生了一部伟大的故事——《指环王》。这部史诗般的作品,如同莎士比亚之笔下的戏剧,充满了权力的争斗、勇气的考验、忠诚与背叛的较量,以及对自由与爱的无尽追求。\n\n噢,听吧,那遥远的号角在召唤,就如同命运之神在低语,引领我们走向那个被称为“魔戒”的强大而又可怕的物品……此处省略1000字']], 'uris': None, 'data': None}

吃完海鲜可以喝牛奶吗? - 查询结果:{'ids': [['id2', 'id4', 'id3', 'id1', 'id-shz']], 'distances': [[
  0.18699816057051363, 
  0.2437766582633824, 
  0.3233349839279665, 
  0.33243019058071627, 
  0.5406020260719162]], 'metadatas': [[{'source': 'my_source2'}, {'source': 'my_source4'}, {'source': 'my_source3'}, {'source': 'my_source1'}, {'author': '施耐庵', 'source': '/dev/chromadbDemo/book_SHZ.txt', 'uris': '/dev/chromadbDemo/book_SHZ.txt'}]], 'embeddings': None, 'documents': [[
  '吃了海鲜后是不能再喝牛奶的,因为牛奶中含得有维生素C,如果海鲜喝牛奶一起服用会对人体造成一定的伤害', 
  '吃海鲜是不能同时喝牛奶吃水果,这个至少间隔6小时以上才可以', 
  '吃海鲜是不可以吃柠檬的因为其中的维生素C会和海鲜中的矿物质形成砷', 
  '不可以,早晨喝牛奶不科学', 
  '水浒传,一本让人眼花缭乱的古典名著,故事内容丰富得可以用来炒一大锅剧情泡面。整个故事发生在北宋时期,可以想象成一个古代的超级英雄联盟,但这些英雄不穿紧身衣,而是穿着古代汉服,横扫江湖,打击不公……此处省略1000字']], 'uris': None, 'data': None}

对比第一次小模型测试的结果,我们可以明显感觉到:

1.“OpenAI text-embedding-ada-002”模型的distances算出来都是小于1,但含义仍然是“距离越小越相关”;

2.“大模型”基于简短文本数据的推理相当精确,针对问题3“吃完海鲜可以喝牛奶吗?”的推理结果堪称完美,相对于之前的“小模型”结果,“大模型”能准确的把“海鲜与柠檬”、“早晨喝牛奶”这类相关性较差数据的向量距离依次排开,并且能把“水浒传”这类相关性极差数据的向量距离明显拉开。

3.“大模型”基于较长文本数据的推理在这个测试中都在首位命中了事实上最相关的结果,例如它能在问题1“我想了解中国四大名著”的推理中把描述红楼梦的数据排在第1位以及问题2“关于宋朝发生的故事”的推理中把描述水浒传的数据排在第1位。但也都有不足,例如它在问题1“我想了解中国四大名著”的推理结果中把描述金瓶梅的数据排在第2位,按照常识应该水浒传才是四大名著之一;在问题2“关于宋朝发生的故事”的推理结果中把描述指环王的数据排在第3位,而按照常识红楼梦似乎和中国、宋朝的相关性比指环王会更高一些。

上述的例子使用Python代码编写,当然也可以使用Java实现,Chroma也有相关的Java SDK可以使用。如果说Java是企业应用时代的原生语言,那么Python就是AI时代的原生语言,大多数AI项目的官方支持语言都是Python,并且相对于Java来说,Python的学习和应用更加简便,建议直接用起来。

基于上述简单的测试证明我们可以将类似OpenAI “text-embedding-ada-002”这样的大模型应用到实际的RAG生产中,事实上目前京东很多AI客户服务使用的向量嵌入模型正是OpenAI “text-embedding-ada-002”。鉴于text-embedding-ada-002这个模型是GTP3时代的产品,相信未来OpenAI推出基于GTP4的嵌入模型一定会更加强大精准。

而小模型对于本地化训练、垂直领域RAG应用,特别是学习研究AI技术是更方便的。如果你不想编写代码,有一些网站也能提供良好的沙箱,供你学习、调试小型嵌入模型,这些模型不仅限于文本,还包括图像、语音,甚至视频,国外的有“抱脸”https://huggingface.co,国内的有“魔搭”https://modelscope.cn,都值得一试。

智能体(Agent)的概念、应用和集成

智能体的概念和开发思想

上面我们提到可以利用RAG技术结合自有知识库对大模型进行增强,从而获得更准确、实时、丰富的垂直内容或个性化结果。但这仍然没有跳出内容生成(AIGC)的范畴,如果你需要人工智能像一个“以终为始”的高效率员工一样自主选取各种工具、和各种不同系统沟通协同工作,直到交付最终结果,那么就需要了解“智能体”这个方案了。

智能体(Agent)技术是人工智能应用的一个核心概念,是指可以自主执行任务、作出决策,并在一定程度上模拟人类或其他智能实体行为的计算机程序或机器。目前智能体在仿真、游戏、客户服务以及自动化控制等多个领域和应用中展示了巨大的潜力,从简单的自动化脚本到复杂的决策支持系统,智能体在软件和硬件系统中通过扮演感知者、执行者、决策者或学习者等多种角色来完成任务。

关于智能体的理论依据可以参考发表于2023年的论文 Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models(计划与解决提示:通过大型语言模型改进零点思维链推理,原文:https://arxiv.org/abs/2305.04091),文章主要提出了一种改进大型语言模型在零次学习环境下执行多步骤推理任务的方法,作者通过三个步骤来论证:第一步通过几个手工制作的逐步推理示例(few-shot chain-of-thought prompting),证明大模型能够明确地生成推理步骤并提高其推理任务的准确性;第二步为了消除手动制作示例的工作量,作者提出了零样本思维链方法(Zero-shot Chain-of-Thought),该方法将目标问题声明与“让我们一步步来思考”的引导过程作为输入提示给大模型;第三步,为了解决零样本思维链方法存在的“遗漏步骤”错误,作者提出了“先计划再求解(PS, Plan-and-Solve)”的提示策略。

文章提出的“先计划再求解”原理是一些智能体产品设计开发的核心思想,其遵循以下几个步骤:

1.明确问题:首先,需要明确问题的核心内容和目标。即使问题未知,也可以通过一些通用的启动语句引导模型聚焦问题,通用的提示可以是:“让我们首先理解问题的核心并制定一个解决方案的计划。”

2.划分子任务:对于大部分复杂问题,可以将其分解为更小的、更易于管理和解决的子任务。通用的提示可以是:“接下来,根据这个计划分解问题为子任务。”

3.制定具体计划:基于子任务,进一步细化出解决每个子任务的具体计划。可以使用类似于:“针对每个子任务,让我们制定一个具体的解决方案或步骤。”的提示。

4.执行并验证:鼓励模型按照计划执行,并在执行过程中检验每一步的正确性。可以用:“现在,按照我们的解决方案计划逐步执行,并检查每一步的结果是否符合任务的预期。”的提示来指导模型。

5.适时调整:如果在执行过程中发现问题或者结果与预期不符,需要准备好调整计划的提示,例如补充类似的提示:“如果我们发现任何步骤的结果不如预期,让我们回顾并调整我们的计划。”

6.总结答案:最后,鼓励模型汇总执行计划后的结果,给出最终的答案或解决方案,提示可以是:“最后,综合我们所有子任务解决方案执行的结果,总结出问题答案或最终解决方案。”

举个例子

在2022年大模型浪潮爆发后不久,开源的智能体项目也跟着大量的涌现。从最早AutoGPT推出时的轰动,到目前MetaGPT的逐步应用,我通过自己的跟踪测试能深切的体会到这项技术从“一言难尽”到日趋成熟,在工业生产中的使用指日可期。

AutoGPT和MetaGPT都是非常有前景的开源智能体产品,值得学习和借鉴。AutoGPT的运行可能会麻烦一些,建议在Docker环境下跑效果会更好,参考官方文档:https://docs.agpt.co;MetaGPT可以比较方便的在Python环境下运行,而且有中文官方文档:https://docs.deepwisdom.ai/main/zh/guide/get_started/introduction.html。

如果你不想编写代码,也快速体验智能体产品,使用Tavily会比较方便。Tavily的口号是“对耗时的研究说再见”——声称可以帮助你快速洞察和全面研究一个课题,从准确收集信息源到整理研究成果,并且将所有工作都集中在一个平台上完成。商业模式是对API调用次数及调用其高质量实时知识库增强推理(RAG)付费,值得借鉴。

Tavily可以提供一个沙箱(APIPlayground),供用户测试其“针对高质量实时知识优化的大模型增强检索”API,沙箱只开放通用知识库(垂直的高质量实时知识库需要付费才能使用),沙箱的测试结果会返回互联网上的相关知识集。我提出了一个极富挑战性的课题进行测试,效果如下图:

Tavily还提供了一个研究助手(Research Assistant)的Web应用,供用户在线使用智能体产品,需要用户使用自己的OpenAI API Key调用GPT4服务,支持“深度研究”,也就是要消耗更多的算力和时间(钱)获得更高质量的结果。我提出了一个很直接很实用的课题进行测试,消耗了大约2元多人民币的API调用费,获得了一份大约1500字的报告,过程如下图:

后面我继续针对这个课题测试了几轮,感觉还是有一些正确的分析和建设性的结果,但也存在比较多的“幻觉”,需要用户自行甄别,不完美,有提升的空间。有条件的话可以试用一下:https://app.tavily.com/chat。

集成大模型、RAG和智能体的方法和场景

通过前面的介绍,我们能够理解大模型、RAG和智能体这些技术和理念的潜力在于相互结合,形成更为强大和灵活的AI系统——即结合大模型的深层次语言理解和生成能力、RAG的垂直和实时的信息检索能力以及智能体的决策和执行能力。

这种集成可以通过多种方式实现,例如,通过中间件来协调不同技术的交互,或者通过在一个统一的框架下直接整合核心技术。目前,后者是比较主流的方式,因为LangChain(https://www.langchain.com)这个开源的AI开发门面和编排框架用来做这件事非常优秀。LangChain提供了一个框架,允许开发者将大模型“转化”为能够执行一系列动作的智能体,智能体利用大模型作为“推理引擎”,来动态的确定要采取哪些操作、使用哪些工具以及按什么顺序执行。LangChain框架主要能够提供Chain和Agent工具来帮助你构建智能体,Chain能够最大程度的方便开发者将不同的操作和处理步骤以链式的方式组合成AI流程;Agent工具由Agent类型、AgentExecutor、Tools(支持的工具列表:https://python.langchain.com/docs/integrations/tools)这几个部分构成,帮助开发者将实时信息交互、外部数据获取、三方系统调用等功能集成到“链”中以扩展或改善AI能力。例如:通过Google搜索获取实时信息、从OpenWeatherMap获取天气信息,以及从Wikipedia获取百科知识 。可以说,如果开发AI应用,LangChain不可或缺。(参考资料:https://www.ibm.com/topics/langchain)

目前,已经有一些比较典型的行业应用方案:

案例1:智能客服系统。在一个集成了大模型、RAG和智能体的智能客服系统中,大模型可用于理解用户的查询和生成自然语言回复,RAG技术可用于从企业的数据库和知识库中检索准确的信息以支持回复,而智能体则负责管理对话流程、处理事务性任务和执行复杂的用户请求。这种集成使得客服系统能够提供更准确、更人性化的服务,同时减轻人工客服的负担。

案例2:个性化教育平台。在个性化教育平台的例子中,大模型可以根据学生的学习进度和偏好生成定制的学习材料和测试,RAG技术可以从广泛的教育资源中检索相关信息以丰富教学内容,而智能体可以根据学生的反馈和学习成效调整教学策略和内容。这种集成不仅能够为学生提供更加个性化的学习体验,还能够帮助教师更好地理解学生的需求和进步。

案例3:复杂决策支持系统。集成大模型、RAG和智能体的复杂决策支持系统能够在金融、医疗和科研等领域提供强大的支持。在这种系统中,大模型用于处理和生成语言信息,RAG技术用于从大量数据中检索相关信息和案例,智能体则负责综合这些信息,形成决策建议。这种集成系统能够处理复杂的查询,提供基于数据的决策支持。

针对供应链物流领域通过集成大模型、RAG和智能体技术,可以从如下几个业务系统探索突破点:

1.仓储管理(WMS):结合RAG技术和智能体,系统能够实时从供应商数据库、仓库库存记录和销售数据中检索关键信息,智能调整库存水平,减少库存积压和缺货风险。

2.运输管理(TMS):通过分析地理位置数据、运输成本和时间要求,智能体可以规划最优的货物配送路线和调度计划。这一过程会利用大模型来处理复杂的逻辑和约束条件,以确保高效且成本效益的配送。

3.供应链销售与运营规划(S&OP):利用大模型处理历史销售数据、市场趋势和用户反馈,生成精准的需求预测报告。智能体能够学习并适应市场变化,实时调整预测模型,提高预测的准确性。

未来展望与挑战

对于未来,可以预见,AI的开发和应用会面临诸多的机遇与问题,诸如更加深度的领域知识融合、数据隐私和安全性等等。但最主要的趋势一定是未来的AI系统将具备更强的自适应学习能力并跳出虚拟世界,正如2023年黄仁勋提到人工智能的下一波浪潮是“具身智能(Embodied AI)”,即AI不仅能够理解和处理信息,还能够在物理世界中执行任务和作出反应。因此,智能体(Agent)在软件领域会快速的发展,当其足够成熟时,驱动硬件的智能体,即具身智能的规模化应用将是水到渠成的事情。随之而来的,AI伦理问题一定会受到越来越多的挑战:AI应用决策过程的透明度和可解释性、AI决策结果的偏见不公平甚至歧视、人类伦理原则是否得到遵守等,2024年春节期间和生活在欧洲的同学交流得知,目前一些西方国家已经在开展一些“反人工智能(AntiAI)”的运动和研究,但主流思想并不是反对人工智能的发展,而是建立人工智能治理框架和开发监管技术(例如区分AI生成的内容和人类生成的内容),以确保人工智能的发展优先考虑人类福祉、伦理因素和安全(参考资料:https://dotcommagazine.com/2023/08/anti-ai-top-ten-things-you-need-to-know)。

另外AI技术发展与社会发展的和谐相融的问题也非常值得思考,如何避免AI造成的技术性失业这个问题,对我们软件开发者而言显得特别重要。2024年3月在央视《对话》节目上,李彦宏表示,“以后不会存在程序员这种职业了,因为只要会说话,人人都会具备程序员的能力……未来的编程语言只会剩下两种,一种叫做英文,一种叫做中文”。回想20年前的软件开发行业,除了测试,诸如需求分析、画原型、网页开发、桌面开发、后台服务开发,甚至界面设计(美工兼职辅助平面设计)都是由程序员来做,几乎所有当时的“大厂”皆是如此,后来随着技术的演进和社会的发展,不仅编程开发这个行当分成了前端开发、后端开发、客户端开发、大数据开发、算法开发等诸多工种,连“美工”都分化成了视觉、交互、用研等专业领域,那么,未来在AI技术的发展下,这些角色的分工会重新合并,甚至不会存在了么?

可能会出现如下的趋势:

1.一定会提高效率和创造力。AIGC 可以大大提高设计人员和开发人员的效率,我们很多团队在2023年初就开始使用Midjourney辅助设计或使用JoyCoder和GitHub Copilot辅助编码,效果有目共睹。可以预见,在产品设计或代码生成等探索性和创造性阶段,通过AI智能体快速生成各种解决方案并将概念转化为可视化表达或代码,会变得越来越便捷并越来越具有实际价值。

2.开发者的角色可能会演变。开发者角色分工的界限会变得越来越模糊,全新的更具协作性和增强型的软件开发生命周期会出现。未来的开发者和设计师会减少用于日常编码或设计,甚至文档撰写的时间,而更多的时间用于明确智能体等AI工具的目标、解释人工智能生成的解决方案,以及将这些解决方案集成到多种不同的系统架构中。开发者的角色可能会演变为承担更多监督和管理的职能,以确保AI生成的设计和代码符合业务目标以及人类价值观。

3.软件开发这个行业会“民主化”。随着 AIGC 工具变得更加易用和强大,我们可能会看到越来越多没有传统设计和编码技能的人也可以发起或参与软件开发。这将使软件开发这个行业参与的业务领域更加多样化,数字化应用的范围更加广泛。

(参考资料:https://insights.sei.cmu.edu/blog/application-of-large-language-models-llms-in-software-engineering-overblown-hype-or-disruptive-change/)

与大家共勉。

作者:京东物流 胡奇

来源:京东云开发者社区

相关推荐

GPT-6凌晨上线智能UI:智能UI时代的技术架构重构与应对之道

从命令行到图形界面,计算机行业用了三十年证明了同一件事:人类需要视觉的、空间的、可重复的交互表面,纯文字从来只是过渡形态。智能界面的出现,意味着AI行业第一次大规模承认了这个规律——对话是创造的接口,界面是使用的归宿。生成的界面如何稳定下来?个人的数据与身份如何安全地沉淀?Agent的行动能力如何可信地放大?谁能把这三个问题答好,谁就站在了Personal Agent图形界面时刻的浪潮之巅。

京东科技开发者 221

AI 会写代码之后,交付为什么还没变快?

AI 写代码,只是这场变革的起点,而不是终点。真正决定一个组织能否吃到 AI 红利的,不是"能不能用 AI 写出代码",而是敢不敢用 AI 重新设计交付流程、重新划分角色分工、重新组织团队结构。研发视角能把工具和个人推到极致,却会在组织的边界前止步;只有站上组织视角,把AI × 工具一路推进到AI × 组织,那些被 AI 照出来的摩擦,才会真正被抹平。国际技术部 Multi AI Native 想做的,正是这件事——让 Agent 成为你可靠的数字战友,让每一次迭代交付都快一个量级;

京东科技开发者 311

OxygenData-Vibe搭建:用 AI Coding重新定义数据看板搭建

长期以来,数据看板开发主要有两种方式:一种是使用标准化 BI 工具,交付快、成本低,但图表样式、交互体验和功能扩展都受限于 BI 本身的能力;另一种是自研定制开发,能够充分满足复杂和个性化需求,但需要投入大量研发资源,交付周期也更长。比如一个通过 BI 只需要 1 天就能搭建出来的看板,如果采用自研方式,可能需要投入 30 PD 的研发人力。既然 BI 交付这么快,为什么不把所有看板需求都交给 BI?原因在于,业务某些场景需要的不只是把数据展示出来。

京东科技开发者 374

当我谈数据库高可用时我谈些什么

大家都经常听到说数据库的双1,那双1指的是什么呢?参数=1(最安全)≠1(更快但可能丢)每次提交都把 redo 刷盘0/2:攒着刷,崩溃丢最近 1 秒每次提交都把 binlog 刷盘0/N:攒着刷,崩溃丢最近若干条"双 1"(都设为 1)= 单机不丢已提交事务的前提。生产核心库必须双 1;代价是每次提交两次 fsync。小结:单机层用 WAL 提速、用 2PC 保证 redo/binlog 一致、用崩溃恢复裁决半成品事务、用双 1 兜底持久性。

京东科技开发者 319

ScoAI:面向供应链的运筹原生决策智能

ScoAI 关注的并非 AI 能否进入供应链,而是 AI 参与供应链决策之后,哪些内容适合通过数据学习,哪些关系必须显式计算,以及哪些结果需要依据执行记录进行验证。其基本分工是:供应链业务定义问题、资源与行动后果,运筹学表达目标、约束和协同关系,AI 提供可复用的估计与判断。真正用于改进后续决策的,不仅是模型生成的初始结果,还包括实际采取的行动及其产生的业务反馈。

京东科技开发者 405

拆解海博 AI-Native 落地保障:海博团队 AI 知识库能力建设

绕了一大圈,回头看,我们其实一直在解开头那三个结:AI 读不懂系统、影响面靠人脑记、测试预期没处查。做到这里,本质上是把"AI 用不好"这个问题,从"是不是该换个更强的模型"重新定义成了"怎么把上下文经营好"。顺着这个思路,我们攒下了这么几样东西:•。

京东科技开发者 561

从零构建一个生产级记忆型 AI Agent —— AgentScope 项目全景技术与学习指南

domain 层端口接口(domain)职责适配器实现(infra)对话流水账读写经验记忆检索/落库请求级幂等四态会话元数据 CRUD会话级 Skill 选择态Skill 元数据HITL 权限网关(domain 内含逻辑,见第四篇)StreamSink技术中立的流式下沉(client 层桥接)以幂等端口为例,头部注释明确写道:实现 domain 端口,持有实体不出 infra 边界,对外只暴露嵌套视图GateResult。

京东科技开发者 613

数据涅槃:Agentic 重塑搜推数据生产体系

当前大模型已经能够理解需求、生成代码和解释错误,但数据生产的难点并不只是“写出一段 SQL”。一个需求还要经过数据源确认、口径澄清、加工编排、资源规划、任务提交、调度运行、结果交付和故障处置。任何一步缺少都可能让“看起来正确”的任务变成生产事故。

京东科技开发者 380

81.8 秒的视频,我们改了 15 个版本:一次纯 Codex 驱动的 AI-native 视频实践

81.8 秒、15 个版本,这些数字真正想说明什么?视频制作正在从一组专业软件里的复杂操作,变成一场围绕目标、参考和反馈展开的持续对话。AI 已经可以接住从脚本到交付的大量工作。你可以把精力留给更重要的部分:理解观众、选择故事、判断好坏。过去停在 PPT 和脑海里的想法,现在有机会被快速做成一支能看、能改、也愿意转发的视频。如果明天就要介绍你手头的项目,你最想先把哪一步交给 AI?

京东科技开发者 467

Codex 驱动的移动端AI全栈开发:从 Relay 原型图到可交付链路

AI 编程工具降低了跨端开发门槛,但“让 AI 写页面”并不等于“完成移动端交付”。PC 运营端页面通常以功能闭环为中心,设计约束较弱,研发可以基于组件库快速搭建;移动端 C 端页面直接面对用户,Relay 原型图和 UI 设计稿不仅是视觉参考,更是交互、信息层级、状态反馈和业务信任感的综合契约。

京东科技开发者 593

Claude Code vs Codex 记忆体系深度对比

Claude Code —— 分层自动记忆系统四层分层架构(CLAUDE.md / Auto Memory / Session Memory / AutoDream)构成自优化闭环,系统主动捕获、分类、去冗并跨会话接力经验。走的是自动化优先路线——让机器替人记忆、替人整理,以少量可控性的不确定换取强大的经验积累能力。Codex —— 声明式契约系统两层扁平架构(AGENTS.md 静态声明层 + 会话上下文层),记忆完全由人显式订立、显式修改,系统只读契约、绝不擅自变更。走的是可控性优先。

京东科技开发者 628

上游给空、下游拿到 -1,我把故障一直追到了 commons-beanutils 的构造函数

这篇手记是一份事后复盘,写在我们已经把修复推上线、把测试用例跑绿、把约束文档沉淀进团队库之后。非研发同事,可以直接从第八章开始看,前七章都是讲排障和代码分析。故障本身不复杂,修复也不复杂,但这次排查真正让我想写下来的,不是技术本身——而是从问题提报到解决全程AI的作用:问题定位:业务方反馈了一个异常单号说「下发失败」,一线运维同事直接在日志系统捞到相关的系统日志,用IDE打开下游代码库,把异常信息给到JoyCode——AI 直接指向了问题是serialType值非法,系统只接受0和1,而当前上游给的是-1。

京东科技开发者 719

SKill测评:谁才是真正的Skill之王?

巧合的是,阿里近期开源了一款名为 Skill-Up 的测评工具——它专门面向 Agent Skill 开发者,支持在 Claude Code、Codex、Qoder CLI 等真实 Agent Engine 环境中验证 Skill 的功能正确性,并可将失败用例转化为精准的修复指引,同时支持本地与 CI 环境的持续回归。2026年,Skill 的热度不减,已成为 AI 辅助编程领域的标配。在日常研发中,无论是沉淀个人经验,还是将团队的优秀范本标准化,将知识“蒸馏”为 Skill 已是大家的常规操作。

京东科技开发者 640

让AI真正参与工作!JoyDesk已上线京东云

JoyDesk提供覆盖AI资产管理、权限控制、安全策略、审批审计、运营监控等企业级治理能力,支持按组织、角色和项目进行精细化权限管理,并支持私有化部署,确保企业数据边界清晰、AI行为全程可追溯、安全策略灵活可配置,满足金融、政企等行业对数据安全和合规治理的要求,让AI真正成为企业可信赖的生产力。JoyDesk支持MCP协议、标准API、技能等多种开放接入方式,可快速连接企业现有业务系统,将业务能力封装为AI可调用的技能和专家,让AI能够理解业务流程、调用业务系统、完成业务任务,而无需改变企业原有IT架构。

京东科技开发者 673

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手【最终版】

这个项目展示了AI Agent 在垂直内容创作领域端到端自动化:从内容理解到播客输出,全流程 AI 驱动多模态融合:文字、图片、音频、视频统一处理专业级音频质量:音色设计 + 智能混音,输出广播级品质低门槛使用:可视化配置 + 自然语言交互,无需技术背景。

京东科技开发者 563

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(高级篇)

这是一个 AI 驱动的播客创作助手,专注于从文字/视频/音频内容识别到播客制作的全流程。你可以用自然语言与它对话,也可以上传视频和音频,它会理解意图、调用相应的语音合成工具,把他们变成真实的播客音频。

京东科技开发者 728

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(进阶篇)

这是一个AI 驱动的音频内容创作助手。你可以用自然语言与它对话,它会理解意图、调用相应的语音合成工具,把文字变成真实的播客音频,并保存在本地。关于项目的详细介绍见第一篇文章:第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)这篇文章更多介绍进阶篇添加的功能。

京东科技开发者 552

【全栈实践】第一个 AI Agent 项目:从零搭建 AI 音频创作助手(入门篇)

这个项目让我第一次把前端、后端、AI Agent 三块内容独立串联起来。技术选型上每一块都是当下主流的方案,实际跑通整条链路之后对"全栈"有了更具体的感受。框架版本要锁定:LangChain 这类快速迭代的框架,版本差异带来的问题远比你想象的多先跑通链路,再追求完美:新手阶段能把用户输入 → AI 处理 → 结果展示这条链跑通,比深入某个技术点更有价值多看官方文档:相比博客和教程,官方文档更新及时,特别是 LangGraph 这种新框架后续计划继续迭代,欢迎交流!

京东科技开发者 610

ICLR 2026 | 面向序列决策的贝叶斯集成方法

在这篇工作中,我们关注的是。

京东科技开发者 296

ICML 2026|NaviAgent:面向 Oxygen 智能体的可扩展工具编排

大型语言模型(LLM)越来越多地作为函数调用代理,调用外部工具来处理超出其静态知识范围的任务。然而,它们通常一次只调用一个工具,缺乏对任务结构的全局视图。由于工具之间往往相互依赖,这会导致错误累积和可扩展性差,尤其是在扩展到数百或数千个工具时。为了解决这些局限性,我们提出了NaviAgent,一种显式的双层架构,它通过基于图的工具关系建模将任务规划与工具执行解耦。在规划层,基于 LLM 的代理决定是直接响应、澄清意图,还是检索并执行一个独立于工具间复杂性的工具链。

京东科技开发者 389

实测 9 款 AI 架构图工具:从 Mermaid 美化到 GPT-Image2,一份选型清单

支持 5 类图(架构图、工作流图、时序图、数据流图、生命周期/状态机图),主题 4 种(Classic、Signal Flow、Blueprint、Editorial)+ 3 种色彩模式(Dark / Light / System Auto),输出格式含 HTML、PNG、SVG、WebM、Share Card PNG、JSON IR。它把提示词图库、图像生成案例、参考图编辑流程和命令行工具整合在一起,让 AI Agent 能直接调用 GPT Image 2 模型完成文生图、图生图、参考图编辑等任务。

京东科技开发者 906

别再守着 Claude Code 了——学会指挥它自主干活

回到开头那句:别再一句一句地喂它、然后守着屏幕。真正的用法是——把一件事想清楚、划好边界、给它一个能自我验证的目标,然后交出去。你会发现,省下来的时间不是一点半点。把重复的判断和执行还给机器,把真正需要你的判断留给自己。

京东科技开发者 587

CVPR 2026|Oxygen XR 团队在原生鱼眼高斯泼溅技术上带来新突破

京东零售技术团队联合清华大学提出DirectFisheye-GS框架,创新性地将鱼眼相机模型原生嵌入3D高斯泼溅管线,通过跨视角联合优化策略直接处理鱼眼图像,避免了传统去畸变预处理导致的信息损失。该方案在多个公开数据集上达到SOTA性能,有效解决了单视角优化引起的几何畸变和视角不一致问题,同时保持与现有3DGS工具链的兼容性。技术已应用于电商3D重建和4D体积视频等场景,显著提升了沉浸式体验。相关论文被CVPR 2026接收,为宽视场场景重建提供了高效解决方案。

京东科技开发者 355

拆解海博 AI-Native 落地保障:Harness、双 Loop、知识库与技能自主迭代实践

海博研发RoadMap 的落地,彻底终结了 AI 编程“对话式玄学”的旧模式,真正落地了AI Native 研发工程化。它证明 AI 规模化赋能研发的核心,不在于堆砌大模型能力,而在于用工程思维重构 AI 的工作范式:用结构化流程替代随机对话,用固化规则约束模型行为,用持续沉淀实现能力复利,用分层架构支撑规模化落地。

京东科技开发者 638

让 AI 快速「读懂」你的代码仓:Joy-Code-Graph 云端图谱服务的三次进化

代码知识图谱不是要取代 AI 的智能,而是要补齐它对代码全局关系的认知盲区。当 AI 能一眼看清「谁调用了谁、改动会波及哪里」,它写出的代码才真正靠谱;当这份认知安全地留在自己手里、随时被 Joygen 调用、并且永久沉淀在代码仓里——AI 编程的体验,才算真正上了一个台阶。这,就是我们做 Joy-Code-Graph 云端服务的初衷。能力共享,数据自主;一次建图,长期受用。

京东科技开发者 752

【Coding生态】从代码托管到 AI 能力底座:与Coding一起共建 AI 研发生态

前两种框架能够很好地支撑对话式能力和预设流程式能力。它们适合基于提示词或预设工作流完成研发问答、知识查询、流程编排等任务。但在更复杂的研发场景中,仅仅“回答问题”还不够。当用户业务逻辑复杂时,一旦场景进入真实落地阶段,例如下载代码、修改文件、执行命令、安装依赖、运行测试、读取完整代码文件,或者与自有系统联动、将结果渲染到 Coding 页面、推送到京 ME,AI 应用需要的不只是知识能力,还需要真实的代码库操作能力和独立可执行环境。

京东科技开发者 768

GPT-5.6、ChatGPT Work 与 Codex 更新食用指南

三档模型当前都提供 1,050,000 tokens 上下文、922,000 tokens 最大输入和 128,000 tokens 最大输出,接受文本与图像输入、输出文本,并支持 web search、file search、Computer Use、MCP、Tool Search、Skills、Apply Patch 等工具。Work 可以读取你提供的文件,通过插件连接 Slack、Google Drive、SharePoint、邮箱、日历、CRM 或项目系统,调用获批工具,并在执行中展示进度。

京东科技开发者 871

把业务流程沉淀成高质量 Skill 的实践路径

使用Record & Replay创建的Skill,尽管创建流程简单,但它的本质实际是让 AI 去操作页面,这不但有可能影响我们对电脑的操作,还有可能无法稳定复现。创建Skill时,可以使用 Codex 的 Record & Replay 插件,把一次手工操作录下来,再让 AI 生成可复用流程。刚开始切换时,很容易遇到接口报错,可以让Codex排查原因进行优化,直到可以稳定执行;补充相应业务背景,说明这件事为什么要做,谁会用,输入从哪来,输出给谁看。电脑休眠、关机、软件没开时,本地任务可能无法执行。

京东科技开发者 836

政企前台AI-Agent的架构实践:打造可复用的 AI 服务平台-【灯塔计划】

不止是爆火的龙虾,还是各种Skills,MCP、Agent,脱离的具体的场景谈方案,最后只会是一场空。这一套可复用的 AI 服务平台,截止目前,通过前后端对接规范文档,多项能力已快速接入到各个场域的不同端平台,大幅降低研发成本, 并且各业务线新场景的接入从原来的 “开发驱动” 转为 “配置驱动”,接入周期从天维度缩短至小时级。

京东科技开发者 864

京东 Oxygen xLLM 大模型推理引擎正式捐赠开放原子开源基金会,共建国产 AI Infra 生态

下一阶段 AI 基础设施的核心命题,不是简单的算力堆叠,而是让工程本身变得智能——让调度系统能自主感知负载特征并动态优化,让推理引擎能根据模型结构和硬件特性自动生成最优执行方案,让整个 AI 工程链路具备自感知、自决策、自优化的能力。未来,Oxygen xLLM 的项目官网、社区沟通渠道及微信社区将陆续向开发者开放,诚邀芯片厂商、模型厂商、云厂商、企业用户及个人开发者共同参与,让国产大模型推理引擎在开放生态中加速成长。硬件层,原生支持 GPU / NPU / MLU 多类 AI 芯片,深度适配国产芯片。

京东科技开发者 1007
上一篇: 让农户“养得起、管得好、卖得出、赚得多” 京东农业科技放大招!
下一篇: 大厂B端/G端数据可视化项目如何做设计评审
京东云开发者
京东云开发者 企业官方账号 企业官方账号
博客等级 码龄8年 1万+粉丝 2140原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值