AI从业者的专栏

MCP（模型上下文协议）是一种标准化的通信协议，专为 AI 工具（如聊天机器人、代码助手、AI Agent 等）与外部系统的集成而设计。它为 AI 引入了“使用工具”的能力框架，使其不仅能理解自然语言，还能主动调用系统资源、访问数据或执行操作。MCP Server 的出现，正在重塑 AI 的能力边界，使其从单纯的对话机器演化为能够完成实际任务的智能助手。

Dify凭借其多模型支持企业级LLMOps能力和灵活部署选项，成为开发者构建生产级AI应用的首选平台。与Coze、Langflow等工具相比，Dify在复杂任务处理与生态整合上更具优势，但在易用性和垂直领域检索精度上仍有优化空间。对于需要快速落地的企业场景，Dify+RAG/Workflow/Agent的组合能显著提升自动化水平与决策效率。

在 AI 领域快速发展的今天，Dify 作为一个开源的 AI 应用开发平台，凭借其模块化设计和强大的技术栈，吸引了大量开发者关注。本文将详细解析 Dify 的技术栈，帮助大家快速了解其核心架构和实现细节。

2012 年，谷歌正式提出了知识图谱（ Knowledge Graph）的概念，旨在实现更智能的搜索引擎，并且于 2013 年 以后开始在学术界和业界普及。下图是 Goolge 搜索中的结果，不仅仅给出了 pagerank，还给出了知识图谱的搜 索结果。目前，随着智能信息服务应用的不断发展，知识图谱已被广泛应用于智能搜索、智能问答、个性化推荐、情报分析、 反欺诈等领域。

在人工智能领域，随着大型语言模型（LLM）的广泛应用，如何高效地利用外部知识来提升模型在知识任务上的表现成为了研究热点。检索增强生成（RAG）架构在一定程度上解决了 LLM 知识局限的问题，看到一篇新的文章《Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks》有些新的思考，整理出来分享给大家。

回顾GPT的发展历程可分为四个阶段：GPT-1、GPT-2、GPT-3和ChatGPT。GPT-1作为早期基于Transformer架构的模型，采用"pretrain + finetune"范式，但受限于模型规模，未被广泛应用。GPT-2引入了新范式，通过大规模预训练，无需监督数据即可完成多种任务，开启了zero-shot学习的先河。GPT-3进一步扩大了模型和数据规模，实现了在zero-shot任务中的显著效果，尤其在无需编程技能的场景下。

提示工程是与LLM有效合作的关键。通过理解并应用CO-STAR框架、分隔符、LLM护栏和适当的任务分解技术，我们可以最大化LLM的潜力，获得更准确、更有用的输出。详细内容，可查看原文。

LangChain是一个专为开发大型语言模型（LLMs）驱动的应用程序设计的框架，它通过简化和优化LLM应用的开发、生产化和部署过程，为开发者提供了强大的支持。本指南将帮助你快速了解并上手LangChain。

在新金融格局下 ，金融机构对科技的敏感度和应用能力各不相同 ，一方面，金融科技渗透到生活的方方面面，变得触手可及；另一方面伴随数字化程度越高，其对新科技应用的速度也越快。深度学习算法还在不断发展 , AI产业仍处于快速进化期。深度学习算法在金融领域的应用，正在通过从海量数据中提取模式和特征来实现前所未有的精确度和效率。随着数据量的增加，深度学习模型能够更准确地捕捉市场动态和用户行为，从而提供更加精准的预测和决策支持。

Llama 3.1 是 Llama 3（ 2024 年 4 月发布）的点更新，Llama 3.1 405B 是该模型的旗舰版本，顾名思义，它拥有 4050 亿个参数。Meta AILlama 3.1系列的发布，特别是405B模型，代表了对开源大型语言模型领域的显著贡献。虽然它的性能可能无法始终超越所有封闭模型，但它的功能以及 Meta 对透明度和协作的承诺为人工智能发展提供了一条新的道路。其次，多种模型尺寸和共享增强功能的可用性扩大了研究人员、开发人员和组织的潜在应用范围。

在当前的人工智能领域，模型接入、应用发布、应用构建、知识库和工作流编排等功能是衡量一个AI平台综合能力的重要指标。本文将对FastGPT、Dify和Coze这三款产品的功能进行详细对比分析，以帮助用户更好地了解它。

Mem0 的 LLM 记忆实现方法与检索增强生成 (RAG) 等传统方法相比具有明显优势。与从静态文档中检索信息的 RAG 不同，Mem0 的记忆层可以理解和关联不同交互中的实体，保持上下文连续性并优先考虑相关的最新信息。这种动态更新功能可确保记忆保持最新状态，从而提供针对单个用户交互量身定制的准确响应。记忆层利用多种类型的记忆，例如语义记忆和情景记忆，来创建一个模仿人类记忆过程的强大系统。这包括从交互中推断用户偏好、巩固记忆和动态更新存储的信息。

利用大模型对实体、关系和声明的描述进行抽象总结，形成对概念的独立有意义的摘要。这一过程依赖于大模型对文本本身未明确表述的概念（如隐含关系）的理解能力。为每个社区生成摘要，这些摘要不仅有助于理解数据集的全局结构和语义，而且在没有具体查询的情况下，也可用于对整个文档集合的理解。社区摘要的生成考虑了节点的重要性和连接度，以确保社区内的关键信息被有效捕捉。GraphRAG技术以其革命性的知识图谱融合和检索增强能力，为人工智能领域带来了新的突破。

Agent 来自一种哲学概念，是个很古老的哲学术语，从哲学意义上讲，“代理”的概念涉及实体的自主性，具有行使意志、做出选择和采取行动的能力，而不是被动地对外部刺激做出反应。后来人们将这一概念引入计算机科学领域，用 Agent 概念指代整个人工智能，认为人工智能是“基于计算机的、表现出智能行为各个方面的 Agent”，因此可以理解为 AI Agent 是 Agent 这一哲学概念在人工智能领域的具体化，是能够感知周围环境，做出决策，然后采取行动的计算实体。

Agent本身是类似于DM的升级版，能够充分利用对环境的感知，进行决策规划，充分调用LLM的能力。私有化部署时，集成到企业工作流中，面临的边际成本很难降低，且没有通用性。Agent需要调用外部工具，调用工具最好的方式就是输出类Makedown代码由LLM大脑输出一种可执行的代码，像是一个语义分析器，由它理解每句话的含义，然后将其转换成一种机器指令，再去调用外部的工具来执行或生成答案。

垂直化训练技术指的是针对特定行业或应用场景，对大语言模型进行定制化训练，使其能够更好地理解和生成特定领域的内容。这种训练方式的重要性在于，它能够提高模型在特定任务上的表现，同时减少对通用数据的依赖。垂直领域AIGC应用的关键点对现有的GPT模型进一步挖掘潜力，生成更有性价比的垂直大模型方案对优质训练数据的蒸馏加工，更好的体现垂直化、专业化的应用为toB客户量身打造好的大模型方案，探索更好的效果和高价值应用场景针对垂直应用场景，值得探索prompt等产品创新和功能增强垂直化训练的难点数据专业性。

预训练对齐是连接数学理论与工程实践的桥梁。通过不断优化对齐方法和策略，我们可以提高模型的性能，使其在各种任务中都能发挥出色的作用。本文探讨了预训练对齐的多个方面，从理论到实践，从方法到应用，旨在为读者提供一个全面的视角，以更好地理解和应用预训练对齐技术。

在人工智能的迅速发展中，ReAct Agent作为一项前沿技术，受到越来越多的关注。本文结合ReAct Agent 提出者的访谈内容，探讨ReAct Agent的研究背景、技术挑战、未来展望，以及它与大模型的紧密联系，分析其科研成果与商业化落地的可能性，供读者参考。

大语言模型的未来充满机遇，它们将在技术创新、行业应用和用户体验等多个方面发挥关键作用。开源工具和改进思路将促进LLM的普及和优化，定制化大模型将满足特定行业的需求，多智能体协同和神经+符号技术范式将推动智能系统的进一步发展。新一代应用开发范式将利用LLM和知识图谱的能力，实现更加智能化和自动化的应用开发。

最近Kimi公布了一篇的文章，详细介绍了Kimi背后的推理架构，因此笔者想到用Kimi解读Kimi，梳理相关技术要点如下，供大家参考：文章 "Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving" 介绍了 Mooncake 这一为大型语言模型(LLM)服务而设计的服务平台。

检索增强生成（Retrieval Augmented Generation，简称 RAG）向 LLM 提供了从特定数据源检索的信息，以此作为生成答案的基础。简而言之，RAG 结合了搜索和 LLM 的提示功能，在此基础上，模型根据搜索算法提供的信息，作为上下文来回答问题。这些查询和检索到的上下文会一并被注入到发送给 LLM 的提示中。目前有两个最著名的开源库专注于基于 LLM 的流程和应用开发 ——LangChain 和 LlamaIndex。

首先，从定义上来看，AI Agent通常指的是一个能够执行特定任务的智能系统，它在预设的参数和规则下运行，具有一定的自主性和自适应性。而Agentic AI则是一种更为高级的形态，它不仅包含了AI Agent的所有特性，还强调了在更少或没有人类干预的情况下，系统能够自主设定目标、规划并执行复杂任务的能力。

AI Agent的迅速发展得益于大型语言模型（LLM）的驱动。自从2023年以来，LLM Agent因其在研究、框架和应用方面的迅猛发展而受到广泛关注。Agent的概念源自于能够通过传感器感知环境，并通过执行器对环境做出反应的实体。在工程实现上，AI Agent可以拆分为规划、记忆、工具和行动四大核心模块。AI Agent代表了工作流的革新，它们不再是简单的指令执行者，而是能够进行自我反思、规划和修正的参与者。设计有用的Agent AI应用需要考虑通信机制、记忆机制和工作流设计。

生成式AI正以其独特的方式重塑着我们的世界，它不仅为用户带来了全新的体验，也为企业提供了一个强大的工具来提高生产力和创新能力。随着技术的不断进步和应用场景的不断拓展，我们有理由相信，生成式AI将成为推动未来商业发展的重要力量。亚马逊云科技的生成式AI解决方案为我们提供了一个强大的平台，使我们能够轻松构建和扩展生成式AI应用程序。随着技术的不断成熟和市场的不断开放，我们期待看到更多创新的生成式AI应用诞生，为我们的生活带来更多的便利和乐趣。

随着人工智能技术的蓬勃发展，大语言模型（LLM）如Claude等在多个领域展现出了卓越的能力。如何利用这些模型的语义分析能力，优化传统业务系统中的搜索性能是个很好的研究方向。在传统业务系统中，数据匹配和检索常常面临诸多挑战，例如用户使用门槛高、业务变化适应性差以及搜索匹配效果不佳。生成式AI的出现为这些问题提供了新的解决方案。

面向AI时代的软件开发新范式，不仅仅是技术的革新，更是对软件开发思维和方法的一次深刻反思。作为开发者，只要我们不断学习和适应，就能在AI时代中找到自己的位置，创造出更加智能、高效和创新的软件。

通过持续迭代、验证、反馈和交付，我们能够确保AI Workflow在实现智能化的同时，也能够满足用户的实际需求，推动人工智能技术的长远发展。AI Workflow的难点，精确控制的记忆和自有系统逻辑的融合，主动被动结合沟通的场景，都需要我们在开发过程中进行细致的考虑和设计。然而，随着技术的发展，我们面临着一系列挑战，如何有效地应对这些挑战，实现AI Workflow的敏捷开发，成为了一个值得探讨的话题。最后，尽管大模型的出现可能会改变我们对编程语言的依赖，但工程思维和敏捷开发的方法论是不变的。

大模型方向开源项目相关热点主观解读模型训练Bloom、ChatGLM、LLaMA、Dolly20门槛克隆ChatGPT！30分钟训完，60亿参数性能堪比GPT-3.5、Llama-X开源！唿吁每一位NLPer参与推动LLaMA成为最先进的LLM、Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality、ChatGPT平替「小羊驼」Mac可跑！2行代码单GPU，UC伯克利再发70亿参数开源模

苹果端侧、云端模型细节

一文读懂RAG

多模态AI作为人工智能领域的重要分支，具有广阔的发展前景和应用潜力。然而，在推动其发展的同时，我们也必须关注并解决其中的难点和挑战，特别是隐私保护和伦理问题。展望未来，我们既期待多模态AI能够在更多领域得到应用，为人类带来更多的便利和福祉，也需要保持对新技术发展的审慎态度，确保AI技术的发展符合社会伦理和道德标准，为人类社会的可持续发展做出贡献。这个过程也需要相关企业和研究机构能够加强合作，共同推动多模态AI技术的发展和应用。

AGI，即人工智能通用智能，它代表了AI智商超过人类，能够执行聪明人的工作的能力。这是一个充满挑战和机遇的领域。在短期内，我们可能会高估AGI的能力，但在长期看来，AGI的潜力和影响力是不可低估的。随着技术的不断进步和应用的不断拓展，AGI将在医疗、教育、金融、交通等各个领域发挥重要作用，推动社会的进步和发展。AI大模型的发展为我们带来了无数的机遇和挑战。在这个过程中，我们需要积极拥抱AI大模型，理解并应用在我们的生活和工作中。

关于多模态模型设计的构思——直接以原始图像的Patch作为图像输入，文本部分还是常规预测下一个Token，图像部分则用输入加噪图像来重构原图，这种组合理论上能以最保真的方式实现多模态生成。初步来看，直接以原始图像的Patch作为输入的Transformer，是有可能训练出成功的图像扩散模型的，那么这种扩散与文本混合的模型设计，也就有成功的可能了。