csdn1561168266的博客

Open WebUI 迎来重要更新，现已正式支持 MCP 工具服务器，但 MCP 工具服务器需由兼容 OpenAPI 的代理作为前端。mcpo 是一款实用代理，经测试，它能让开发者使用 MCP 服务器命令和标准 OpenAPI 服务器工具，轻松连接工具与大语言模型（LLM）智能体及应用程序。本文将详细介绍 mcpo 工作机制，创建、部署新的 MCP 服务器，并集成到 Open WebUI 中，挖掘 MCP 工具服务器潜力，拓展应用场景。

谷歌的Gemma 3是一款开源大语言模型（LLM），聚焦性能、效率与功能提升，为开发者带来全新体验。它有10亿、40亿、120亿和270亿参数等多种规模版本，开发者可以灵活按需选择。多模态融合：能处理文本和图像，拓展应用边界。超大窗口：12.8万上下文窗口，擅长处理长文档和深度推理。灵活扩展：多种参数规模，适配不同场景和硬件。本地优化：单GPU可运行，减少云依赖。性能优越：在数学、编码和推理上超越同类模型。语言广泛：支持140多种语言，通用性强。自动化强：支持函数调用和结构化输出，便于集成。

大家好，在生成式人工智能（GenAI）的应用领域，检索增强生成RAG是当之无愧的热门技术。RAG 能够赋能企业充分挖掘大语言模型（LLM）的潜力，依托企业内部的知识库，如各类文档、报告和手册等，精准且高效地解答用户的各种问题。不过，搭建 RAG 系统并非易事，颇具挑战性，相关技术知识储备是绕不开的 “门槛”。正因如此，很多技术爱好者和企业都在寻找更简便的搭建方法。本文将介绍使用开源平台 Dify 和向量数据库 Milvus 来构建 RAG 系统。Dify 作为编排平台，能快速启动系统；

大家好，现在 AI 智能体在处理复杂推理任务上越来越强大，本文将介绍一个实用的技术组合。Smolagents，Hugging Face 开发的轻量级框架，能让大语言模型（LLMs）与现实数据处理无缝对接。DeepSeek-R1 是开源大语言模型里的 “性价比担当”，用 Ollama 部署到本地，运行效率超高。下面就详细教大家如何借助这二者，结合网页抓取和数据导出工具，搭建超厉害的推理智能体。

在智能体系统里，推理模型是 “心脏”。DeepSeek-R1 作为强大的推理模型，能够处理复杂查询。它可解析自然语言，结合知识库给出连贯且切题的回答，还能理解文档并提取关键知识。将 DeepSeek-R1 和知识库融合，系统便能依据向量数据库内容解决问题、回应查询以及推理。推理时，DeepSeek-R1 支持多步迭代，不断优化回复，直至得到满意答案，或达到预设的max_steps限制，以此确保推理准确又高效，推动智能体系统稳定运行。import os# 定义本地模型名称。

定义两个后处理器，根据索引创建查询引擎，并使用指定的相似度阈值和重新排序设置。返回配置好的查询引擎。

监督微调（SFT）是在有标签的数据集上对预训练模型进行进一步训练的过程，使其能够专门用于特定任务，如客户支持、医疗问答或电商推荐。

在基于模型蒸馏的示例项目构建中，定义并训练教师模型是关键的环节。这里，构建一个多层卷积神经网络（CNN）作为教师模型。# 教师模型keras.layers.Dense(10) # 不使用softmax，输出原始logits用于蒸馏])需要注意的是，模型最后一层设置了 10 个单元，对应 0 - 9 这 10 个数字，但未采用 softmax 激活函数，而是输出原始的 logits。

大家好，人工智能应用持续发展，对文档信息的有效处理、理解与检索提出了更高要求。大语言模型虽已在诸多领域发挥重要作用，但在文档处理方面仍有提升空间。本文将详细阐述如何整合Docling 和 LangChain，创建检索增强生成（RAG）系统，以突破局限，为大语言模型赋能，提升其处理文档信息的能力。

大家好，Meta公司新近推出的Llama 3.3 70B模型，为大型语言模型带来了新突破。这款模型不仅支持多语言，性能强劲，而且具备成本效益，有望彻底改变企业和科研人员利用AI的方式。本文带大家深入解析Llama 3.3 70B。

大家好，GraphRAG技术借助知识图谱，给RAG应用注入了新的动力，使其能够在海量数据中精确检索所需信息。本文将介绍GraphRAG的实现方法，包括如何创建索引以及如何利用Milvus向量数据库进行查询，助力在信息检索的道路上事半功倍。通过一个分支仓库来安装GraphRAG，这是因为Milvus的存储功能在本文编写时还未被官方正式合并。

Qwen2.5-Coder的推出，标志着智能代码语言模型进入了新的时代。这款模型具有高效性能和实用价值，不仅能够深入理解复杂的代码结构，还能提供精确的代码补全和错误检测，极大提升开发效率。本文详细介绍如何在本地系统上部署Qwen2.5-Coder，以及其与Ollama的集成方案，希望为开发者带来更流畅的开发体验。

大家好，大型语言模型（LLMs）如GPT-4在自然语言处理（NLP）领域有着重要作用，擅长生成文本、回答问题等任务。但这些模型也存在一些短板，比如对最新信息的掌握不足、难以实时更新知识库以及在处理大量信息时效率不高。为了解决这些问题，检索增强生成（RAG）技术应运而生，它通过整合外部数据源，提升了模型的响应质量和适用性。今天将介绍10种改进版的RAG技术，它们在检索和生成环节上各有侧重，覆盖了从通用到特定问题的解决方案，能够体现出RAG在促进自然语言处理（NLP）进步中的多样性和巨大潜力。

LangGraph是LangChain的高级库，为大型语言模型（LLM）带来循环计算能力。它超越了LangChain的线性工作流，通过循环支持复杂的任务处理。状态：维护计算过程中的上下文，实现基于累积数据的动态决策。节点：代表计算步骤，执行特定任务，可定制以适应不同工作流。边：连接节点，定义计算流程，支持条件逻辑，实现复杂工作流。LangGraph简化了AI开发，自动管理状态，保持上下文，使AI能智能响应变化。它让开发者专注于创新，而非技术细节，同时确保应用程序的高性能和可靠性。

大家好，大语言模型（LLMs）对自然语言处理（NLP）的影响是非常深远的，不仅提高了任务效率，还催生出新能力，推动了模型架构和训练方法的创新。尽管如此强大，但LLMs也有局限，有时需要针对特定任务进行特别优化。通过对LLMs进行微调，可以大幅提升模型的性能，同时降低训练成本，获得更贴近实际应用的上下文结果。

大家好，下面将介绍一个开源项目，即一款创新的生成式搜索引擎，能够实现用户与本地文件的智能互动。此项目在微软Copilot等现有工具的基础上，推出了一种开放源代码的替代方案，旨在推动技术共享与创新。

状态空间模型是一种通过数学方法全面描述系统状态的方式，包含了描述系统所必需的全部最小变量。简单来说，就像在迷宫中寻找路径，状态空间就是那张展示所有可能位置（即状态）的地图。在这张地图上，每个点都代表一个独特的位置，并且携带了如距离出口远近等具体信息。进一步简化这个概念，可以将“状态空间表示”理解为这张地图的提炼，它不仅告诉我们当前所在的位置（即当前状态），还展示了可能的目的地（未来状态），以及如何通过特定的行动（比如右转或左转）达到下一个状态。

大家好，2024年4月，Meta公司开源了Llama 3 AI模型，迅速在AI社区引起轰动。紧接着，Ollama工具宣布支持Llama 3，为本地部署大型模型提供了极大的便利。本文将介绍如何利用Ollama工具，实现Llama 3–8B模型的本地部署与应用，以及通过Open WebUI进行模型交互的方法。

LangGraph是LangChain的增强版，专注于构建智能体及多智能体流程。其核心优势在于新增的循环流程构建功能以及内嵌的记忆机制，这些特性对于智能体的构建极为重要。LangGraph为开发者提供了高度的控制能力，这在自定义智能体和流程的开发中极为关键。市面上绝大多数的智能体都是针对特定应用场景进行了定制。LangGraph不仅赋予了开发者灵活定制智能体的能力，还提供了直观且易于操作的开发体验。

LLM是如今大多数AI聊天机器人的核心基础，例如ChatGPT、Gemini、MetaAI、Mistral AI等。这些LLM背后的核心是Transformer架构。本文介绍如何一步步使用PyTorch从零开始构建和训练一个大型语言模型（LLM）。该模型以Transformer架构为基础，实现英文到马来语的翻译功能，同时也适用于其他语言翻译任务。（本文以论文 "Attention is all you need " 来构建 transformer 架构。

大家好，大型语言模型（LLMs）正引领人工智能技术的创新浪潮。自从OpenAI推出ChatGPT，企业、开发者纷纷寻求定制化的AI解决方案，从而催生了对开发和管理这些模型的工具和框架的巨大需求。LlamaIndex和LangChain作为两大领先框架，二者各自的特点和优势，将决定它们在不同场景下的应用。本文介绍这两个框架的主要差异，帮助大家做出明智的选择。

迁移至LangGraph的智能体会获得更深层次的能力和灵活性。按照既定步骤并理解系统消息的概念，将有助于实现平滑过渡，并优化智能体的性能表现。为了获得更全面的迁移指导和掌握高级技术，建议查阅官方LangChain文档。

LangChain智能体需要访问工具，这些工具将使它们能够与外部数据源一起工作。目前，还没有与Spotify API的原生集成，因此需要从BaseTool类继承并构建一个Spotify工具，然后将其交给智能体。name = "Spotify音乐推荐器"description = "当被要求提供音乐推荐时使用此工具。请注意，我们提供了何时使用此工具的描述，这允许LLM使用自然语言理解来推断何时使用该工具，还提供了工具应该期望的输入的模式。

MLOps（机器学习操作）：MLOps是一种结合机器学习、软件工程和DevOps实践的方法论，核心目标是简化机器学习模型的部署、管理和维护。它侧重于实现机器学习系统整个生命周期的自动化，包括数据准备、模型训练、部署、监控和再训练。LLMOps 特指与语言模型（如 ChatGPT）相关的操作实践。它涉及语言模型生命周期的管理，包括训练、微调、部署、监控和版本控制。LLMOps的目标是确保语言模型在其生命周期内的可靠性、性能和安全性。

LLMOps，即语言模型运维，指的是管理和部署像OpenAI的GPT系列这样的大型语言模型（LLMs）所涉及的实践和流程。LLMOps包含一系列活动，包括：模型训练和开发：包括收集和准备数据集，在这些数据集上训练模型，并根据性能指标迭代改进模型。模型部署：将LLMs部署到生产环境中，用户可以访问或集成到应用程序中。监控和维护：持续监控生产中LLMs的性能，确保它们按预期运行，并根据需要进行维护。扩展和优化：扩展基础设施以支持LLMs的使用，并优化模型和基础设施以提高性能和成本效率。

综上所述，Neo4j 通过整合其内置的向量搜索功能，显著提升了对检索增强生成（RAG）应用的支持能力。这不仅加强了其在传统结构化数据分析方面的优势，还使其能够更有效地处理非结构化文本数据。本文详细介绍了如何利用Neo4j Aura和Neo4j Desktop来存储向量索引，并在LangChain框架的辅助下，构建出高效的RAG应用。

在当今快速发展的语言模型领域，LLM-OPS代表了一项重要的技术突破，它架起了数据科学与DevOps之间的桥梁。通过整合Git Flow、基础设施即代码（IaC）、零信任安全框架和不可变工件等先进实践，LLM-OPS极大地提升了数据科学家在开发大型语言模型（LLM）时的效率，帮助顺利应对各种挑战。这些综合能力不仅推动了生成式AI技术在众多应用程序中的深度融合，也为未来的技术创新奠定了坚实基础。

大家好，随着大型语言模型（LLM）驱动的聊天机器人逐渐普及，给人们的工作和生活带来了前所未有的便利。然而，这种便捷性背后潜藏着个人隐私信息被泄露的风险，例如AI公司会收集聊天记录和元数据来优化模型，从而提升服务，这不禁让用户担忧。对于注重隐私的用户而言，本地部署这些模型，可以有效保护个人隐私，同时也能更自主地管理自己的数据。本文将介绍5个在本地使用大型语言模型（LLM）的工具，这些工具不仅兼容主流操作系统，而且安装过程快捷简便。

由于模型只能记住有限的信息，不能直接用来总结很长的文本，为了总结长篇文档，可以采用一种逐步总结的方法。就像阅读一本书时，可以通过一章又一章地提问来总结每个部分。每个部分的摘要可以串联起来，形成对整个文档的概括。这个过程可以一层一层地递归，一直到总结整个文档为止。如果需要理解后面的内容，可能会用到前面的信息。在这种情况下，另一个有用的技巧是在阅读到某一点之前，先看一下摘要，并了解这一点的内容。

大家好，在信息检索的世界里，查询扩展技术正引领着一场效率革命。本文将介绍这一技术的核心多查询检索，以及其是如何在LangChain和Llama-Index中得到应用的。

大家好，Langchain智能体在定制对话界面方面具有实际应用潜力，能够灵活适应并满足用户的多样化需求。借助Langchain，开发者可以整合多种格式数据，如URL链接或PDF文件，来构建一个专属知识库。这个知识库不仅能够为智能体提供丰富的信息资源以回答问题，还能结合搜索引擎或Zapier等工具，实现更多自动化功能。本文详细介绍如何搭建Langchain智能体，使其能够依据PDF文档内容提供答案，并通过Zapier平台自动化发送邮件。通过这些流程，大家能够深入了解并实践Langchain智能体的强大功能。

大家好，数据分析和数据处理是数据科学领域每天都在进行的基本任务。高效和快速的数据转换对于提取有意义的见解和基于数据做出明智决策至关重要。其中最受欢迎的工具之一是Python库Pandas，它提供了一个功能强大的DataFrame工具，使用灵活直观的结构简化了这些任务。然而，DataFrame需要编写代码，对于没有编程知识的人来说可能具有挑战性。为了弥补这一差距，使数据分析更广泛地应用，LangChain和OpenAI的GPT-4的组合非常有用。

LLMOps（Large Language Model Operations）是机器学习运营（MLOps）的演变，专门针对大型语言模型（LLMs）的独特需求和挑战。LLMOps 超越了MLOps的通用模型生命周期管理，更加专注于大型语言模型。核心目标是确保大型语言模型能够高效、稳定地运行，并能够持续提供高质量的输出，这包括但不限于模型的训练、调优、部署、监控和优化等环节。LLMOps对于实现大型语言模型在各种应用场景中的成功落地起着关键作用。

对IRModule中的函数运行多个转换，以获取经过优化和可运行的代码，TensorIR是用于优化具有张量计算的程序的编译器抽象。目前，此功能仅在Chrome Canary和最新版本的Chrome中可用，将这一功能扩展到更多支持的浏览器集合将是很有帮助的。用户不再需要昂贵的API调用和推理服务器，WebLLM使用底层系统的GPU和处理能力，因此运行WebLLM只需要一小部分成本就可以了。该系统是用Python开发的，并使用TVM运行时在Web上运行，通过运行一系列优化，将其嵌入到Web浏览器中。

大家好，检索增强生成（Retrieval-Augmented Generation，简称RAG）是一种先进的人工智能技术，通过整合大型语言模型（LLM）的内部知识和外部权威数据源，来提升生成式AI模型的表现。本文将介绍如何有效编写检索查询，进一步提升LLM的输出质量，使用Python和Langchain框架（专为与LLM互动而量身打造的平台）来详细阐述这一过程。通过这种方式，开发者能够更精确地从大量数据中提取所需信息，从而在各种应用场景中实现更高质量的AI生成内容。

大家好，近年来大型语言模型（LLMs）因在多个领域的文本生成能力受到广泛关注。然而，LLMs有时会产生错误或生成无意义的文本，这种现象常被称为“幻觉”。例如，询问ChatGPT法国是什么时候赠送给立陶宛维尔纽斯电视塔的，ChatGPT可能错误地会回答“在1980年”，这与事实不符，因为法国与维尔纽斯电视塔毫无关系。为了减少LLM在特定领域产生此类错误信息（即“幻觉”），可以将其连接到一个包含准确结构化数据的SQL数据库。

大家好，数字时代推动我们进入了由人工智能和机器学习为主导的时代，向量数据库已经成为存储、搜索和分析高维数据向量的不可或缺的工具，本文将介绍5个顶级的向量数据库。

大家好，在人工智能领域，数据处理和加工的需求愈发增加。随着人们深入探索AI高级的应用，如图像识别、语音搜索和推荐引擎等，数据的复杂性也在不断地增加。此时传统的数据库存储方式已不能完全满足需求，向量数据库应运而生。与传统数据库存储标量值不同，向量数据库专门设计用于处理多维数据点，也称为向量。这些向量在多个维度中表示数据，可以被视为在空间中指向特定方向和大小的箭头。数字时代推动我们进入了由人工智能和机器学习为主导的时代，向量数据库已经成为存储、搜索和分析高维数据向量的不可或缺的工具。

大家好，像LLaMA 2这样的新开源模型已经变得相当先进，并且可以免费使用。可以在商业上使用它们，也可以根据自己的数据进行微调，以开发专业版本。凭借其易用性，现在可以在自己的设备上本地运行它们。本文将介绍如何下载所需的文件和LLaMA 2模型，以运行CLI程序并与AI助手进行交互。设置非常简单，即使是非技术用户或学生也可以按照这几个基本步骤进行操作。

大家好，本文将介绍使用 LangChain、LlamaIndex 和 Azure OpenAI 开发自定义知识库，学习使用提供的 Python 代码摄取、索引和查询数据。