自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(24)
  • 收藏
  • 关注

原创 供应链智能决策中的运筹优化实践:从资源分配到动态定价的建模与求解

战术层:通过LP/MIP解决资源分配、库存优化等确定性决策问题。策略层:通过动态定价、网络设计等实现中长期利润最大化。智能层:通过与机器学习的深度融合,实现“预测→优化→执行→反馈”的闭环。运筹优化不是替代人的经验,而是将人的经验数学化、系统化、自动化。在数据日益丰富的今天,掌握“建模→求解→落地”的全链路能力,是供应链工程师的核心竞争力。

2026-08-27 15:43:51 166

原创 AI计算加速实战:CPU/GPU/NPU上的CNN/RNN性能优化与基础库设计

当前深度学习部署呈现典型的异构计算生态:训练阶段依赖GPU集群、云端推理混用CPU/GPU、端侧设备(手机/工控机)依赖NPU硬件加速。而CNN(空间特征提取)、RNN(时序特征提取)的计算特性差异极大,导致同一模型在不同硬件上的性能表现天差地别。1、CNN核心特性:密集卷积乘加运算、参数共享、数据局部性强,属于计算密集型任务,适合并行加速;2、RNN核心特性:时序迭代计算、依赖上一时刻输出、访存频繁,属于访存密集型任务,并行难度大;3、硬件核心差异。

2026-08-27 15:41:23 592

原创 LangChain 与 LangGraph 生产级实践:智能体架构、状态管理、评估与安全治理

摘要 本文探讨了大模型应用中智能体系统的核心问题,指出生产级Agent需具备状态管理、流程控制、风险评估等能力,而非仅依赖模型调用工具。文章对比了LangChain(提供模型组件生态)与LangGraph(管理复杂工作流)的定位差异,并展示如何用LangGraph构建生产级问答Agent。该示例包含标准化处理、意图路由、文档检索、风险检查等模块,通过结构化状态对象实现业务流程控制。关键设计原则强调状态字段应反映业务事实而非模型输出,同时提供了文档切分、权限控制等实践建议,最终形成可解释、可恢复、可评估的智能

2026-08-08 21:04:23 705

原创 别只会调用大模型:用 Dify + RAGFlow 搭建真正可用的企业知识库

摘要:本文探讨了如何构建真正可用的企业知识库系统,指出仅依赖大模型和简单文档处理会导致实际应用中的诸多问题。文章提出Dify与RAGFlow结合的解决方案:Dify负责应用层编排、工作流和模型调用,RAGFlow专注文档解析、知识管理和混合检索。关键实施步骤包括:精细化文档解析(保留结构、表格、版本等元数据)、语义化切片策略、混合检索(结合向量和关键词搜索)及权限前置过滤。通过这种架构,企业可将AI知识库从"能回答问题的Demo"升级为具备准确引用、权限控制和稳定输出的生产级系统,特别适用于售后支持等需要精

2026-08-06 19:53:28 848

原创 大模型推理加速实战:从 KV Cache 到 vLLM 调度机制的深度解析

本文探讨了大模型推理中KV Cache的优化机制及其对性能的影响。KV Cache通过缓存历史Token的Key和Value,避免了重复计算,大幅提升推理效率。文章分析了KV Cache的显存占用公式,指出其与模型层数、Batch Size和序列长度成正比。同时介绍了GQA(Grouped Query Attention)通过减少KV Heads数量来降低显存消耗的原理。实验对比显示,启用KV Cache可显著减少延迟,但会占用更多显存。最后指出传统推理服务存在显存浪费问题,因按最大上下文长度预分配空间导致

2026-08-05 10:57:52 731

原创 生产级 AI Agent 评测体系实战:从数据集构建到自动回归与质量门禁

评测体系最容易犯的错误,是先写一个评分函数,再思考业务目标。业务目标 -> 成功标准 -> 评测指标 -> 自动化实现维度成功标准任务完成正确查询订单并回答用户问题工具调用必须调用订单查询工具,不能调用退款工具事实正确订单状态、金额、时间与数据库一致证据充分答案中的关键事实能在检索内容中找到依据表达质量不暴露内部字段,不输出无关内容性能P95 延迟小于 5 秒安全不泄露手机号、地址等敏感信息这意味着,一个 Agent 即使生成了流畅答案,只要调用了错误工具,也不能判定为成功。

2026-08-04 10:08:44 854

原创 多 Agent 协作实战:基于 LangGraph Swarm 架构实现智能任务路由、动态交接与企业级工程化落地

多Agent协作的企业智能服务系统设计 本文提出了一种基于Swarm架构的企业智能服务系统,通过多Agent协作解决复杂业务流程问题。随着大模型应用场景的复杂化,单个Agent难以覆盖所有需求,因此需要将任务拆分给多个专业Agent共同完成。 核心架构: 采用Swarm架构实现Agent间的动态任务交接 每个Agent专注于特定领域(如数据查询、知识检索、工单创建等) 通过结构化路由协议控制任务流转 共享状态管理实现协作 关键技术: 基于LangGraph构建的多Agent协作框架 路由白名单机制确保任务流

2026-08-02 20:59:17 560

原创 生产级校园AI Agent架构设计:基于LangGraph的多步骤任务拆解与状态管理深度实践

本文探讨了校园场景下AI Agent的系统设计与实现,提出以LangGraph框架构建可落地的多任务处理方案。文章核心观点是将大语言模型(LLM)的语义理解能力与确定性业务逻辑分离,构建分层状态机架构: 状态设计:突破传统对话状态管理,提出包含会话、规划、执行、缓存、可靠性和产出六大域的状态模型,支持任务持久化与故障恢复。 流程拓扑:采用状态机模式组织任务流程,通过Guardrail节点处理确定性业务(如权限校验、静态问答),Planner节点进行需求拆解,Executor节点调用具体工具,形成闭环工作流。

2026-07-31 20:55:35 599

原创 生产级Agent性能调优:Token消耗、延迟与吞吐量的量化分析与优化策略

Agent性能优化三要素:降本提速的关键策略 本文从性能地图、Token优化和响应加速三个维度提出Agent优化方案。核心发现: 性能瓶颈集中在LLM推理(60%)和工具执行(30%) Token成本管理策略: 系统提示瘦身可降固定成本 提示缓存技术实现90%成本折扣 动态Token预算管理上下文窗口 响应优化方案: 工具并行执行减少30%等待时间 小模型路由简单请求 流式输出提升用户体验 通过系统提示精简、动态路由和并行处理等组合策略,可实现成本降低83%、响应提速40%的优化效果。建议在开发阶段就建立性

2026-07-30 21:27:44 721

原创 从 0 到 1 搭建企业级 AI 应用可观测性体系:日志、Tracing、评测集、成本告警与回归实战

本文探讨了企业级AI应用的可观测性体系建设。与确定性系统不同,AI应用涉及RAG、Agent、模型调用等复杂环节,需要额外关注模型超时、token延迟、召回准确性等问题。作者提出五层架构设计,涵盖链路追踪、日志记录、评测集和成本告警,并推荐使用OpenTelemetry、Prometheus等技术栈。重点包括:定义结构化日志记录关键指标(如token消耗、首token延迟);封装模型调用统一接口;对RAG全链路追踪召回结果;建立评测集和回归测试机制。通过完整的可观测性体系,可快速定位AI应用中的问题环节,如

2026-07-26 09:00:02 570

原创 从 0 到 1 构建企业级 AI 桌面应用:Electron + Agent + RAG + 多模型接入与工程化交付实战

企业资料可能位于本地磁盘,或者只能通过内网访问;用户需要读取文件、整理目录、生成报告,而不是只问一个问题;密钥、模型配置和业务数据不能直接暴露在浏览器端;用户希望在办公软件、文件管理器和 AI 助手之间快速切换;弱网、离线和本地模型场景需要更强的客户端能力。Electron 适合承载这类产品,但“能打开窗口”距离“企业级可交付”还有很长一段距离。如何把 Electron 的主进程、预加载脚本和渲染进程隔离清楚;如何让 Agent 稳定地规划任务、调用工具并控制风险;

2026-07-24 17:08:31 692

原创 MCP Server 实战:让 AI Agent 连接数据库并自动完成业务查询

本文介绍了一个数据库查询型AI Agent的实现方案。该Agent允许用户通过自然语言提问(如"查询客户张三最近的订单"),系统会自动完成意图识别、工具选择、数据库查询和结果生成的全流程。项目采用MCP(模型控制协议)架构将数据库能力封装为标准工具,解决了传统方案中工具与业务代码耦合、重复开发等问题。 技术实现包括: 使用SQLite初始化订单数据库 通过MCP Server暴露两个查询工具:订单列表查询和订单详情查询 Agent自动识别用户意图并调用相应工具 最终将结构化数据转化为自然语言回答 项目结构清

2026-07-23 16:32:23 554

原创 从 0 到 1 构建企业级 AI Agent:FastAPI + RAG + Milvus + MCP 全流程实战

本文介绍了一个企业级AI助手系统的构建方法,整合了FastAPI、RAG、Milvus、Function Calling和MCP等技术。该系统具备三大核心功能:1)通过RAG从企业文档中检索信息;2)利用MCP协议调用外部业务工具;3)提供统一的HTTP对话接口。 技术架构采用FastAPI作为Web框架,Milvus存储文档向量,OpenAI兼容API处理自然语言理解,MCP标准化工具调用。文章详细说明了项目结构、环境配置、RAG实现原理(包括文档嵌入和向量检索流程),并提供了可运行的代码示例。该系统适用

2026-07-22 19:52:20 564

原创 大模型服务化部署指南:Docker、API 封装、多模型调度与版本管理

统一聊天接口OpenAI 风格响应格式Docker 容器化部署模型懒加载多模型加权调度模型版本固定调用模型别名管理HuggingFace 模型缓存持久化基础健康检查和模型查询在实际项目中,还可以继续扩展流式输出、Redis 限流、Prometheus 监控、日志追踪、请求队列和 GPU 负载均衡等能力,逐步演进为完整的大模型服务平台。

2026-07-20 20:25:47 331

原创 AI智能客服系统开发实战:大模型在企业应用中的落地

高质量知识库合理的文档切分可靠的向量检索可控的 Prompt模型生成引用溯源安全兜底人工接管支持 Markdown、TXT 和 PDF 文档;支持本地向量索引;支持多轮对话上下文;支持 OpenAI 兼容模型接口;支持答案引用来源;支持低置信度自动兜底;支持敏感请求拦截;支持后续扩展混合检索和重排模型。在实际企业项目中,建议优先完善知识库、权限控制、数据脱敏和评估体系,再考虑更换更大的模型。模型规模并不能弥补错误、过时或缺失的业务知识。

2026-07-19 19:57:56 698

原创 LangChain 与 LangGraph 实战:构建可编排的大模型智能应用

状态是图中所有节点共享的数据结构。表示字段可以不是一开始就全部存在。不同节点可以逐步补充状态。LangChain 解决的是大模型应用开发中的组件复用问题,LangGraph 解决的是复杂任务中的流程编排问题。用户输入意图识别流程路由检索 / 工具 / 普通问答结果生成事实校验人工审批或最终输出LangChain 适合封装模型、Prompt、工具和检索器;LangGraph 适合表达条件分支、循环、重试和状态管理。在实践中,不建议一开始就把所有逻辑都设计成复杂 Agent。

2026-07-18 09:15:42 698

原创 Ollama 本地部署大模型实战:从环境搭建到企业级应用落地

Ollama 降低了本地运行大语言模型的门槛。它不仅适合个人开发者进行模型实验,也适合企业搭建内网 AI 应用。Ollama模型服务业务API服务Prompt模板向量数据库日志和监控如果项目只需要简单问答,可以直接调用/api/chat。如果需要企业知识库,则应当结合嵌入模型和向量数据库构建 RAG。如果需要复杂的多步骤任务,还可以进一步接入 LangChain、LangGraph 或 MCP。

2026-07-17 20:21:16 675

原创 深入浅出分布式训练框架:PyTorch、TensorFlow 与 Horovod 实战

本文探讨了深度学习中的分布式训练技术,重点分析了其基本原理、并行策略及主流框架实现。随着模型参数量和数据规模急剧增长,分布式训练已成为解决单卡显存不足和训练耗时的关键技术。文章详细介绍了数据并行、模型并行和流水线并行三种策略,并对比了PyTorch的DistributedDataParallel、TensorFlow的MultiWorkerMirroredStrategy以及Horovod三种实现方案。通过具体代码示例,展示了PyTorch DDP的完整实现流程,包括环境初始化、数据分片和梯度同步等核心环节

2026-07-16 20:15:56 718

原创 多模态模型A/B测试与指标体系

一个好的A/B实验应该从假设开始,而不是先收集一堆指标。H0:增加图像分辨率不会显著提升表格识别准确率。H1:增加图像分辨率能够显著提升表格识别准确率。H0:引入OCR工具不会降低模型总体延迟。H1:引入OCR工具可以提升文字识别准确率,但会增加延迟。比较对象;目标用户;主要指标;预期方向;可接受成本;最低提升幅度。主要指标:结构化字段完全正确率次要指标:平均延迟、调用成本、人工纠错率上线门槛:准确率提升至少2%,延迟增加不超过15%

2026-07-14 22:15:00 744

原创 多模态大模型底层能力与边界解析

多模态大模型的本质,是将不同模态的数据转换到可以交互的表示空间,再利用Transformer或扩散模型完成理解、推理和生成。高质量的视觉和语言表示;模态之间有效的语义对齐;大规模、多样化且经过清洗的数据。视觉Token会丢失细节;语言先验会引发幻觉;精确计数和空间计算不稳定;生成结果不代表事实正确;高风险场景需要外部验证。真正的工程重点不是简单地“调用一个视觉大模型”,而是围绕输入质量、视觉编码、提示词、结构化输出、工具调用、评估体系和人工复核建立完整闭环。

2026-07-14 17:59:16 437

原创 高并发调度系统稳定性优化:从架构设计到工程实践

高并发调度系统的稳定性优化,本质上是在不确定性中构建确定性。面对不可控的外部依赖、多变的资源需求、复杂的故障模式,我们没有一劳永逸的解决方案,只有持续迭代的工程实践。防御性设计:假设一切都会失败,在每一层都设防——限流、熔断、超时、重试、隔离。可观测性优先:先让系统透明,再做优化。没有指标就没有优化方向。渐进式优化:先解决最痛的点(比如级联故障),再逐步优化性能。

2026-07-07 16:56:38 314

原创 Agent多轮交互批量回归测试:从理念到工程落地

每个测试场景本质上是一个多轮剧本用户消息序列(每一轮说什么)每轮对应的期望(工具调用、参数约束、回复检查、语义标准)全局前置条件(模拟用户登录状态、预置记忆数据等)标签和优先级(用于筛选和调度)设计要点场景采用JSON/YAML格式存储,支持版本管理和可视化编辑。期望支持“精确”和“宽松”两种模式,允许配置容差。每个场景关联需求ID和缺陷ID,方便追溯。精简代码示意@dataclassid: strname: str。

2026-07-07 16:14:39 187

原创 全栈大模型智能体系统架构:从模型调用到自主协作的工程实践

构建全栈大模型智能体系统,技术栈横跨模型层、数据层、编排层、记忆层和治理层,要求开发者具备从算法思路到工程落地的全链路能力。业务理解力:深刻理解垂直场景的工作流架构设计力:设计高内聚、低耦合的Agent系统编排治理力:让多个Agent协同工作且安全可控从“代码编写者”进化为“智能体编排者”,这不仅是技术的升级,更是思维方式的重塑。当大模型能力逐渐同质化,系统架构能力才是真正的技术护城河。

2026-07-06 20:49:29 335 1

原创 大模型微调与RAG落地工程师:从理论到生产的全栈实践

大模型开发不是“调参侠”的游戏,而是一套系统工程。微调考验的是对数据和任务的理解——知道什么时候该用LoRA、什么时候该用QLoRA、数据该怎么构造。RAG考验的是对检索系统的把控——文档怎么切、向量怎么存、检索怎么优化、多轮对话怎么处理。推理部署考验的是工程化能力——vLLM怎么配置、TTFT和TPOT怎么优化、量化方案怎么选。这三个环节环环相扣,任何一个环节掉链子,整个系统都无法在生产环境稳定运行。而“大模型微调与RAG落地工程师”的价值,恰恰在于能把这整条链路打通——

2026-07-05 19:50:11 302

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除