- 博客(123)
- 收藏
- 关注
RSS订阅原创 xx在线项目生产环境OOM ，OutOfMemoryError处理
本文记录了电信BSS系统导出功能从3.9万行数据引发OOM，到流式写入后出现“秒成功”85字节文件，最终因容器缺字体库崩溃的完整排查过程。三个阶段分别暴露内存模式不当、参数错误与静默异常、环境依赖缺失三大根因。通过改用SXSSFWorkbook流式写入、修复异常兜底逻辑、添加POI官方开关ignoreMissingFontSystem，最终实现稳定导出。二期同步补全数据权限控制，确保导出与查询权限一致，保障安全审计。复盘强调：分页≠内存可控，静默异常最致命，catch(Throwable)不可少，配置位置决
2026-09-23 16:34:29
384
原创 MCP 底层原理深入解析：小模型兼容、错误容错与 Trae 调用链路
本文深入解析MCP（ModelContextProtocol）底层机制，涵盖小模型兼容方案（通过客户端适配与提示词工程实现格式统一）、模型能力检测逻辑（分级判断：配置覆盖→提供商白名单→本地模型限制）、输出格式错误的容错处理（多策略解析、严格校验、反馈重试闭环），以及重试机制在客户端侧自动执行的流程。文章厘清了Trae体系中各组件角色：大模型决策调用，MCP客户端发现并转发工具请求，MCPServer执行工具，实现“定义-执行”解耦。核心优势在于屏蔽模型差异，保障工具调用稳定性，为AI应用提供可扩展的基础设
2026-09-14 20:54:00
177
原创 深入浅出etcd与Raft：从核心组件到数据一致性原理
本文是对etcd与Raft算法的系统性梳理，适合分布式系统初学者及云原生技术爱好者阅读参考。如有不当之处，欢迎指正交流。
2026-08-26 15:15:44
422
原创 从消息流转的角度彻底看清 FC、工具与 MCP 的关系
本文通过"北京天气"查询案例，详细拆解了AI工具调用的10条核心消息流，分为4个阶段：1）MCP服务器启动时扫描工具生成标准化清单；2）用户请求经MCP翻译为大模型可识别的Function Calling格式；3）大模型输出调用意图后，MCP反向翻译执行真实Python函数；4）必须将工具执行结果回填大模型才能生成最终回答。整个过程类比餐厅点餐流程，揭示了工具（手）、Function Calling（决策脑）和MCP（翻译神经系统）三者的协作关系，强调必须经过两次API调用（获取意图和回
2026-08-18 22:20:47
350
原创 Function Calling、工具与MCP：一张图彻底讲清三者的关系
本文从学习者的视角梳理了FunctionCalling、工具(Tools)和MCP三个概念的本质区别与协作关系。核心观点包括：1)工具是实际执行代码及其说明文档；2)FunctionCalling是大模型自带的决策调用能力；3)MCP是双向翻译协议，负责工具标准化和格式转换。三者形成完整执行链路：MCP将工具翻译为模型可识别的格式→模型通过FunctionCalling决策→MCP反向转换为实际工具调用。文章用"大脑-神经系统-手脚"的比喻形象说明三者关系：FunctionCalling
2026-08-18 22:06:19
451
原创 彻底搞懂 SQL 中的 COUNT(*) 与 COUNT(1)：到底返回什么？怎么写最高效？
本文澄清了COUNT()与COUNT(1)的常见误解，指出它们在统计总行数时完全等价且性能相同，COUNT(1)并非"有数据就返回1"。解析了COUNT函数本质是"数数"而非"求和"，COUNT(2)等非NULL参数也返回总行数。特别强调判断数据是否存在时应使用SELECT...LIMIT 1而非COUNT，避免全表扫描。最后给出优化建议：统计数量用COUNT()，检查存在用带LIMIT 1的查询，这是编写高效SQL的关键细节。
2026-07-31 14:39:01
304
原创 Java开发必修课：什么场景需要分库分表？全流程实战与SQL路由查询详解
本文以电商订单系统为例，深入解析分库分表的核心问题与实践方案。关键点包括：1）分库分表的触发条件（单表超500万行、QPS破千等）；2）垂直拆分与水平拆分的实现策略，重点强调分片键（如user_id）的选择原则；3）三种实施方案对比，推荐使用ShardingSphere中间件；4）SQL查询处理机制，特别是跨库分页的流式归并方案；5）提出"量超五百万，QPS破千"的六字实践口诀。文章强调架构是取舍的艺术，需根据业务特点选择最适合的方案。
2026-07-01 15:32:41
391
原创 BGE-M3里程碑级别的 Embedding（文本向量化）模型
BGE-M3 是一个 1.1GB 大小、支持 8k 长文本、精通百种语言的“六边形战士”；它极大简化了检索架构，但在实际生产中，最佳方案仍是让它与传统 BM25 联手，各司其职。
2026-06-26 12:00:22
679
原创 05-agent智能体开发
本文介绍了智能体（Agent）的概念及其在扫地机器人智能客服系统中的应用。智能体由大语言模型（LLM）、工具集和决策逻辑组成，能够自主规划、决策和执行任务。文章详细阐述了ReAct框架（推理+行动）的工作原理，以及如何通过中间件实现对智能体执行过程的控制和自定义。最后展示了一个实际项目案例"智扫通Agent"，该系统利用RAG技术提供智能问答服务和个性化报告生成，包含完整的架构设计、工具调用、向量数据库管理等实现细节，并配有Streamlit前端交互界面。项目代码展示了从文档处理、日志管
2026-04-15 10:45:51
440
原创 04-RAG 项目
本文介绍了基于RAG（检索-增强-生成）技术的智能客服系统实现方案。项目以京东服装商品为例构建本地知识库，包含离线处理和在线处理两个流程：离线流程通过Streamlit搭建文件上传页面，将TXT格式知识文档经MD5校验后存入Chroma向量数据库；在线流程通过检索知识库获取参考资料，结合用户提问和历史对话组装提示词，最终由通义千问大模型生成回答。系统实现了知识库动态更新、对话历史记忆和基于本地知识的精准回答功能，有效规避模型幻觉问题。文章详细阐述了文件上传、向量存储、检索增强和对话生成等核心模块的实现方法，
2026-04-11 16:50:14
432
原创 03-LangChain 深入介绍 组件
本文摘要： 本文系统介绍了LangChain框架的核心组件与功能，包括：1）FewShotPromptTemplate模板构建与使用；2）PromptTemplate、ChatPromptTemplate等模板类的方法与区别；3）Chains链式调用原理与实现，包括组件串联、运算符重写等；4）输出解析器（StrOutputParser、JsonOutputParser）的应用；5）Runnable接口与RunnableLambda的自定义函数集成；6）会话记忆功能实现，包括临时（InMemory）和持久化（
2026-04-10 14:04:10
458
原创 02-LangChain简单介绍、RAG开发
摘要：本文介绍了LangChain框架和RAG技术。LangChain是一个围绕大语言模型(LLMs)建立的开发框架，提供通用接口简化LLM应用开发。RAG(检索增强生成)通过检索外部知识解决LLM的时效性、专业性和幻觉问题，包含索引、检索、生成三个阶段。重点讲解了文本向量化原理和余弦相似度计算方法，以及LangChain中的模型类型(LLMs、ChatModels、Embeddings)使用方式。最后介绍了提示词模板(PromptTemplate)的应用，支持变量注入优化提示词。
2026-04-02 15:35:50
379
原创 19-基于RAG的法律条文智能助手-实现、微调、部署
本文介绍了基于RAG（检索增强生成）技术的智能法律咨询系统实现方案。系统通过结合向量检索与大语言模型，实现了精准的法律条文问答功能。主要内容包括：1）系统架构设计，采用两阶段检索机制（向量初筛+重排序精排）；2）关键技术实现，如微调修复特定问题、重排序优化、vLLM推理加速等；3）评估体系构建，包括召回率测试和端到端效果评估；4）Streamlit可视化界面开发，提供交互式查询体验。系统部署采用vLLM加速推理，并通过测试案例验证了优化效果，显著提升了法律条款检索的准确性和回答质量。
2026-03-31 20:05:36
603
原创 17-多模态大模型的概念与本地部署调用
本文介绍了多模态的概念及其应用。模态指数据存在的形态，如视觉、听觉、文本等，多模态则涉及从多个模态表达或感知事物。文章阐述了多模态学习的定义和典型任务，包括跨模态预训练、视听语音识别、视觉问答等。此外，还详细介绍了两个多模态大模型的本地部署方法：CogVideoX-5B文生视频模型和Llama-3.2-Vision视觉问答模型，包括环境安装、模型下载和运行代码。这些模型在视觉识别、图像推理等领域具有广泛应用前景。
2026-03-30 15:37:44
442
原创 16-LMDeploy 量化部署与分布式推理
本文介绍了大模型分布式推理与量化部署的技术方案。主要内容包括：1. 分布式推理技术，通过张量并行和流水线并行解决单卡显存不足问题，重点讲解了vLLM和LMDeploy框架的实现方式；2. LMDeploy量化部署方案，详细说明了W4A16权重量化、KV Cache量化等优化技术，可将7B模型从15G压缩到4.9G；3. 实际部署流程，包括环境配置、模型验证、量化转换、TurboMind格式转换等步骤；4. 演示了通过Gradio构建网页交互界面的方法。这些技术能有效降低大模型部署成本，提升推理效率。
2026-03-30 14:14:06
557
原创 15-OpenCompass模型评估
OpenCompass是一个开源的大模型评测工具，支持70+数据集和多种评估指标。它提供命令行和配置文件两种评测方式，支持准确率、困惑度、生成质量等核心指标。数据集分为选择题和问答题两种格式，涵盖知识、推理、语言等五大能力维度。用户可通过自定义数据集路径快速评测，也支持多卡并行评估。安装时需创建Python 3.10环境，通过conda管理依赖关系。该工具特别适合需要对比不同大模型性能的研究场景，提供从数据准备到结果分析的全流程支持。
2026-03-28 14:05:21
418
原创 14-情绪对话模型-训练篇 -- 微调项目实战
本文介绍了基于Qwen1.5大模型的微调与部署全流程。首先对比了不同情绪风格的训练数据集配置，详细说明了数据生成函数和过滤规则。然后介绍了模型量化、格式转换和选型方法，针对中文对话任务选择Qwen1.5-1.8B模型进行评估。在训练环节，提供了完整的xtuner配置方案，包括参数设置、数据加载和优化策略。最后演示了如何将训练好的模型转换为LMDeploy格式，并通过Streamlit构建Web交互界面。整个流程涵盖了从数据处理、模型训练到应用部署的关键步骤，实现了端到端的大模型微调解决方案。
2026-03-26 20:32:41
399
原创 13-情绪对话模型-数据工程篇、大模型微调项目实战
本文介绍了基于大模型的情感对话系统开发流程，主要包括：1.环境准备（模型下载与安装）；2.情绪对话模型实现，包含数据生成、风格模板配置（温柔/毒舌/暖心等风格）、质量审核规则；3.数据集制作方法，包括数据清洗、采样和人工审核；4.不同风格Prompt设计要点（如温柔客服需使用敬语，毒舌风格需包含网络流行语）。文中提供了完整的代码实现，涵盖模型初始化、数据生成、语义相似度检查等关键步骤，并推荐了LCCC-large等开源对话数据集作为基础数据来源。
2026-03-25 19:19:23
401
原创 12-大模型压缩预训练、知识蒸馏
深度学习模型压缩技术（剪枝、量化、知识蒸馏）助力AI部署突破算力瓶颈。剪枝通过参数归零降低复杂度，分结构/非结构两种方式；量化将FP32转为INT8，显著减少存储和计算量；知识蒸馏让小模型学习大模型知识，实现性能与效率平衡。以DeepSeek为例，蒸馏技术使训练成本降至OpenAI的1/20，推理速度提升3倍，并支持边缘部署。这些技术在降低算力需求、加速推理、推动行业应用等方面发挥关键作用，特别是在国产芯片适配方面具有重要意义。
2026-03-25 14:20:06
399
原创 11-Xtuner具体使用以及LLama Factory与Xtuner多卡微调大模型
本文系统介绍了大模型分布式训练技术及微调实践。主要内容包括：1）分布式训练的核心技术（数据并行、模型并行、流水线并行）及DeepSpeed框架的ZeRO优化技术；2）使用XTuner微调Qwen1.5-0.5B模型的完整流程，涵盖环境配置、数据准备、训练参数设置、模型转换与合并；3）实操环节详细演示了在3090显卡上的单卡/多卡微调过程，包括数据处理、配置文件修改、训练启动等关键步骤；4）针对环境配置中的常见问题（如bitsandbytes版本冲突）提供了解决方案。通过实践验证了XTuner框架在资源受限环
2026-03-25 10:57:44
710
3
原创 10-微调部署不一致 // vLLM与LMDeploy如何自定义对话模板
对话模板是一套规则，用于将用户的多轮对话格式化为一个单一的、模型能够理解的字符串。特殊令牌：如等。角色标识：如usersystem，用于区分系统、用户的发言。格式化规则：如何将不同角色的发言拼接起来。注意：不同的模型，其对话模板会存在差异性。
2026-03-23 20:31:39
449
2
原创 09-Ollama+open-webui部署模型 // 量化导出模型
本文介绍了AI模型量化部署的两个关键技术：1. 使用llama-factory进行模型量化操作，重点说明版本选择(推荐0.9.3)、环境配置、量化等级选择(建议4bit/8bit)及精度测试方法；2. 通过OpenWebUI部署量化模型，详细说明Ollama服务安装、Python虚拟环境配置(需3.11版本)、依赖安装及端口转发设置，最终实现本地或远程服务器上的模型部署与对话交互。文章提供了完整的量化部署流程指南，包括常见问题的解决方案。
2026-03-23 16:06:42
533
原创 08-QLora微调&GGUF模型转换、Qwen打包部署 ollama 运行
本文介绍了大模型训练与优化的关键知识点：1. Loss图分析显示模型与数据集的匹配程度，模型崩溃时Loss会突增；2. 显存计算方法（如7B参数模型需约13GB显存）及量化技术（F16/F32）对精度的影响；3. 微调技术LoRA和QLoRA的原理及参数设置建议；4. GGUF格式的优势（兼容性、量化支持等）及转换方法；5. 使用ollama运行GGUF模型的具体步骤，包括安装、模型创建和启动流程。
2026-03-22 17:01:13
482
原创 07-大模型微调-LLama Factor微调Qwen -- 局部微调/训练医疗问答模型
本文介绍了使用LoRA（低秩自适应）技术高效微调大语言模型的方法，并重点演示了如何利用LLaMA Factory工具包实操。LoRA的核心思想是冻结原模型参数，仅训练注入的低秩矩阵，从而以极少的参数量（通常为原模型的0.1%~1%）实现高效微调，显著节省显存。LLaMA Factory是一个统一的微调框架，支持上百种模型，并提供无需编码的可视化Web界面，极大降低了使用门槛。文章以微调Qwen-7B模型制作医疗问答助手为例，详细展示了从环境配置、数据集准备、Web界面参数设置到训练与测试的完整流程。通过对比
2026-03-21 17:52:30
567
原创 06-大模型本地化部署：Ollama&vLLM&LMDeploy+ModelScope
本文介绍了四种大模型部署框架及服务器租用方案：1. Ollama轻量级本地框架，支持分片加载和量化，适合隐私敏感场景；2. vLLM高性能推理框架，采用PagedAttention技术提升吞吐量；3. LMDeploy国产优化方案，支持昇腾NPU和高效量化；4. ModelScope一站式中文模型平台。提供了从5元/天的GPU服务器租用（AutoDL/GPUShare）到各框架详细部署流程，包括环境配置、模型加载和API服务化。建议根据场景选择：个人开发用Ollama，高并发服务选vLLM，国产硬件适配LM
2026-03-20 17:03:37
1105
原创 05-Hugging Face 微调训练 GPT2中文生成模型定制化+Transformer
本文介绍了GPT-2中文生成模型的应用与训练方法。主要内容包括：1）介绍了HuggingFace平台上的多个中文GPT-2模型，如白话文、歌词、文言文等生成模型；2）详细讲解了生成模型与判别模型的区别，以及生成模型的训练原理；3）提供了完整的训练流程，包括数据准备、模型加载、训练代码实现等；4）分析了生成模型测试中常见的问题，如参数冲突警告(max_new_tokens和max_length)、UNK字符处理等；5）给出了格式控制的解决方案，如强制添加标点符号等技巧。文章还包含多个实际应用示例，展示了不同场
2026-03-20 10:05:29
746
原创 04-自定义微调训练BERT模型效果测试 +中文八分类
摘要：本文介绍了BERT模型微调过程中的数据不均衡处理方法（优先补充少量数据）和三种微调方式（增量、局部、全局），分析了训练效果与成本的权衡。详细阐述了模型评估模块的实现，包括数据处理、模型架构、评估测试和交互应用四个模块。重点讲解了分类任务的评估指标（准确率、精确率、召回率、F1分数）及其计算方法，提供了混淆矩阵可视化和分类报告生成代码。最后展示了从二分类扩展到八分类的模型修改方法，并指出数据清洗对模型性能的重要性。所有代码模块（MyData.py、net.py、test.py、run.py）均实现完整功
2026-03-18 17:33:02
447
原创 03-Hugging Face 模型微调训练（基于 BERT 的中文评价情感分析）
本文介绍了基于BERT模型的情感分析任务微调流程。主要内容包括：1）模型微调的基本概念，即在预训练模型基础上进行特定任务的训练；2）数据处理流程，包括数据集加载、清洗和格式转换；3）BERT模型的词汇表操作和文本编码方法；4）下游任务模型设计，通过添加全连接层实现分类；5）完整的训练流程，包含数据加载、模型初始化、优化器设置和训练循环；6）模型评估方法，使用准确率、精确率和F1分数等指标；7）参数保存策略，根据验证集表现保存最优模型。文章提供了完整的代码实现，包括数据预处理、模型定义、训练和评估模块，为BE
2026-03-17 20:22:11
633
原创 02-Hugging Face 简单介绍
HuggingFace是目前最大的AI开源社区，提供先进的NLP工具和Transformer模型支持。用户可通过官网注册账户并安装transformers库，利用其庞大的模型库进行模型搜索、下载和本地调用。文章详细介绍了模型下载方法、本地调用流程（包括文本生成和分类任务），以及API使用方式。同时涵盖了datasets库的核心功能，如数据集加载和本地数据处理。针对网络问题，推荐使用魔搭社区作为替代下载方案，并强调调用API时需注意权限设置。
2026-03-17 16:46:34
403
原创 01-深度学习基础原理
本文系统介绍了机器学习与深度学习的基础知识，重点阐述了PyTorch框架的应用。主要内容包括：1）人工智能技术体系的分层关系，从基础的机器学习到深度学习；2）机器学习流程的五大关键步骤；3）不同类型的学习任务（分类、回归等）及其应用场景；4）PyTorch框架的核心概念与使用方法，包括张量运算、自动微分和计算图机制；5）神经网络的基本原理，涵盖正向传播、反向传播等核心算法。文章通过代码实例详细展示了如何使用PyTorch实现线性回归和分类任务，并对比了静态图与动态图的差异。最后，介绍了计算图在现代机器学习系
2026-03-16 19:59:10
455
原创 OpenClaw与其他智能体的区别，以及为什么能操作电脑
OpenClaw是一种AI执行引擎，与豆包、GPT等大模型形成"手脚"与"大脑"的协作关系。它通过工具调用机制将自然语言指令转化为系统命令，核心功能包括执行系统命令、管理后台进程、操作文件系统等。OpenClaw具备技能系统、记忆系统和多Agent协作能力，但需要严格的安全控制，如沙箱隔离和命令白名单。其底层原理是通过exec等工具将AI决策转化为操作系统指令，在三种执行环境（沙箱/宿主机/远程节点）中完成自动化任务。这种技术使大模型从"动口"进化
2026-03-13 17:09:57
1032
原创 OpenClaw/本地部署/讲解教程
OpenClaw是一款AI助手工具，支持多种安装方式（npm/pnpm/bun）和跨平台运行（macOS/Linux/Windows）。安装需Node.js≥22环境，推荐通过openclaw onboard --install-daemon命令完成完整安装。主要功能包括：1）集成飞书等聊天工具（需配置AppID/Secret）；2）提供Web控制面板（http://127.0.0.1:18789）；3）支持多种AI模型选择（如Kimi2.5/Qwen）；4）插件扩展系统（官网/Github获取）。安装过程
2026-03-13 16:01:12
1014
原创 13-从零构建生产级Agent服务
本文介绍了构建生产级Agent服务的完整方案。系统采用FastAPI框架提供API接口，基于LangGraph的ReAct架构实现智能体功能，支持短期记忆存储(PosgreSQL)、人工审查(HITL)、多厂商大模型调用(OpenAI/通义千问/Ollama)等功能。关键技术包括：Redis会话状态管理、Celery异步任务处理、rich库前端开发等。文章详细阐述了系统架构、核心业务流程，并提供了从环境搭建(Anaconda/PyCharm)、依赖安装、Docker部署(PostgreSQL/Redis)到
2026-03-12 16:10:18
431
原创 12- - AI 应用开发新范式 MCP 技术详解
MCP（模型上下文协议）是连接大模型与外部世界的标准化接口，由Anthropic发起并发展为开放协议。本文系统介绍了MCP的核心概念、架构、应用场景及编程实践。 MCP通过标准化协议实现LLM与工具/数据源的无缝集成，支持资源、工具和提示三种服务类型。相比传统API，MCP具有动态发现、双向通信等优势。文章详细解析了MCP的客户端-服务端交互流程，并提供了基于Python SDK的代码示例。 实践部分包含数学运算智能问答和微博情感分析两个案例，展示了如何利用MCP的Sampling机制赋予服务端智能能力。同
2026-03-11 17:30:55
1166
原创 11-MCP应用技术开发
MCP（Model Context Protocol）是Anthropic开源的模型上下文协议，旨在简化LLM应用与外部资源的集成。该协议通过中间层（MCPServer）实现统一连接，支持JSON-RPC 2.0消息格式和多种传输模式（STDIO/SSE/StreamableHTTP）。高德地图和MySQL的MCPServer案例展示了其实际应用，包括地理服务、数据查询等功能。最新版本（2025-03-26）引入StreamableHTTP模式，提升了传输灵活性和健壮性。LangGraph框架还支持通过MC
2026-03-11 10:26:59
608
原创 10-基于LangGraph实现智能分诊系统
摘要：本项目基于LangGraph框架实现了一个智能分诊系统，通过状态图定义对话流程，包含意图分析、工具调用、文档评分和回复生成等核心节点。系统采用并行工具执行、动态路由机制和PostgreSQL持久化存储，支持检索类工具与非检索类工具的分流处理。关键技术包括：1) 多节点状态图工作流管理；2) 工具并行调用优化；3) 文档相关性评分机制；4) 数据库连接池与跨线程持久化方案；5) 多模型支持(Qwen/OpenAI等)。项目提供FastAPI接口和Gradio Web界面，实现了健康档案查询、数学计算等典
2026-03-10 19:23:09
409
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人