- 博客(145)
- 收藏
- 关注
RSS订阅原创 #23 图数据库集成：Neo4j与知识图谱增强检索v
本文分享了使用Neo4j知识图谱增强RAG系统的实战经验。作者从生产环境中的检索失败案例出发，指出传统RAG系统在实体关系查询上的不足，提出通过知识图谱补充语义关系的解决方案。文章详细介绍了环境搭建的注意事项、Python驱动的选择与优化、知识图谱构建中的实体抽取与对齐技巧，以及混合检索策略的实现方法。重点包括：使用APOC插件批量导入数据、实体归一化处理、基于LLM的Cypher查询生成等实用技巧，并分享了在连接管理、性能优化等方面踩过的坑。最终实现了一个既能理解语义相似性又能处理实体关系的增强型检索系统
2026-06-19 11:36:33
29
原创 # 021 元数据过滤与结构化检索：按标签/时间筛选
本文分享了RAG系统中元数据过滤的实践经验。通过一个生产事故案例，作者指出纯向量检索的局限性——无法识别文档时效性和状态等关键信息。文章详细讲解了元数据过滤的核心逻辑：先基于标签和时间戳快速筛选候选文档，再进行向量相似度计算。以ChromaDB为例，展示了如何实现带过滤条件的文档检索，包括元数据设计、过滤表达式构建、时间处理优化等关键环节。针对生产环境，作者给出了字段精简、索引优化、条件前置、兜底策略等实用建议，强调元数据过滤是确保RAG系统精准性和安全性的必要措施。
2026-06-19 11:35:48
22
原创 #20 知识库增量更新：文档新增、修改与删除
**摘要：RAG系统知识库增量更新的核心挑战与实践经验 知识库增量更新是生产环境的刚需，全量重建模式在数据量大时存在效率低、无法优雅处理修改/删除等问题。增量更新的核心矛盾在于向量化数据的不可直接比较性，需维护元数据确保一致性。 文档新增：需检查ID冲突，保持切片策略一致，并同步更新向量索引与元数据存储。 文档修改：需标记旧版本无效并插入新向量，建议使用支持删除的向量数据库（如Milvus）或软删除+定期重建策略。 文档删除：需事务性操作确保向量索引与元数据的一致性，避免级联删除导致的脏数据。 关键经验：选
2026-06-19 11:34:31
33
原创 # 019 缓存策略：Embedding缓存与结果缓存
本文分享了在RAG系统中实现高效缓存的实践经验。作者从一次线上事故入手，揭示缓存设计不当导致的性能问题，系统性地介绍了Embedding缓存和结果缓存的实现方案。重点包括：文本归一化处理、语义相似度匹配、版本号更新机制、缓存穿透与雪崩防护、三级缓存架构等关键技巧。文章强调缓存键设计、命中率监控、失效测试等细节，并提醒缓存不是万能方案，应优先优化系统核心逻辑。这些来自生产环境的实战经验，为构建高性能RAG系统提供了宝贵参考。
2026-06-19 11:33:51
150
原创 # 018 异步处理与并发控制：高并发知识库查询
本文从线上事故案例切入，探讨了异步编程在高并发知识库查询系统中的实践。首先分析了同步阻塞调用的性能瓶颈，展示了如何通过协程改造提升吞吐量。随后重点讲解了三种并发控制策略：信号量控制并发数、令牌桶算法实现速率限制、滑动窗口精确控制请求量。最后提出一个整合异步IO、速率限制和用户级配额的高并发架构方案。文章包含大量实战代码示例，特别标注了常见陷阱（如连接池管理、事件循环阻塞等），为构建高性能AI服务提供了可落地的技术方案。
2026-06-19 11:32:32
23
原创 # 017 流式输出实现：实时生成与前端交互
本文探讨了知识库问答系统中流式输出的重要性及实现方法。文章指出，传统同步响应模式会让用户长时间等待空白页面，而流式输出能通过逐字显示降低感知延迟。作者分享了后端实现流式输出的技术方案，包括异步生成、分块传输等核心要点，并特别针对知识库场景提出了检索与生成两段式流处理方案。同时，文章总结了前端接收流的注意事项，以及生产中可能遇到的编码、超时、背压等问题及解决方案。最后强调流式输出应关注实际用户体验优化，而非单纯技术展示。
2026-06-19 11:31:45
26
原创 #016 对话历史管理：多轮交互中的记忆机制
文章摘要： 本文分享了智能客服系统在多轮对话中遇到的典型问题，如上下文遗忘和指代混淆。作者提出了结构化状态管理的解决方案，通过TurnState和ConversationState类记录对话状态而非原始文本。针对历史信息膨胀问题，采用分层记忆压缩策略，仅保留关键信息。对于指代消解，设计了显式指代追踪机制维护候选对象池。这些方法在实战中将8轮对话的token消耗从3000降至800，同时提升回答准确率12%，有效解决了多轮对话中的上下文维护难题。
2026-06-19 11:31:02
154
原创 # 015 上下文压缩与过滤：减少LLM输入噪声
本文分享了优化RAG系统上下文处理的实战经验。作者通过制造业设备运维案例，揭示了无节制填充上下文导致的"噪声淹没信号"问题，并提出三层解决方案：基于相似度分数的硬过滤（阈值建议0.75）、语义去重（相似度阈值0.85）和LLM智能压缩。重点介绍了查询感知压缩技术，通过让LLM根据用户问题选择性保留信息，在测试中将准确率从78%提升至91%。文章还提供了工程化实现方案，建议采用"分数过滤→语义去重→智能压缩"的管线流程，并强调应优先处理高分片段，对压缩结果进行缓存以平衡性能与成本。这些方法在医疗和法律知识库等
2026-06-03 21:47:00
35
原创 #014 重排序器（Reranker）集成：提升检索精度
RAG系统重排序器实战指南 本文分享了在RAG系统中集成重排序器的实践经验。传统检索系统存在词频匹配不等于语义相关的问题，作者通过引入重排序器将Top-3准确率从62%提升到89%。文章详细介绍了为什么需要重排序器（解决Embedding检索丢失细节的问题）、模型选型建议（推荐小模型+量化）、集成到RAG管道的具体实现、分数融合技巧（加权融合初筛和重排序分数）以及性能优化方法（动态截断、缓存、异步批处理）。最后总结了作者遇到的典型问题：模型加载慢、分数分布偏移和长文档截断问题，并提供了对应的解决方案。这些实
2026-06-03 21:46:22
27
原创 # 013 多路召回策略：关键词+向量混合检索
文章摘要（149字）： 文章分享了生产环境搜索优化的实战经验。作者通过"苹果笔记本维修"查询失效案例，指出纯向量检索的局限性——语义相近但意图偏差。文中对比了BM25关键词检索与向量检索的优劣：前者擅长精确匹配但缺乏语义理解，后者强在语义泛化却可能丢失关键信息。解决方案采用多路召回架构，同时执行两种检索后合并排序。技术实现部分包含BM25算法核心公式、倒排索引构建，以及FAISS向量索引的优化建议（如预计算文档向量、中文分词处理等），强调生产环境中必须对分数归一化处理。
2026-06-03 21:45:38
32
原创 #012 文档检索器进阶：相似度搜索与MMR算法
本文分享了相似度搜索中的信息冗余问题及解决方案。作者通过实际案例指出，传统余弦相似度容易返回重复内容导致用户体验下降，并详细介绍了MMR算法实现，该算法通过平衡相关性和多样性优化结果。文章总结了三个实战坑点（向量维度灾难、参数调优、边界处理）及性能优化方案（FAISS、分桶策略、缓存），最后强调需结合业务场景调整参数，建议通过用户行为数据分析优化算法效果。关键点包括：MMR算法原理与实现、参数动态调整策略、生产环境性能优化技巧。
2026-06-03 21:44:58
26
原创 # 011、Prompt模板工程：设计高效检索提示词
《RAG系统检索提示词设计避坑指南》摘要：本文针对企业知识库RAG系统中检索提示词设计的常见误区展开分析。作者指出检索提示词与生成提示词的本质区别，强调检索环节需将用户问题解构为结构化查询而非自然语言。核心建议包括：使用关键词式短句而非完整句子、采用动态模板适配业务场景、实施多轮分层检索、引入负样本排除干扰项，以及控制提示词长度避免信息稀释。文章结合代码示例，分享了语言一致性处理、实体提取等实战技巧，并强调通过A/B测试验证效果。最终结论指出，优秀的检索提示词设计需要理解嵌入模型语义空间特性，并与生成环节明
2026-06-03 21:44:08
29
原创 #10 LCEL表达式语言：声明式管道构建
本文分享了作者使用LangChain Expression Language（LCEL）构建RAG问答管道的实战经验。LCEL通过声明式管道操作符|简化了复杂流程的构建，支持组件化开发与并行执行。文章重点解析了管道操作的底层逻辑、类型检查机制、流式输出实现、错误处理策略及调试技巧，并通过代码示例演示了带检索功能的问答管道实现。作者总结了LCEL的核心优势在于渐进式开发与代码简化，但也指出其类型隐式转换和版本兼容性等潜在问题，建议开发者从简单管道开始并注重类型明确性。
2026-06-03 21:41:25
26
原创 # 009、LangChain框架核心组件与Chain机制详解
文章摘要 本文从LangChain的实际使用问题出发，深入剖析其核心架构，重点解析Component、Chain和Callbacks三大组件。作者结合踩坑经验指出：1) Component层中BaseLanguageModel的统一接口、PromptTemplate的变量绑定陷阱及OutputParser的容错处理；2) Chain层揭示LLMChain的字典式输入输出特性、SequentialChain的变量传递机制和RouterChain的动态路由实践；3) Callbacks作为监控利器，通过自定义H
2026-06-03 21:40:41
153
原创 # 008 构建第一个RAG管道：检索+生成最小闭环
本文介绍了构建RAG（检索增强生成）系统时常见的问题和解决方案。文章从一个生产事故案例出发，详细讲解了从文档加载、文本分割、向量化到检索和生成的完整流程，并针对每个环节提出了实用建议和调试技巧，如合理设置chunk_size、使用MMR检索策略、设计带约束的Prompt模板等。作者特别强调了检索与生成模块的协同优化，以及如何避免常见的技术陷阱，最终实现一个高效可靠的问答系统。
2026-06-03 21:39:53
21
原创 # 007 文本分割策略：固定长度、语义分割与递归分割
本文探讨了三种文本分割策略的优缺点及适用场景。固定长度分割简单高效但语义完整性差，适合结构化数据；语义分割利用模型判断边界效果好但依赖准确分句，适用于连贯性文本；递归分割采用多粒度分割符，平衡效果与效率，是LangChain的默认方案。选择分割策略需根据文本类型和场景需求，避免因不当分割导致语义断裂影响下游任务效果。
2026-06-03 21:39:07
139
原创 # 006 文档加载器实战：PDF、Word、Markdown解析
《文档加载地狱：RAG工程师的实战避坑指南》摘要 文章揭露了构建RAG系统时面临的文档解析难题，重点剖析了PDF、Word和Markdown三种格式的陷阱与解决方案： PDF解析需组合PyMuPDF（文本）、pdfplumber（表格）和OCR工具，提出分层解析策略和文本合并方法，强调坐标排序对保持内容顺序的重要性。 Word文档需额外处理文本框、批注等python-docx默认忽略的内容，提供表格转Markdown的实用方案。 Markdown非标准内容需自定义解析器，通过HTML提取结构化标题和内容块。
2026-06-03 21:38:26
183
原创 # 005 向量数据库入门：ChromaDB安装与基本操作
摘要： ChromaDB是一个轻量级向量数据库，适合本地开发和知识库MVP阶段。它与FAISS、Pinecone等工具相比优势在于开箱即用，无需复杂配置。安装时建议指定稳定版本（0.4.24），避免兼容性问题。使用时注意两种运行模式（嵌入式/HTTP客户端），推荐开发阶段用嵌入式模式。创建Collection时需指定唯一名称，添加数据需包含ID、文本和元数据。查询支持相似度搜索和元数据过滤，但要注意默认参数可能不适合大规模数据。性能调优可调整HNSW参数，生产环境超过100万条记录建议迁移至Milvus等专
2026-06-01 21:36:54
33
原创 # 004、Embedding模型选型与OpenAI/本地模型对比
摘要： 本文深入探讨了RAG（检索增强生成）系统中Embedding模型选型的关键问题。作者指出，Embedding质量直接影响检索效果，是RAG系统的核心瓶颈。OpenAI的text-embedding-3-small在通用场景表现优异但成本较高；中文场景推荐BAAI/bge-large-zh-v1.5，需进行领域微调；多语言场景仍建议使用OpenAI。重点强调不同模型的向量空间不可混用，需注意文本截断、向量归一化等细节，并建议通过业务数据实测而非盲目相信评测榜单。最终应根据具体场景在成本、隐私和精度间寻
2026-06-01 21:35:28
175
原创 # 003 文本向量化基础：从词袋到Transformer
本文分享了作者在构建知识库问答系统时遇到的文本向量化技术实战经验和优化策略。文章从词袋模型、Word2Vec、Doc2Vec到预训练语言模型，系统梳理了不同技术方案的优缺点和应用场景。 文章首先通过一个具体案例揭示了词袋模型的局限性，指出其无法理解语义关系和上下文的问题。接着详细介绍了Word2Vec的向量类比特性及其在知识库中的应用，并分析了Doc2Vec在文档级向量表示上的改进和不足。最后重点讲解了Transformer预训练模型的使用技巧，包括模型选择、批处理设置、长文本处理等实战经验。 作者特别强调
2026-06-01 21:33:22
33
原创 # 002 Python开发环境与核心依赖库安装指南
本文分享了搭建稳定Python开发环境的实战经验，重点针对企业级RAG项目。核心建议包括：选择Python 3.10/3.11而非最新版；使用venv隔离项目环境；通过国内镜像加速pip安装；分层管理核心依赖库（框架、向量存储、文档解析、LLM接口）；用requirements.txt锁定版本。文中还列举了常见安装错误的解决方案，并总结了"先搭环境再写代码"等三条黄金原则。作者通过亲身踩坑经历，强调前期规范环境配置能大幅减少后续调试时间，避免"依赖地狱"。
2026-06-01 21:31:07
36
原创 # 001、RAG技术全景与知识库应用场景解析
RAG（检索增强生成）系统在企业知识库应用中需要精细调优，不能简单视为检索与生成的拼接。文章分享了制造业知识库的调试案例，指出地理实体词区分不足导致数据混淆，通过加入实体识别后处理显著提升准确率。建议采用三层架构：原始语料层需精细解析，索引层结合向量与关键词双通道，生成层需设计动态上下文策略。强调检索精度受分词、时效性影响，生成阶段应设置引用强制、置信度阈值和后验校验三道"防火墙"。最后指出系统成功关键在于场景化嵌入和持续迭代优化，而非单纯技术选型。
2026-06-01 21:29:45
142
原创 # 043 Agent 的未来趋势：具身智能、Agent 联邦、自主进化与 AGI 前夜
别想着“我要做出AGI”，而是想着“我要让我的Agent在某个具体任务上超越人类”。你给它一个明确的目标，它能做得很好。结果发现，Agent能回答“第3章第2节讲了什么”，但回答不了“如果我想实现一个功能，应该参考手册的哪些部分”。我见过一个强化学习Agent，为了最大化奖励，学会了“作弊”：在模拟环境里，它发现只要让机器人原地转圈，就能触发一个bug，获得额外奖励。比如，任何动作在执行前，都要经过一个“物理可行性检查器”，如果动作会导致机械臂超出关节限位，直接拦截，不给Agent任何“尝试”的机会。
2026-05-19 17:22:55
432
原创 # 042、Agent 的商业模式：SaaS、API 服务、私有化部署与开源生态
本文总结了Agent产品的四种商业模式及其痛点：SaaS模式面临多租户隔离、数据隐私和定制化挑战；API服务需平衡滥用防范与服务质量；私有化部署存在环境依赖和运维支持难题；开源项目需谨慎选择商业化路径。作者建议根据产品特性和客户需求选择模式，初期聚焦单一模式，逐步扩展。关键经验包括灵活定价、沙盒测试、清晰贡献指南、API熔断机制等。最终强调商业模式无优劣之分，需结合产品定位、客户群体和团队能力选择最适合的方案。
2026-05-19 17:22:20
445
原创 # 041、实战项目六：嵌入式 Agent —— 在 IoT 设备上实现本地语音控制与决策
本文分享了在嵌入式设备上实现本地语音控制Agent的实战经验。作者从硬件选型、软件架构到代码实现，详细剖析了开发过程中的关键问题和解决方案。重点包括：采用状态机+时间片轮转的架构设计，音频环形缓冲区的无锁实现，模型推理的内存优化技巧，以及看门狗喂食策略等稳定性保障措施。实测数据显示，在ESP32-S3平台上可实现95%的唤醒率和2秒内的指令识别延迟。文章特别强调嵌入式AI开发的核心矛盾：看似在写AI代码，实则是在解决实时操作系统下的资源调度问题，并给出了避免常见陷阱的实用建议。
2026-05-19 17:21:45
375
原创 # 040、实战项目五：多 Agent 协作系统 —— 项目经理、开发者、测试者角色模拟
我见过最蠢的设计是测试Agent只调用pytest，结果开发者没写测试，测试Agent就报告“全部通过”。我试过0.7，它给我生成了带emoji注释的代码，还自作主张加了“智能缓存”功能，结果把Redis搞崩了。比如PM说“实现用户登录”，开发者写了个登录接口，但没考虑PM之前说的“需要支持OAuth2.0”。我遇到过开发者Agent卡在“思考”状态半小时，后来加了每个步骤的timeout，超时后自动重试。测试者Agent最容易变成“点头机器”——开发者说“我写好了”，测试者说“好的，通过”。
2026-05-19 17:21:05
503
原创 # 039、实战项目四：自动化运维 Agent —— 日志分析、故障诊断与自愈脚本执行
Agent 负责发现和诊断，人类负责确认和兜底**。架构上分三层：1. **日志采集层**：用 inotify + tail 实时监控指定日志文件，按行推送到内存队列。2. **分析诊断层**：基于规则引擎（不是 AI 大模型，别想复杂了）匹配已知故障模式，输出诊断结论。3. **自愈执行层**：根据诊断结论，调用预定义的恢复脚本，执行前先发通知给运维人员，等待确认或超时自动执行。
2026-05-19 17:20:21
269
原创 # 038 实战项目三：数据分析 Agent —— 自然语言查询、可视化生成与报告输出
SQL注入风险与数据分析Agent设计要点 本文通过一个SQL注入案例，总结了数据分析Agent开发中的关键经验：1）采用三层隔离架构（NLU解析层、SQL生成引擎、执行沙箱）确保安全；2）自然语言转SQL时需结合数据库Schema和示例值；3）可视化应采用模板化设计而非LLM直接生成代码；4）报告输出需结构化并限制LLM废话。核心建议包括：永远验证LLM生成的SQL、保持可视化简洁、记录完整操作日志、保留用户回退机制。作者强调数据分析Agent的目标是辅助而非替代人工分析，应专注于自动化重复性工作，保留关
2026-05-13 22:52:20
473
原创 # 037 实战项目二：代码审查 Agent —— 自动分析 PR、生成评论与修复建议
本文介绍了一个自动代码审查Agent的设计与实现，旨在通过自动化检测PR中的常见问题来提升开发效率。该系统采用模块化架构，包含PR拉取、差异分析、评论生成和修复建议四个核心模块。关键技术点包括：精确的diff行号映射、基于AST的静态规则引擎、结合项目上下文的LLM调用策略，以及结构化评论生成机制。作者分享了实战经验，强调规则引擎应优先覆盖80%常见问题，LLM仅处理复杂场景，并指出行号准确性、评论数量控制和隐私保护等关键注意事项。最终建议开发者先构建稳定的规则引擎，再逐步引入LLM能力，避免过度依赖大模型
2026-05-13 22:51:21
595
原创 # 036、实战项目一：智能客服 Agent —— 多轮对话、知识库检索与工单创建
本文分享了智能客服Agent在生产环境中的实践经验。通过一次线上事故引出系统架构设计，强调多轮对话状态管理、知识库检索优化和工单创建幂等性的重要性。文章详细拆解了三个核心模块：基于显式状态机的对话管理器、结合向量和关键词的双路检索器，以及通过请求ID实现去重的工单创建器。每个模块都配有经过生产验证的代码示例，并标注了实际踩坑经验，如并发场景下的状态管理、冷门问题的检索优化等。这些实践方案在双十一等高并发场景下得到验证，为构建稳定可靠的智能客服系统提供了可落地的技术方案。
2026-05-13 22:50:32
516
原创 # 035、Agent 的版本管理与持续迭代：Prompt 版本控制、模型切换与 A/B 测试
摘要： 开发AI Agent时，Prompt的微小变动（如增减标点）可能导致模型行为异常，而传统代码管理方法难以追踪这类问题。本文提出将Prompt视为独立代码文件进行版本控制，并设计模型适配层处理不同LLM的特性差异。通过A/B测试框架验证Prompt优化效果，避免主观判断，强调数据驱动的迭代。核心观点：Prompt是自然语言代码，需要像管理代码一样严格管理其版本、适配和测试。
2026-05-13 22:48:30
587
原创 #34 Agent 的测试与评估：单元测试、集成测试、对抗测试与基准（GAIA、AgentBench）
本文探讨了AI Agent测试的关键要点：1. 单元测试应聚焦意图解析和工具选择，而非仅验证JSON格式；2. 集成测试需模拟多轮对话链，检测上下文污染和工具链时序依赖；3. 对抗测试要主动制造崩溃场景，包括提示注入、角色扮演攻击等；4. 基准测试（如GAIA和AgentBench）需关注多步推理和协作能力。作者强调测试覆盖率不是目标，行为边界才是核心，建议自动化测试与人工评估结合，认为测试用例的设计反映了对"智能"的理解深度。文章以"微波炉烘干猫"的事故案例，生动说
2026-05-13 22:47:34
421
原创 #33 Agent 的可观测性：日志、追踪、监控与性能分析（LangSmith、Wandb）
文章摘要： 作者分享了一个多Agent系统因正则表达式性能退化导致延迟暴增的深夜Debug经历，强调了Agent可观测性的重要性。与传统后端不同，Agent系统需监控LLM调用、工具执行、上下文管理等复杂维度。建议采用结构化日志（JSON格式+唯一trace_id）和OpenTelemetry追踪，推荐使用LangSmith进行LLM调用分析和对比实验，以及Wandb监控Token消耗与成本。核心原则：没有完善可观测性的Agent系统不应上线。
2026-05-11 21:54:31
483
原创 #32 Agent 的安全与隐私：提示注入防护、数据脱敏与权限控制
摘要 本文探讨了大语言模型Agent在实际应用中的安全风险与防护策略。文章从线上事故案例切入，分析了提示注入攻击的两种形式（直接注入与间接注入），并提出了输入输出隔离、指令边界标记、语义防火墙等防护方案。在数据安全方面，强调了输入输出双脱敏机制和动态权限脱敏的重要性，同时指出上下文泄露风险。最后，作者通过SQL执行案例，阐述了工具权限最小化原则，强调必须对Agent的能力进行严格限制。全文通过代码示例展示了具体防护措施，为构建安全的AI Agent系统提供了实用指南。
2026-05-11 21:53:52
436
原创 #31 Agent 的实时性挑战：流式输出、低延迟推理与异步架构
摘要 本文分享了构建实时AI Agent系统的实践经验，重点解决线上环境中的延迟问题。作者通过真实案例分析了Agent卡顿的根源——串行阻塞的RAG检索流程，并提出流式输出、低延迟推理和异步架构三大优化方向。具体包括：使用SSE/WebSocket实现流式传输，设计断点续传机制；在模型选择上权衡大小与延迟，利用vLLM等工具加速推理；构建基于DAG的异步工作流引擎，避免阻塞操作。文章还强调了超时处理和降级预案的重要性，为开发高响应性Agent系统提供了实用解决方案。
2026-05-11 21:53:12
598
原创 #30 Agent 的芯片级优化：NPU、TPU、GPU 加速与量化推理（INT4/INT8）
本文分享了边缘端Agent项目中的芯片级优化经验。作者通过RK3588 NPU上的实际案例，揭示了硬件特性与软件架构不匹配导致的性能问题，并提出优化策略：1)根据模型规模选择合适芯片(NPU/GPU/TPU)；2)量化时注意粒度校准，采用混合精度方案；3)通过算子融合和内存布局优化提升计算效率；4)采用双缓冲等异步机制降低延迟。文章强调必须深入理解芯片特性，针对性地调整模型结构和推理流程，才能实现最佳性能。
2026-05-11 21:52:26
468
原创 #029 Agent 的嵌入式部署：在 Raspberry Pi、Jetson 上运行轻量 Agent
嵌入式AI Agent部署优化指南 本文总结了在嵌入式设备上部署AI Agent的实践经验。作者通过Raspberry Pi和Jetson Orin等硬件上的实际测试，揭示了嵌入式Agent面临的三大挑战：内存限制、算力瓶颈和功耗约束。文章详细对比了不同硬件平台的适用场景，推荐使用量化模型（如GGUF格式）和优化推理框架（llama.cpp、MLX）。在Agent设计方面，提出要精简框架、控制工具数量、优化上下文管理，并分享了具体代码实现中的关键技巧。通过系统性的优化，作者最终在资源受限的嵌入式设备上实现了
2026-05-11 21:51:37
474
原创 #028 Agent 的本地部署：Ollama、vLLM、llama.cpp 与边缘设备适配
摘要： 本文分享了在边缘设备本地部署AI Agent的实战经验，重点对比了Ollama、vLLM和llama.cpp三套方案的优缺点。Ollama易用但并发处理差，vLLM吞吐量高但不适合边缘设备，llama.cpp在资源受限设备表现最佳但需手动优化。作者详细记录了在Jetson Orin、树莓派等设备上的适配技巧，包括显存管理、量化选择、错误处理等核心问题，并给出实用建议：不要迷信一键部署方案，7B以上模型不适合边缘设备，必须建立完善的监控机制。文章强调本地部署的本质是精细化的资源管理，需要根据硬件特性和
2026-05-08 23:42:24
579
原创 # 027、Agent 的 API 网关设计：认证、限流、日志与错误处理
摘要： Agent服务网关设计需重视认证、限流与日志。认证方面，避免仅依赖内部使用假设，应采用短生命周期Token+刷新机制，区分API Key（对内）与OAuth2（对外）。限流需多维控制（用户、API Key、全局），流式请求按Token消耗量限流。日志必须结构化，贯穿调用链路（用户→网关→Agent→LLM→工具），包含trace_id等关键字段。文中通过真实事故案例（爬虫打挂未认证接口）及代码示例，总结了Agent网关的实践要点。
2026-05-08 23:41:15
454
原创 # 026 Agent 的文件处理：PDF、Excel、图片、音频的解析与生成
本文总结了处理各类文件格式的实战经验与避坑指南。PDF处理需注意扫描件OCR、表格提取和加密解密问题；Excel大文件应采用流式读取避免内存溢出；图片处理需统一格式并限制尺寸。关键原则是：文件处理首要考虑异常处理而非完美解析，需针对不同格式特点采用专用工具和方法，同时注意内存管理、错误处理和性能优化。
2026-05-08 23:40:38
623
【机器人开发】：ROS2项目实战：基于ROS2的机器人导航（Navigation2）、机械臂控制（MoveIt2）、SLAM建图案例
2026-04-30
【Go语言高并发与云原生项目实战】高并发服务实战：基于Gin的RESTful API开发、WebSocket聊天室、gRPC微服务通信案例
2026-04-30
软考全科备战资源包:备考规划与应试技巧：分阶段复习计划表、时间管理建议、答题策略、论文写作模板、案例分析答题框架
2026-04-27
Python全栈开发资源包：数据分析与可视化：Pandas数据处理实战、Matplotlib/Plotly高级图表、时间序列分析（Prophet）
2026-04-27
美赛建模工具包内容包括：LaTeX协作编辑指南等
2026-04-26
计算机二级通关宝典冲刺备考资料：复习计划、易错题集、考试环境模拟软件、答题时间分配建议
2026-04-26
印刷电路板（PCB）设计Altium Designer脚本编写高速信号布线实战用于PCB设计新手入门实战参考、工程师技能提升学习、Altium Designer软件实操指导、高速PCB设计案例借鉴
2026-04-26
人工智能 + 软考全科备考全景图 + 考试体系科目选择通关战略总览
2026-03-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人