- 博客(12)
- 收藏
- 关注
原创 AI应用可观测性实战:OpenTelemetry链路追踪与成本监控
AI 应用上线后两眼一抹黑:LLM 调用耗时多久、成本多少、为什么返回乱码、哪次请求把 Token 限额打满了,统统不知道。,最后给排错表和配置清单。
2026-09-15 11:20:10
88
原创 LangChain生产部署避坑:序列化、版本管理与Chain测试完整指南
LangChain 跑通 demo 很简单,上生产才发现一堆坑:Chain 序列化失败、Prompt 版本对不上、缓存没生效、测试根本跑不动。,最后给排错表和配置清单。
2026-09-15 11:19:36
471
原创 RAG系统评测实战:MMLU到G-Eval的完整评测踩坑与提分
评测体系核心要点:评测集选择:- 通用能力:MMLU + GSM8K + HumanEval- 中文场景:C-Eval + CMMLU- 对话质量:MT-Bench + AlpacaEval- 领域场景:必须自建评测集评估方法:- 选择题/代码/数学:自动评测(精确匹配/pass@k)- 开放生成:LLM-as-a-Judge(G-Eval)- 重要场景:必须人工评估避免坑点:- 警惕数据泄露(用私有测试集)- 警惕位置偏见(打乱对比顺序)- 多维度评估(不要单一指标定英雄)
2026-09-14 13:38:32
361
原创 LoRA微调Qwen-7B显存实战:3种方案完整对比与生产级选择
Fine-tuning核心要点:选型决策:- 有足够数据 + 任务复杂 → Fine-tuning- 更新频繁 + 简单任务 → RAG/Prompt Engineering方法选择:- 消费级GPU → QLoRA(NF4量化)- 专业级GPU → LoRA(FP16)- 追求最高效果 → Full-tuning关键参数:- rank: 8(简单任务)/ 16(复杂任务)训练技巧:- 使用paged_adamw_8bit优化器(QLoRA必须)- bf16训练精度。
2026-09-14 13:38:05
299
原创 Advanced_RAG实战:从Naive_RAG到Agentic_RAG的完整演进路径
资源说明RAG 综述Retrieval-Augmented Generation 全景Self-RAG自适应检索论文ColBERT后期交互检索中文检索 SOTACross-Encoder 重排重排序实现框架文档LlamaIndex另一主流 RAG 框架Agentic RAG 调研Agent 自主规划检索RAG进阶路线核心要点:Naive RAG → 掌握基础+Query改写 → 解决表达不匹配+混合检索+重排 → 解决召回精度+Self-RAG → 自适应是否检索。
2026-09-13 19:07:57
272
原创 多模态大模型实战:视觉语言模型架构解析与工程落地
资源说明LLaVA 原始论文Adapter 路线开山作LLaVA-1.5投影层与指令数据改进Qwen-VL 技术报告Qwen-VL / Qwen2-VL 架构Qwen2-VL 官方博客动态分辨率 + MoECLIP视觉编码器基础CogVLM深度跨注意力对齐vLLM 文档高性能推理部署Transformers 文档VLM 推理 APIVLM落地核心要点:架构选择:- 通用场景 → Qwen-VL2 / InternVL2(开源首选)- 企业文档 → CogVLM2(中文表格处理)
2026-09-13 19:07:23
320
原创 向量数据库性能调优:HNSW参数、内存管理与生产级优化实践
增大增大增大增大增大增大增大M 每层最大邻居数召回率 上升内存占用 上升构建时间 上升ef_construction 构建候选数ef_search 查询候选数QPS 下降检索质量查询性能1.2 不同场景的参数配置模板1.3 参数敏感性分析(实测数据)实测关键结论:2. 内存管理:为什么向量数据库吃内存2.1 内存消耗来源拆解运行结果:2.2 内存优化策略3. 索引构建与重建策略3.1 索引构建时机3.2 索引健康检查4. 查询性能优化4.1 查询链路分析#mer
2026-09-12 18:07:33
165
原创 向量数据库技术对比:Milvus与Pgvector深度测评与生产选型
方案定位代表场景Milvus专业向量数据库亿级向量、分布式、高QPSPgvectorPostgreSQL扩展千万级向量、轻量级、Postgres生态Qdrant向量搜索引擎中等规模、过滤能力强Chroma向量库(单进程)简单场景、笔记本运行Weaviate矢量搜索引擎多模态、GraphQL这两个分别代表向量数据库的「专业路线」和「轻量路线」覆盖了90%的生产场景真实项目选型中80%会在这两个之间纠结Milvus:专业的事交给专业的工具。
2026-09-12 18:04:54
462
原创 Function_Calling架构深度解析:从原理到生产级Agent实战
本文深度解析Function Calling在AI Agent架构中的核心作用,对比OpenAI、Anthropic、Google Gemini等主流厂商的协议差异,揭示其在接口命名、参数格式、输出结构上的本质区别。通过源码级剖析OpenAI Tool Use调用链路,结合生产级实战代码,构建支持多模型的统一抽象层Agent,并总结性能优化与常见坑点,为实现跨平台、可扩展的智能体系统提供完整解决方案。
2026-09-11 11:05:36
299
原创 从源码角度深度剖析MCP协议:AI工具调用标准化革命
在MCP出现之前,AI Agent调用外部工具经历了三个阶段:1.2 MCP解决的核心问题MCP解决的不是「如何让AI调用工具」,而是**「如何让工具以一种标准方式被任何AI调用」**。MCP的本质:把「工具适配」变成一次性的基础设施工作。MCP采用三层协议架构:2.2 核心消息类型MCP定义了三类核心能力,通过JSON-RPC 2.0协议传输:2.3 传输层:stdio vs HTTPMCP支持两种传输方式,适用于不同场景:3. 源码级协议实现拆解3.1 MCP SDK核心类图以官方
2026-09-11 11:04:52
677
原创 程序员每天多出2小时
早上(5分钟):AI整理今日消息,标出重点工作时(随时):AI辅助写代码/注释午饭前(10分钟):AI生成日报初稿下班前(10分钟):AI生成周报 + 整理明日计划每天投入:35分钟每天节省:2-3小时ROI:1:4以上。
2026-09-10 17:18:30
324
原创 AI简历优化效率提升10倍
第1步:分析JD关键词 → 5分钟第2步:生成简历初稿 → 10分钟第3步:优化项目描述 → 10分钟第4步:AI质检并修订 → 5分钟合计: 30分钟比你自己改3天效果好得多。
2026-09-10 17:18:16
268
从源码角度深度剖析MCP协议-AI工具调用标准化革命
2026-09-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅