自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(24)
  • 收藏
  • 关注

原创 博客_短请求优先_20261113

摘要(148字): 针对vLLM调度中短请求被长文档“饿死”问题,诊断发现因max_prefill=1与插队机制仅作用于等待队列,导致短请求在运行队列仍需排队。修复分两步:一、允许运行中的短prefill插队,首字延迟从213秒降至1秒;二、将decode让位节奏从2:1加密至1:1,出字速度提升1.7倍。长请求性能影响可控(±1.6%),实现短请求低延迟响应,兼顾系统公平性与吞吐。

2026-11-13 09:51:16 124

原创 经验贴_DeepSeekV4.1_1017_调优复盘_20261021

四天调优复盘揭示:在昇腾910B4上部署DeepSeek-V4.1-Flash,仅4项改动有效——门控让位、Engram JIT、RoPE取表融合、图片上限提升至16。8项尝试失败,主因是将A3经验误用于A2架构。核心问题非参数调优,而是结构性误解。延迟优化本质是等待重分配,需关注分位数而非均值。环境变量传递漏洞导致多处配置失效,最终通过硬编码规避。显存与吞吐权衡中,长文首字延迟下限仍无解,部分问题待验证。

2026-10-23 16:30:21 285

原创 经验贴_V4.1优化复盘_20261021

在8×910B4上优化DeepSeek-V4.1-Flash(w4a8)过程中,历经五阶段、十四条死路与十二次自我欺骗。最终实现16并发下1389笔/0失败/64.9 tok/s,崩溃频率从每60秒必现降至多窗口20–30分钟无故障。但5.6 tok/s性能塌缩未解,EPLB因BAT冲突与机制缺陷未能上线。关键教训:算子注册需隔离draft层、BAT=4096可提KV利用率但代价未测、多数开关默认生效值≠实际值。能交付的不是“全优化”,而是“知哪些路是死的”。

2026-10-21 10:51:03 235

原创 经验贴_8x910B4部署DeepSeek-V4.1-Flash_全过程

在8×昇腾910B4上成功部署DeepSeek-V4.1-Flash(W4A8)生产服务,历经55步调试,最终仅3个关键参数生效:short_request_first_config、V41_SLOT_MAP_FUSED=1、MC2_ALG=hierarchy。通过解决冷编译超时、静默丢性能等致命坑,将短请求首字延迟从2分钟压至13秒,吞吐提升208%。核心启示:性能优化已近极限,未来空间在调度与算子层,而非参数调优。

2026-09-28 09:03:06 1129

原创 streaming-pipeline-learning-notes

本文总结了Claude流式处理的核心原理与实现机制。主要内容包括:流式处理通过单向持续连接(SSE)实现模型生成内容的分块传输,显著降低首token延迟;采用增量事件协议(content_block_*系列事件)而非完整快照;利用message.id实现客户端消息重建;通过tool_use块实现工具调用的pipelining优化;中断处理依赖通道断开和消息追溯;缓存机制与流式处理相辅相成,通过前缀匹配降低重复计算成本。文章还提供了完整的时序流程和对应源码位置,展示了流式处理如何实现高效的内容生成与交互。

2026-08-07 13:57:37 175

原创 Multi-Agent:Deep Research实战记录

本文总结了自研轻量级多智能体框架替代CrewAI的技术改造工作。主要内容包括:1)去除CrewAI依赖,解决其存在的JSON解析不稳定、Qwen模型输出异常等问题;2)系统架构优化,实现单行调用、内存共享存储和4级JSON解析策略;3)完成容器化部署和WebAPI开发,上线腾讯云服务。改造后系统可靠性提升,依赖包从30+降至6个,单次研究耗时3-5分钟,测试全部通过。

2026-07-17 16:58:55 336

原创 Multi-Agent实战:Deep Research

多Agent协作研究系统摘要 这是一个自主研发的多Agent研究系统,用户输入研究问题后,系统会从4个认知维度并行搜索,通过Agent间的对抗辩论验证声明可信度,最终输出带置信度标注的中文研究报告。系统完全自研,不依赖编排框架,包含约2100行Python代码。 系统采用三阶段流水线架构: 4个研究员并行搜索生成研究卡片 验证者-反驳者-验证者循环进行声明验证 评分器-提取器-编辑者生成最终报告 核心模块包括: Agent层:实现自主循环,支持工具调用和上下文压缩 工具层:封装搜索、读取等操作,进行输入校验

2026-07-17 15:09:16 319

原创 message-pipeline-comprehensive

文章摘要 本文深入解析了Claude Code消息管线的全流程架构,主要包含七个阶段:用户输入、入口层处理、四级压缩管线、API请求组装、HTTP流式接收、工具执行循环和后台收尾。核心架构采用单一真相源+多视图分离模式,mutableMessages作为权威数据源,支持不同类型消息的读写分离。重点分析了四级递进式压缩管线:Snip Compact(模型自主删除)、Microcompact(清除旧工具结果)、Context Collapse(异步多段折叠)和AutoCompact(LLM兜底总结)。其中创新性

2026-07-06 15:50:11 394

原创 conversation-pipeline

/ 用压缩后的消息替换当前消息// 如果是 task_budget 模式 → 扣减已消耗的 token 预算作用:若前三层不够、token 仍超阈值 → LLM 总结前缀对话。用户输入→ QueryEngine 统一收口四级压缩→ 逐级过滤,从轻到重API 组装流式处理→ 逐字显示 + 工具自动执行多轮循环→ assistant → tool_use → tool_result → 继续后台收尾→ 持久化 + 预分析 + 遥测。

2026-06-30 08:44:05 170

原创 autocompact-deep-dive

思考区

2026-06-29 17:27:30 274

原创 context-collapse-deep-dive

这是 Claude Code 源码学习系列的第三篇。Context Collapse 是四级压缩中最具创新性的设计——它将传统的"同步全文总结"进化为"后台异步多段折叠",在不阻塞用户的情况下持续维护上下文健康。

2026-06-29 17:26:20 422

原创 microcompact-deep-dive

Microcompact 是 Claude Code 上下文管理中最轻量的一层。它巧妙地利用了 Anthropic API 的 cache editing 机制,在不破坏 prompt cache、不修改消息体、不调用 LLM的前提下,用零 API 成本实现了工具结果的有效清理。分路径处理——根据缓存是否还热选择策略,不浪费已建立的缓存消息不可变原则——Cached 路径完全不动消息体,所有操作在 API 请求构建层完成Pin 机制——保证 cache_edits 的持续生效和缓存位置稳定。

2026-06-27 15:30:41 253

原创 snip-compact-deep-dive

Claude Code 的上下文压缩是一个四级递进式防护体系。每轮对话开始前,按顺序执行:二、它解决什么问题?2.1 Compact 做不到的事传统的 Compact(对话总结)只能做一件事:把整个对话前缀替换为一段摘要。Snip 可以从对话中间删除任意消息,不影响前后的消息:2.2 场景举例场景Snip 的作用早期方案被废弃删除讨论废弃方案的那段对话调试过程不再需要删除 之类的调试操作重复操作删除第一次失败的尝试,只保留最终成功的错误探索方向删

2026-06-27 15:29:23 218 1

原创 揭秘工业级 Text-to-SQL 系统:3800行代码背后的工程智慧

展现了一个工业级Text-to-SQL系统应有的工程素养:✅鲁棒性:断连重连、服务降级、异常捕获✅可维护性:分层架构、清晰命名、详细注释✅可扩展性:模块化设计、配置驱动、插件式标签✅可观测性:进度跟踪、轨迹记录、详细日志优秀的AI应用不仅是算法创新,更是工程艺术的体现。附录:核心代码统计模块行数占比SQL生成与反思~80021%裁判模型评估~60016%数据库执行~2005%工具函数~50013%流程编排~120031%其他~56914%总计。

2026-04-14 08:53:35 352

原创 构建智能SQL生成引擎:n-best候选+反思纠错+轨迹检索增强实践

本文介绍了一个生产级的智能SQL生成系统n-best候选生成:提高首轮命中率反思纠错机制:自动诊断并修正错误轨迹检索增强:从历史案例中学习系统设计遵循模块化、可扩展、易维护原则,已在实际业务场景中验证有效性。我们相信,这种"生成-验证-反思-学习"的闭环架构,不仅适用于Text-to-SQL任务,也可推广到其他需要高精度生成的AI应用场景。

2026-04-13 14:34:19 437

原创 华为昇腾服务器实战问题记录:模型崩溃

大模型推理稳定性 = 模型参数 + 解码策略 + 输出上限 + 后端实现的组合问题。把max_tokens限住、把 guided decoding 关掉、避免 0 温度触发奇怪分支。

2026-01-29 16:38:11 778

原创 实战问题记录:数据库问答实现方法及其难点

目标:将 SQL 结果转化为用户友好的答案。操作调用 LLM,输入:原始问题执行结果(表格数据)相关业务上下文(如“不合格率 = NOK / 总样本”)生成简洁、准确、带单位的自然语言回答可选:附上数据来源(“数据来自 QMS_PRODUCT_INSP 表”)✅ 这就是“最后总结回答的 agent”。即使你暂时不做模板化 SQL,也可以让模型先选口径先让模型只输出结构化选择:metric: “订单数(口径A)” 或 “完成量(口径B)”time_range: 本月/本周/2025年。

2026-01-05 10:18:31 1122

原创 工业垂类数据库对话agent踩坑指南

​。

2025-12-12 08:47:25 663

原创 agent调试日志6-模型蒸馏优化

接着日志4,我的蒸馏代码跑的时候出现的离谱的数据,loss和梯度范式高的离谱,下面对这些问题进行解决。

2025-07-30 22:20:26 706

原创 agent调试日志5-Lora微调

到这里就正常了,grad_norm从14降下来了,但是回看上一篇博文,蒸馏地loss和grad_norm明显也有问题,等明天再改吧,改不动了。我一开始使用的下面的代码,能运行,但是loss和grad_norm都高的离谱,一直在想怎么优化,一直调参数,调来调去都不行。然后找了半天,发现问题了,是lm_head和embed_tokens被错误地启用,删掉之后,grad_norm就下降了。改成这样,loss正常了,但是我还是嫌grad_norm太高,都过10了,再改。

2025-07-28 20:54:36 330

原创 agent调试日志4-模型蒸馏

配套的代码有两个,一个是dataset.py,一个是utils.py。上面第一个是dataset,第二个是utils,改编自。但是蒸馏还是没成功,系统报显卡1没内存了。我将模型蒸馏的代码做好了,如下。我改了点参数,使用混合精度。我换了个48G的显卡。

2025-07-26 16:17:09 227

原创 agent调试日志3-模型蒸馏

下个模型折腾半天,发现用lfs下载会一直卡住,强退出来使用git lfs pull能拉取,但是不知道下到什么地方去了,奇奇怪怪的,我在终端用ls -lh找了半天都没找到,但是查看空间又确实少了这么多存储地点,最后还是使用wegt手动一个一个下吧。好吧,我确认不能只用仲景这个模型了,我蒸馏的时候发现基础模型不一样,我用的是QWEN2.5-7B,教师模型和学生模型的词表不一致,没法用黑盒蒸馏,只能使用白盒,但是我不想用白盒,所以我换了个教师模型,叫做。解决方法为重新安装transformer。

2025-07-23 20:38:09 228

原创 agent调试日志2-模型回答不一致

从上面三个回答可以看出,模型的回答并不一致,可能我需要调低模型温度,但我目前的模型温度就是0.1,或者试着微调或者从成熟的模型上蒸馏参数过来,我目前用的是QWEN2.5-7B,我要从GitHub上找几个开源的医疗大模型蒸馏。下一篇文章我会试着蒸馏,但是这个模型有26G,不知道能不能运行,不行的话我需要另外找一些小一点的模型来作为蒸馏的教师模型。我找到了一个大模型,可以使用下面的命令在autodl上下载,模型链接为。

2025-07-22 18:16:05 165

原创 agent调试日志

但是我不确定是模型无法识别指令还是减少缩进和换行后,剩下的内容没有超出模型限制,还是确实是缩进太多影响模型识别指令。在目前版本中还存在问题,主要是有的问题无法回答,检索到相关数据后没有生成回答,需要看看是不是接受数据超过限定了。从检索的内容也可以看出,有了限制后的知识更好,只是还是要考虑是不是直接截断,还是要内容摘要。:LLM会将模板中的格式指令视为实际输出内容的一部分,而不是执行指令。可以看出,有了内容限制后的回答明显更好,下面是两份检索限制的代码。在您的提示模板中,存在大量不必要的换行和空格(如。

2025-07-21 17:30:19 640

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除