swtaly123-优快云博客

原创 DeepSeek-V4-Flash 昇腾 910B PD 分离部署（最终版处理完成篇）

DeepSeek-V4-Flash 在昇腾910B集群上实现1P1D分离部署，通过两处关键修复将失败率从14.4%降至0：一是修正代理跨rank选decoder问题，强制按端口配对确保KV缓存正确传输；二是增加引擎就绪等待机制，待所有/v1/models返回200后再发起压测。验证显示代理100%成功、无HCCL错误、前缀缓存命中率100%，单次KV传输仅24ms。代码改动极小，但逻辑严谨，兼顾稳定性与可维护性。可找我拿完整脚本

2026-11-06 18:01:34 442

原创 DeepSeek-V4-Flash 昇腾 910B PD 分离部署（11 月 6 日中午调试篇）：14.4% 请求失败率是怎么定位出来的

11月6日中午，针对DeepSeek-V4-Flash在昇腾910B PD分离部署中请求失败率从0.1%升至14.4%的问题，通过时间对齐发现此前误判的“8卡链路掉线”实为服务启动前事件。物理层排查排除光模块、网络拥塞及管理网问题，锁定根因为软件通信域建链超时（HcclCommPrepare ret 0x9）。日志分析揭示瞬时并发建链风暴与通信域资源泄漏，最终定位到HCCL_BUFFSIZE=1024（默认200）导致高并发下SDMA缓冲耗尽。此外，环境变量配置错误及代理选路不均亦加剧负载倾斜。

2026-11-06 17:55:38 315

原创 DeepSeek-V4-Flash 昇腾 910B PD 分离部署（优化篇）

本文聚焦于DeepSeek-V4-Flash在昇腾910B PD分离部署下的性能优化，通过8个实测优化点，揭示“算力未用满”背后的深层问题。核心发现：卡仅使用3/4算力却无报错，静默失效难察觉。关键优化包括：修复负载均衡导致的资源倾斜（如DP3卡闲置）、降低KV传输开销（首建链从300ms降至60ms）、合理规划容量（P侧为瓶颈）、调优gpu-memory-utilization等参数。强调以四组基线指标为基准，结合日志与设备计数双验证，方能真正榨干2×16卡的算力潜力。

2026-11-05 19:54:23 222

原创 DeepSeek-V4-Flash 昇腾 910B PD 分离部署（下）：从“能起来“到“跑得动“的闭环

本文详解模型启动后的关键验证标准：需通过进程、链路、计算三层信号，尤其以 SpecDecoding metrics 出现为真能推理的标志。分析 MTP 加速效果，得出其约 1.8~2.5 倍提升，但草稿接受率随位置衰减明显，不宜盲目加深。指出 KV 打满是吞吐瓶颈主因，建议调低 max-model-len 和 max-num-seqs。强调暴露端口存在安全风险，需加防火墙与 API Key 鉴权。最后提供一套可直接复用的脱敏配置，涵盖容器部署与资源映射。

2026-11-05 09:09:48 209

原创 DeepSeek-V4-Flash 昇腾 910B PD 分离部署

本文详述了在1P1D分离部署vLLM-Ascend 0.30.0rc2时，因“陪葬效应”导致6个rank集体报错却仅1个根因的排查全过程。核心结论：日志中大量“连接断开”实为头节点崩溃引发的级联故障，真正根因在于HCCL网络配置三方不一致、脚本换行符错误、布尔类型误写、多线程与prefetch互斥、以及量化权重缺失MTP层等六大陷阱。文章提出“先看rank0、查上下文日志、用探针快速验证HCCL”等六条高效排查方法论，强调配置统一、逐项修复、避免盲目重试，显著提升调试效率。

2026-11-04 21:27:17 420

原创 Spring Boot 3 + Vue 3 实战：一套三级安全教育考试系统的完整设计与 6 个踩坑复盘

本文基于真实生产项目，详解SpringBoot3+Vue3实现的三级安全教育考试系统设计。核心涵盖：三层联动教育档案模型、双维度权限（菜单+数据权限）、随机组卷与快照判分机制。重点复盘6大踩坑：全局序列化导致前端判空失效、JWT无jti引发令牌冲突、路由守卫刷新后状态丢失、空卷生成、合格分超总分、练习倒计时误判。通过配置期校验、接口契约明确、错误提前暴露等策略提升系统可用性，强调“读取模式决定表结构”“权限分离”“错误前置”三大设计原则，具备极强落地参考价值。

2026-11-02 11:57:58 458

原创 Spring Boot + JNA 直连 PI 实时数据库

本文介绍基于Spring Boot与JNA直连PI实时数据库的工业数据采集方案，通过绑定32位原生库piapi32.dll替代缺失的light.dll，实现测点快照批量读取并推送至Kafka。核心挑战包括：必须使用32位JRE（64位加载失败）、PI API非线程安全需全局串行化、连接上下文按线程维护、时间戳为UTC秒需正确时区处理。文中提供关键代码、踩坑总结与运维脚本，可直接复用于类似场景。

2026-10-29 16:23:12 491

原创工业数据采集网关架构设计

一套工业数据采集网关的完整架构设计：插件化内核怎么切接口、Modbus 点位如何分块合并把请求数降一个量级、32 位浮点四种字节序怎么处理、断线重连为什么要上报坏质量、OPC UA 上千点位如何分组订阅。附四层架构图与可扩展点清单，可直接作为你项目的架构基线。

2026-10-27 14:03:37 530

swtaly123的博客