- 博客(4)
- 收藏
- 关注
RSS订阅原创 打破 Agent 串行瓶颈: 无 KV 传输的双卡流水线并行
本文提出了一种双卡乒乓（dual-GPU ping-pong）方法，用于加速多智能体串行推理链的执行。该方法通过将上游Agent的解码（decode）与下游Agent的增量预填充（append-prefill）在两张GPU上重叠执行，避免了传统串行执行中下游Agent等待上游完整输出的空等问题。实验结果表明，在5-Agent链式场景下，下游TTFT（Time To First Token）从约600ms降至13ms，端到端延迟相对单卡串行稳定降低约11%，且输出与串行逐字一致。
2026-08-03 20:20:15
315
原创 【OpenLayers 要素删除失败问题分析总结】
这个问题的根本原因是Vue 3 的响应式系统与 OpenLayers 的复杂对象状态管理之间的冲突。使用被 Vue 代理的对象（通过 layer.getSource() 获取）避免直接操作存储的原始引用验证重要操作的结果及时清理相关资源理解这个机制对于开发 Vue 3 + OpenLayers 应用非常重要，可以避免类似的性能和功能问题。
2025-12-05 15:50:02
662
原创 交叉熵损失
交叉熵损失函数是从信息论中的交叉熵概念推导出来的。它衡量了模型预测的概率分布与真实标签的概率分布之间的差异。通过最小化交叉熵损失，模型可以学习到如何更好地预测每个类别的概率。
2025-07-18 11:02:00
636
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人