- 博客(8)
- 收藏
- 关注
RSS订阅原创 从服务化推理和统一训练架构，到veRL异步profiling改造
Model Engine和Rollout Engine的重构让veRL 在0.7版本产生了很多的变化，本文系统整理了他们的重构实现和改造过程，同时为veRL的profiling系统进行了对应的异步改造，相关工作已被收录到veRL的Q1 Roadmap。自由讨论详情veRL在0.7版本经历了比较多的变化，也慢慢看到了一个灵活、可扩展的强化学习训练框架正在不断完善和形成。本文介绍了一下veRL在这个转变的过程中，他的推理和训练引擎的一些变化，希望给相关开发人员提供一些参考资料。
2026-03-03 09:32:35
1033
原创 DeepSeek大EP服务化推理性能波动问题分析（MindIE）
在大语言模型推理服务部署过程中，性能稳定性是保障用户体验的关键指标。本文档记录了一次在专家并行（EP）推理场景下，Decode阶段时延出现无规律波动的排查与优化过程。通过系统化的性能监控、Profiling数据采集与分析，最终定位根因并实施有效解决方案，为类似场景的性能调优提供参考。
2026-01-16 22:50:53
959
原创 Triton Ascend知识地图
作者：昇腾实战派Coming Soon…Coming Soon…Coming Soon…Coming Soon…
2026-01-07 09:13:04
281
原创 视觉推理洞察
目前看来，视觉推理还在发展的早期阶段，客户面这方面的需求也是十分的零散，但是很明确的，多模态或者说视觉模型已经开始吸收语言模型在强化学习方面的各种优势了。其中一个大分支是利用reward model或者说人类对齐的强化生成效果，这个在deepeyes之类的探索中有所呈现。另一个分支就是本文所论述的，将视觉用于推理的过程，从简单的图像增强，到自己生成过程图像，再到更激进的舍去语言模型，可以看到这方面的工作也呈现百花齐放的态势。日后也会有更加泛化的方案和工作产生，着实令人期待。
2026-01-07 09:12:38
928
原创 mean triton确定性算子适配
在深度学习中，算子的确定性计算对于确保模型训练和推理的可复现性至关重要。然而，许多算子（如均值计算算子）在默认实现下可能存在非确定性问题，尤其是在float32数据类型上，这是由于浮点数计算不满足结合律，导致多核并行计算顺序不一致引入的数值偏差。本文以mean算子为例，系统性地复现了其在GPU和NPU上的非确定性计算问题，对比了确定性实现与非确定性实现的性能差异，并探索了通过Triton框架在NPU上的适配与优化策略。实验表明，确定性实现能消除结果波动，但会带来显著的性能开销，为实际应用中的需要进行权衡。
2026-01-06 09:31:03
1025
原创 veRL异步异卡方案考古
个人意见，仅供参考！目前的方案都是异卡基础上的异步，默认异步pr 正在进行中AsyncFlow还有进一步的工作，但是面对FullyAsync，要拿出更多的亮点Onestep off这种最小改动拿到异步收益很厉害，FullyAsync感觉是一个非常好的异步实验平台，很全面，有短时间内最优方案的样子server模式下对工具提出很大挑战，已经存在异步下profiling不能用的情况了。所有的异步方案都是在卷空泡率、利用率等指标，相关的标准、工具还是空缺着。
2026-01-06 09:29:50
956
原创 veRL partial rollout方案
这套方案则是主要基于async vllm来做的，也是为了配合之后的agent rl之类长尾问题更加严重的场景，算法逻辑上和上一个方案并没有什么不同。最大的区别在于由于使用的是async service，因此当拿到足够的数据用于训练之后，我可以直接发送cancel信号将剩余的rollout停下，而不用使用分几次推理这样的方法。3）在Areal的方案里，各自的每个token的old_logp通过推理引擎获得，然后通过适应算法来更新(Decoupled PPO)至于没有推完的数据怎么办？
2026-01-05 10:40:56
1115
原创 veRL异卡方案
众所周知，veRL之前是只有共卡方案的，它的整体设计，数据传输等等都是基于共卡进行的设计，因此会有一些别扭的地方，比如没有类似transferdock的数据存储。之前在DAPO的实现里，rollout的数量如果超过训练所需的，那么就会把多余的结果舍去，而不是像mindspeed-rl一样可以暂时放在transferdock里之后再用。
2026-01-05 10:35:01
931
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人