- 博客(10)
- 收藏
- 关注
RSS订阅原创 深度学习中的一些原理、技巧
从几何视角来理解模型参数的初始化策略 - 科学空间|Scientific SpacesBN究竟起了什么作用？一个闭门造车的分析 - 科学空间|Scientific Spaces
2025-07-31 10:56:20
222
原创 transformer中的一些概念、原理
因此，模型每一步的更新量是正比于模型深度N的，如果模型越深，那么更新量就越大，这意味着初始阶段模型越容易进入不大好的局部最优点，然后训练停滞甚至崩溃，这就是“增量爆炸”问题。而后面的MQA、GQA、MLA，都是围绕“如何减少KV Cache同时尽可能地保证效果”这个主题发展而来的产物。），因此在token by token递归生成时，新预测出来的第t+1个token，并不会影响到已经算好的。，因此这部分结果我们可以缓存下来供后续生成调用，避免不必要的重复计算，这就是所谓的KV Cache。
2025-07-29 14:00:43
177
原创 KIMI K2 技术报告
Kimi K2是一种最新的专家混合模型，具有 320 亿激活参数和 1 万亿总参数，在非思考模型的前沿知识、数学和编码方面达到了最先进的性能，并且针对智能体任务进行了精心优化，能够执行而不仅仅是回答问题。：基础模型，适用于希望完全控制以进行微调和定制解决方案的研究人员和开发人员。：经过后期训练的模型，最适合直接用于通用聊天和智能体体验，是一种没有长时间思考的反射级模型。
2025-07-28 15:47:57
1054
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人