- 博客(3)
- 收藏
- 关注
RSS订阅原创 Timer-XL学习笔记
这篇论文和我们之前学过的 Time-MoE 有联系：两者都使用自回归思路进行时间序列预测，但 Timer-XL 特别关注如何利用较长的历史信息，以及如何处理多个变量之间的关系。
2026-11-06 20:04:39
285
原创 Time-MoE学习笔记
把 Time-MoE 与另一个预训练模型比较，双方可能同时存在以下差异：数据、模型规模、输入处理、损失、训练预算、预测头。假设路由器总选专家 1、2，那么它们不断获得训练机会，专家 3、4却很少被使用，整个模型可能越来越依赖前两个专家。这里的专家指的是可训练的前馈网路，也就是FFN（输入一个向量，经过若干次可学习变换与非线性运算，输出一个加工后的向量）。每个输入进来，路由器看一眼，只把它分给 top-K 个最相关的专家（K 远小于专家总数），其余专家这次完全不动。它是训练时的额外约束，训练时共同优化它们。
2026-10-29 21:34:50
171
原创 Mamba学习笔记（前置知识版）
引入一个新机制，不能只因为它在语言任务中有效，就默认它在电力、天气等数据上也有效。记忆已经在 SSM 内部更新完了，后面的输出门控只调节读出的结果，不会回头撤销那次记忆更新。”这个概念，参数量是模型中通过训练学到的数值的数量，和SSM的“当前内部记忆大小”不同。SiLU的操作是：把一个数，乘以由它自己决定的缩放系数。“传得远”与“完整保存”是两回事，并不能保存所有细节。：它是一种固定函数，把输入转换成介于0和1之间的数。记忆沿序列传递，输出沿时间传递。SSM不断传递更新后的记忆，
2026-10-16 21:49:46
129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人