- 博客(107)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 【AAAI-26：时序概念漂移】DeepBooTS：用于时序漂移的双流残差增强
DeepBooTS 是针对时间序列预测中概念漂移问题，核心创新包括输入与标签双流分解、逐层残差校正及门控系数自适应，在多元、单变量及大规模数据集上均超越18种SOTA方法，实现 15.8% 的平均性能提升，兼具通用性、解释性及深度扩展性。
2025-12-13 16:23:30
976
原创 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 1：背景动机
在多头编码中，在训练期间将标签分解到多头分类器的输出上，并在测试中组合输出以获得预测标签。与上述方法不同的是，如图1所示，我们将原始分类器分解为多个头，并将极端标签概念化为高维空间中的点。在训练过程中，极端标签的坐标分量对应于每个头的局部标签。这个过程涉及将极端标签分解为多个局部标签的乘积，从而几何地减少极端标签的编码长度。测试时，每个头贡献一个坐标分量，形成高维空间中的一个点，可以将其投影到整数轴上以获得极值标签。
2025-01-04 12:22:43
1786
原创 【KDD2025 不确定性量化、分布预测】DistPred：回归与预测的无分布概率推理方法
可端到端训练的概率推理模型，能在单个前向中推断大量样本，以估计响应变量的潜在分布。
2024-06-19 12:03:56
3330
6
原创 【减法网络】Minusformer：通过逐步学习残差来改进时间序列预测
该论文详细解释了时间序列预测存在的过拟合问题，并提出了使用深度减法网络（集成学习）来缓解过拟合现象。论文思路清晰、观点新颖，值得推荐！
2024-06-17 22:56:53
1699
原创 【无标题】时间序列异常检测基准数据集差异及对方法选择的影响
明确数据场景：先确定实际数据的维度（单/多变量）、规模（长度/数量）、异常类型（点/子序列），选择属性匹配的基准数据集（如工业多变量流数据→TimeEval/TSB-AD）。筛选方法兼容性：排除与数据集维度、异常类型不兼容的方法（如单变量数据→排除多变量GAT模型）。平衡性能与成本：小规模数据可优先精度（如CBLOF），大规模/流数据优先扩展性（如STAMPI、DAMP）。验证与最终选择：先在适配的基准数据集（如短点异常→Yahoo）上初步筛选，再在TSB-AD等精选集上做最终验证，避免“基准偏倚”
2025-12-19 21:44:24
731
原创 【因果结构学习】基于复杂潜在混杂网络的Hawkes过程因果结构学习
本文研究了多元霍克斯过程中的因果结构学习问题，针对现有方法默认"因果充分性"假设的局限，提出了部分观测多元霍克斯过程（PO-MHP）框架。通过将连续时间过程转化为离散时间线性自回归模型，利用秩约束条件和路径约束，推导出可识别性的充要条件，并设计了两阶段迭代算法。实验验证表明，该方法在合成和真实数据上都能有效恢复含潜在混杂子的因果结构，性能优于现有基线方法。未来工作可考虑放松激发函数假设、降低算法复杂度等方向。
2025-12-16 22:52:39
666
原创 【张量等变学习】张量学习与正交，洛伦兹和辛对称
kpk_{(p)}kp-张量1p1_{(p)}1p-张量空间为配备OdO(d)Od作用的RdRdkpk_{(p)}kp-张量由kkk个1pi1_{(p_i)}1pi-张量的外积生成（p∏i1kpip∏i1kpi），OdO(d)Od作用为对角作用，TkRdpTkRdp表示ddd维kpk_{(p)}kp-张量空间（p1p=+1p1为向量空间，p−1p=-1p。
2025-12-16 22:42:24
681
原创 【对比语言-图像预训练】SuperCLIP：基于简单分类监督增强的 CLIP 模型
SuperCLIP通过引入轻量级分类监督机制，在保持CLIP原有优势的基础上显著提升了细粒度视觉-文本对齐能力。该方法仅需在视觉编码器后添加0.077%计算量的线性层，利用文本token构建IDF加权的K-hot监督信号，将分类损失与对比损失结合。实验表明，SuperCLIP在零样本分类、图像检索等任务中性能提升显著（如ImageNet-1K准确率最高提升4%），同时有效缓解了CLIP小批次训练的性能下降问题。该框架可无缝集成到SigLIP等多种CLIP-style模型中，并在纯视觉任务和多模态LLM中展现
2025-12-16 22:04:08
1002
原创 ProCo：无限“对比对”的长尾对比学习
在解决长尾数据难题时，采用传统的交叉熵学习目标开发了许多算法[10]，[11]，[12]，[13]。然而，最近的研究表明，监督对比学习(SCL)[14]可能是一个更合适的优化目标，就长尾分布的弹性而言[15]，[16]。准确地说，SCL故意将标签信息集成到对比损失函数的正对和负对的公式中。与自监督学习不同，自监督学习通过锚点的数据扩增产生正样本，SCL从与锚点相同的类别中构建正样本。值得注意的是，该方法的初步探索已经产生了超越大多数针对长尾分布设计的竞争性算法的性能[17]，[18]，[19]。
2025-12-15 14:33:13
681
原创 【顶会新宠、量化交易、股价预测】MacroHFT:高频交易的记忆增强情境感知强化学习
在短时间内执行算法交易的高频交易(HFT)最近占据了加密货币市场的大部分。除了传统的定量交易方法外，强化学习(RL)由于其处理高维金融数据和解决复杂的顺序决策问题的出色能力而成为高频交易的另一种吸引人的方法，例:分层强化学习(HRL)通过训练路由器从代理池中只选择一个子代理来执行当前交易，在二级高频交易中显示了其良好的性能。然而，现有的高频交易RL方法仍然存在一些缺陷:1)标准的基于RL的交易代理存在过拟合问题，无法根据金融环境做出有效的政策调整;2)由于市场条件的快速变化，单个代理人所做的投资决策通常是片
2025-12-15 14:30:42
573
原创 【智能制造】智能制造系统中的时间序列分类：最先进的机器学习算法的实验评估
本文系统评估了时间序列分类（TSC）算法在智能制造系统中的性能表现。研究选取36种主流机器学习与深度学习算法，在22个制造业数据集上进行实验对比。结果表明，传统ML算法DrCIF（97.9%精度）和DL算法ResNet（10次最优）表现最佳。针对不同场景，多变量任务推荐DrCIF，单变量任务推荐ResNet，实时系统推荐ARSENAL。研究发现传统ML算法仍具竞争力，无需盲目追求深度学习。研究为制造业从业者提供了算法选择指南，填补了TSC技术在工业应用中的评估空白。（149字）
2025-12-13 17:18:20
697
原创 【多模态对齐】MTAG：面向非对齐人类多模态语言序列的模态 - 时间注意力图模型
研究背景：人类交流本质是多模态的（语言、语音、面部表情等），多模态序列数据存在复杂的多关系与时间交互，而现有方法在处理此类数据时面临融合与对齐的核心挑战。核心问题多模态数据常非对齐（采样率不同、时序异步），传统方法难以有效对齐。多数方法仅能建模双模态交互，无法同时处理多模态（如文本、视觉、声学）的复杂关联。模型参数规模大，易引入虚假关联，影响对关键交互的关注。符号解释viv_ivi图中的节点iiieije_{ij}eij从节点viv_ivi到vjv_j。
2025-12-10 20:33:00
1008
原创 【股票预测】用NLP预测金融趋势的随机时间序列模型
创新性融合自然语言处理（NLP）的情感分析结果与金融数值数据，基于生成对抗网络（GAN）构建时序预测模型，解决“文本与数值特征有效结合”及“稀疏/低相关金融数据学习”两大核心挑战。ST-GAN在所有预测时间维度（1天、15天、30天）的RMSE与NRMSE均显著低于对比模型，平均NRMSE较现有最优深度学习模型降低32.2%。图5：我们的GAN模型的LSTM生成器网络和CNN鉴别器网络的模型架构。
2025-12-10 14:50:47
1141
原创 AI解决132年数学难题！寻找全局李雅普诺夫函数，探索三体问题
大多数对象是系统都不稳定，且计算平方和李雅普诺夫函数涉及复杂的搜索，系统规模的增长，对算力和内存需求会呈爆炸式增长，所以这种方法速度很慢且仅适用于小的多项式系统。对于非多项式系统，模型发现了12.7%的李雅普诺夫函数。研究的最终目标是发现新的李雅普诺夫函数，在随机生成的2-3个多项式、2-5个多项式的数据集中，最佳模型发现了11.8%和10.1%的李雅普诺夫函数，是传统方法的10倍。130多年过去了，科学界仍然不知道对于一般的系统该如何寻找李雅普诺夫函数，现有的算法只能求解非常小规模的多项式系统。
2025-12-10 08:52:01
632
原创 【在线学习】在线时间序列预测的快慢学习
深度神经网络在非平稳环境下的快速自适应能力对在线时间序列预测至关重要。成功的解决方案需要处理对新模式和重复模式的更改。然而，训练动态深度神经预测器是出了名的具有挑战性，因为它们适应非固定环境的能力有限，而且会灾难性地忘记旧知识。在这项工作中，受互补学习系统（CLS）理论的启发，我们提出了快速和慢速学习网络（FSNet），这是一个在线时间序列预测的整体框架，可以同时处理突变和重复模式。特别是，FSNet通过动态平衡对最近变化的快速适应和检索相似的旧知识来改进缓慢学习的主干。FSNet通过适配器的两个互补组件之
2025-12-10 08:51:30
872
原创 【NeurIPS-25】利用大型语言模型统一时序文本属性图的文本语义与图结构
核心场景：现实世界中的时序图常伴随丰富文本信息，形成时序文本属性图（TTAGs）（如电商网络中用户/商品的文本描述、带交易详情的时序边），需同时处理动态文本语义与演化图结构的复杂交互。现有方法局限忽视语义动态性：传统时序图神经网络（TGNNs）依赖MiniLM等预训练语言模型静态嵌入文本，无法捕捉文本语义随时间的动态变化（如“apple”在科技场景指“手机”、在日常场景指“水果”）。语义-结构融合低效：TGNNs过度依赖结构编码机制，仅在输入层浅层融合语义与结构信息；
2025-12-10 08:47:35
711
原创 【事件检测】用于事件预测的文本增强多粒度时态图学习
核心挑战：事件预测需从历史数据学习规律，但现有模型存在两大局限：大多基于马尔可夫假设，仅考虑短期历史依赖（如最近几步），忽略事件的中长期依赖（如数月、数年的经济趋势、社会稳定性统计）。对文本信息（如新闻描述）的利用不足，多数模型仅将文本作为独立模块处理，未能与事件知识图谱（KG）深度融合。事件表示：事件以四元组(源实体s, 事件类型r, 目标实体o, 时间t)形式构建时序知识图谱，新闻文本则作为事件的语义补充（如事件细节描述）。
2025-12-09 22:27:56
661
原创 ChatTime：连接数值与文本数据的统一多模态时间序列基础模型
时间序列分析现状：时间序列数据在金融、交通、能源等多领域至关重要，但传统深度学习预测模型存在局限——仅依赖单模态数值数据，采用固定长度窗口在单一数据集上训练预测，无法适应不同场景；且当前单模态方法性能接近饱和，简单线性模型常能媲美复杂模型。现有LLM相关方法缺陷：预训练大语言模型（LLM）为时间序列分析带来新可能，但现有方法存在不足：部分从 scratch 训练效率低且无法处理文本信息；部分整合LLM权重但需针对每个数据集重新微调，无零样本预测能力，且不能输出文本，难以应对时间序列问答、总结等场景。
2025-12-09 22:03:57
906
原创 【顶刊TPAMI 2025】多头编码（MHE）之Part 6：极限分类无需预处理
对于极限分类问题，标签预处理技术，如标签层级树（HLT）和标签聚类（LC），是不必要的，因为低秩近似仍然独立于标签定位。这不仅可以显著提高训练推理速度，而且可以实现多gpu并行加速。其次，当标签与数据过拟合时，模型泛化与标签的语义无关。
2025-01-04 23:14:24
1451
原创 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 5：实验结果
多头编码（MHE）算法在极限单标签（XSLC）、极限多标签（XMLC）和模型预训练上进行了大量的实验，以充分验证 三种提出的基于MHE的算法应对分类器参数过多问题的有效性。
2025-01-04 23:02:00
1236
原创 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 3：算法实现
多头编码（MHE）的三种算法实现。多头乘积（MHP）用于极限单标签分类，多头级联（MHC）用于极限多标签分类，多头采样（MHS）用于大型预训练模型。
2025-01-04 16:55:42
1683
原创 【顶刊TPAMI 2025】多头编码（MHE）之极限分类 Part 2：基础知识
多头编码（MHE）的分解与组合过程。MHE中的标签分解包括将极端标签分解为多个易于处理的局部标签，然后将这些局部标签用于训练神经网络。组合过程将局部标签组合成全局标签，得到最终的预测。
2025-01-04 16:25:53
1244
原创 RL教父Sutton提出持续反向传播算法：在深度持续学习中失去可塑性
人工神经网络、深度学习方法和反向传播算法1为现代机器学习和人工智能奠定基础。这些方法几乎总是在两个阶段中使用，一个阶段更新网络的权重，另一个阶段在使用或评估网络时权重保持不变。这与自然学习和许多需要持续学习的应用程序形成鲜明对比。目前尚不清楚深度学习方法是否适用于持续学习环境。在这里，作者表明它们没有——标准的深度学习方法在持续学习环境中逐渐失去可塑性，直到它们学到的不是比浅层网络更好的东西。作者使用经典的 ImageNet 数据集和强化学习问题在网络和学习算法中的各种变化中展示了这种可塑性损失。只有通过不
2025-01-04 12:18:57
1316
原创 连续token+随机生成：视觉大模型的高效Scaling！
FID（越低越好）是在MS-COCO 2014训练集中随机抽样的30K图像上进行评估的，而GenEval总分（越高越好）是使用官方基准提供的553个提示进行评估的，每个提示生成4个图像。在所有模型中，连续令牌上的随机顺序模型随着模型大小的增加而持续显示评估指标的改进，并获得最佳的FID和GenEval分数。我们使用连续令牌的随机顺序模型。更重要的是，随着参数量和训练轮数的增加，模型在验证损失、FID、GenEval Score等指标上表现出良好的可扩展性，为进一步扩大规模提供了理论支撑。
2024-11-10 17:23:11
322
原创 【Nature论文】消除反向传播！可全前向训练的光神经网络
值得注意的是，由于系统的缺陷，光场和梯度的理论结果并不能精确地代表物理结果，因此理论结果只是保真度的反映，因此不应被视为基本事实。通过将层数从 2 层增加到 8 层，我们观察到计算机训练网络的实验测试结果的平均准确率（标准差的两倍）分别为 44.0% （35.1%）、52.4% （8.8%）、58.4% （18.4%） 和 58.8% （5.5%）。c，光学系统中的这些区域可以映射到神经表示中的权重和神经元连接，从而能够在输入和输出之间构建可微的现场神经网络（左上面板）。b，实验测量与解析模拟的比较。
2024-11-10 17:22:48
973
原创 【Nature，无需反向 】物理学解决了人工神经网络的训练问题
大多数用于训练神经网络的软件的核心是一种称为梯度下降的方法，该方法涉及计算与神经网络输出相关的误差，然后更新网络的“隐藏”层以最小化该误差（图 1a）。尽管存在这些挑战，光学神经网络的前景仍然光明。薛和同事的研究表明，通过完全拥抱支配系统本身的物理定律，而不是仅仅复制针对传统计算机优化的算法，利用物理神经网络执行机器学习任务的努力可能会达到新的高度。这些系统自然地实现了神经网络的单向数据流，它们的物理参数（例如，光学滤波器的折射率、元件的电阻或弹簧的刚度）代表了编码神经网络节点和连接的参数6。
2024-11-10 17:22:07
764
原创 ECHO-GL:盈利电话驱动的异质图学习股票 走势预测
股票走势预测在量化交易中起着重要的作用。尽管现有模型通过纳入股票关系来增强股票走势预测，但这些预测模型面临两个局限性，即构建不充分或静态的股票关系，由于复杂的动态股票关系在不断变化的金融市场中受到各种因素的影响，因此无法有效地捕捉复杂的动态股票关系。为了解决上述限制，我们提出了一种新的基于股票关系的股票运动预测模型ECHO-GL ，该模型来源于收益电话会议。ECHO-GL不仅利用财报电话会议中丰富的语义信息构建全面的股票关系，而且基于多模态和异构图学习捕获相关股票之间的运动信号。此外，ECHO-GL根据后收
2024-10-22 22:20:30
1044
原创 无需扩散，下一个token预测直达AGI！
对于视觉语言理解任务，我们评估了12个基准的平均得分：SEEDBench-Img[45]、OCRBench[59]（具有归一化结果）、MMVet[98]、POPE[51]、VQAv2[27]、GQA[34]、TextVQA[78]、ChartQA[61]、AI2D[36]、RealWorldQA[91]、MMMU[99]和MMbench[58]。其中[BOS]和[EOS]是文本标记器中的原始特殊标记，[SOV]标记视觉输入的开始，[SOT]标记视觉标记的开始，[EOV]表示视觉输入的结束。
2024-10-22 17:38:52
1475
原创 【深度好文】严格正确的评分规则、预测和估计
统计分析的一个主要目的是对未来作出预测，并对与之相关的不确定性提供适当的度量。因此，预测本质上应该是概率性的，采取概率分布的形式——未来数量或事件的分布(david 1984)。事实上，在过去的二十年中，概率预测在天气和气候预测等应用中已经成为常规(Palmer 2002;Gneiting and Raftery 2005)，计算金融学(Duffie and Pan 1997)和宏观经济预测(Garratt, Lee, Pesaran, and Shin 2003;格兰杰2006)。
2024-10-19 13:58:34
1236
原创 【量化交易、股票预测】MASTER:以市场为导向的股票价格预测变压器
给定股票特征xutu∈St∈1τxutu∈St∈1τ，股票价格预测就是共同预测未来归一化收益率ruu∈Sruu∈S。图2描述了我们提出的方法MASTER的体系结构，它由五个步骤组成。(1)市场导向门控。我们构建了一个代表当前市场状态的向量mτ，并利用它通过门控机制重新缩放特征向量，实现市场导向的特征选择。(2)股内聚集。
2024-10-09 09:40:29
1732
原创 基于保形预测的非参数预测分布
本文应用保形预测导出了在非参数假设下有效的预测分布。也就是说，我们引入并探索预测分布函数，这些函数总是满足IID观测值在保证覆盖方面的有效性的自然属性。重点是一种预测算法，我们称之为最小二乘预测机(LSPM)。LSPM将经典的Dempster-Hill预测分布推广到回归问题。如果最小二乘线性回归的标准参数假设成立，那么在自然意义上，LSPM与Dempster-Hill过程一样有效。如果这些参数假设不成立，LSPM仍然有效，只要观测值是IID。
2024-10-09 09:39:40
780
原创 基于累积分布函数的神经似然
我们利用神经网络作为单调函数的通用逼近器来建立条件累积分布函数(CDFs)的参数化。通过对响应变量和CDF表示的参数应用自动微分，我们能够构建黑盒CDF和密度估计器。引入了一组族作为多元情况的替代结构。在一个极端情况下，最简单的构造是一个与最先进的深度学习方法相竞争的密度估计器，尽管它没有提供一个容易计算的多元cdf表示。在另一个极端，我们有一个灵活的结构，从中可以通过深度神经网络中的简单前向传递获得多元CDF评估和边缘化，但是其中的可能性计算随维度呈指数级增长。讨论了两个极端之间的替代方案。
2024-10-08 15:58:31
1213
原创 领域偏移：协变量移位下的域自适应
这可能不同于以T为条件的结果分布，因为可能存在T与Y相关的因素(例如，如果T是吸烟，Y是肺癌，可能存在一些基因，导致一个人更有可能吸烟，更有可能患肺癌，这说明了T和Y之间强烈的经验相关性;由于p≈(y | x, t)几乎肯定= p∗(y | x, t)，所以协变量移位假设成立。如果Y (0)， Y(1)⊥T | X，那么分布(X, T, Y (0)， Y(1))就是无混杂的。对于分布p∗0 (x, t, Y) = p≈(x)I[t = 0]p≈(Y | x, t = 0)，计算Ep≈[Y(0)]同样适用。
2024-10-01 11:21:26
698
原创 一种估计贝叶斯检索问题后验分布的神经网络方法
从遥感测量中反演大气量是一个逆问题，通常无法给出唯一、精确的解。测量和建模误差以及观测系统有限的灵敏度使得无法为给定的观测分配单一、离散的解。因此，有意义的反演应该由反演值和不确定性估计组成，不确定性估计描述了可能产生与观测值相似的测量值的一系列值。然而，即使反演方法允许对反演不确定性进行明确建模，它们的计算和表示通常也只能以近似的方式进行。贝叶斯框架提供了一种处理检索问题的不适定性及其相关不确定性的正式方法。
2024-08-04 23:35:38
1160
原创 保形分位数回归（CQR）
保形预测是一种构造在有限样本中获得有效覆盖的预测区间的技术，无需进行分布假设。尽管有这种吸引力，但现有的保形方法可能是不必要的保守，因为它们在输入空间中形成恒定或弱变化长度的区间。本文提出了一种完全适应异方差的新方法。它将保形预测与经典分位数回归相结合，继承了两者的优点。我们建立了有效覆盖的理论保证，并辅以对流行回归数据集的广泛实验。我们比较了保形分位数回归与其他保形方法的效率，表明我们的方法倾向于产生更短的区间。论文：Conformalized Quantile Regression。
2024-08-04 23:26:24
1223
原创 贝叶斯学习方法：几种方法介绍
这种组合保留了自回归模型的力量，例如外推到未来的良好性能，具有流作为通用高维分布模型的灵活性，同时保持计算上的可处理性。变分推理的大多数应用采用简单的后验近似族，以便进行有效的推理，重点放在平均场或其他简单的结构化近似上。我们的近似是通过规范化流程构建的分布，通过应用一系列可逆变换，将简单的初始密度转换为更复杂的密度，直到达到所需的复杂性水平。我们证明了具有更好地匹配真实后验的后验的理论优势，结合平摊变分方法的可扩展性，在变分推理的性能和适用性方面提供了明显的改进。关注微信公众号，获取更多资讯。
2024-08-04 21:38:48
657
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人