weixin_43838187的博客

原创 零样本时间推理大模型

时间序列数据广泛存在于交通网络、电网、疾病传播等系统中，这类数据的核心特征是时空交织：既有时序动态，又有空间节点间的依赖关系。然而，现有研究存在明显断层：预测模型：只关心未来数值的准确度，缺乏显式的推理过程，对决策帮助有限。时序推理模型：大多只处理单变量或多变量序列，没有考虑空间关系（如节点间的图结构），无法回答“是哪个上游节点的异常导致了当前节点的拥堵”这类问题。：现有数据集很少提供配对的语言描述来解释空间实体和依赖关系，也缺乏显式的图结构。

原创 基于多任务图神经网络的多元时间序列表示学习

MTGL 用共享的 Gumbel-Softmax 图生成器和 GNN/池化组件，把“MTS 重建、全局图学习、局部图学习”三个任务联合训练，融合全局长期依赖与局部短期/阶段变化，学到可同时服务分类和 RUL 预测的通用多变量时间序列表示。

原创 时间序列中发现潜在因果结构

C3SD 用双稀疏诱导 VAE 从观测中恢复潜在因果成分，用神经 ODE 在潜在空间建模连续因果动力学，并通过“编码/解码同步稀疏”的理论保证实现潜在成分与因果结构的置换等价识别，在稀疏和不规则采样时间序列上显著优于现有因果发现方法。

原创 时间感知扩撒模型做时间序列预测

EVENTTSF 把未来已知的文本事件按时间窗口与时间序列对齐，用自回归流匹配扩散模型做片段级概率预测，并用事件条件 Beta 重参数化扩散时间步来平衡不同事件下的去噪难度，从而在多个事件驱动数据集上显著优于 12 个非平稳预测基线。

原创 自适应概念漂移

DESS 用“演化代理”替代原始历史回放，用双分解+跨模态残差融合捕捉多级时间语义，再用参数高效训练实现在线更新，从而在单域和跨域流式时间序列异常检测中同时实现更高精度、更低存储和更快训练。

原创 混合聚类注意里网络

MC-ANN 用 GMM 把水库水位序列拆成点级和段级混合簇，让多个 LSTM 预测器分工学习，再由注意力网络动态加权，从而在保持 3 天预测精度的同时，显著提升含极端事件、大方差水位序列的滚动预测性能。

原创 物理信息多任务学习框架

它针对电池健康状态（SOH）预测中“准而不稳”的痛点，提出了一套 “物理信息多任务学习”框架，在提升预测精度的同时，首次为模型装上了“不确定性感知”能力。作者提出软约束PINN，通过自动微分从潜在表征中提取物理意义明确的导数（如SOH随时间的变化率），作为“弱先验”注入损失函数，在不依赖显式方程的前提下实现了物理一致性建模。该论文以软约束PINN和DAGMM能量分数为核心，构建了一个兼顾精度与可靠性的电池SOH预测框架，为安全关键场景下的电池管理提供了“知之为知之，不知为不知”的决策依据。

原创 从渐进频谱视角解构超高清图像修复

该论文以频域渐进解耦为核心思想，将UHD图像修复从“黑盒式”的端到端学习转变为有物理可解释性的三阶段渐进过程，在多个基准上实现了SOTA性能的同时保持了较低的参数量，为UHD图像修复提供了新的方法论视角。在四个UHD基准任务上验证：低光增强（UHD-LL）、去雨（4K-Rain13k）、去雾（UHD-Haze）、去模糊（UHD-Blur）。· FW-KAN对比：FW-KAN（27.57dB）远超原始KAN（20.48dB）和MLP（26.97dB）。第二阶段：低频恢复器（LFR） — 重建粗粒度内容。

原创 面向概率建模的自动化高效多变量核密度估计的频域方法

作者明确指出，真实工程系统（海洋工程中的耦合有界变量、结构材料中的非线性相关、金融中的重尾分布）普遍呈现非高斯、非独立特征，传统参数化方法（如多元正态、高斯混合模型）或计算代价过高，或参数估计不稳定。论文将带宽选择从传统的经验法则（如Silverman规则、Scott规则）或交叉验证方法，重构为频域中的梯度优化任务，并构建了可微目标函数（融合频域保真度损失与正则化惩罚项）及其解析梯度。理论贡献：将KDE带宽选择从无梯度启发式方法转变为有解析梯度的连续优化问题，为KDE的理论分析提供了新的数学框架。

原创 写好introduction

原创 4_聚类与transformer

然而，这一范式存在一个根本性瓶颈：传统聚类算法中的聚类分配步骤是不可微的，这导致聚类过程与特征学习无法整合到统一的端到端训练框架中，聚类算法的参数也无法与特征表示一起学习。论文的核心贡献是提出了均值漂移解码器（Mean Shift decoder, MS decoder），一种基于Transformer架构的可微均值漂移聚类模块，以及基于该模块构建的均值漂移掩码Transformer（MSMFormer）。超球面注意力中的\kappa控制着分布的集中度，类似于均值漂移中的窗口带宽。

原创 3_聚类与transformer

论文的核心动机是：Transformer的表示映射并非仅依赖于单个输入 x(0)，而是依赖于一个长度为 n 的token序列 (x_1(0), \ldots, x_n(0))。这一结果揭示了自注意力机制在深层网络中的稀疏化趋势：从初始的密集注意力逐渐演化为稀疏的、聚类驱动的注意力模式。聚类的位置由初始token决定，这一事实从数学上确认了Transformer学习到的表示具有上下文感知性（context-awareness）——表示不仅取决于单个token本身，还取决于它与其他token的交互。

原创 2_聚类与transformer

与图池化方法的对比：在 TU 数据集的六个数据集（IMDB-BINARY、IMDB-MULTI、COLLAB、MUTAG、PROTEINS、D&D）上，Cluster-GT 在大多数数据集上超越了所有基线方法，包括 DiffPool、SAGPool、TopKPool、ASAP、MinCutPool、SEP 等主流池化方法，尽管其使用的图分割算法（Metis）相对简单。将一个包含丰富节点多样性的簇压缩为单个嵌入，会丢失簇内部的节点级信息，导致不同簇之间的表示趋于雷同，无法准确反映簇内真实的结构差异。

原创 1_聚类和tranformer

这一思路与近年来的“通用视觉模型”趋势相呼应，但路径不同于基于大规模预训练+提示微调的路线（如CLIP、SAM），而是从架构层面寻找跨任务的统一结构。然而，神经科学研究表明，人类视觉系统并不依赖任务特定的架构，而是通过一种层次化的聚类过程来理解视觉世界：将线条、形状、颜色等基本视觉特征逐步组合，形成对象、场景等高级抽象。论文将不同任务的本质差异归结为聚类粒度的不同——图像分类是图像级的聚类，目标检测是框级的聚类，图像分割是像素级的聚类。用一个统一的聚类架构覆盖所有粒度，即可实现真正的通用视觉模型。

原创 双曲空间解决小样本问题

在欧氏空间中，随着域数量的增加，维度膨胀问题难以避免；在元训练阶段，HIKD通过双曲嵌入（hyperbolic embedding） 将欧氏空间特征映射到双曲空间，并采用双曲拟合蒸馏方法（hyperbolic fitting distillation） 来获得多域统一的泛化表示。针对上述问题，作者提出，双曲空间相比欧氏空间具有更大的容量，且天然支持学习图像之间的层次结构，这有助于跨不同数据域的泛化学习。知识蒸馏在此的作用是：通过教师模型与学生模型之间的知识传递，增强模型的泛化性能，从而显著提升任务表现。

原创 多模态和决策弱监督相结合

贡献 说明首次探索WSVIReID 提出仅依赖单模态标注的弱监督设定，避免繁重的跨模态标注异构专家协作框架 利用模态专属分类器作为专家，通过预测融合建立跨模态对应CRE：三类关系建模 将跨模态对应分为一致/唯一/冲突三类，差异化处理动态同质化约束 基于预测熵自适应调整专家协作强度SOTA性能 在SYSU-MM01和LLCM上大幅超越半监督和无监督方法，接近全监督。

原创 基于大语言模型（LLM）的多模态轴承健康管理

轴承是旋转机械的核心部件，故障率高，健康管理意义重大。现有方法通常针对单一工况、单一任务设计专用模型，泛化能力差。域适应和域泛化方法虽有改进，但仍受限于类别不一致、工况数量少、需要复杂预处理等问题。将振动信号与文本提示对齐，输入 LLM，统一多任务。为了实现这一点，论文提出了先验知识增强的统一振动信号表示，并构建了首个大规模多模态轴承健康管理数据集 MBHM。

原创 融合迁移学习策略的混合深度学习光伏功率预测

提出了一种融合迁移学习策略的混合深度学习光伏功率预测模型，名为。下面从研究背景、模型结构、迁移学习策略、实验设计、结果分析和结论等方面进行详细解读。

原创 多模态时序预测

VoT 通过事件驱动推理利用大语言模型从外生文本中提取事件影响并生成预测，通过多层次对齐在表示层融合内生文本、在预测层自适应融合事件驱动预测与数值预测，从而在多个真实领域显著优于现有方法。

原创 聚焦多传感器数据流非平稳性事件时间序列预测

TimeCAST 把多传感器数据流分成若干随时间演化的“阶段”（stage），为每个阶段学习一个“随机时间到事件预测器 + 传感器依赖描述器”，并通过在线更新适应非平稳数据流，从而在保证预测精度的同时实现快速、可扩展的实时预测。

原创 跟着顶刊学配色18：柱状图

原创 因果推断基础

转自：3S&ML。

原创 8-PINN何时以及为何训练失败

这篇论文是领域的奠基性理论工作之一。作者从的视角，系统解释了 PINN，并提出了基于核谱分析的自适应训练算法。以下从研究背景、理论框架、核心发现、解决方案与实验验证五个维度进行解读。

原创 7-基于樽海鞘群算法（SSA）优化的自适应深度信念网络（SADBN）

论文7（结构层）: SSA优化拓扑 + 自适应动量 → 解决"建什么网络"↓论文6（神经元层）: 局部自适应激活函数 + 斜率恢复 → 解决"神经元如何响应"↓论文5（算法层）: QGS-Focal梯度系统 + Focal Loss → 解决"如何高效优化参数"若将三者结合，可想象一个由SSA自动设计结构、LAAF自动调节神经元激活特性、QGS-Focal高效训练参数的自动化深度学习系统。当前三篇论文独立解决了不同层面的问题，体现了深度学习优化从宏观结构到微观神经元再到数值算法的多尺度研究趋势。

原创 6-具有斜率恢复能力的局部自适应激活函数

提出局部自适应激活：从全局一个参数，细化到逐层、逐神经元各自有参数提出斜率恢复项：在损失函数中"奖励"大斜率，主动防止梯度消失严格理论保证：证明不会陷入次优局部最小，且梯度动力学等价于隐式预处理广泛实验验证：在函数逼近、物理反问题、标准图像分类上都有效标准激活：所有乐器固定音量，指挥只能调节演奏技巧GAAF：全团统一调大音量旋钮L-LAAF：弦乐部、管乐部、打击乐部各自有自己的音量旋钮N-LAAF：每个乐手都有自己的音量旋钮斜率恢复项。

原创 5-用于深度神经网络训练的焦距梯度系统方法5-5-

QGS 保证你最终能稳稳停在一个靠谱的谷底（稳定平衡点），Focal 机制强迫模型去关注少数类和难样本，小批量和有限内存法则让这一切在大规模网络上算得又快又省。在不平衡数据集上，模型既不会"偏心眼"只认多数类，也不会训练到天荒地老，而是用更短的时间达到更高的精度。

原创 4-补充说明非光滑非凸优化的惩罚对偶分解方法

在一座超级复杂的山里找到最低点（这就是"优化"）。坑坑洼洼（非凸）：到处都是小坑和山谷，不是简单的一个大锅底。有些地方是悬崖（非光滑）：不能随意滑下去，得小心绕行。有些路被封了（约束条件）：比如"此处禁止通行"、“海拔不能超过 100 米”。针对"坑坑洼洼、有悬崖、变量还互相纠缠"的极难优化问题，设计了一个叫 PDD 的算法。它像一位聪明的搬家队长，既会把大任务拆成小任务，又会灵活调节惩罚和调解机制，最后严格证明：算法停下来的地方，一定是一个靠谱的谷底（KKT 解），而不是半山腰的乱石堆。

原创 4-非光滑非凸优化的惩罚对偶分解方法——第一部分：算法与收敛性分析

提出 PDD 框架：首次将罚函数、增广拉格朗日和块分解统一，处理非光滑非凸 + 非凸耦合约束严格收敛理论：在标准 Robinson 条件下证明收敛到KKT 解rBSUM 算法：扩展 BSUM 到非凸约束情形，证明几乎必然收敛和O1TO(1/T)O1/T速率广义梯度工具：利用 Clarke 广义梯度处理非光滑项。

原创 3-现代神经网络中的优化算法综述

这篇 2023 年的综述是一幅现代神经网络优化的"活地图"。系统性：将一阶、二阶、信息几何、分数阶、无梯度方法纳入统一框架时效性：覆盖了 2021-2022 年的最新进展（Adan、AdaPNM、Apollo、AdaHessian、量子自然梯度）应用导向：明确给出了不同网络架构（CNN/RNN/GNN/PINN/SNN/QNN）的优化器选型建议对于研究者而言，这篇文献指明了多个可切入的前沿方向。

原创 2-SGD 的泛化行为解释2-

这两篇文献放在一起，恰好构成了一部深度学习优化的"微观史"是工程手册：它记录了深度学习爆发期（2012-2017）优化算法的经验结晶，是每一个从业者入门的必经之路。它的价值在于系统性和直觉性——让你知道有哪些工具、何时使用。是理论基石：它代表了深度学习从"炼金术"走向"科学"的努力，用严格的稳定性理论解释了为什么这些工具能工作。它的价值在于深刻性和预测性——让你知道边界在哪里、什么条件下安全。整体而言，深度学习优化的研究正在从 Ruder 式的"算法枚举与经验比较"，迈向 Zhou 式的"

原创 1-从 SGD 到 Adam神经网络优化算法

核心观点：梯度下降是神经网络训练中最主流的优化方法，但大多数从业者将其当作"黑箱"使用——知道调用 ，却不清楚不同算法背后的行为差异、适用场景和权衡取舍。本文的目标就是提供直觉层面的理解，帮助读者根据问题特点选择合适的优化器。这是基础部分，区分了三种梯度计算方式：原文总结了 mini-batch SGD 面临的四大难题，这也是后续所有改进算法的动机来源：这是全文核心。所有算法都是为了解决上述挑战而设计的。动机：SGD 在"峡谷"（ravine，一个维度陡峭、另一个平缓的区域）中会来回震荡，沿谷底前进缓慢。直

原创 github的学术写作skills

转自：Sigrid百宝小屋。

原创 图神经网络不确定性量化

该研究将不确定性量化从"预测辅助"提升为"优化导向"，通过概率改进优化（PIO）使图神经网络在探索庞大化学空间时保持"自知之明"，在单目标和多目标分子设计任务中均实现了比传统方法更高的成功率，为AI驱动材料发现提供了更稳健、可扩展的实用框架。

原创 word里修改表行距

因为最小值那里是灰色，我以为并没有设定表格行的最小值，但是又返回表格，发现：行距离拖动是可以变大，但是无法变小====>推断还是设定了行距最小值。在word里插入一个表，想要使得表变得扁扁的，但是怎么弄都不行，表属性还有单元格设置都不行。

原创 知识图谱与大模型结合综述

SciKG 定义为有向标记图GVEG=(V, E)GVE节点v∈Vv \in Vv∈V：科学实体（基因、蛋白质、化合物、反应、材料等）；边e∈Ee \in Ee∈E：实体间的语义关系（激活、抑制、结合、催化、合成等）；元数据：节点和边附带来源、实验条件、定量属性、外部数据库链接等；多维扩展：时间维度（知识演化）、上下文维度（实验环境）、多模态维度（文本、数值、图像、光谱）。关键区分：SciKG 不同于原始科学数据图（如晶体结构图、蛋白质相互作用网络）。

原创 频率驱动时空注意力模块

频域分析框架：首次系统地从频率视角揭示 SNN 的学习偏好（浅层垂直/深层水平、时间步间振幅差异），为 SNN 优化提供理论依据；即插即用模块：FSTA 仅增加极少参数，通过 DCT 全频谱空间注意力和轻量时间注意力，有效抑制冗余脉冲；SOTA 性能与能效：在 CIFAR-10/100、ImageNet、CIFAR10-DVS 上均取得最优或次优表现，同时降低约 34% 的脉冲发放率。

原创 可解释图聚类

λ-Graphoid：包含对簇具有足够代表性（≥λ≥λ）的节点和边；γ-Graphoid：包含对簇具有足够排他性（≥γ≥γ）的节点和边。理想情况：每个簇拥有独特的节点和边集合，无重叠。现实中通过调节λ\lambdaλ和γ\gammaγ来提取最具判别性的子图模式。图嵌入视角：将时间序列聚类转化为图结构分析问题，通过节点和边的拓扑特性捕捉时序模式；双重可解释性指标：引入代表性和排他性，量化节点对簇的贡献，支持交互式子图提取；共识聚类稳定性。

原创 FeDaL：联邦时间序列基础模型框架

转自：时序大模型。

原创 (ICCV 2025) 特征差异对齐模块

AMDANet通过SCI消除编码器偏置FDAM从局部到全局对齐视觉差异MFML强制模态互补学习，实现了RGB-红外图像在融合与分割任务上的双重突破，在三个主流数据集上均取得SOTA性能。

原创 超大规模网络动力系统问题

提出了一个名为的框架。这篇论文的，它解决了一个。