- 博客(265)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 TiMi：让时间序列Transformer“听懂”人话的多模态混合专家模型
场景类型是否适合说明有外部文本信息（新闻/报告/公告）✅ 强烈推荐TiMi的核心优势纯数值预测（无文本）⚠️ 可用但不必要相当于SMoE在起作用不规则时间间隔数据✅ 适合文本和时序分开建模需要预测可解释性✅ 适合SMoE专家选择可追踪资源受限（无A100 GPU）⚠️ 需权衡需要运行7B LLMTiMi的核心贡献是改变了多模态时序预测的“游戏规则”——从“让文本和数字对齐”转向“用文本推理结果指导数字预测”。
2026-07-10 11:05:28
482
1
原创 PhysicsFormer：让时间序列模型学会“物理直觉”
论文《Benchmarking Physics-Informed Time-Series Models for Operational Global Station Weather Forecasting》提出全球最大开源站点天气数据集WEATHER-5K（5,672站点，10年，40GB），填补了时间序列天气预报（TSF）领域的数据空白。研究发现：1）纯数据驱动TSF模型在整体精度（如温度MAE差28%）和极端事件预测（SEDI指标低50%以上）上显著落后于数值天气预报（NWP）；2）融入物理约束
2026-07-09 11:15:22
463
原创 TiMi：让时间序列Transformer“听懂”人话，多模态混合专家模型
场景类型是否适合说明有外部文本信息（新闻/报告/公告）✅ 强烈推荐TiMi的核心优势纯数值预测（无文本）⚠️ 可用但不必要相当于SMoE在起作用不规则时间间隔数据✅ 适合文本和时序分开建模需要预测可解释性✅ 适合SMoE专家选择可追踪资源受限（无A100 GPU）⚠️ 需权衡需要运行7B LLMTiMi的核心贡献是改变了多模态时序预测的“游戏规则”——从“让文本和数字对齐”转向“用文本推理结果指导数字预测”。
2026-07-09 09:00:00
39
原创 蚂蚁集团开源QuitoBench：时间序列预测的“照妖镜”
蚂蚁集团开源QuitoBench时间序列预测基准，解决了当前评测体系三大痛点：领域分类不合理、数据分布偏斜和数据泄露问题。该基准基于17亿真实数据点，创新性地按趋势强度、季节性和可预测性（TSF）划分8类序列，实现均衡评估。评测涵盖10个模型（深度学习、基础模型和统计方法），通过23万次实验得出关键结论：1）上下文长度决定模型选择（短序列选深度学习，长序列选基础模型）；2）可预测性是预测难度的核心指标；3）数据规模比模型规模更重要。研究显示，1M参数的CrossFormer在多数场景下优于百倍参数的
2026-07-08 11:54:18
29
原创 小数据怎么做AI交叉
第二种：用自己的几十组实验数据，用一个简单的方法，但把数据背后的物理背景、实验条件、误差范围都讲清楚了。这恰恰是小数据研究的优势——你比谁都清楚你的数据是怎么来的、有什么限制。另一种思路是：先用一个简单的模型，看看数据里有什么规律，然后用这个规律去指导下一步实验，拿到新数据再更新模型。你的数据不是用来“训一个万能模型”的，是用来“帮你做下一步决策”的。AI交叉研究，比的从来不是谁的数据多。你的数据是实验来的，是有成本的、有时间窗的、有物理背景的。因为审稿人看的不是你的数据有多少，是你有没有把你的数据用透。
2026-06-04 08:34:25
716
原创 【审稿人思维】审稿人怎么看出来你用AI的？
你有没有这种经历：用AI大模型给你写了一段话，读着挺顺，语法没毛病，逻辑也没断。你检查了一遍，觉得没问题，放进论文里。导师看了一眼，说：“这是AI写的吧？你心里不服：哪里像了？然后你投出去。等了两个月，收到拒稿信。审稿人写了一条意见：“语言流畅但内容空洞，缺乏深度，建议作者认真修改。你开始怀疑：是不是我写得不够好？还是审稿人就是不喜欢AI？都不是。。这两个动作，差很多。先看一段真实的AI生成文字这是一段典型的学生作业。
2026-06-03 14:57:49
233
原创 【Transformer拆解】-7.编码器-解码器注意力（Cross-Attention）和输出层（Linear + Softmax）
编码器-解码器注意力是Transformer架构中连接编码器和解码器的核心机制，用于实现。让解码器动态关注编码器的输出（如翻译时对齐源语言和目标语言的位置）。：解码器的 Query 与编码器的 Key、Value 交互。允许解码器在生成每个目标词时，动态检索编码器输出的相关信息。生成当前目标位置（如"产量"）的Query向量。：来自解码器的当前状态（询问需要什么信息）将模型的高维表示转换为具体的单词预测。：来自编码器的输出（提供源序列信息）：井A的测井曲线序列。：预测井B的生产参数。
2026-06-03 09:45:59
44
原创 【Transformer拆解】-5. 前馈神经网络（FFN）和解码器的掩码自注意力（Masked Self-Attention）
在解码器的自注意力中，将未来位置的注意力分数设为 −∞−∞（通过掩码实现）。生成"主阀"时，模型可能利用"保持5分钟"的信息，导致训练与推理不一致。强制模型仅根据已生成的部分序列（["开启", "主阀"]）预测下一个词。确保解码器只能依赖已生成的标记（防止作弊），符合自回归生成的需求。，避免"偷看"未来未生成的词。在Transformer的解码器中，掩码的核心作用是。独立处理每个位置的信息（类似逐点卷积）。：确保解码器只能看到当前位置及之前的信息。：忽略输入序列中的填充符（如。
2026-06-02 15:16:15
39
原创 被拒了4次，我才搞明白审稿人到底想要什么
前几天晚上，一个读博的朋友给我发消息。他说：“我这三个月，Python也学了，DeepSeek也装了，教程看了几十个。但打开自己的论文，还是不知道写啥。同门用AI发了论文，我还在摸模型。我问：“那你卡在哪？他想了一下说：“不知道用什么模型。数据也不够。写出来的东西，导师说像AI写的。我说你这不是一个人。我见过最多的几个卡点每天刷AI新闻，但回到自己的领域就懵了。教程里都是图像分类、情感分析，没人告诉你土木/生信/经济该怎么做。你需要的不是更多的AI知识。
2026-06-02 10:55:06
272
原创 【Transformer拆解】-4. 残差连接（Residual Connection）与层归一化（LayerNorm）
即使深层网络F(x)学习失效，模型仍能退化为恒等映射y=x，避免性能退化。：缓解深层网络梯度消失，保留原始信息（参考 ResNet）。实验证明：ResNet-1000层比普通网络训练误差更低。层归一化：对每个样本的特征维度归一化（非批量归一化）。F(x)：神经网络层的变换（如线性变换+激活函数）：反向传播时梯度需逐层连乘，导致底层梯度指数衰减。：稳定训练过程，减少对批量大小的依赖。：反向传播时梯度可绕过复杂变换。：梯度可通过恒等路径直达底层。：原始输入直接传递到高层。
2026-06-02 10:24:58
240
原创 【Transformer拆解】-3. 自注意力机制（Self-Attention）——以油气领域为例
而Q/K/V（Query/Key/Value）机制是其实现自注意力的关键设计。如果没有Q/K/V分离，模型将无法区分“匹配”和“信息传递”两个功能，导致性能下降。每个变换矩阵的维度为dmodel×dk（dk通常=dmodel/h，h=注意力头数）：衡量两个词的相关性（如 "apple" 和 "fruit" 的分数较高）。某些任务（如问答）需要更复杂的交互模式，而Q/K/V分离可以提供这种灵活性。虽然多头有h倍Q/K/V矩阵，但dk=dmodel/h保持总参数量不变。
2026-06-02 10:19:50
24
原创 【Transformer拆解】-2. 位置编码（Positional Encoding）
这种确定性设计使其在油气领域的长序列处理（如全井段测井分析、跨年产量预测）中展现出显著优势，成为Transformer架构的核心组件之一。由于三角函数在实数域上的周期性，对于任意pos>Ntrainpos>Ntrain（训练时见过的最大位置），仍能生成有效编码。正弦/余弦函数的周期性允许模型外推到更长序列（相比可学习的位置嵌入更鲁棒）。当i=dmodel/2−1时：λ255≈10000（低频，捕获全局位置）i：维度索引（0≤i<dmodel/20≤i<dmodel/2）
2025-06-13 23:24:59
368
原创 【Transformer拆解】-1. 输入嵌入（Input Embedding）
嵌入层可学习语义信息（类似词向量，如 "king" 和 "queen" 向量方向相近）。"fracture"（裂缝）与"permeability"（渗透率）向量夹角≈30°。：将输入的单词或标记（Token）转换为固定维度的向量（如 512 维）。通过几何结构编码先验知识（如"注水→注气"的向量平移性）将离散的符号（如单词）映射到连续向量空间，便于模型处理。"CO₂"与"EOR"（提高采收率）的余弦相似度>0.7。：相似含义的输入会得到几何上接近的向量表示。每个词wi的one-hot向量ei与。
2025-06-09 09:49:42
613
原创 先验知识融合机器学习的几种方式
第一种是把网络的权重替换成一个在另外一个任务上预训练好的模型权重。经过的预训练的模型(如ImageNet预训练)往往已经具备的识别到一些基本的图片pattern的能力，如边缘，纹理，颜色等等，而识别这些信息的能力是识别一副图片的基础。这个思想和迁移学习类似。 第二种是在数据上下功夫。把原始数据的全局特征和局部特征分别训练，然后融合。 第三种是通过注意力机制让模型考虑先验知识：注意力放在鸟头，这就是添加先验信息 基于CAM图激活限制给模型加入先验知识：基于激活图，通过限制激活图的激活区域，加入目标先验。
2025-05-20 16:00:00
1196
原创 【数据分析】常见数据降维技术比较
我们比较了一些降维技术的性能，如奇异值分解(SVD)、主成分分析(PCA)和线性判别分析(LDA)。我们的研究结果表明，方法的选择取决于特定的数据集和手头的任务。对于回归任务，我们发现PCA通常比SVD表现得更好。在分类的情况下，LDA优于SVD和PCA，以及原始数据集。线性判别分析(LDA)在分类任务中始终击败主成分分析(PCA)的这个是很重要的，但这并不意味着LDA在一般情况下是一种更好的技术。
2025-05-20 10:00:00
168
原创 RAG（Retrieval-Augmented Generation，检索增强生成）
RAG（Retrieval-Augmented Generation）是一种结合检索与生成的架构，旨在解决传统语言模型在处理需要外部知识任务时的局限性。传统模型依赖预训练数据，难以处理动态或实时信息，且可能产生错误信息。RAG通过检索外部知识库获取相关信息，再结合语言模型生成回答，适用于问答系统、事实核查、实时信息生成等需要准确外部知识的任务。RAG架构包括检索器、向量数据库、生成模型和排序/过滤模块，形成“检索-生成-反馈”链路。其优势包括知识时效性、抗幻觉能力、可解释性和轻量级适配。典型应用场景包括企业
2025-05-19 16:58:28
299
原创 CoT（Chain-of-Thought，思维链）推理
CoT（Chain-of-Thought，思维链）推理是一种让大语言模型（LLM）通过分步推导解决问题的方法，模拟人类逐步思考的过程。其核心目标包括复杂问题拆解、可解释性提升和性能优化。CoT的关键组成要素包括问题输入与解析、思维链生成、中间结果整合以及答案生成与验证。实现方式主要有Prompt Engineering、模型训练与微调以及多模态融合。CoT通过分步验证缓解模型幻觉，处理复杂问题，并增强可解释性。典型应用场景包括数学题、逻辑推理、符号推理和真实世界任务。技术原理涉及隐式知识激活、注意力机制和数
2025-05-19 16:14:21
228
原创 【论文+代码】基于RF模型和自适应域分解算法（GS-BIRCH）的测井曲线生成研究
基于随机森林和自适应域分解算法的测井曲线构建：(1)加入地层分层信息为物理约束；(2)模型创新集成；(3)自动化的域模型构建；(4)潜在的小层划分方法；(5)适用于小数据集
2025-01-19 09:36:48
212
原创 【top论文+代码】基于Catboos-SMBO-SHAP的润湿性预测和主控因素分析（多组分+混合气体）
✅作者简介：双一流博士，人工智能领域学习者，深耕机器学习，交叉学科实践者。已发表SCI1/区论文10+，发明专利10+。可提供论文服务，代码复现，专利思路和指导，提供科研小工具，分享科研经验，欢迎交流！📌📞联系博主：博文留言+主页底部联系方式+WeChat: Allein_STR📙本文内容：【基于Catboos-SMBO-SHAP的润湿性预测和主控因素分析（多组分+混合气体）】
2025-01-13 13:05:10
315
原创 【论文+代码】基于transformer的端到端符号回归算法
✅作者简介：双一流博士，人工智能领域学习者，深耕机器学习，交叉学科实践者。已发表SCI1/区top论文10+，发明专利10+。可提供论文服务，代码复现，专利思路和指导，提供科研小工具，分享科研经验，欢迎交流！📌个人主页： https://blog.youkuaiyun.com/allein_STR?📞联系博主：博文留言+主页底部联系方式+WeChat: Allein_STR📙本文内容：【基于transformer的端到端符号回归算法】
2025-01-09 22:52:30
2808
1
原创 【超详细】MIT 液态神经网络（LNNs）——深度学习新动向
输入可以是任何形式的时间序列数据，其中表示时间。例如传感器读数、金融市场数据、语音信号等。
2025-01-05 22:22:33
2608
原创 【ChatGPT】比尔·盖茨最新分享：ChatGPT的发展，不止于此
本文内容：介绍 比尔·盖茨关于ChatGPT的最新分享：ChatGPT的发展，不止于此
2023-03-25 18:15:10
4495
1
原创 少样本学习综述
元学习是FSL的一种流行方法，它涉及到在各种相关任务上训练模型，以便它能够学习如何有效地学习新任务。该算法学习从可用数据中提取任务无关和任务特定的特征，快速适应新的任务。是一种流行的基于梯度的元学习算法，它学习如何优化模型的参数以快速适应新任务。它通过一系列相关任务来训练模型，并使用每个任务中的一些示例来更新模型的参数。基于度量的元学习算法学习一种特殊的方法来比较每个新任务的不同示例。在训练过程中，算法通过仅使用每个新任务的几个标记示例更新模型参数来学习适应新任务。
2023-03-18 13:12:30
671
原创 【附代码】【入门级】多任务分类学习
1.数据获取与处理使用CIFAR-10[2]数据集，该数据集根据MIT许可证提供。该数据集由60000张32x32像素的RGB图像组成，分为10个不同的类别。它被分为50000个训练样本和10000个测试样本，并且是完美平衡的，这意味着数据集包含每个类6000个图像。数据集包含以下类别：飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车。
2023-03-16 10:33:00
979
原创 常用的八大概率分布及其实现
A 为观察值，E为理论值，k为观察值的个数，最后一个式子实际上就是具体计算的方法了 n 为总的频数，p为理论频率，那么n*p自然就是理论频数（理论值）n 是称为“自由度”的参数，有时可以看到它被称为“d.o.f.” 对于较高的 n 值，t 分布更接近正态分布。t 分布是在样本量较小且总体标准差未知的情况下估计正态分布总体的均值时出现的连续概率分布族的任何成员。要注意的是，在正态分布中，均值、众数和中位数都是相等的。卡方检验的基本公式，也就是χ2的计算公式，即观察值和理论值之间的偏差。P = 二项分布概率。
2023-03-14 09:54:50
1412
转载 【综述】多任务学习
MT-DNN[1] 是微软开源的框架，主要是利用学习文本的自然语言理解任务通常可以利用多任务学习和预训练两种途径解决的思想，因此二者的结合可以增强文本理解能力，基于以上提出 MT-DNN 框架,集成了 MTL 和 BERT 语言模型预训练二者的优势，在 10 项 NLU 任务上的表现都超过了 BERT，并在通用语言理解评估（GLUE）、斯坦福自然语言推理（SNLI）以及 SciTail 等多个常用 NLU 基准测试中取得了当前最佳成绩。在该权重设置下，虽然每个任务的损失函数恒为 1 ，但是梯度不为 0。
2023-03-12 16:27:48
7815
原创 【数据分析】常见数据降维技术比较
我们比较了一些降维技术的性能，如奇异值分解(SVD)、主成分分析(PCA)和线性判别分析(LDA)。我们的研究结果表明，方法的选择取决于特定的数据集和手头的任务。对于回归任务，我们发现PCA通常比SVD表现得更好。在分类的情况下，LDA优于SVD和PCA，以及原始数据集。线性判别分析(LDA)在分类任务中始终击败主成分分析(PCA)的这个是很重要的，但这并不意味着LDA在一般情况下是一种更好的技术。
2023-03-08 15:10:31
528
原创 【时序】时序预测任务模型选择如何选择?
时间序列是一种特殊类型的数据集，其中一个或多个变量随着时间的推移被测量。在时间序列中，观测值是随着时间的推移而测量的。你的数据集中的每个数据点都对应着一个时间点。这意味着你的数据集的不同数据点之间存在着一种关系。这对可以应用于时间序列数据集的机器学习算法类型有重要影响。
2023-03-08 14:41:58
1790
原创 【时序】特征工程-时间序列特征构造
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。特征工程是什么？特征工程又包含了 Data PreProcessing（数据预处理）、Feature Extraction（特征提取）、Feature Selection（特征选择）和 Feature construction（特征构造）等子问题；本章内容主要讨论特征构造的方法。时间特构造以及时间序列特征构造的具体方法：对于时间型数据来说，即
2023-03-06 21:53:20
2419
原创 【知识图谱】架构-特点-缺点简介
物联网、云计算、人工智能等新一代信息技术的迅猛发展，带来了制造业的新一轮突破，推动着制造系统向智能化方向发展，驱动着未来制造模式的创新。其中数据和知识是实现制造业与新一代信息技术融合的基础，是实现智能制造的保障。一方面，产品在其生命周期的各个阶段将会产生海量工业数据和知识；另一方面，工业数据和知识是制造领域的信息化进程的必备资源，其中蕴含了大量有用的模式。然而，当前制造领域产品设计、制造、装配、服务等生命周期过程中数据以及知识的存储大多以传统关系型数据库为基础。
2023-02-28 09:27:02
858
原创 【异常检测三件套】系列3--时序异常检测综述
写在前面：异常检测共包含3个内容，从多个方面剖析异常检测方法，本文为第三篇。过往内容请查看以下链接：【异常检测三件套】系列1--14种异常检测算法https://blog.youkuaiyun.com/allein_STR/article/details/128114175?csdn_share_tail=%7B%22【异常检测三件套】系列3--时序异常检测综述本文将从以下6个方面介绍：一、异常分类二、异常检测的挑战三、异常检测的模型分类四、异常检测的数据集五、异常检测的模型表现对比六、结论和未来方向
2023-02-26 14:51:15
817
原创 【持续学习】清华最新持续学习综述
学习是智能系统适应环境的基础。为了应对外界的变化，进化使人类和其他生物具有很强的适应性，能够不断地获取、更新、积累和利用知识。自然，我们期望人工智能(AI)系统以类似的方式适应。这激发了持续学习的研究，其中典型的设置是逐一学习一系列内容，并表现得就像同时观察到的一样(图1,a)。这些内容可以是新技能、旧技能的新示例、不同的环境、不同的背景等，并包含特定的现实挑战。在许多文献中，持续学习也被称为增量学习或终身学习，但没有严格的区分。与传统的基于静态数据分布的机器学习模型不同，
2023-02-22 10:00:23
4274
11种数据降维方法-代码与结果.rar
2026-07-08
深度学习Hopular代码结构与运行指南：模型参数调整及数据处理流程详解
2025-05-08
多源异构输入-分支网络模型
2025-05-08
sobol敏感性分析 python实现
2022-08-17
手把手教你使用SHAP（数据+代码+注释）
2022-05-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人