YunTM-优快云博客

原创先天发文圣体：小样本学习，登上Nature

小样本学习(Few-shot learning, FSL)，在少数资料中也被称为low-shot learning(LSL)。小样本学习是一种训练数据集包含有限信息的机器学习问题。对于机器学习应用来说，通常的做法是提供尽可能多的数据。这是因为在大多数机器学习应用中，输入更多的数据训练能使模型的预测效果更好。然而，小样本学习的目标是使用数量较少的训练集来构建准确的机器学习模型。

2024-11-15 15:47:26 1064

原创革新预测领域：频域融合时间序列预测，深度学习新篇章，科研涨点利器

2024发论文&模型涨点之——频域+时间序列频域+时间序列不仅能提供更丰富的信息，还能提高模型性能和预测准确性。对于论文er来说，是个可发挥空间大、可挖掘创新点多的研究方向。当前，学术界的目光正聚焦于时频融合这一前沿趋势，尤其是在今年的顶级学术会议中，频域分析已成为热议焦点。这一趋势预示着，掌握时频结合技术的学者将在科研道路上占据先机，发表高质量论文、提升学术影响力的机会正悄然而至。目前，时域分析和频域分析已经成为了时间序列领域的重要工具，频域相关也逐渐成了顶会常客。

2024-11-14 15:40:02 1316

原创论文风向变了【迁移学习+多模态融合】才是王道

当迁移学习和多模态融合相结合时，主要是利用迁移学习的优势来提升多模态融合模型的性能，或者利用多模态数据进行更有效的迁移学习。例如，在一个既有图像又有文本的多模态情感分析任务中，可以先在一个大规模的单模态（如图像情感分类或文本情感分类）任务上进行训练，获取相关知识，然后将这些知识迁移到多模态情感分析任务中。这种结合方式可以有效利用已有的单模态知识来更好地处理多模态数据。

2024-11-13 15:26:18 1406

原创小波变换+Transformer：融合创新驱动多领域进步

2024发论文&模型涨点之——小波变换+Transformer小波变换（Wavelet Transform, WT）和Transformer是两种强大的工具，它们在各自的领域内有着广泛的应用。小波变换是一种数学方法，用于分析信号的时间-频率特性，而Transformer则是一种深度学习模型，主要用于处理序列数据，特别是在自然语言处理（NLP）领域。将两者结合起来，可以创造出一些创新的应用。将小波变换与 Transformer 结合，可以充分发挥两者的优势。

2024-11-12 17:04:19 1770

原创一时学习一时爽，“持续学习“持续爽

人在学习新知识的时候，能根据之前的知识很快的学习相似的知识，并且能不遗忘从前的知识。而机器，或者更准确一点说神经网络，在学习新任务的同时会出现一些问题——灾难性遗忘问题（catastrophic forgetting），意思是模型学习了新任务的b，而再回去预测旧任务a时发现预测不准确了。因此，针对此现象，需要提出解决方案，以解决灾难性问题，我们将这种方法称之为持续学习（continual learning）

2024-11-11 15:44:51 1292

原创即将2025，频域+知识蒸馏还能做吗?

2024深度学习发论文&模型涨点之——频域+知识蒸馏即将2025，频域+知识蒸馏还能做吗?!当然，知识蒸馏仍然是一个活跃的研究领域，并且随着深度学习技术的不断进步，知识蒸馏的研究思路也在不断革新。将频域和知识蒸馏结合起来，可以用于提高生成模型（如生成对抗网络GAN）的效率和性能。例如，小波知识蒸馏（Wavelet Knowledge Distillation）是一种方法，它通过离散小波变换将图像分解为不同的频带，然后只对高频成分进行蒸馏。

2024-11-08 14:37:26 1624

原创顶会新热门：小波变换×Transformer，效率翻倍的AI图像去噪神奇组合

小波变换与Transformer的结合主要探讨如何利用小波变换的多尺度特性来增强Transformer在处理信号和图像数据时的表现。具体来说，小波变换能够有效提取信号中的局部特征，并在时间和频率域上提供信息，这对于处理复杂的信号（如图像和音频）非常有用。结合小波变换的Transformer可以在保持相对较低的参数数量的同时，显著扩展感受野。这种参数效率使得模型在处理大规模数据时更加高效，减少了计算成本。提供更好的效率与准确率的平衡。论文原文+开源代码需要的同学关注“AI科研论文”公号，那边回复“

2024-11-07 15:58:54 2098

原创精度超SOTA22.6%，频域+注意力机制新组合，精度、速度双飙升～

非平行训练的优越性：在非平行训练中，AIA-CycleGAN能够实现与平行训练相当的性能，并且在某些情况下优于现有的GAN和CycleGAN方法。频率域建模：FECAM通过在频率域中建模，能够为不同的通道分配权重，并学习每个通道不同频率的重要性，从而学习时间序列的频率域表示。通道-频率注意力机制：C2D-Att模块能够产生细粒度的通道和频率特定信息的注意力权重，以改善说话人建模的表示能力。预训练模型的优势：研究发现，预训练的视觉变换器模型在多标签分类任务中的表现超越了传统的卷积神经网络和残差网络模型。

2024-11-06 15:57:37 1093

原创结合创新，小波变换+注意力机制竟能实现100%分类准确率

小波变换是一种先进的信号分析技术，它擅长捕捉信号的局部特征，但有时可能会忽略数据中的关键信息。为了克服这一局限，我们引入了，这一机制能够强化模型对数据重要部分的关注。通过将小波变换与注意力机制相结合，我们能够更全面、更深入地挖掘数据特征，从而显著提升模型的性能和处理复杂数据的能力。这种结合不仅是技术上的创新，在实际应用中也给我们提供了新的解决思路和方法，效果也十分能打，比如一种新颖的滚动轴承故障分类方法，将一维改进的自注意增强卷积神经网络与经验小波变换相结合，实现了。

2024-11-05 15:30:58 1550

原创三分钟带你深度解析Transformer中的注意力机制

Transformer模型中的注意力机制是其核心组成部分，它允许模型在处理序列数据时有效地关注序列中的重要部分，而不依赖于固定的顺序或距离。想象一下，当你读到 “The cat sat on the mat” 这句话时，人类可以立即理解单词之间的关系，可以知道 “sat” 与 “cat” 的关系比与“mat”的关系更密切。注意力机制使机器能够捕捉类似的关系，帮助它们专注于输入数据的特定部分。。

2024-11-04 18:03:49 632

原创论文新风向,迁移学习+多模态融合，性能爆炸好

2024深度学习发论文&模型涨点之——迁移学习+多模态融合多模态如今是越来越火了，与之相关的研究方向在各大顶会基本都成了投稿热门！趁着这波风向，我也给想发论文但找不着idea的同学推荐一个创新思路：迁移学习+多模态融合此外，通过在不同模态之间实现更有效的知识传递和信息融合，可以提高模型在新任务上的准确率。例如，胸部X光模型MultiFusionNet在某些分类任务中取得了高达99.6%的准确率。迁移学习和多模态学习可以相互补充，实现跨模态知识传递。

2024-11-01 17:46:12 726

原创 Transformer+时间序列，2024最新SOTA精准度至95.65%

2024深度学习发论文&模型涨点之——Transformer +时间序列时间序列+Transformer在近年来的深度学习领域中备受关注，它通过将Transformer架构应用于时间序列数据，显著提升了模型在长时间依赖建模和复杂模式识别任务中的表现。其中Transformer架构能够有效捕捉时间依赖关系，预测未来数据趋势；在异常检测中，通过注意力机制，可以精准定位异常点；在分类任务中，Transformer则通过建模数据的复杂依赖关系，实现精确的类别判定。

2024-10-31 14:07:40 831

原创 Transformer+UNet，创新结合

模型结构：提出了AFTer-UNet模型，该模型结合了U-Net结构和轴向融合变换器编码器，以融合层内和层间的长距离线索来指导分割。模型结构：提出了ConvWin-UNet模型，该模型结合了UNet架构和基于Swin的W-MSA结构的变换器，并与卷积相结合。模型结构：提出了Dilated-UNet模型，该模型结合了扩张变换器块和U-Net架构，用于准确快速的医学图像分割。模型训练：模型训练时考虑了轴向融合机制，减少了计算复杂度，并在训练过程中采用了dice损失和交叉熵损失的组合。

2024-10-30 17:03:42 1382

原创快速发论文idea：KAN+transformer，结合创新，效果翻倍。

方法模型架构：提出了TransUKAN模型，该模型结合了U-Net、Transformer和Kolmogorov-Arnold Networks（KAN）的优势，通过引入改进的KAN来增强模型捕捉非线性关系的能力，同时补偿Transformer在局部信息提取上的不足。这一领域中涌现的众多杰出成果为我们提供了丰富的参考，无疑，这是一个发表学术论文的绝佳领域。参数和计算效率的提升：TransUKAN在保持与最先进的方法相当的性能的同时，显著减少了参数数量，展示了其在医学图像分割任务中的有效性和优越性。

2024-10-29 18:47:49 1665

YunTM的博客