YuZhou的博客

NVIDIA新模型DAM-3B：描述一切，图像视频局部描述新突破

最近，基于摄像头的解决方案在场景语义补全（SSC）方面得到了广泛探索。尽管它们在可见区域取得了成功，但现有方法由于频繁的视觉遮挡，在捕捉完整场景语义方面存在困难。为了解决这一局限性，本文提出了第一个卫星-地面协同 SSC 框架，即 SGFormer，探索卫星-地面图像对在 SSC 任务中的潜力。具体来说，我们提出了一种双分支架构，并行编码正交的卫星和地面视图，并将它们统一到公共域中。此外，我们设计了一种地面视图引导策略，在特征编码期间纠正卫星图像偏差，解决卫星和地面视图之间的错位。

高效捕获长程依赖关系对视觉识别任务至关重要，但现有方法存在局限。卷积神经网络(CNN)受限于感受野范围，而视觉Transformer(ViT)虽能实现全局上下文建模却计算成本高昂。状态空间模型(SSM)提供了新思路，但其在视觉领域的应用尚未充分探索。本研究提出vGamba混合视觉主干网络，通过整合SSM与注意力机制来提升效率与表征能力。其核心Gamba瓶颈模块包含：适配2D2D2D空间结构的Mamba变体Gamba Cell、多头自注意力机制(MHSA)，以及用于特征表征的门控融合模块。

多模态大型语言模型（MLLMs）的惊人突破需要新的基准来定量评估其能力、揭示其局限性并指示未来的研究方向。然而，在遥感（RS）的背景下，这具有挑战性，因为图像具有超高清分辨率，包含极其复杂的语义关系。现有的基准通常采用明显小于现实世界 RS 场景的图像尺寸，注释质量有限，且评估维度不足。

Mamba模型在遥感领域的应用展示了计算机视觉模型架构创新的广阔前景。

图像匹配旨在识别图像之间相应的像素位置，在广泛的科学学科中至关重要，有助于图像配准、融合和分析。

是如何增强无人航空飞行器（UAV）和其他航天平台在四维时空中进行自主感知、认知过程和行动能力，从而实现与人类和环境之间的以自我为中心的活动交互。

像个善于制作思维导图的导师，将冗长的文本转化为清晰的知识网络，让AI能够像沿着地图探索一样，轻松找到答案需要的各个关键点，有效克服了处理长文本时的"迷路"问题。这篇文章介绍了GraphReader，一种基于图结构的智能体系统，旨在解决大型语言模型（LLMs）处理长文本时遇到的挑战，并在多跳问答等任务上表现出色。

📑 苏剑林（Jianlin Su）开发的“Cool Papers”网站旨在通过沉浸式体验提升科研工作者浏览论文的效率和乐趣。这个平台的核心优势在于利用Kimi的智能回答功能，帮助用户快速了解论文的常见问题（FAQ），从而更准确地判断论文的价值和相关性，决定是否需要深入阅读。

我们提出了图注意力网络（GATs），这是一种可在图结构数据上运行的新型神经网络架构，它利用掩码自注意力层来解决之前基于图卷积或其近似值的方法的不足之处。通过堆叠节点能够关注其邻域特征的层，我们能够（隐式地）为邻域中的不同节点指定不同的权重，而不需要任何形式的代价高昂的矩阵运算（如反转），也不依赖于对图结构的预先了解。通过这种方式，我们同时解决了基于谱的图神经网络所面临的几个关键挑战，并使我们的模型可随时应用于归纳和转换问题。

早先已经提出了各种单独的自然语言处理技术，但每种技术都有文本上下文和邻近性的限制。它们无法处理不同的内容类型。在本研究论文中，我们使用自动编码器提出了一种基于句子嵌入的新型混合技术。该框架建议使用来自长短期记忆自动编码器、双向编码器表示变换器和通用句子编码器的句子嵌入。此外，还考虑了图像上的文本，以处理图像和视频等多媒体内容。在对各种混合融合模型进行消融研究后，设计出了最终框架。

由于中文自身的特点，中文中的讽刺语言检测更加困难。为了缓解中文讽刺检测的这一困境，我们提出了一种语义和辅助增强注意力神经模型--SAAG。在词的层面，我们引入语义知识来增强中文词的表征学习。词素是词义的最小单位，是对词的精细刻画。在句子层面，我们利用一些辅助信息（如新闻标题）来学习讽刺表达的语境和背景表示。然后，我们逐步、动态地构建文本表达的表征。

在本文中，我们调查了当前的最新技术，并提出了基于 BERT 预训练语言模型的讽刺检测的强大基线。我们通过在目标任务上微调之前对相关中间任务进行微调来进一步改进我们的 BERT 模型。具体来说，依靠讽刺与（隐含的负面）情绪和情感之间的相关性，我们探索了一种迁移学习（**Transfer Learning**）框架，该框架使用情感分类和情感检测作为单独的中间任务，将知识注入讽刺检测的目标任务中。

SDS 是讽刺的一种特殊类别，主要用作产品宣传和营销的有效工具。在本文中，我们提出了一种用于 SDS 检测的新型 CAT-BiGRU 模型。所提出的模型由输入、嵌入、卷积、BiGRU 和两个注意力层组成，并从不同角度对七个数据集进行评估。 CAT-BiGRU 的实验结果很有希望，并且与各种基于神经网络的基线和最先进的方法相比明显更好。这种新型 SDS 检测技术的主要目的之一是增强基于 SDS 的营销策略。

现有的讽刺检测方法主要集中于使用各种自然语言处理技术来分析讽刺的文本内容。本文认为，检测讽刺的本质问题是联系其上下文，包括回复目标文本的文本情绪和用户的表达习惯。提出了一种双通道卷积神经网络，不仅可以分析目标文本的语义，还可以分析其情感背景。此外，SenticNet还用于为长短期记忆（LSTM）模型添加常识。然后应用注意力机制来考虑用户的表达习惯。

讽刺检测是情感分析中一项具有挑战性的自然语言处理任务。现有的基于深度学习的讽刺检测模型没有充分考虑情感语义，但是情感语义对于提高讽刺检测的性能是必要的。为了解决这个问题，我们提出了一种利用情感语义捕捉讽刺表达特征的多层次记忆网络。在我们的模型中，我们使用第一级记忆网络来捕捉情感语义，并使用第二级记忆网络来捕捉情感语义与每个句子中的情况之间的对比。此外，我们还使用了改进的卷积神经网络，以在缺乏本地信息的情况下改进记忆网络。

我们提取了最重要的特征，并建立了一个特征丰富的 SVM，其性能优于这些模型。在本文中，我们引入了基于多头注意力的双向长短记忆（MHA-BiLSTM）网络来检测给定语料库中的讽刺性评论。实验结果表明，多头注意力机制提高了 BiLSTM 的性能，其表现优于特征丰富的 SVM 模型。

在本文中，我们将重点关注 Twitter 中由文本和图像组成的推文的多模态讽刺检测。我们将文本特征、图像特征和图像属性视为三种模态，并提出了一种多模态分层融合模型来完成这项任务。我们的模型首先提取图像特征和属性特征，然后利用属性特征和双向 LSTM 网络提取文本特征。然后重建三种模式的特征，并将其融合为一个特征向量用于预测。

我们研究了几种类型的长短时记忆（LSTM）网络，它们可以对对话上下文和当前回合进行建模。我们的研究表明，在句子层面关注上下文和当前转折的 LSTM 网络以及条件 LSTM 网络优于只读取当前转折的 LSTM 模型。我们对 LSTM 模型产生的注意力权重进行了定性分析，并将结果与人类在这两个任务中的表现进行了比较。

在卷积神经网络的基础上，我们为这项任务提出了两种不同的语境增强神经网络模型。与之前的研究相比，我们的神经网络模型将推文内容本身的特征和上下文特征以单词向量的形式整合到了一个模型中。实验结果表明，与最先进的离散模型和基于上下文的模型相比，我们提出的上下文增强神经网络模型具有更好的性能，证明了上下文增强神经网络模型在这项任务中的有效性。

在本文中，作者提出了一种语境讽刺检测器（简称 CASCADE），它采用了内容和语境驱动建模的混合方法，用于在线社交媒体讨论中的讽刺检测。

我们提出了一种基于注意力的神经模型，该模型关注的是 "中间 "而不是 "对面"，从而能够明确地对对比和不协调进行建模。我们在 Twitter、Reddit 和互联网论证语料库（Internet Argument Corpus）的六个基准数据集上进行了广泛的实验。我们提出的模型不仅在所有数据集上都达到了最先进的性能，而且还提高了可解释性。