c_cpp_csharp的专栏

尽管大型语言模型（LLMs）在各类认知任务中取得了显著进展，但这些能力的快速提升也催生了新的欺骗行为，可能在高风险应用场景中引发严重风险。更关键的是，真实世界场景中欺骗行为的特征仍未得到充分探索。为填补这一空白，我们构建了DeceptionBench——首个系统评估欺骗倾向在不同社会领域如何表现、其内在行为模式是什么以及外在因素如何影响这些倾向的基准测试集。

该研究聚焦于视觉语言模型（VLMs）推理加速问题，针对现有推测解码技术在VLMs中仅能实现有限加速（<1.5倍）的痛点，提出了专为VLMs设计的视觉感知推测解码框架（ViSpec）。核心思路是解决视觉数据冗余与模态一致性难题：通过轻量级视觉适配模块压缩图像令牌，提取全局视觉特征并注入文本生成过程，同时构建含长响应的合成训练数据集，让小型草稿模型能有效利用视觉上下文进行预测。

强化学习（如PPO和GRPO）推动了近期大语言模型（LLM）推理任务的突破性进展。扩大rollout规模以采样更多提示词，能让模型选择性地使用更高质量的数据进行训练，从而稳定强化学习训练过程并提升模型性能，但这会带来巨大的计算开销。本文首先证明，通过在rollout前跳过无信息提示词，可避免很大一部分此类开销。我们对奖励动态的分析揭示了提示词价值具有强时间一致性：在某一训练轮次中无信息的提示词，在未来近期轮次中可能仍保持无信息状态。

指令微调的大型语言模型（LLMs）的一个重要应用场景是交互式解决问答任务。在该场景中，LLM智能体需要通过向用户依次查询相关信息来进行预测，而非单轮对话。本文探索了旨在最小化预期查询次数的序列查询策略。信息追踪（IP）便是其中一种策略，它是一种贪心算法，在每次迭代中选择能最大化信息增益（或等价地最小化不确定性）的查询。然而，由于LLM的概率输出往往存在过度自信或自信不足的问题，实际中很难准确估计其互信息或条件熵，这导致查询选择和预测性能欠佳。

大语言模型（LLMs）在文本到SQL（Text-to-SQL）任务中已展现出日益显著的有效性。然而，另一项密切相关的任务——跨系统SQL翻译（又称SQL到SQL翻译），即将为一个数据库系统（如MySQL）编写的查询转换为适用于另一个系统（如ClickHouse）的等效查询，具有极高的实际意义，但尚未得到充分探索。现有SQL基准测试并不适合用于SQL到SQL翻译的评估，原因在于：（1）它们仅聚焦于有限的数据库系统（通常仅为SQLite）；

本文聚焦光滑非凸优化问题，研究非线性预处理梯度方法，重点分析类Sigmoid预处理子（自带梯度裁剪特性），提出带动量的改进算法和随机变体，并通过理论推导与实验验证其有效性。我们研究适用于光滑非凸优化问题的非线性预处理梯度方法，重点关注类Sigmoid预处理子——这类预处理子本质上实现了一种梯度裁剪，与广泛使用的梯度裁剪技术类似。基于这一思路，我们提出一种新型重球型（heavy ball-type）算法，并在广义光滑性条件下提供收敛保证。

该文针对大语言模型（LLMs）预训练和微调的高内存需求问题，提出一种基于模块级重要性采样的内存高效优化方法MISA。MISA将Transformer层分解为更细粒度的模块（如多头注意力的WqW_qWq​WkW_kWk​WvW_vWv​、前馈网络的WupW_{up}Wup​WdownW_{down}Wdown​等），通过加权随机采样激活模块进行优化，在减少梯度方差的同时，实现比现有分层优化方法更优的内存效率和收敛性能。

预训练视觉语言模型（如CLIP）具有出色的零样本泛化能力，但在输入损坏导致的分布偏移下仍易受影响。本文研究了损坏对CLIP图像嵌入的影响，发现一种一致现象——嵌入方差坍缩：随着损坏程度增加，类内和类间方差均会缩小。我们发现这种坍缩与性能退化密切相关，类间方差与分类准确率呈强相关性。为解释该现象，我们分析了损坏如何改变嵌入空间结构，理论结果表明视觉编码器倾向于编码损坏相关信号，稀释类别判别特征并压缩表示几何结构。我们进一步证明，即使基于伪标签估计，最大化类间方差也能显著提升嵌入质量。

在计算机视觉领域，立体图像超分辨率（StereoSR）任务因其在增强现实、虚拟现实和自动驾驶中的潜在应用而受到广泛关注。传统基于Transformer的模型虽功能强大，但常受注意力噪声影响，导致超分辨率图像的重建效果欠佳。本文提出一种名为DIFFSSR的新型神经网络架构，旨在解决这些挑战。我们引入差分交叉注意力块（DCAB）和滑动立体交叉注意力模块（SSCAM），以增强特征融合并减轻注意力噪声的影响。DCAB能够区分相关与无关上下文，放大对重要特征的注意力并抵消噪声；

尽管涉及长文本输入的应用对于有效利用大语言模型（LLMs）至关重要，但这些应用也会导致计算成本增加和性能下降。为解决这一挑战，我们提出了一种高效、无需训练的提示压缩方法，该方法能在压缩后的提示中保留关键信息。我们在基于Transformer的LLMs中识别出特定的注意力头（我们将其命名为评估头），这些注意力头能够筛选出长输入中对推理最为重要的tokens。基于这一发现，我们开发了EHPC——一种基于评估头的提示压缩方法。

随着大型语言模型（LLMs）的快速发展，AI生成文本与人类撰写文本的界限日益模糊，引发了虚假信息传播、著作权归属模糊、知识产权纠纷等社会风险，亟需可靠的AI生成文本检测方法。然而，现有生成模型的输出质量不断提升，导致两类文本的特征分布大量重叠，传统检测方法（基于训练或无训练）因依赖固定特征边界，检测准确性和鲁棒性面临严峻挑战。随着大型语言模型（LLMs）的快速发展，AI生成文本与人类撰写文本的界限已变得模糊。

该研究聚焦大型语言模型（LLMs）的归纳推理能力，核心探究思维链（CoT）提示对归纳推理的影响。研究通过设计国际象棋、德州扑克、骰子游戏、二十一点四类含隐藏规则的诊断性游戏任务，对比8个主流LLM（含4个非推理模型和4个推理增强模型（LRMs））的表现，发现CoT推理反而会降低归纳性能，LRMs常不如非推理模型。研究提出理论框架，指出推理失败源于三种模式：子任务分解错误、子任务求解错误、最终答案总结错误。

该研究聚焦真实场景中SQL问题调试的痛点，提出了首个SQL调试基准BIRD-CRITIC、自动化训练环境SIX-GYM，以及开源SQL调试代理BIRD-FIXER。核心成果是BIRD-FIXER基于14B参数模型，在多SQL方言调试任务上超越多款主流闭源模型，推动SQL调试能力的普及。复杂SQL问题的解决仍是现实世界数据库应用中的重要瓶颈。当前大型语言模型（LLMs）虽擅长文本到SQL的转换，但在更具挑战性的SQL问题调试任务上尚未经过严格评估。

思维链（CoT）中仅少数令牌（约20%）具有高熵，这类“分叉令牌”是决定推理路径的关键节点，低熵令牌主要完成语句衔接。RLVR训练中，模型基本保留基础模型的熵模式，主要调整高熵令牌的熵值，低熵令牌熵值波动极小。仅针对Top20%高熵令牌进行策略梯度更新，在Qwen3系列模型上实现与全令牌训练相当或更优的性能，且模型规模越大效果越显著（32B模型在AIME基准上提升超11分），而仅训练低熵令牌会导致性能大幅下降。

该研究聚焦视觉语言模型（VLMs）的安全边界漏洞，提出了一种名为JailBound的新型越狱攻击框架，核心目标是突破VLMs的内部安全机制，诱导其生成违反政策的有害输出。视觉语言模型（VLMs）展现出令人瞩目的性能，但强大视觉编码器的集成显著扩大了其攻击面，使其越来越容易受到越狱攻击。然而，现有越狱方法缺乏明确的攻击目标，往往依赖易陷入局部最优且缺乏精准方向引导的梯度策略，并且通常分离处理视觉和文本模态——这种做法忽视了关键的跨模态交互，从而限制了攻击效果。

本文聚焦于基于大语言模型（LLM）的推荐系统（LLM4Rec），核心解决现有方法中“平等对待所有物品令牌”导致的性能缺陷。现有LLM4Rec将推荐任务转化为令牌级自回归生成任务，但仅追求令牌可能性最大化，忽略了不同令牌在物品区分中的“决定性差异”——大量低决定性令牌（如语法填充词）虽贡献小，却因高logit值主导训练和解码，引入偏差。令牌决定性量化方法：将物品生成视为决策过程，用“信息增益（IG）”衡量令牌决定性（即令牌对降低物品分布不确定性的贡献）；IGD策略。

近年来，大型语言模型（LLMs）在提升推理能力方面取得了显著成功。通过强化学习（RL）训练的LLM在数学和编程等挑战性任务中表现出色，即便模型规模相对较小。然而，尽管这些模型在任务准确性上取得了令人瞩目的进步，与写作任务不同，推理任务中LLM生成内容的创造力评估却被严重忽视。推理任务中创造力评估研究的缺失主要源于两大挑战：（1）创造力的范围难以界定；（2）评估过程需要人工参与。

该研究聚焦部分可观测环境（POMDPs）下的元强化学习（meta-RL），针对传统元强化学习虽能接近贝叶斯最优策略，但难以学习紧凑、可解释的贝叶斯最优信念状态的问题，提出将自监督预测编码模块融入元强化学习框架。通过在多种POMDP任务（如双臂老虎机、Tiger任务、连续控制任务等）中进行状态机仿真分析，验证了该框架能学习到更接近贝叶斯最优信念的可解释表示，在需要主动信息收集的复杂任务中表现更优，且显著提升泛化能力（零样本泛化和分布外迁移学习）。

自然语言生成（NLG）系统的评估仍是自然语言处理（NLP）领域的核心挑战，而旨在实现通用性的大型语言模型（LLMs）的兴起进一步加剧了这一复杂性。近年来，大型语言模型作为评估者（LLJs）已成为传统评估指标的潜在替代方案，但其实效性尚未得到充分探索。本立场论文认为，当前对LLJs的热潮可能为时尚早，因为其应用速度已超过对其作为评估者的可靠性和有效性的严格审查。

各种形式的稀疏注意力已被用于缓解Transformer中注意力机制的二次计算和内存成本。我们并非从效率角度，而是从可学习性和泛化能力的角度研究稀疏Transformer。通过对多种注意力机制的实证研究，我们发现：输入依赖型稀疏注意力模型的收敛速度和泛化能力似乎优于标准注意力模型，而输入无关型稀疏注意力模型则无此优势——这一现象在不同架构和优化超参数选择下均稳健存在。这一结果可解读为：通过输入依赖型稀疏注意力的形式，将模型的“语义聚焦”集中在当前考虑的令牌上，能够加速学习过程。

在线规划已被证明在强化学习（RL）中能有效提升样本效率和最终性能。然而，利用规划进行环境交互不可避免地会导致收集的数据与策略实际行为之间出现分歧，从而损害模型学习和策略改进的效果。为解决这一问题，我们提出了 BOOM（Bootstrap Off-policy with WOrld Model）框架，该框架通过 Bootstrap 循环将规划与离线策略学习紧密整合：策略初始化规划器，规划器通过行为对齐精炼动作以引导策略更新。

本文聚焦大语言模型（LLMs）训练数据的价值评估问题，核心解决现有数据评估方法在LLM场景下计算和内存成本过高的痛点。通过改进基于梯度的影响函数（influence functions），提出低秩梯度投影算法LOGRA和开源软件LOGIX，实现了高效、可扩展的数据价值评估。实验验证了该方案在准确性与效率上的优势，可支持十亿级参数模型和万亿级token数据集的评估，为数据提供者的信用认定与补偿提供技术支撑。大型语言模型（LLMs）基于海量人类撰写数据训练，但数据提供者往往未获得相应认可。

时空推理在网络物理系统（CPS）中起着关键作用。尽管大型语言模型（LLMs）和大型推理模型（LRMs）取得了诸多进展，但它们对复杂时空信号的推理能力仍未得到充分探索。本文提出了一个分层的时空推理基准测试STARK，从三个推理复杂度层级系统评估LLMs：状态估计（例如预测场变量、时空事件定位与跟踪）、基于状态的时空推理（例如推断时空关系）以及融合上下文和领域知识的世界知识感知推理（例如意图预测、地标感知导航）。

我们提出HETEROGENEOUS SWARMS算法，通过联合优化模型角色与权重来设计多LLM系统。该算法将多LLM系统表示为基于拓扑消息传递的LLM有向无环图（DAG），以实现协作生成。给定一组LLM专家和效用函数，HETEROGENEOUS SWARMS包含两个迭代步骤：角色步骤和权重步骤。

表格问答（TableQA）结合了自然语言理解与结构化数据推理，在语义解读和逻辑推理方面面临挑战。近年来，大型语言模型（LLMs）通过直接提示（Direct Prompting）和智能体（Agent）范式提升了TableQA性能。然而，这些模型往往依赖虚假关联——它们倾向于过拟合预训练语料中的token共现模式，而非执行真实推理。为解决这一问题，我们提出因果干预表格问答框架（CIT），该框架基于结构化因果图，通过前门调整消除token共现导致的偏差。

本文针对大语言模型（LLMs）强化学习（RL）训练推理能力时资源消耗过大的问题，提出了一种高效的推理激活方法RAST。核心思路是：RL并未给模型赋予新知识，而是通过调整少量关键推理行为相关的token概率，激活基础模型中潜在的推理能力，且这种概率调整具有模型尺度无关性。RAST通过将小型RL训练模型的输出概率偏移（ΔR）迁移到大型基础模型，在解码阶段调整其logit分布，无需对大型模型直接进行RL训练。

该研究针对多模态大型语言模型（MLLMs）在长期地球观测分析中局限于单时相或双时相影像的问题，提出了DVL-Suite综合框架，用于通过遥感影像分析长期城市动态。数据集与基准构建：DVL-Suite 包含 DVL-Bench（基准测试集）和 DVL-Instruct（指令微调数据集），涵盖 2005-2023 年美国 42 个主要城市的 14,871 张高分辨率（1.0m）多时相影像，平均每个场景 6.73-6.94 个时相帧，支持长期城市动态分析。任务设计。

本文聚焦动态视听环境下的3D空间推理问题，现有视听大模型（AV-LLMs）多局限于静态或2D场景，且忽视空间音频的作用。为此，作者提出两大核心贡献：一是构建首个动态3D空间推理基准数据集SAVVY-Bench，涵盖数千条问答对，支持自我中心（以相机为视角）和他者中心（以固定物体为视角）两类查询，同时融合多通道空间音频与视频模态；二是设计无训练依赖的推理流水线SAVVY，通过自我中心空间轨迹估计和动态全局地图构建两个阶段，整合视听线索与坐标转换，显著提升AV-LLMs的空间推理性能。

提出核心问题：当前大语言模型（LLMs）的安全对齐存在“浅层安全对齐”问题，仅优化输出的前几个tokens（如“我不能”“抱歉”等拒绝前缀），后续tokens的生成分布未被有效约束，导致模型易受多种攻击。验证问题影响：浅层对齐是对抗性后缀攻击、预填充攻击、解码参数攻击、微调攻击等多种漏洞的共同根源，仅修改前几个tokens即可突破安全限制。提出解决方案：一是数据增强方法（生成“安全恢复示例”，训练模型在有害前缀后回归安全拒绝）；