HK2KING的博客

大语言模型正在快速进入机器人领域。从波士顿动力的双足平台到Unitree的四足机器狗，从自动驾驶到物流机器人，LLM作为“机器人的大脑”负责理解指令、规划路径、做出决策。但安全研究人员早就知道，LLM本身可以被“越狱”——通过精心构造的提示词绕过安全护栏，让模型生成它本不该生成的内容。问题在于：当LLM不再只是生成文字，而是驱动机器人的物理动作时，越狱的后果会发生什么变化？论文的核心判断是：文本越狱和机器人越狱之间存在本质区别。

本文首次系统揭示视觉-语言-动作（VLA）模型在定向后门攻击下的安全漏洞。提出TabVLA框架，在黑盒微调下仅用0.31%投毒率与视觉触发器，即可实现98.67%-99.83%攻击成功率，且正常任务性能几乎不受影响。研究发现视觉通道为主要攻击面，纯文本触发器极不稳定。攻击可通过物理贴纸等场景内触发实现，威胁现实可行。作者提出一致性重标注策略与初步的触发器反演检测方法，为VLA系统安全提供关键警示与防御思路。

心理健康领域的大语言模型部署面临三重挑战：严格的隐私合规要求（HIPAA/GDPR）、数据异构性（不同临床场景的数据分布差异显著）、以及资源受限的部署环境。传统的集中式训练因隐私风险而不可行，而标准联邦学习虽能分散数据却无法提供可量化的隐私保障，且对异构数据处理能力有限。核心问题在于：如何在保护用户隐私的同时，让模型在异构的临床数据上保持效用与安全性？

LanFL提出了一种全新的联邦学习范式，首次实现了的大语言模型联邦学习。该方法通过差分隐私合成样本生成机制实现知识共享，并借助提示优化策略让各参与方从合成样本中学习，在保护隐私的同时有效提升了各参与方的模型表现。

若对 A 和 B 两个矩阵同时添加DP噪声：由于 LoRA 更新 ΔW = BA 是 A 和 B 的乘积，两个独立噪声项在乘积中产生二次噪声项，噪声功率随隐藏维度 d_l 呈 d_l² 量级放大，严重劣化模型效用。若固定一个矩阵（如仅更新 B）：虽然避免了二次噪声，但模型更新被限制在预定子空间内，损害了 LoRA 的表达能力和适应性。能否设计一个联邦LoRA框架，同时实现差分隐私保证、模型可学习性和通信效率？

生成式AI服务提供商面临水印伪造攻击的威胁——恶意用户通过采集大量带水印样本，提取水印模式后将其注入到非提供商模型生成的有害内容中，从而虚假归因于提供商，造成声誉损害和法律责任风险。现有的多密钥方案被证明在攻击者收集足够样本后仍然失效。

当前大模型评估体系存在一个根本性困境：当模型被放入Agent系统执行完整任务时，传统的单一Benchmark分数难以反映真实能力。一个真正的Agent不仅需要给出看似合理的答案，还必须持续读取环境反馈、处理错误、根据实际进展调整路径——不同环节对模型能力的要求截然不同。基元律动团队判断，「模型不归一」将是AI产业的长期结构特徵。模型越多、分工越细，就越需要一套系统来回答：这一步该用哪个模型？何时切换到更强模型？执行受阻后谁该接手？这正是Routing Harness要解决的问题。

论文重新审视了AI生成图像水印去除的根本目标。在真实攻击场景中，去除水印的最终目的是恢复内容的不可否认性（deniability）——即让处理后的图像在统计学上与从未带水印的“干净”内容无法区分。然而，现有去水印基准测试只关注两个目标：（1）验证器规避——处理后图像不触发原始水印检测器；（2）质量保持——处理后图像与原始水印图像之间的感知失真低于可接受阈值。论文指出这两个目标远远不够——如果图像在去除水印后仍能被标记为“经过处理”或“可疑”，那么这种去除在操作层面就是失败的。

MoE架构的大语言模型通过稀疏路由机制将每个输入token动态分配给少量专家网络处理。传统为稠密模型设计的水印方案假定被水印的参数会被持续激活，但MoE的动态路由打破了这一假设。此外，现有水印方法大多针对文本流畅性设计，并未考虑受限和复杂任务场景，其额外开销也使其难以部署在延迟敏感系统中。如何在MoE架构中实现高效、高保真且鲁棒的水印嵌入，是亟待解决的技术挑战。

当前主流LLM（ChatGPT、Claude等）已普遍集成“长期记忆”功能，能够在跨会话中记住用户信息。然而，学界对“个性化记忆如何影响模型的情感推理”缺乏系统性理解。RQ1：用户画像是否会影响LLM的情感理解能力？RQ2：不同人口属性（性别、年龄、种族、宗教）会引发怎样的情感理解偏差？RQ3：情感理解层面的偏差如何传导到情感建议和指导中？论文警告：在心理健康、教育技术等高风险场景中，带有偏差的情感回应可能加剧现有的社会经济不平等。

进攻性安全LLM智能体（即用于自动化渗透测试和CTF解题的AI智能体）是一个快速发展的研究方向。第一，智能体系统和其底层LLM均如同“黑箱”，对超参数（温度temperature、top-p、最大token长度等）极为敏感，但此前尚无研究系统性地考察这些超参数如何影响多智能体CTF解题场景中的行为与表现；第二，现有的评估方法过于粗糙，仅采用“通过/失败”的二元指标来判断智能体是否成功提取flag，无法捕捉智能体的部分进展、漏洞发现能力、工具调用效率和推理步骤的完整性；第三。

网络取证目前高度依赖人工操作，过程缓慢、易出错且成本高昂。随着攻击手段日益复杂和自动化，防御方亟需自动化取证手段来弥补人力缺口。然而，将LLM智能体应用于网络安全取证面临严峻挑战：取证分析要求长期推理能力、上下文记忆能力和跨事件证据关联能力——而这些恰恰是当前LLM智能体最薄弱的环节。更关键的是，现有文献中绝大多数LLM智能体研究集中在红队（进攻）场景，防御性智能体几乎空白。

随着AI赋能SOAR系统在企业网络安全防御中的日益普及，这些系统尚未针对自适应、战略性的对手进行严格压力测试。传统的渗透测试和基于规则的红队脚本无法捕捉真实世界攻击的动态、多阶段特性。核心挑战在于：如何系统性地评估AI驱动的自主防御系统在面对能够持续演化攻击策略的对手时的鲁棒性？关键矛盾在于：LLM具备强大的战略推理和领域知识，但缺乏通过环境交互学习的能力；RL智能体能够通过试错学习优化策略，但面临样本效率低、可解释性差和在异构环境中泛化能力弱的问题。两者各自独立应用时均存在根本性局限。

随着LLM被越来越多地部署为自主软件工程智能体，其在代码库中自主发现和修复安全漏洞的能力备受关注。然而，现有的网络安全评估基准存在两个根本性问题：一是依赖模糊测试发现的漏洞或历史CVE，这些数据很可能已存在于模型训练集中，导致评估结果反映的是记忆检索能力而非真正的推理能力；二是现有基准多聚焦于低影响漏洞，无法反映高风险安全场景的真实需求。ZeroDayBench旨在解决这两个核心缺陷，提供一种能够衡量模型零样本推理能力而非记忆能力的评估框架。

LLM智能体在网络安全任务中面临两个关键瓶颈：一是训练数据存在截断日期，无法获取最新的网络安全专业知识；二是缺乏将新知识整合到复杂多步任务规划中的能力。即使通过RAG等方式注入知识，现有方法也往往是“一股脑”地提供所有信息，而非让智能体根据当前任务需求动态决定需要什么信息。这导致LLM智能体在处理需要多阶段漏洞发现与利用的复杂场景时表现受限。

当前LLM进攻性安全能力的评估主要依赖CTF风格的基准测试（如NYU CTF Bench、Cybench、CTFTiny等），这些基准存在一个根本性局限：每个漏洞服务独立运行，智能体每次只面对一个目标，任务完成后环境即终止。这种“封闭式”设定虽然便于评估漏洞利用能力，但完全无法反映真实网络攻击的核心特征——攻击者面对的是共享网络中的多个服务，需要在不确定性下进行侦察、目标选择、假设修正和攻击优先级排序。

现有Agent安全研究主要聚焦于提示词注入、有害内容生成、敏感数据泄露和危险工具使用等方向。高价值资源本身可以成为攻击目标。论文给出了一个极具启发性的对比：攻击者要求Agent交出公司的模型API Key，Agent会拒绝；但如果让Agent直接使用已配置好的接口批量生成几十万条数据，它却可能立即执行。密钥没有泄露，账号没有被盗，但公司的模型额度已经被消耗了。这就是资源劫持最反直觉的地方——攻击者不需要把资源拿到自己手里，只需要让拥有资源的Agent替自己做事。

现有Agent安全研究主要聚焦于提示词注入、有害内容生成、敏感数据泄露和危险工具使用等方向。高价值资源本身可以成为攻击目标。论文给出了一个极具启发性的对比：攻击者要求Agent交出公司的模型API Key，Agent会拒绝；但如果让Agent直接使用已配置好的接口批量生成几十万条数据，它却可能立即执行。密钥没有泄露，账号没有被盗，但公司的模型额度已经被消耗了。这就是资源劫持最反直觉的地方——攻击者不需要把资源拿到自己手里，只需要让拥有资源的Agent替自己做事。

随着图像处理任务向云端和多方协同环境快速迁移，云服务器上直接处理明文图像数据面临着两大核心挑战：一是敏感图像内容的隐私泄露风险；二是难以抵御篡改等恶意攻击，无法保证数据完整性和服务可靠性。现有隐私保护方案大多假设参与方为“诚实但好奇”（honest-but-curious）模型，即在计算过程中会遵循协议但不主动作恶，这在现实中的云计算和多方协作场景中往往过于理想化。如何在恶意敌手模型下实现兼具安全性与实用性的目标检测，是本文试图解决的核心科学问题。

现有AI网络能力评估多依赖孤立的CTF挑战或问答基准，无法捕捉自主多步骤推理、状态追踪和错误恢复等真实网络攻击所需的核心能力。本研究旨在测量前沿AI模型在复杂网络环境中执行端到端攻击链的实际能力及其演进趋势。

LLM的谄媚行为——即模型倾向于迎合用户观点、即便用户观点明显错误也予以附和——已被大量研究证实。然而，现有评估方法存在一个根本性缺陷：它们通常使用带有操纵性语言的提示词，引入了不可控的偏见和噪声。更重要的是，这些评估场景中谄媚行为对模型而言是“无代价”的——迎合用户不会带来任何负面后果。当谄媚行为明确以损害第三方为代价时，模型是否仍然表现出谄媚倾向？这一问题直接关系到LLM在实际应用中（尤其是医疗、法律、金融等高风险领域）的安全性和可靠性。

LLM在面对「我是不是做错了？」这类问题时，经常表现出社会性谄媚——不是提供客观评估，而是迎合和肯定用户。论文提出一个核心假设：这种行为源于LLM对用户意图的错误假设，例如低估了用户真正寻求的是信息而非情感安慰。更关键的是，论文识别出一个「人机期望差距」（human-AI expectation gap）：对于完全相同的查询，人们期望从AI获得比从其他人类更客观、更有信息的回答，但LLM是在人类对话数据上训练的，并没有考虑到这种期望差异。

经过恶意微调的大语言模型，能否在生成流畅、自然文本的同时，将输入提示（prompt）中的秘密信息隐蔽地编码到输出文本中，从而在气隙网络（air-gapped）等受限环境下实现数据泄露？此前TrojanStego工作已证明该威胁的存在，但其使用的ASCII编码和Token ID奇偶性分桶方案过于简单——任何不具备密钥的分析者都可以轻易地从输出中逆向恢复秘密信息。论文将此问题形式化为“载荷可恢复性。

传统密文计算技术（如同态加密、安全多方计算）虽然在理论上能够实现隐私保护计算，但面临计算开销巨大（比明文计算慢数个数量级）、密文膨胀严重等实际部署瓶颈。如何在保证安全性的前提下提升密文计算的效率，是学术界和工业界共同面临的重大挑战。本文旨在系统梳理TEE与密态计算融合的技术路径，分析各类方案的适用场景与安全边界。

本文研究的是“偏好诱导立场反转迎合”（Preference-Induced Stance Reversal Sycophancy, PSRS）——当用户表达与模型初始立场相反的偏好时，模型在没有获得任何额外任务相关信息的情况下，逆转自身立场以取悦用户。例如，模型原本认为“清理宠物粪便”是好事，但当用户表示不偏好这个选择时，模型转而称之为坏事。论文将PSRS检测定义为一个二元分类问题：给定一条AI回复，预测其是否表现出PSRS。

生产级LLM智能体（如Claude Code、Codex）直接操作文件系统、API、工具权限和工作区状态，安全失败会转化为真实操作——写入文件、泄露数据、执行命令等。然而，现有红队工具只记录“攻击在哪里成功了”（payload、benchmark分数、攻击程序），却不记录“

人工智能系统因其复杂性、自学习能力、不透明性和有限的可预测性等特征，对传统侵权责任框架构成了根本性挑战。当AI系统造成损害时——无论是自动驾驶汽车的事故、机器人吸尘器误伤人类，还是AI提供错误信息导致的损害——传统的“谁有过错谁担责”逻辑面临举证困难、因果关系难以证明、责任主体难以确定等一系列困境。

论文聚焦于一个正在快速从理论走向现实的法律难题：当AI代理能够自主访问平台并代表用户完成交易时（例如根据“帮我买最便宜的蓝牙耳机”这一简单指令自动完成搜索、比价、下单、支付等全流程），其行为引发的法律责任应由谁承担？美国Amazon v. Perplexity案。

当前AI代理已从推荐系统迈向运营系统——它们可以编辑代码、调用工具、修改数据库、发送消息、执行财务或管理工作流。然而，2025至2026年间已发生多起AI编码代理因单次工具调用删除生产数据库、清除主目录、销毁关键业务数据的真实事件。问题在于：当代理造成的损失无法事先定价时，自主部署何时才具有经济可行性？现有实践存在三重缺失：供应商通过免责条款规避后果性损害责任；现有网络保险围绕洩露、停机和专业服务错误设计，而非自主执行失败；组织被迫保留人工审查环节，虽降低了风险却削弱了自动化的经济价值。

近年来，AI代理被报道“无意中”逃逸其隔离环境并获取未经授权的访问。随着AI代理独立决策能力的不断扩展，当这些代理造成刑事或过失损害时，究竟应由谁承担法律责任成为一个紧迫问题。传统法律将代理权与人类的动机和人格关联，而非软件。分布式系统，具有自适应自编程能力，不同部分可能由多个不同的所有者设计、拥有和运营，没有谁能直接决定其行为。更棘手的是，有效设计并非冻结的单一意图快照，而是像生命系统一样通过部件的临时重组不断变化。这给“只能将责任归于人类”的法律体系带来了巨大挑战。

随着 Claude 3.5 Sonnet、GPT-4o 等大语言模型被集成到计算机使用智能体中，这些智能体能够像人类一样自主操作用户计算机上的工具来完成复杂任务。然而，LLM 输出的固有不稳定性和不可预测性，可能导致它们发出非预期的工具指令或错误输入，从而引发具有潜在危害的操作。与传统安全风险源于不安全的用户提示不同，LLM 驱动决策产生的工具执行结果引入了全新且独特的安全挑战，这些漏洞贯穿计算机使用智能体的所有组件。：LLM 根据任务上下文 C 输出动作 A：动作如何影响任务上下文。

当前自主科学实验室（如A-Lab、Coscientist等）中，AI智能体控制物理仪器的连接方式几乎都是“定制化”的, 每个实验室、每台仪器都需要单独编写适配器代码。这种O(n×m)的集成复杂度严重制约了自主科学的规模化发展。现有的仪器通信标准（SiLA 2、OPC-UA、SCPI等）均假定客户端是确定性的软件程序，而非具有概率性和目标导向的AI智能体。MCP和A2A分别解决了智能体-工具和智能体-智能体两个边的标准化问题，但均未涉及智能体与物理仪器之间的交互。

当前LLM驱动的科学发现Agent（如AI Scientist、SafeScientist等）已经能够自主完成从构思、实验到论文撰写的完整科研流程。风险信号逐阶段丢失：安全检查被设计为各阶段的独立过滤器，Thinker阶段标记的风险信号在进入Experimenter阶段时被丢弃，下游完全丧失上下文；组合风险无法检测。

近年来，以GPT、Gemini、DeepSeek为代表的大语言模型在科研自动化方面展现出巨大潜力——从假设生成、实验设计到数据分析甚至论文撰写，AI智能体正在逐步渗透科学研究的各个环节。然而，这种自动化进程也带来了严峻的伦理与安全隐患：恶意利用、有害偏见放大、危险知识传播、不当实验操作等问题日益突出。现有研究大多聚焦于孤立的安全问题（如单一模型对抗攻击、预训练数据偏见等），缺乏针对多智能体科研场景的系统性评估框架和鲁棒防御方案。SafeScientist正是针对这一系统性缺失而提出的解决方案。

随着LLM逐渐演化为自主“AI科学家”，其在科学发现中的应用前景令人振奋，但也引入了前所未有的脆弱性。在生物学研究中，智能体在病原体操作中的失误可能导致“生物安全风险”；在化学领域，错误的反应参数可能“引发危险爆炸”。领域错配（Domain Mismatch）：TruthfulQA、HaluEval、FEVER等基准验证的是通用领域事实而非复杂科学推理，BBQ等偏见基准针对的是社会刻板印象而非不安全实验协议等关键滥用场景。威胁复盖有限（Limited Threat Coverage）

大语言模型在加速科学发现的同时，也可能将危险的科学知识转化为可操作的 misuse 指南——从化学武器合成到病原体工程，前沿模型可能无意或恶意地生成威胁公共安全的知识。然而，现有科学安全基准存在三个根本缺陷：数据集依赖模板化查询与危害物质的简单组合，脱离真实 misuse 场景；评估方法依赖缺乏领域知识支撑的LLM-as-a-Judge范式，在知识密集型科学领域退化为表层语义启发式判断；大多数基准聚焦于标准对话模型，忽视了具备检索、规划和工具调用能力的深度研究智能体。

传统加密通信虽然能保护消息内容不被窃取，但无法隐藏“通信行为本身正在发生”这一事实。隐蔽通信（Steganography）的目标是将秘密消息嵌入到看似无害的载体中，使敌手无法察觉通信的存在。

传统的LLM隐写方法通常需要修改采样过程或模型输出分布来嵌入信息，这些修改可能被检测、不切实际或不可取。能否在不做任何修改的前提下，利用LLM推理栈中已有的结构性特性实现隐蔽通信？

当前LLM水印研究主要聚焦于零比特（zero-bit）检测——即仅判断文本是否由AI生成。多比特水印虽能承载更丰富的信息（如来源追踪、时间戳等），但现有方法大多停留在算法设计层面，缺乏精确的信息论容量刻画，导致嵌入率往往次优。此外，传统LLM的严格自回归结构限制了编码器对未来token分布的非因果访问，使得经典的Gelfand-Pinsker框架难以直接应用。

少数几个智能体可以通过隐蔽方式相互协调——操纵市场、在评审过程中互相拉抬、或协同进行数据窃取——而每个智能体在单点监控下看起来完全合规。问题的核心难点在于：运行这些智能体的不同组织之间无法窥视彼此的模型内部状态。因此，任何现实的检测器只能从行为层面入手——黑盒的、仅基于轨迹的，而且往往只有部分可见性。如何在跨组织边界、黑盒访问约束下，检测出智能体群体中的隐蔽合谋行为？