On the Cross-lingual Consistency of Text Watermark for Large Language Models

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量245 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Security and Privacy 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137906345
LLM 日更 同时被 2 个专栏收录
828 篇文章

已下架不支持订阅

LLM Security and Privacy
79 篇文章
订阅专栏
本文探讨了文本水印在翻译后保持有效性的跨语言一致性问题，发现现有技术在不同语言间存在不一致。提出了跨语言水印去除攻击（CWRA）并分析了影响一致性的关键因素，提出防御策略X-SIR，增强了水印的鲁棒性。

本文是LLM系列文章，针对《Can Watermarks Survive Translation? On the Cross-lingual Consistency of Text Watermark for Large Language Models》的翻译。

水印能在翻译中幸存吗？大型语言模型中文本水印的跨语言一致性研究

摘要

文本水印技术旨在标记和识别大型语言模型（LLM）产生的内容，以防止误用。在这项研究中，我们在文本水印中引入了“跨语言一致性”的概念，该概念评估文本水印在被翻译成其他语言后保持其有效性的能力。两种LLM和三种水印方法的初步实验结果表明，当前的文本水印技术在将文本翻译成各种语言时缺乏一致性。基于这一观察结果，我们提出了一种跨语言水印去除攻击（CWRA），通过首先从枢轴语言的LLM获得响应，然后将其翻译成目标语言来绕过水印。CWRA可以通过将曲线下面积（AUC）从0.95降低到0.67来有效地去除水印，而不会造成性能损失。此外，我们分析了影响文本水印跨语言一致性的两个关键因素，并提出了一种在CWRA下将AUC从0.67提高到0.88的防御方法。

1 引言

2 背景

3 文本水印的跨语言一致性

4 跨语言水印去除攻击

5 提高跨语言一致性

6 相关工作

7 结论

这项工作旨在研究LLM水印方法的跨语言一致性。我们首先对LL

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

FEW-SHOT CROSS-LINGUAL TRANSFER FOR PROMPTING LARGE LANGUAGE MODELS IN LOW-RESOURCE LANGUAGES
c_cpp_csharp的专栏
05-24 171
大型预训练语言模型（PLM）处于自然语言处理进步的前沿。PLM的一个广泛使用案例是“提示”——或上下文学习——用户在提示PLM对新示例执行任务之前，向PLM提供任务的描述和任务的一些已完成示例作为上下文。只有最大、最有能力的PLM才能有效地执行上下文学习，并且这些模型通常使用以英语为主的语料库进行训练，而将所有其他语言抛在后面。大多数语言中的数据限制排除了能够提示的特定语言PLM的训练。尽管提示设置的工作激增，但仍不清楚PLM应如何专门用于提示的跨语言调整。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.02.20-2024.02.25
小小帅
02-26 1862
指令调整（IT）被广泛用于教导预训练的大型语言模型（LLMs）遵循任意指令，但在多语言环境中的研究却不足。在这项工作中，我们对 IT 中的零次跨语言迁移进行了系统研究，即在纯英语数据上对 LLM 进行指令调整，然后在其他语言的用户提示上进行测试。我们研究了模型配置选择的影响，并为多语言教学设计了多方面的评估策略。我们发现，即使模型训练的所有阶段都以英语为中心，跨语言迁移也能在信息技术中成功实现，但前提是在超参数调整中考虑到多语言性，并且有足够大的信息技术数据。
ICML‘23 Outstanding Paper：A Watermark for Large Language Models（为大模型添加水印）
ZeroTwo_Knight的博客
12-28 1968
大模型在技术上的应用越来越广泛，但由于其内部参数量巨大，控制极其复杂，有很多毫无逻辑和正确性的文字将被输出，其中包括在社交媒体平台上利用自动机器人的社会工程和选举操纵运动，创造假新闻和网页内容，以及使用人工智能系统来欺骗学术写作和编码任务。水印在很早之前就已经被使用，但由于其具有不连续性数字文本水印一直是一项很困难的研究。基于规则的一系列水印嵌入的方法在早期得到了充分地研究，但是由于当时语言模型的灵活性有限，强水印显著降低了文本质量。
ACL2023：LLM相关论文总结
weixin_52171642的博客
07-17 3159
上下文学习（ICL）通过在推理时简单地演示少量的例子来提高语言模型在各种NLP任务中的表现。人们对ICL能力出现的原因不是很了解，因为模型从来没有在这种演示上进行过专门的训练。与之前探索ICL背后的隐性机制的工作不同，我们通过调查预训练数据来研究ICL。具体来说，我们首先采用一种迭代的、基于梯度的方法来寻找支持ICL的一小部分预训练数据。我们观察到，在这个小的子集上继续进行预训练可以显著提高模型的ICL能力，提高幅度高达18%。
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
CVPR2017论文摘要汇总
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 16万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
论文笔记：Multilingual Multimodal Pre-training for Zero-Shot Cross-Lingual Transfer of Vision-Language Mo
missgrass的博客
01-01 2826
视觉-语言模型零镜头跨语言迁移的多语种多模态预训练摘要介绍方法Multilingual Multimodal Transformers 摘要 本文研究视觉-语言模型的零镜头跨语言迁移。具体来说，我们关注于多语言文本到视频的搜索，并提出了一个基于Transformer-based的模型来学习语境化的多语言多模态嵌入。在零镜头设置下，我们的经验表明，当我们使用非英语句子查询多语言文本-视频模型时，性能会显著下降。为了解决这一问题，我们引入了一种多语言多模态的预训练策略，并收集了一个新的多语言教学视频数据集(Mu
论文笔记：Cross-Lingual Ability of Multilingual BERT: An Empirical Study
missgrass的博客
04-29 1047
多语种BERT跨语言能力的实证研究摘要介绍2 BACKGROUND2.1 BERT 摘要 最近的研究展示了多语言BERT(M-BERT)令人惊讶的跨语言能力-令人惊讶的是，它的训练没有任何跨语言目标，也没有对齐的数据。在这项工作中，我们对M-BERT中不同成分对其跨语言能力的贡献进行了全面的研究。我们研究了语言的语言属性、模型的体系结构和学习目标的影响。这项实验研究是在三种不同类型的语言-西班牙语、印地语和俄语-的背景下进行的，并使用了两种概念上不同的自然语言处理任务：文本蕴涵和命名实体识别。我们的主要结论
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 207
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 480
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 317
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 145
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1665
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 478
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 656
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 198
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 37
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
How to Defend Against Cross-Lingual Prompt Injection
10-20
Here are some methods to defend against cross - lingual prompt injection: ### Input Validation and Sanitization - **Character and Syntax Checks**: Validate the input to ensure it only contains expected characters and follows the correct syntax for the language and the system's requirements. For example, if the system expects only alphanumeric characters in a certain field, reject inputs with special characters that could be used for injection. ```python import re def validate_input(input_str): pattern = r'^[a-zA-Z0-9]+$' return bool(re.match(pattern, input_str)) input_text = "validinput123" if validate_input(input_text): print("Input is valid.") else: print("Input may be malicious.") ``` - **Length Limitation**: Set reasonable length limits for user inputs. Long inputs may be more likely to contain malicious injection attempts. ### Encoding and Escaping - **Proper Encoding**: Use appropriate encoding for user inputs, such as UTF - 8. This can prevent some encoding - related injection attacks. - **Escaping Special Characters**: Escape special characters in the input to prevent them from being interpreted as part of a malicious command. For example, in SQL, characters like single quotes (' ) need to be properly escaped. ```python import sqlite3 def escape_input(input_str): return input_str.replace("'", "''") input_text = "O'Connor" escaped_text = escape_input(input_text) conn = sqlite3.connect('example.db') cursor = conn.cursor() query = f"SELECT * FROM users WHERE name = '{escaped_text}'" cursor.execute(query) ``` ### Context - Aware Filtering - **Understand the Context**: Analyze the context in which the input is used. For example, if the input is used in a translation context, filter out words or phrases that are not relevant to normal translation requests and may be injection attempts. - **Language - Specific Rules**: Apply language - specific rules and filters. Different languages have different grammar, vocabulary, and common patterns. Use these to identify abnormal inputs. ### Model - Based Detection - **Anomaly Detection Models**: Train machine learning or deep learning models to detect abnormal patterns in user inputs. These models can be trained on a large dataset of normal and malicious inputs. ```python import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense # Assume X_train and y_train are pre - processed training data model = Sequential([ Dense(64, activation='relu', input_shape=(input_dim,)), Dense(32, activation='relu'), Dense(1, activation='sigmoid') ]) model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) model.fit(X_train, y_train, epochs=10, batch_size=32) ``` ### Isolation and Sandboxing - **Isolate User Inputs**: Run operations involving user inputs in isolated environments or sandboxes. This can prevent malicious code from affecting the main system. For example, use containerization technologies like Docker to isolate translation tasks.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值