一篇大模型可控文本生成技术最新综述

最新推荐文章于 2025-07-25 06:17:00 发布
原创 最新推荐文章于 2025-07-25 06:17:00 发布 · 2.6k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #智能电视 #深度学习

全面概述用于控制大型语言模型 (LLM) 中的文本生成的技术和方法，重点是理论基础和实际实现。

大模型可控文本生成(CTG）综述

图片

图片

可控文本生成的需求

可控文本生成（CTG）必须满足两个主要要求：

  • 满足预定义的控制条件：确保生成的文本符合指定的标准，例如主题一致性、安全性和风格一致性。

  • 保持文本质量：确保生成的文本流畅、有用且多样化，同时平衡控制和整体质量。

与大语言模型中的可控生成相关的Web of Science上的出版趋势

图片

大型语言模型（LLMs）的可控性维度和能力维度

最低0.47元/天 解锁文章
AIBigModel
关注
精选资源
两篇多模态大模型综述论文
10-21
两篇综述论文不仅为我们展示了多模态大模型的最新研究成果和应用前景，同时也指出了在这一领域未来需要解决的重要问题。通过对这些关键问题的深入研究，我们可以期待多模态大模型将在未来的智能技术领域中扮演更加...
msc-ai-thesis:我的MSc AI论文关于可控文本生成的回购
04-01
使用基于变压器的语言模型可控制的文本生成 为我的论文项目使用基于Transformer的语言模型的受控文本生成和自适应对话系统的Repo。
可控文本生成系列-A Survey of Controllable Text Generation using Transformer-based Pre-trained
yaohaishen的专栏
07-20 8522
ControlableTextGeneration，可控制的文本生成，就是能够在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等等的控制，从而使得生成的文本符合我们的某种预期。如果给一个明确的定义的话，文中引用了另一篇更早的综述的定义论文中给出了两个简单的例子第一个例子就是给定一个故事线，要求模型按照这样的思路去生成。第二个例子是关于传统人机对话中如果机器生成文本时不受控制可能带来的问题，比如会给出有害的建议，甚至说脏话，这个时候就需要我们在模型生成的时候加以控制。.............
大模型如何生成可控文本？人大等最新《大型语言模型的可控文本生成》综述
Y525698136的博客
08-26 2618
在自然语言处理（NLP）领域，大型语言模型（LLMs）已展示出高质量的文本生成能力。然而，在实际应用中，LLMs必须满足日益复杂的需求。除了避免生成误导性或不恰当的内容外，LLMs还需要满足特定用户的需求，例如模仿特定的写作风格或生成具有诗意丰富性的文本。
LLM：可控文本生成【Controlable Text Generation(CTG)】
u013250861的博客
08-27 1542
Controlable Text Generation，可控制的文本生成，就是能够在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等等的控制，从而使得生成的文本符合我们的某种预期。如果给一个明确的定义的话，文中引用了另一篇更早的综述的定义：论文中给出了两个简单的例子：第一个例子就是给定一个故事线，要求模型按照这样的思路去生成。第二个例子是关于传统人机对话中如果机器生成文本时不受控制可能带来的问题，比如会给出有害的建议，甚至说脏话，这个时候就需要我们在模型生成的时候加以控制。
可控文本生成技术
weixin_43729393的博客
03-29 1358
介绍 Prabhumoye 等人[1]对可控的文本生成技术进行了综述，神经控制文本生成是一个重要的研究领域，因其应用的广泛性而备受关注。这篇论文中提供了一个 新的模式的流水线生成过程，把它分为五个模块，包括外部输入控制、序列输入控制、生成器控制、输出控制及训练控制。 ① 外部输入: a) 引入外部可控向量 s 作为输入。引入的方法有: 1.concatenation: h0 = [he; s]; 2. linear transform: h0 = tanh(w1 he + w2 s + b)。其中he为
可控文本生成简单介绍
云隐雾匿的博客
04-19 1513
它之所以能够实现可控文本生成，其核心思想是从海量无标注数据中定位文章所在的领域或其他属性，并作为控制代码（Control codes）放在输入文本的头部，以指导后续文本的生成。其核心思想是，对于预训练语言模型（GPT-2）以及目标属性a（例如情感、 主题等），利用当前的生成结果是否满足属性a（即条件概率P （a|x））对生成进行修正，使其朝着满足该属性的方向变化。除了作为预训练模型用于语言表示、条件式生成等下游任务，语言模型的另一个重要的功能是“写作” ，或定向文本生成。，或者“方向” ，因此实用性较弱。
最新综述 | 不止于文本：一文读懂“可控视频生成“技术全景
最新发布
我爱计算机视觉
07-25 1179
扩散模型通过一个“加噪-去噪”的过程来生成数据，因其出色的生成质量和稳定性，已成为当前视频生成领域的主流范式。工作原理：模型从参考图像中提取出独特的、能够定义身份的特征（如人脸特征、服装纹理等），并将这些特征作为一种强约束，在生成视频的每一帧时都注入该特征，从而确保角色在不同动作和视角下仍保持身份的连贯性。为了突破这些瓶颈，研究者们开始探索集成额外的非文本条件，如摄像机运动轨迹、深度图、人体姿态、故事板草图等，来扩展预训练的视频生成模型，从而实现更灵活、更精准、更具实用性的视频合成。
2022年文本生成综述
听了个听儿
11-07 1106
通过综述梳理一下知识体系。
深入浅出对话系统——可控文本生成
日积月累，天道酬勤
07-29 699
可控文本生成论文笔记
Meta前工程师爆赞！​人大联合电信等发布大语言模型可控文本生成最新综述
Paper weekly
08-29 1307
在自然语言处理（NLP）领域，大型语言模型（LLMs）已展现出卓越的文本生成能力。然而，在实际应用中，LLMs 面临着越来越复杂的需求。不仅要避免生成误导性或不适当的内容，LLMs 还需满足特定用户的要求，如模仿特定的写作风格或创作富有诗意的文本。这些多样化的需求催生了可控文本生成（Controllable Text Generation, CTG）技术的发展。CTG 技术确保生成的文本不仅严格符...
规律有序文本生成工具
10-22
开发辅助工具，有时一段文本如D1,D2,D3,...,D10很不想自己打字，很想从哪复制过来用，这工具就可以派得上了。也可以创建一个更复杂的如这样ISNULL([D1],0) AS [D1],ISNULL([D2],0) AS [D2],ISNULL([D3],0) AS [D3],ISNULL([D4],0) AS [D4],ISNULL([D5],0) AS [D5],ISNULL([D6],0) AS [D6],ISNULL([D7],0) AS [D7],ISNULL([D8],0) AS [D8],ISNULL([D9],0) AS [D9],ISNULL([D10],0) AS [D10]，要自己输入感觉就不好受，该工具就可以代劳了放心
可控文本生成研现状与技术
qq_43588670的博客
12-20 2534
可控文本生成目前在聊天机器人，智能问答，新闻撰写，营销文案生成，线上商品标题自取以及简介生成等多种领域发挥了巨大作用。可控文本生成需要模型具有一定的发散能力，而中文文化又博大精深，汉字又是离散的状态，这使得文本生成在建模上更加多样，复杂。传统的文本生成建模一般采用seq2seq，最近几年转向了GAN。提示：以下是寻欢桑做的一点总结欢迎大家批评指正今年一月份能够把这个坑填了。
浅谈LLM的可控文本生成
panwang246的博客
07-03 776
1. **条件生成**：在生成文本时，给定一些条件（如主题、风格等），模型会根据这些条件生成相应的文本。总之，可控文本生成是一个具有挑战性的任务，需要开发新的技术和方法来指导模型生成符合特定要求的文本。4. **零样本学习**：利用预训练模型的能力，通过提供一些示例来指导模型生成符合要求的文本。6. **编辑和修订**：在生成文本后，可以使用编辑和修订技术来修改文本，使其符合特定要求。5. **多任务学习**：通过训练模型以同时执行多个任务，可以使模型更好地理解不同任务之间的关系，并生成符合要求的文本。
Keyword2Text: 一种即插即用的可控文本生成方法
shawroad的博客
08-26 1819
本次分享一篇可控文本生成方面的论文。提到文本生成，可能很多人的第一印象都是不靠谱，不就是复制粘贴，模型只是将训练语料记住了而已，谈创造性都是瞎扯emem…。这趟浑水总该有人趟吧，如果对ai充满悲观的人，可以去瞧瞧cv那边文本到图片的生成，或者能让你对ai有所改观。闲话少说，直接切入文本生成主题。谈到文本生成，可能会想到很多模型，如GPT系列、T5系列、UniLM、Bart等等。但这些模型在可控方面做的都不够好，文本生成的主题主要还是依赖于训练语料的分布。...
基于扩散模型的可控文本生成
beyond12111的博客
02-26 887
基于扩散模型的文本生成
基于预训练语言模型的可控文本生成
Kaiyuan_sjtu的博客
12-02 965
作者｜刘明童博士澜舟科技高级研究员整理｜DataFun大家好，这里是NewBeeNLP。近年来，基于 Transformer 和自监督学习的预训练语言模型具有良好的泛化能力，在长文本生成和可控文本生成方面取得了较好的效果，引起学术界和工业界越来越多的关注。本报告将重点介绍这一领域取得的一些进展和面临的主要挑战，并介绍澜舟在可控文本生成方面的一些探索。今天的介绍会围绕下面四点展开：可控文本生成...
一种可扩展的多属性可控文本生成即插即用方法
qq_51957239的博客
01-03 1367
相互干扰（MI）”是指在推理阶段（即零样本设置）时，多个单独训练但同时指导预训练模型的插件之间的干扰。然而，由于深度神经网络的复杂性，确切的干扰分析是困难的。直观上，如果在训练期间多个插件是同时优化的，这需要多方面标记的数据，它们的干扰将被最小化，因为它们已经学会在监督下合作地工作（即在监督设置中）。因此，我们使用在监督和零样本设置下隐藏状态的差异来近似估计多个插件的相互干扰。具体来说，让ϕiϕ​i​和ϕiϕ​i​分别是从单方面和多方面标记数据中学习的插件的参数。
CTRL，Control Transformer可控文本生成技术详解
强化学习曾小健
06-23 1193
对于控制信号，可以像 L2W 和 PPLM 选择属性判别器的似然概率；也可以同 CTRL 一样设计 Prompts 和 control codes；或者可以像 GSum 引入句、词、段落、三元组等多种形式的内容。对于将控制信号反馈给模型的方式，可以如 PPLM 般基于梯度上升，也可以像 GeDi 直接修改单词表上的概率分布，或者同 Hafez 一样从 Beam Search 入手，将判别器给出的得分反馈到似然得分上。然而，即使合理地引入了控制信号，也无法保证可控性能。
基于深度生成模型的无监督表征学习技术综述
该压缩包所包含的内容涵盖了自2013年至2016年期间在生成模型领域具有里程碑意义的多篇论文，涉及生成对抗网络（GAN）、变分自编码器（VAE）、循环神经网络（RNN）在图像生成中的应用、深度卷积生成对抗网络（DCGAN）...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值