一篇大模型可控文本生成技术最新综述

最新推荐文章于 2024-10-02 17:11:49 发布
最新推荐文章于 2024-10-02 17:11:49 发布
阅读量2.2k 收藏 18
点赞数 20
CC 4.0 BY-SA版权
文章标签： 自然语言处理 智能电视 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AIBigModel/article/details/141607710

全面概述用于控制大型语言模型 (LLM) 中的文本生成的技术和方法，重点是理论基础和实际实现。

大模型可控文本生成(CTG）综述

图片

图片

可控文本生成的需求

可控文本生成（CTG）必须满足两个主要要求：

  • 满足预定义的控制条件：确保生成的文本符合指定的标准，例如主题一致性、安全性和风格一致性。

  • 保持文本质量：确保生成的文本流畅、有用且多样化，同时平衡控制和整体质量。

与大语言模型中的可控生成相关的Web of Science上的出版趋势

图片

大型语言模型（LLMs）的可控性维度和能力维度

最低0.47元/天 解锁文章

200万优质内容无限畅学
AIBigModel
关注
LLM：可控文本生成【Controlable Text Generation(CTG)】
u013250861的博客
08-27 1414
Controlable Text Generation，可控制的文本生成，就是能够在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等等的控制，从而使得生成的文本符合我们的某种预期。如果给一个明确的定义的话，文中引用了另一篇更早的综述的定义：论文中给出了两个简单的例子：第一个例子就是给定一个故事线，要求模型按照这样的思路去生成。第二个例子是关于传统人机对话中如果机器生成文本时不受控制可能带来的问题，比如会给出有害的建议，甚至说脏话，这个时候就需要我们在模型生成的时候加以控制。
可控图像生成模型综述（简短）
最新发布
m0_51340814的博客
12-11 1843
最近一段时间看了好多论文和优秀的帖子，自己做一个简单的总结。 1、绪论 1.1引言 近年来，由深度学习驱动的图像生成模型迅速发展，从生成对抗网络（Generative Adversarial Networks, GAN）和变分自编码器（Variational Autoencoders, VAE）等基础模型，到后来基于Transformer的图像生成模型、扩散模型等，模型生成图像的质量和多样性都有了显著提升。然而，虽然模型能够生成视觉上合理的图像，但在精细控制生成内容方面仍有不足，图像生成模型的可
大模型如何生成可控文本？人大等最新《大型语言模型的可控文本生成》综述
Y525698136的博客
08-26 2312
在自然语言处理（NLP）领域，大型语言模型（LLMs）已展示出高质量的文本生成能力。然而，在实际应用中，LLMs必须满足日益复杂的需求。除了避免生成误导性或不恰当的内容外，LLMs还需要满足特定用户的需求，例如模仿特定的写作风格或生成具有诗意丰富性的文本。
可控文本生成系列-A Survey of Controllable Text Generation using Transformer-based Pre-trained
yaohaishen的专栏
07-20 8282
ControlableTextGeneration，可控制的文本生成，就是能够在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等等的控制，从而使得生成的文本符合我们的某种预期。如果给一个明确的定义的话，文中引用了另一篇更早的综述的定义论文中给出了两个简单的例子第一个例子就是给定一个故事线，要求模型按照这样的思路去生成。第二个例子是关于传统人机对话中如果机器生成文本时不受控制可能带来的问题，比如会给出有害的建议，甚至说脏话，这个时候就需要我们在模型生成的时候加以控制。.............
可控文本生成技术
weixin_43729393的博客
03-29 1312
介绍 Prabhumoye 等人[1]对可控的文本生成技术进行了综述，神经控制文本生成是一个重要的研究领域，因其应用的广泛性而备受关注。这篇论文中提供了一个 新的模式的流水线生成过程，把它分为五个模块，包括外部输入控制、序列输入控制、生成器控制、输出控制及训练控制。 ① 外部输入: a) 引入外部可控向量 s 作为输入。引入的方法有: 1.concatenation: h0 = [he; s]; 2. linear transform: h0 = tanh(w1 he + w2 s + b)。其中he为
可控文本生成简单介绍
云隐雾匿的博客
04-19 1405
它之所以能够实现可控文本生成，其核心思想是从海量无标注数据中定位文章所在的领域或其他属性，并作为控制代码（Control codes）放在输入文本的头部，以指导后续文本的生成。其核心思想是，对于预训练语言模型（GPT-2）以及目标属性a（例如情感、 主题等），利用当前的生成结果是否满足属性a（即条件概率P （a|x））对生成进行修正，使其朝着满足该属性的方向变化。除了作为预训练模型用于语言表示、条件式生成等下游任务，语言模型的另一个重要的功能是“写作” ，或定向文本生成。，或者“方向” ，因此实用性较弱。
深入浅出对话系统——可控文本生成
日积月累，天道酬勤
07-29 568
可控文本生成论文笔记
两篇多模态大模型综述论文
10-21
两篇综述论文不仅为我们展示了多模态大模型的最新研究成果和应用前景，同时也指出了在这一领域未来需要解决的重要问题。通过对这些关键问题的深入研究，我们可以期待多模态大模型将在未来的智能技术领域中扮演更加...
2022年文本生成综述
听了个听儿
11-07 1080
通过综述梳理一下知识体系。
llm综述——通过一篇综述全面了解大模型
xs86467的博客
10-02 1158
A large-scale, pre-trained, statistical language models based on neural networks. (大模型：基于神经网络的大规模预训练统计语言模型。语言模型的发展可以被分为四个阶段：统计模型、神经网络语言模型、预训练模型。与PLMs（预训练语言模型）相比，LLMs不仅仅在模型参数量上大，在语言理解、生成能力上也展现出更强的实力。更重要的是，
msc-ai-thesis:我的MSc AI论文关于可控文本生成的回购
04-01
使用基于变压器的语言模型可控制的文本生成 为我的论文项目使用基于Transformer的语言模型的受控文本生成和自适应对话系统的Repo。
规律有序文本生成工具
10-22
开发辅助工具，有时一段文本如D1,D2,D3,...,D10很不想自己打字，很想从哪复制过来用，这工具就可以派得上了。也可以创建一个更复杂的如这样ISNULL([D1],0) AS [D1],ISNULL([D2],0) AS [D2],ISNULL([D3],0) AS [D3],ISNULL([D4],0) AS [D4],ISNULL([D5],0) AS [D5],ISNULL([D6],0) AS [D6],ISNULL([D7],0) AS [D7],ISNULL([D8],0) AS [D8],ISNULL([D9],0) AS [D9],ISNULL([D10],0) AS [D10]，要自己输入感觉就不好受，该工具就可以代劳了放心
Python实现的文本对比报告生成工具示例
09-20
主要介绍了Python实现的文本对比报告生成工具,涉及Python基于difflib模块实现对文本内容进行对比的相关操作技巧,需要的朋友可以参考下
Meta前工程师爆赞！​人大联合电信等发布大语言模型可控文本生成最新综述
Paper weekly
08-29 1212
在自然语言处理（NLP）领域，大型语言模型（LLMs）已展现出卓越的文本生成能力。然而，在实际应用中，LLMs 面临着越来越复杂的需求。不仅要避免生成误导性或不适当的内容，LLMs 还需满足特定用户的要求，如模仿特定的写作风格或创作富有诗意的文本。这些多样化的需求催生了可控文本生成（Controllable Text Generation, CTG）技术的发展。CTG 技术确保生成的文本不仅严格符...
可控文本生成研现状与技术
qq_43588670的博客
12-20 2435
可控文本生成目前在聊天机器人，智能问答，新闻撰写，营销文案生成，线上商品标题自取以及简介生成等多种领域发挥了巨大作用。可控文本生成需要模型具有一定的发散能力，而中文文化又博大精深，汉字又是离散的状态，这使得文本生成在建模上更加多样，复杂。传统的文本生成建模一般采用seq2seq，最近几年转向了GAN。提示：以下是寻欢桑做的一点总结欢迎大家批评指正今年一月份能够把这个坑填了。
浅谈LLM的可控文本生成
panwang246的博客
07-03 660
1. **条件生成**：在生成文本时，给定一些条件（如主题、风格等），模型会根据这些条件生成相应的文本。总之，可控文本生成是一个具有挑战性的任务，需要开发新的技术和方法来指导模型生成符合特定要求的文本。4. **零样本学习**：利用预训练模型的能力，通过提供一些示例来指导模型生成符合要求的文本。6. **编辑和修订**：在生成文本后，可以使用编辑和修订技术来修改文本，使其符合特定要求。5. **多任务学习**：通过训练模型以同时执行多个任务，可以使模型更好地理解不同任务之间的关系，并生成符合要求的文本。
Keyword2Text: 一种即插即用的可控文本生成方法
shawroad的博客
08-26 1748
本次分享一篇可控文本生成方面的论文。提到文本生成，可能很多人的第一印象都是不靠谱，不就是复制粘贴，模型只是将训练语料记住了而已，谈创造性都是瞎扯emem…。这趟浑水总该有人趟吧，如果对ai充满悲观的人，可以去瞧瞧cv那边文本到图片的生成，或者能让你对ai有所改观。闲话少说，直接切入文本生成主题。谈到文本生成，可能会想到很多模型，如GPT系列、T5系列、UniLM、Bart等等。但这些模型在可控方面做的都不够好，文本生成的主题主要还是依赖于训练语料的分布。...
基于扩散模型的可控文本生成
beyond12111的博客
02-26 767
基于扩散模型的文本生成
基于预训练语言模型的可控文本生成
Kaiyuan_sjtu的博客
12-02 892
作者｜刘明童博士澜舟科技高级研究员整理｜DataFun大家好，这里是NewBeeNLP。近年来，基于 Transformer 和自监督学习的预训练语言模型具有良好的泛化能力，在长文本生成和可控文本生成方面取得了较好的效果，引起学术界和工业界越来越多的关注。本报告将重点介绍这一领域取得的一些进展和面临的主要挑战，并介绍澜舟在可控文本生成方面的一些探索。今天的介绍会围绕下面四点展开：可控文本生成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值