可控文本生成《Toward Controlled Generation of Text》

最新推荐文章于 2024-08-23 08:02:56 发布
原创 最新推荐文章于 2024-08-23 08:02:56 发布 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了通过VAE网络实现可控文本生成的方法，包括在隐藏层加入属性信息、使用discriminator进行分类以及训练策略。实验表明，该模型在IMDM语料库上能有效控制情感和时态，且在准确性上优于s-VAE模型。

文章链接：http://pdfs.semanticscholar.org/efbc/200feab74e5087c4005d8759e5dadb3a3077.pdf

最低0.47元/天 解锁文章
CTRL，Control Transformer可控文本生成技术详解
强化学习曾小健
06-23 1244
对于控制信号，可以像 L2W 和 PPLM 选择属性判别器的似然概率；也可以同 CTRL 一样设计 Prompts 和 control codes；或者可以像 GSum 引入句、词、段落、三元组等多种形式的内容。对于将控制信号反馈给模型的方式，可以如 PPLM 般基于梯度上升，也可以像 GeDi 直接修改单词表上的概率分布，或者同 Hafez 一样从 Beam Search 入手，将判别器给出的得分反馈到似然得分上。然而，即使合理地引入了控制信号，也无法保证可控性能。
预训练模型在文本风格迁移中的创新
最新发布
AI天才研究院
06-17 799
文本风格迁移是指将一段文本从源风格转换为目标风格，同时保留其核心语义内容的技术。传统的文本风格迁移方法通常依赖于规则系统或浅层机器学习模型，效果有限。随着预训练语言模型(如BERT、GPT等)的出现，这一领域迎来了革命性的变化。预训练模型为文本风格迁移带来的优势基于预训练模型的创新架构和方法实际应用案例和代码实现当前面临的挑战和未来发展方向本文首先介绍文本风格迁移的基本概念和预训练模型的相关背景，然后深入探讨基于预训练模型的创新方法，包括模型架构、训练策略和数学原理。
可控文本生成
refaver的博客
09-07 2817
文章链接：http://pdfs.semanticscholar.org/efbc/200feab74e5087c4005d8759e5dadb3a3077.pdf 1)  文本生成过程：通过VAE网络重建输入文本。 2）模型对生成信息的控制： 2.1）在VAE网络的隐藏层中加入unstructure变量c，作为attribute的信息输入。 2.2）模型中加入了discriminator
读论文《Toward Controlled Generation of Text》
qq_35575638的博客
08-11 3149
Toward Controlled Generation of Text这篇论文是Zhiting Hu发布在ICML2017上的paper。这篇paper主要干的事情就是其题目中所描述的，生成可以控制方向的文本，方向也就是文本的各种属性。 这篇paper中提出来的结构是基于VAE的，将VAE和一个判别器D结合的结构。文中刚开始便提到，如果要用VAE做定向的文本生成，必须克服两个困难，一是NLP问...
Toward Controlled Generation of Text翻译
nopSled
07-09 520
摘要 与最近在视觉领域的深度生成建模相比，文本的通用生成和控制具有挑战性并且成功率有限。本文旨在生成合理的文本句子，其属性是通过学习具有指定语义的隐藏表示来控制。我们提出了一种新的神经生成模型，该模型结合了变分自编码器 (VAE) 和整体属性判别器，用于有效施加语义结构。该模型也可以被视为使用wake-sleep算法增强的VAE，以利用假样本作为额外的训练数据。通过对离散文本样本的可微近似、对独立属性控制的显式约束以及生成器和判别器的高效协作学习，我们的模型甚至可以从单词注释中学习可解释的表示，并生成具有所
开源项目 `controlled-text-generation` 使用教程
gitblog_00385的博客
08-23 524
开源项目 controlled-text-generation 使用教程 项目介绍 controlled-text-generation 是一个用于控制文本生成的开源项目，基于深度学习技术，旨在通过特定的控制条件生成高质量的文本内容。该项目利用了先进的自然语言处理模型，如GPT和BERT，通过调整模型的参数和输入条件，实现对生成文本的风格、主题和内容的精确控制。 项目快速启动 环境准备 在开始之前...
文本生成论文阅读Tailor: A Prompt-Based Approach to Attribute-Based Controlled Text Generation
qq_43588670的博客
02-02 1150
可控文本生成是自然语言处理领域的一类重要问题。现有的可控生成方法通过微调整个语言模型或使用额外的分类器在解码阶段进行控制，但这会导致很高的训练成本或降低生成文本的质量。本文使用prompt完成可控生成的任务，将每个属性视作可训练的连续向量（prompt），但是直接拼接单属性的prompt存在文本质量下降和位置敏感等问题，因此作者通过一个非训练的方法或微调一个可训练的prompt来消除训练与测试阶段的差异，从而完成多属性控制。实验效果表明该方法可以显著提升控制效果，并保证了文本质量。
【论文笔记】Controllable Natural Language Generation with Contrastive Prefixes
记录学习^_^，欢迎交流~
03-06 746
带有对比前缀的可控文本生成，Controllable Natural Language Generation with Contrastive Prefixes
VAE for 文本生成
u011613991的专栏
03-22 7876
VAE详解：https://spaces.ac.cn/archives/5253 变分自编码器（Variational auto-encoder，VAE）是一类重要的生成模型（generative model），它于2013年由Diederik P.Kingma和Max Welling提出[1]。2016年Carl Doersch写了一篇VAEs的tutorial[2]，对VAEs做...
搭配对比学习，万能的 prompt 还能做可控文本生成
zenRRan的博客
03-19 1498
每天给你送来NLP技术干货！文 | ZenMoore编 | 小轶来自 | 夕小瑶的卖萌屋可控文本生成，旨在让语言模型的输出带有我们想要的某种属性。比如情感、主题、三元组等。一般我们习惯采用...
poem_generation:用于测试文本生成方法（例如LSTM，VAE等）和不同转换器的存储库
03-06
NLP-诗歌 在过去的十年中，自然语言处理（NLP）的发展非常Swift。 这是一个非常复杂的领域，并且一直在进步。 此回购旨在针对特定类型的语料诗尝试一些NLP任务和算法。 这些诗是从刮下来的，可以在找到刮取的代码 任务类型 使用此存储库中的ata可以执行两个主要任务： 文本生成-生成诗歌 文本分类-对主题或诗歌形式进行分类 数据集 该数据集由两个文件夹组成，两个文件夹都包含诗歌的子文件夹。 这些诗歌按形式（例如句，十四行诗等）或主题（爱，自然，欢乐，和平等）分类。 由于数据采用这种结构，因此对于诸如fastai或keras之类的API而言，获取文本文件非常简单。 诗的产生 使用变形金刚可以很容易地生成诗歌。 也可以从头开始构建模型并在诗歌中对其进行训练，但是前者则更容易，更快捷，因为它只需要您微调模型即可。 上有很多变压器，其中如何加载的说明。 还有一个非常出色的用于使用转换器生
规律有序文本生成工具
10-22
开发辅助工具，有时一段文本如D1,D2,D3,...,D10很不想自己打字，很想从哪复制过来用，这工具就可以派得上了。也可以创建一个更复杂的如这样ISNULL([D1],0) AS [D1],ISNULL([D2],0) AS [D2],ISNULL([D3],0) AS [D3],ISNULL([D4],0) AS [D4],ISNULL([D5],0) AS [D5],ISNULL([D6],0) AS [D6],ISNULL([D7],0) AS [D7],ISNULL([D8],0) AS [D8],ISNULL([D9],0) AS [D9],ISNULL([D10],0) AS [D10]，要自己输入感觉就不好受，该工具就可以代劳了放心
naacl-2021-fudge-controlled-generation
04-30
FUDGE：带有将来区分符的受控文本生成 此存储库包含对应于Kevin Yang和Dan Klein撰写的论文FUDGE：带有未来区分项的受控文本生成（ ）的代码，该论文将出现在NAACL 2021上。 设置/安装 我们在Python 3.8.5上进行了测试，但几乎可以肯定的是，Python 3的早期版本还不错。 要获取所需的软件包（其他版本也可能起作用）： pip install -r requirements.txt 此外，要获取我们的预训练预测变量检查点和训练数据，请运行： wget https://naacl2021-fudge-files.s3.amazonaws.com/large_files.zip 并将zip解压缩到顶级lm-prediction/文件夹。 （应该有三个文件夹， ckpt/ ， train_data/和topic_human_evals/文件为7GB。
VAE在文本生成中的应用：自动编码器和解码器设计
AI天才研究院
07-06 4108
作者：禅与计算机程序设计艺术 3.VAE在文本生成中的应用：自动编码器和解码器设计 作为一名人工智能专家，程序员和软件架构师，CTO，我今天将为大家分享一篇关于VAE在文本生成中的应用：自动编码器和解码器设计的深度有思考有见解的技术博客文章。文章将介绍VAE的
考虑VAE来实现不同条件下的文本生成
带你飞
03-26 1130
题目 Pre-train and Plug-in: Flexible Conditional Text Generation with Variational Auto-Encoders 作者： 这是一篇由阿里，武汉大学，芝加哥大学，美国亚马逊联合出品 **前言：**应该是真大佬之间的合作，哎十分羡慕啊。言归正传，我之前基本一直没怎么接触VAE，最多只是看过一些博客介绍，这篇文章应该算是我对VAE的一次全面了解，初始感觉，VAE强啊，本文做的是有条件的文本生成任务，基于VAE去做文本隐含分布映射，然后通过给
基于 VQVAE 的长文本生成
zenRRan的博客
11-25 1012
每天给你送来NLP技术干货！本期分享者：杨二光北京交通大学自然语言处理实验室四年级博士生，导师为张玉洁教授，研究方向为可控文本生成、复述生成、故事生成。在澜舟科技实习期间主要从事长文本生成、营销文案生成等课题。来自：澜舟科技写在前面近年来，多个大规模预训练语言模型 GPT、BART、T5 等被提出，这些预训练模型在自动文摘等多个文本生成任务上显著优于非预训练语言模型。但对于开放式生成任务，如故事生...
VAE模型的应用：从图像到文本生成
AI天才研究院
12-30 1560
1.背景介绍 随着大数据时代的到来，数据的生产和收集速度远超人类的处理能力。因此，人工智能（AI）技术的发展成为了关键。人工智能的一个重要分支是深度学习，它能够自动学习和优化模型，从而实现智能化。在深度学习中，变分自编码器（Variational Autoencoder，VAE）是一种强大的模型，它既可以用于图像生成，也可以用于文本生成。本文将详细介绍
文本生成的论文追溯：Seq2seq，VAE，GAN
qq_18310041的博客
03-20 1635
Seq2seq 《Recent Advances on Neural Headline Generation》 JCST 2017 《A Neural Conversational Model》 ICML 2015 《Topic Aware Neural Response Generation》 AAAI 2017 《A persona-Based Neural Conversation...
VAE在自然语言生成中的应用
AI天才研究院
07-07 2137
作者：禅与计算机程序设计艺术 26.VAE在自然语言生成中的应用 在自然语言处理领域，生成式对抗网络（GAN）已经成为了实现人工神经网络在自然语言生成方面的优势的重要手段。其中，变分自编码器（VAE）作为一种高效的生成式对抗网络，已经在多个自然语言生成任务中取得了很好的效果。本
The Entity-Relationship Model-Toward a Unified View of Data
04-25
The ER Model was first introduced in 1976 and has since become one of the most widely used data models in software engineering. Its purpose is to provide a unified view of data, allowing developers ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

catbird233

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值