基于BART的长文本生成demo

最新推荐文章于 2025-03-31 10:26:39 发布
最新推荐文章于 2025-03-31 10:26:39 发布
阅读量2.8k 收藏 9
点赞数 1
分类专栏： 程序 文章标签： python 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tangg555/article/details/124349644
版权 
这是一个使用pytorch，pytorch_lightning框架简单基于NLG领域预训练模型BART进行故事生成的demo。BART预训练模型来源于Hugginface: bart-base.

代码可见：
github: story-generation-demohttps://github.com/tangg555/story-generation-demo或者
gitee: story-generation-demohttps://gitee.com/travis-tang/story-generation-demo

运行程序的前置条件:
- Python 3 or Anaconda (mine is 3.8)
- Pytorch 
- transformers (a package for huggingface)
- pytorch-lightning (a package)
【论文泛读138】BARTScore：将生成的文本评估为文本生成
scu-liu的博客
06-23 2332
贴一下汇总贴：论文阅读记录 论文链接：《BARTScore: Evaluating Generated Text as Text Generation》 一、摘要 各种各样的 NLP 应用程序，例如机器翻译、摘要和对话，都涉及文本生成。这些应用程序面临的一个主要挑战是如何评估此类生成的文本是否真正流畅、准确或有效。在这项工作中，我们将生成文本的评估概念化为文本生成问题，使用预训练的序列到序列模型进行建模。一般的想法是，当生成的文本更好时，训练模型将生成的文本转换为参考输出或源文本将获得更高的分数。我们使用
​GENIUS: 根据草稿进行文本生成的预训练模型，可用于多种NLP任务的数据增强...
Paper weekly
11-29 1506
©PaperWeekly 原创 ·作者 | 郭必扬单位 | 上海财经大学信息管理与工程学院AI Lab论文标题：GENIUS: Sketch-based Language Model Pre-training via Extreme and Selective Masking for Text Generation and Augmentation论文作者：Biyang Guo,Yeyun ...
bart-cs-demo
03-28
bart-cs-demo
【自然语言处理】【文本生成】BART：用于自然语言生成、翻译和理解的降噪Sequence-to-Sequence预训练
bqw的博客
09-04 2416
​ 自监督方法在广泛的自然语言处理任务中取得了巨大的成功。大多数成功的方法都是的变体，其是一种降噪自编码器，通过重构随机遮蔽的单词进行训练。最近的研究展示了改变遮蔽tokens分布、被预测遮蔽token的顺序、以及替换遮蔽token的可用上下文的有效性。然而，这些方法都专注在特定类型的任务，限制了它们的适用性。​ 在本文中提出了BARTBART，其合并了双向和自回归。BARTBART是一个使用模型构建的降噪自编码器，其能够应用在广泛的下游任务。预训练有两个阶段：(1) 使用任意噪音函数破坏文本；
Long Writer：长文本生成新标杆
最新发布
XianxinMao的博客
03-31 669
Long Writer通过创新的监督微调方法、独特的数据集构建策略以及代理驱动技术（Agent WR），显著提升了长文本生成的连贯性、结构化和质量。其分段生成和逻辑组织技术使模型能够处理复杂主题，生成长达10,000字的高质量文本。这一工具在内容创作、技术写作和教育资源开发等领域展现了强大的应用潜力，满足了不同用户对高质量长文本的需求。Long Writer的开放性和易用性使其成为内容创作者、开发者和教育工作者的理想选择，推动了人工智能在自然语言处理领域的进一步发展。
BART 文本摘要示例
qq_48566899的博客
11-22 3276
采用BART进行文本摘要 首先从transformers library导入BartTokenizer进行分词， 以及BartForConditionalGeneration进行文本摘要 from transformers import BartTokenizer, BartForConditionalGeneration 这里，bart-large-cnn 是预训练的BART模型，模型大小约为1.6G（下载时间可能较慢，需耐心等待进度条）. model = BartForConditionalGene
Meta-review还要亲手写吗？篇章级可控文本生成来帮忙
Paper weekly
05-14 643
©作者 |申琛惠 程丽颖 邴立东 司罗 等单位 |阿里巴巴达摩院论文标题：MReD: A Meta-Review Dataset for Structure-Controllable Text Generation收录会议：Findings of ACL 2022论文链接：https://arxiv.org/abs/2110.07474代码和数据：https://gi...
打造基于Flask的自然语言处理文本摘要Web应用
transformers是一个由huggingface公司提供的深度学习库，主要用于自然语言处理任务，包括文本分类、文本生成、问题回答等。它提供了一系列预训练的模型，用户可以直接使用这些模型进行任务训练，也可以基于这些模型...
如何从大型模型（BART）fine tune一个小模型及代码实现
weixin_43718786的博客
05-19 6911
本文目的是从上游大型模型进行知识蒸馏以应用于下游自动摘要任务，主要总结了自动摘要目前面临的难题，BART模型的原理，与fine tune 模型的原理。对模型fine tune部分进行了代码复现，通过fine tune使得student模型能够在一块8G显存的GPU上进行训练。
中文文本标注工具调研以及BRAT安装使用
热门推荐
u014028063的博客
04-16 2万+
背景：最近的工作需要对文本先进行标注，然后才可以做接下来的文本分类工作。 原来文本数量少的时候可以手工标注，随着文本数量的增多，需要借助标注工具，调研了目前常用的几种： 更多详细信息请联系https://www.jianshu.com/u/50ba27f06c3d 1，BRAThttps://github.com/nlplab/brat 首先是BRAT，http://brat.nlpl...
对抗性文本生成（来自于ACL 2020）
05-06
自回归文本生成模型通常侧重于局部的流畅性，在长文本生成过程中可能导致语义不一致。此外，自动生成具有相似语义的单词是具有挑战性的，而且手工编写的语言规则很难应用。
Longformer中文长文本摘要生成
张伟的专栏
02-06 1921
1 Longformer 之前做了BART中文摘要生成，但是因为项目需求是中文长文本摘要生成，因此在此采用Longformer完成中文摘要生成（实际用的是LED，Longformer基础上添加了解码器），11G显存长度可以到8K，非常友好。短文本上虽然比不上BART，不过这并不重要。 1.1 Longformer结构 LED结构与BART类似，只不过多了global attention，因为LED没有中文预训练模型，但是我们有BART呀，这也给出了BART权重转到LED的脚本，因此这次我们就采用BA.
基于预训练模型Bart的英文文本摘要summary生成
yuhengshi的博客
10-26 3492
环境 python==3.7 transformers==4.9.2 rouge-score==0.0.4 数据准备 将数据放在一个txt中，每行为一条，文章正文跟label的摘要用\t分割 构建数据集 from datasets import Dataset class Data: def __init__(self, data_path, tokenizer): self.path = data_path self.max_input_length =
【自然语言处理】【文本生成】使用Transformers中的BART进行文本摘要
bqw的博客
10-06 1万+
本文是一个基于Transformers的文本生成代码示例。该示例中使用中文版本的BART模型，数据则使用NLPCC2017的中文摘要数据集。
探索 LongWriter：突破长文本10000+字生成的语言模型
寻道AI，探索AI无限可能！
09-04 3321
在自然语言处理领域，语言模型的发展日新月异。随着对长文本处理需求的不断增加，能够高效生成长文本的语言模型变得至关重要。LongWriter 作为一款由清华大学数据挖掘研究组（THUDM）开发的语言模型，以其出色的长文本生成能力引起了广泛关注。本文将深入探讨 LongWriter 的各个方面，包括简介、功能特点、评估测试、应用场景以及本地部署，为读者全面展示这一强大工具的魅力。
【文本生成】论文合集推荐丨 斯坦福研究者引入时间控制方法 长文本生成更流畅
AI_Conf的博客
05-24 421
在近期的一项研究中，斯坦福大学的一个研究小组提出了时间控制 (TC)，这种语言模型通过潜在的随机过程进行隐式计划，并生成与该潜在计划一致的文本，以提高长文本生成的性能。我们一起来了解一下其中的文本生成： 文本生成是自然语言处理中一个重要的研究领域，具有广阔的应用前景。国内外已经有诸如Automated Insights、Narrative Science以及“小南”机器人和“小明”机器人等文本生成系统投入使用。这些系统根据格式化数据或自然语言文本生成新闻、财报或者其他解释性文本。 AMiner为您准备了【.
论文分析｜高效长文本生成的技术与应用
m0_58966968的博客
08-06 1318
—计算时每一层时都需要储存：在模型的不同层，特别是多头自注意力（Multi-Head Attention）层和多层感知器（MLP）层中，计算过程中会产生中间值，如Q（Query）、K（Key）、V（Value）张量，以及MLP层的中间线性变换结果。传统的串行计算方法可能无法满足效率需求，长序列下模型训练和推理会出现新的瓶颈，需要从硬件出发设计算法进行并行优化，如利用现代硬件（如GPU、TPU）的并行处理能力，可以显著加速模型的训练和推理过程。分解过程都是类似的，都是 分解、计算、汇总。
ExtJS Grid组件实现简单demo演示
- sql.txt文件：这个文件可能包含用于演示Grid组件的数据，或者是生成Grid示例所需的数据库查询语句。 - exttest.zip压缩包：这个文件很可能是包含了演示Ext JS Grid组件的源代码，包括了JavaScript文件、HTML模板、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值