09transformer-xl-chinese项目解读和实践

最新推荐文章于 2025-06-12 09:00:50 发布
原创 最新推荐文章于 2025-06-12 09:00:50 发布 · 905 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #自然语言处理

本文档介绍了一个基于Transformer-XL的中文模型训练项目。首先，尝试运行项目自带的知乎数据集案例，遵循README步骤，观察并理解代码。尽管项目中有些部分如TF文件夹的readme为空，且存在未完成的部分，但计划后续深入研究。下一步将对代码进行逐行解读，然后利用自己的数据集进行训练，并最终展示训练成果。

项目：https://github.com/GaoPeng97/transformer-xl-chinese
英文的话：https://github.com/kimiyoung/transformer-xl

第一步 先运行起来项目自带案例

看了一下，四个案例中，zhihu是最小的，所以选择zhihu作为代码运行的案例。
在这里插入图片描述
按照readme的步骤，查看了里面的参数，没啥好调整的，看到文件路径啥的都写的好好的。
知乎
如果是新建，得重新用train，这里看见了文件路径，就修改为zhihu，但等运行代码结束再点运行。
train
12
在第504行，用ctrl+F就能找到！

可惜没看懂后面的，tf文件夹里面的readme是个空的，全文的inference我看不懂，文章好多todo，这个项目可能后期再看了。先留着。

第二步 逐个代码进行解读

第三步 做自己的数据集和训练

最后一步 成果展示

Transformer大模型实战 BERT 的工作原理
AI天才研究院
10-04 1252
Transformer大模型实战 BERT 的工作原理 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 自
Transformer大模型实战 特定语言的BERT模型
AI天才研究院
08-02 338
Transformer大模型实战：特定语言的BERT模型 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Transformer, BERT, 特定语言模型, 自然语言处理, 预训练语言模型
Chinese-Transformer-XL
03-12
中文-变形金刚-XL 正在施工:construction: 本项目提供了智源研究院“文汇”预训练模型中国变压器-XL的预训练和文本生成代码。 数据 本模型使用了智源研究院发布的中文预训练语料 。具体地，我们使用了WuDaoCorpus中来自百度百科+搜狗百科（133G），知乎（131G），百度知道（38G）的语料，一共303GB数据。 模型 本模型使用了的训练目标，同时使用能够更好地处理长序列建模的替代了GPT中的Transformer。模型的结构与GPT-3 2.7B（32层，隐示尺寸2560 ，，每层32个关注头）的基本相同，因为Transformer-XL的结构尺寸，模型参数增加到了29亿。 结果 为了验证模型的生成能力，我们在中文的开放域长文问答上进行的评价。我们从上随机选择了100个不同领域的，没有训练语料中的问题。对每个问题，由人类测试成员对一个高层次数回答，3个模型生成的回答和3个生成的回答在
Transformer-XL
bbbeoy的专栏
09-14 225
https://zhuanlan.zhihu.com/p/180058518 https://zhuanlan.zhihu.com/p/70745925
探秘Chinese-Transformer-XL：预训练语言模型的新里程碑
gitblog_00065的博客
03-28 611
探秘Chinese-Transformer-XL：预训练语言模型的新里程碑 项目简介 在自然语言处理领域， 是一个基于Transformer架构的预训练模型，特别针对中文文本的理解和生成进行优化。该项目由清华大学计算机系的智能技术与数据科学实验室（THUDM）开发，旨在提供一个强大的工具，帮助研究人员和开发者更好地理解和处理中文文本。 技术分析 Transformer-XL 算法 Chinese-...
transformer-xl 如何使用，pytorch中如何使用
weixin_35751194的博客
01-02 439
好的，我会用中文来回答你的问题。 首先，我需要确认一下你问的是否是 Transformer-XL 这个模型？Transformer-XL 是一个在长序列上的自注意力机器翻译模型，它在许多自然语言处理任务中表现出了很好的性能。 如果你是想问如何使用 Transformer-XL，那么首先你需要在 PyTorch 中安装它。你可以使用以下命令来安装 Transformer-XL： pipinstall...
transformer xl---vocabulary
ljz2016的博客
09-22 493
data_dir 存放原始数据， def main(unused_argv): del unused_argv # Unused corpus = get_lm_corpus(FLAGS.data_dir, FLAGS.dataset) # save_dir = os.path.join(FLAGS.data_dir, "tfrecords") if not...
AI原生应用实战：5大NLP生成模型对比与选型指南
AIGC应用创新大全的博客
05-15 1074
本文旨在帮助开发者和AI从业者理解主流NLP生成模型的核心差异，掌握在不同业务场景下的模型选型方法。内容涵盖GPT、BERT、T5、BART和Transformer-XL五种模型。核心概念与联系各模型原理与架构详解性能对比与选型指南实际应用案例未来发展趋势自注意力机制：模型在处理每个词时，能够关注输入序列中所有其他词的机制迁移学习：将在大型数据集上训练好的模型应用于特定任务的技术微调(Fine-tuning)：在预训练模型基础上，使用特定领域数据进行二次训练：现代NLP的基础架构。
自然语言处理之文本分类：Transformer：自然语言处理前沿技术
zhubeibei168的博客
05-19 577
Transformer模型是自然语言处理领域的一个重要突破，由Vaswani等人在2017年的论文《Attention is All You Need》中提出。它摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）的序列依赖性，采用自注意力机制（Self-Attention）处理输入序列，极大地提高了训练效率和模型性能。文本分类是自然语言处理（NLP）中的一个核心任务，涉及将文本数据分配到预定义的类别中。例如，情感分析可以将评论分为正面、负面或中性；主题分类可以将新闻文章分为体育、政治、科技等类别。
从零开始大模型开发与微调：模型的设计
AI天才研究院
07-28 398
从零开始大模型开发与微调：模型的设计 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着深度学习技术的飞速发展，大模型（L
Transformer-XL中文文本生成项目使用指南
gitblog_00850的博客
08-09 675
Transformer-XL中文文本生成项目使用指南 欢迎来到Transformer-XL中文文本生成的项目实战指南！本教程旨在帮助您快速理解和应用Transformer-XL这一强大的开源工具，专注于中文文本的生成，诸如创作小说、古诗等。我们将一起探索项目的核心组成部分，确保您能够顺利地部署和自定义您的文本生成实验。 1. 项目目录结构及介绍 该项目的目录布局精心设计，便于开发者快速定位关键组件...
transformer xl 用于文本生成
penkgao的博客
05-30 3909
本文尝试用transformer xl做中文文本续写，基于论文为：《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》https://arxiv.org/abs/1901.02860 论文算法介绍可参考：https://blog.youkuaiyun.com/jILRvRTrc/article/details/87...
Transformer笔记/教程及扫盲--狸
Xue_Xueyl的博客
07-09 793
原创！！！不是copy！！！这篇文章是我自己花了一些心思和精力对Transformer的笔记/教程和扫盲！
transformer-xl实现文本生成
weixin_45885232的博客
05-09 854
提供了一个效果较好的文本生成项目，该项目基于transformer-xl，并将代码修改为可以在tensorflow 2.x版本下运行，同时可以兼容tensorflow 1.x版本。提供了鲁迅小说数据集、唐诗数据集，可参考项目给出的说明，有针对性的训练对应的文本生成模型。 训练时，修改script文件下的.sh文件，将数据集、模型保存地址、注意力层、注意力头数改为自己想要的，然后运行train.py文件； 生成模式时，调用train中的inreference即可，input位置为输入文本位置。 项目代码： t
Transformer-XL介绍-transformer和BERT固定长度切分存在的问题和解决方案
qq_15821487的博客
08-17 1085
Transformer-XL介绍张备做算法的​关注他ShuYini 等 97 人赞同了该文章专栏之前的多篇文章都是关于推荐的，接下来几篇跟NLP相关。Transformer-XL来自于论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》，附个论文链接，<https://arxiv.org/abs/1901.02860>。Transformer在本专栏的第一篇已经介绍过了，不了解的同学可以看一下这篇文
NLP预训练家族 | Transformer-XL及其进化XLNet
Kaiyuan_sjtu的博客
07-30 1071
作者|周俊贤整理|NewBeeNLP最近又重新读了Transformer-XL和XLNet的论文和代码，又有很多新的感悟。其中，要想搞懂XLNet的同学一定要首先明白Transo...
transformer xl在文本生成上面的应用
古月哲亭
08-13 651
Transformer_xl相关介绍：https://zhuanlan.zhihu.com/p/84159401 从文本生成看Seq2Seq模型：https://zhuanlan.zhihu.com/p/29967933 transformer xl在中文文本生成上的尝试（效果意外的好，可写小说、古诗）：https://github.com/AnShengqiang/transformer-xl-chinese ...
突破序列长度限制：Transformer-XL模型原理与PaddlePaddle实现指南
最新发布
gitblog_00567的博客
06-12 505
你是否在处理长文本任务时遇到过以下困境？训练时序列被截断导致上下文丢失，推理时长文本分段处理产生语义断裂，模型性能随着序列长度增加急剧下降。这些问题在传统Transformer架构中尤为突出，其固定长度的上下文窗口严重限制了对长距离依赖关系的建模能力。 Transformer-XL（Transformer with Extra Long Memory）作为对标准Transformer的革命性改进...
Transformer-XL 模型使用教程
gitblog_00312的博客
08-09 646
Transformer-XL 是一个用于长序列语言建模的深度学习模型，其源代码托管在 GitHub 上。以下是该项目的主要目录结构： ``` transformer-xl/ ├── data # 数据处理相关脚本 │ ├── getdata.sh # 下载数据集的脚本 ├── pytorch ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值