fairseq transformer训练中的一些问题

本文探讨了fairseq中Transformer模型训练过程中数据的流向、Decoder的工作原理,以及源目标输入方式。在训练结束后,了解解码预测阶段如何通过Encoder和Decoder生成单词。解码时,根据min_len和max_len控制输出长度,决定何时结束翻译。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

fairseq transformer训练中的一些问题


这两天看fairseq transformer的代码,并在服务器用transformer跑实验。今天遇到一些问题,和师兄进行了一些交流,记录下来。

另一篇梳理nlp中的一些英文名词的还在写,整理好再发布。

transformer中的数据的流向和形式的变化?

  1. 在训练前,数据基本都是以 batch_size∗src_lenbatch\_size*src\_lenbatch_sizesrc_len 的形式传入,即 维度为(句子数,单词数) 的一个矩阵。

    假设现在有3个句子:

    s1: I am a student.

    s2: I like play basketball.

    s3: I have a dog.

    那么,在输入之前,src数据就是这样的形式:

I am a student .
I like play basketball .
I have a dog .

也就是按一句一行,每一行都有src_len个单词。不过真正传入的不是单词,而是单词的token,即在词典中的位置。

  1. 在传入模型之前,会对数据进行embedding操作。embedding简单来说就是对每个token进行以dim为维度的扩展。在《attention is all you need》中,dim即d_model = 512。如果把源数据视为一个长方形,那么经过embedding后,数据就变成了长方体,它的维度为batch_size∗src_len∗dimbatch\_size * src\_len * dimbatch

评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值