T940842933的博客

记录了学习论文《Attention is all you need》的主要过程，重点对transformer模型架构进行解读

为Transformer模型的编码器准备输入和自注意力偏置，考虑了因果性、填充、位置编码、目标空间嵌入和类型嵌入等多种因素，确保编码器在训练和推理时能够正确处理输入数据。函数实现了一种饱和的 sigmoid 函数，其公式为：𝑦=min(1.0,max(0.0,1.2⋅𝜎(𝑥)−0.1))，其中，𝜎(𝑥) 是标准的 sigmoid 函数。将自注意力偏置和编码器-解码器注意力偏置转换为与编码器输入相同的数据类型，并返回编码器输入、自注意力偏置和编码器-解码器注意力偏置。，它是查询深度的平方根的倒数。

"""自定义数据集"""self.data = data # 数据self.English = [item['english'].lower() for item in data] # 将英文文本添加到 self.English 列表，编码需要小写化self.Chinese = [item['chinese'] for item in data] # 将中文文本添加到 self.Chinese 列表self.tokenizer = tokenizer # token化工具。

Transformer框架的全部学习内容汇总，以及最新训练结果，感谢大家支持！