- 博客(3)
- 收藏
- 关注
RSS订阅原创 实验4：自然语言处理前馈网络
实验总结：MLP是将张量映射到其他张量的线性层。最常见的结构是包含一个输入层、若干个隐藏层（每个隐藏层都是前馈的），以及一个输出层。输出层：根据具体的任务，选择适当的激活函数来处理全连接层的输出，例如对于二分类任务可以使用Sigmoid函数，多分类任务可以使用Softmax函数。激活函数：每个神经元通常都使用非线性激活函数（如ReLU、Sigmoid、Tanh等），以增强模型的表达能力和学习非线性关系的能力。池化层：用于对特征图进行下采样，减少特征图的尺寸和参数数量，常用的池化操作有最大池化和平均池化。
2024-06-30 03:24:35
821
原创 实验13：自然语言处理（NLP)——机器翻译
import osimport ioimport sys# 将一个序列中所有的词记录在all_tokens中以便之后构造词典，然后在该序列后面添加PAD直到序列# 长度变为max_seq_len，然后将序列保存在all_seqs中# 将当前序列的词加入到总词列表中# 在当前序列末尾添加结束符EOS，并用PAD填充至最大序列长度# 将处理后的序列添加到总序列列表中# 使用所有的词来构造词典。并将所有序列中的词变换为词索引后构造Tensor这里使用一个很小的法语—英语数据集。
2024-06-30 03:24:07
990
原创 实验14. 基于Transformer实现机器翻译（日译中）
在准备了必要的类和函数之后，我们准备训练我们的模型。完成训练所需的时间可能会有很大差异，具体取决于很多因素，例如计算能力、参数和数据集的大小。[http://www.kecl.ntt.co.jp/icl/lirg/jparacrawl]，它被描述为“NTT创建的最大的公开可用的英日平行语料库。使用服务器GPU进行训练的时候，NUM_ENCODER_LAYERS 和 NUM_DECODER_LAYERS 设置为3或者更高，NHEAD设置8，EMB_SIZE设置为512。
2024-06-30 03:07:23
1156
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人