- 博客(3)
- 收藏
- 关注
RSS订阅原创 基于Transformer实现机器翻译
目录1. 引言 1.1 实验简介 1.2 实验环境 1.3 数据集和分词器下载链接 2. Transformer模型的主要架构 3. 实验步骤 3.1 导入相关库 3.2 获取并行数据集 3.3 准备分词器 3.5 创建要在训练期间迭代的DataLoader对象 3.6 Transformer模型的实现 3.7 训练 3.8 尝试使用训练后的模型翻译日文 3.9 保存Vocab对象和训练的模型 1. 引言1.1 实验简介在现
2024-06-27 20:31:26
1169
原创 机器翻译-
所以，它可能会将英文的"cat"直接翻译成法文的"chat"。而一个基于统计的模型可能会考虑语料库中的短语和句子的出现频率，来判断"cat"在某个上下文中是否应该翻译成"chat"。示例: 如果机器输出是 “the pet is on the rug”，而参考翻译是 “the cat is on the mat”，尽管有些词不完全匹配，但METEOR会认为"pet"和"cat"、"rug"和"mat"之间有某种相似性。而如果上下文中提到了"river"，则"bank"应该被翻译为"河岸"。
2024-06-27 20:30:08
1550
原创 自然语言处理（nlp）前馈网络
在多类设置中，将在本实验后面的“示例:带有多层感知器的姓氏分类”一节中看到，输出向量是类数量的大小。使用两个线性层之间的非线性是必要的，因为没有它，两个线性层在数学上等价于一个线性层4，因此不能建模复杂的模式。首先，感知器的实现包括数据集的加载与预处理、向量化器和DataLoader的定义、模型的构建和训练循环的实现。实验结果表明，感知器只能处理线性可分问题，具有局限性，而MLP通过增加隐藏层和非线性激活函数，能够处理更复杂的非线性可分问题，分类准确率显著提高。错误的分类用块填充，正确的分类没有填充。
2024-06-27 20:28:00
1744
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人