NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

本文介绍了机器翻译的发展历程,从基于规则、基于统计到基于神经网络的机器翻译技术,重点讲解了神经机器翻译的工作原理,包括编码器-解码器框架、注意力机制以及RNN和LSTM在网络中的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

title: 基于联合学习对齐和翻译的神经机器翻译

作者:Dzmitry Bahdanau,KyungHyun Cho ,Yoshua Bengio

发表会议及时间:ICLR  2015

 

1、机器翻译简介

 机器翻译,又叫自动翻译,是人工智能的重要任务之一,是利用计算机将一种自然语言转换成另一种自然语言的过程。它的本质问题是如何实现两种不同语言语言之间的信息等价转换,如何表示信息,如何进行信息的等价转换等。

机器翻译发展历史:

趋势:让机器更“自主”的学习如何翻译。

90年代,出现了数据驱动的机器翻译,第一类是基于统计的翻译,第二类的是神经机器翻译,基于深度学习来实现的。

(1)基于规则的翻译

大致流程:

分类:直接基于词的翻译,结构转换的翻译,中间语的翻译

例子:

语言表达的方法十分灵活,这种方法高度依赖于人类专家,人类专家需要有目标语言知识和源语言知识,开发周期也比较长。

(2)基于统计的机器翻译

大致流程:

即根据词或短语找到所有可能的结果,在庞大的语料库中进行搜索,统计每种结果出现的概率,最后将概率最高的进行输出。

核心问题:为翻译过程建立概率模型

寻找条件概率分布,从直观上说我们可以枚举所有的中文语言的句子,枚举所有英文句子,来建立概率分布,说这样的做法显然是不合适的,因为语言随时都会建立新的句子,所以不太可能建立直接的映射。

其中Z为隐变量。

隐变量:生产过程中不可观测的随机变量。(就好比你知道源语言,也翻译得到了目标语言,但整个翻译过程的细节都是在训练集上没有看到的)

隐变量对数线性模型:在隐式语言结构上设计特征

关键问题:如何设置特征函数

(3)基于神经网络的机器翻译

通过学习大量成对的语料,让神经网络自己学习语言的特征,找到输入和输出之间的关系。

核心思想:端到端(End-to-End ) ,建立一个端到端的方法,让机器自动从数据中学习到特征,所以深度学习也常被成为表示学习。

2014年时,KyungHyun Cho和Sutskever先后提出了一种端到端的模型,直接对输入输出建立联系。前者将其模型命名为Encoder-Docoder模型,后者则将其命名为Sequence-to-Sequence模型。

2、神经机器翻译相关技术

1)基于神经网络的机器翻译

 基本思想:利用神经网络实现自然语言的直接映射。

图中的数学模型和上面的统计的数学模型不一样,它实现了一个马尔可夫分解,也就是把译文的生成变成了每个词的生成。

N:目标语言的长度

Yn:当前目标语言词

X:源语言句子

Y<n:已经生成的目标语言句子

 核心问题:条件概率建模(已知源语言的句子和已经生成的目标语言的句子,来预测当前的目标词是什么)

如何对条件概率进行建模?

2)句子的向量表示

利用递归神经网络(RNN)计算句子的向量表示

机器语言的本质就是不同语言之间的信息转换,传统上,我们习惯用离散表示,用词、短语等。深度学习的理念是连续的表示,用数字进行信息的传递。

利用RNN实现源语言的编码和目标语言的编码

在使用深度学习的时候会出现梯度消失和梯度爆炸,所以我们使用LSTM。

编码器-解码器框架优缺点

优点:利用长短时记忆处理长距离依赖

缺点:任意长度的句子都编码为固定维度的向量

如何解决现阶段神经机器翻译中对长句子的编码和解码问题?  -- 引入注意力机制

3、传统模型  --- 基于编码器-解码器的RNNenc模型

 

 

 

 

 

 

### 中国国标 GB/T 7714 参考文献格式规范 中国国家标准 GB/T 7714-2015 是针对参考文献著录的权威规范,适用于各类学术出版物。此标准规定了参考文献的编排方式、标注方法以及具体格式要求[^1]。 #### 基本格式要求 按照 GB/T 7714 的规定,参考文献应按文中引用次序排列,并采用阿拉伯数字加方括号的形式表示。以下是不同类型文献的具体格式: 1. **期刊文章** ``` [序号]作者. 题名[J]. 刊名, 年份, 卷(期): 起止页码. ``` 示例: ```plaintext [1]李四. 数据挖掘技术及其应用研究[J]. 计算机科学, 2020, 47(8): 123-129. ``` 2. **书籍** ``` [序号]作者. 书名[M]. 版本(第1版不标注). 出版地: 出版社, 出版年: 起止页码. ``` 示例: ```plaintext [2]王五. Python编程基础[M]. 北京: 清华大学出版社, 2019: 56-67. ``` 3. **学位论文** ``` [序号]作者. 题目[D]. 学校所在地: 授予单位, 年份. ``` 示例: ```plaintext [3]张三. 大数据环境下隐私保护机制的研究[D]. 上海: 复旦大学, 2021. ``` 4. **会议论文** ``` [序号]作者. 题名[C]//会议名称. 出版地: 出版者, 出版年: 起止页码. ``` 示例: ```plaintext [4]刘六. 新一代人工智能发展趋势[C]//国际人工智能大会. 杭州: 浙江科学技术出版社, 2022: 89-95. ``` 5. **电子资源** ``` [序号]主要责任者. 题名[EB/OL]. (发表日期)[引用日期]. 获取路径或URL地址. ``` 示例: ```plaintext [5]赵七. 开源软件的发展现状与未来趋势[EB/OL]. (2023-01-15)[2023-03-01]. https://www.example.com/article.html. ``` #### 使用工具实现自动排版 为了更高效地完成参考文献的格式化工作,可以利用专业的文献管理工具,例如 EndNote 或 Zotero。这些工具有助于快速生成符合 GB/T 7714 标准的参考文献列表[^2][^3]。 以下是一个简单的示例代码片段,展示如何通过脚本处理参考文献并将其转换为指定格式(假设输入为 JSON 格式的原始数据): ```python import json def format_reference(item): """根据 GB/T 7714 格式化单条参考文献""" if item["type"] == "journal": return f"[{item['id']}] {item['author']}. {item['title']}[J]. {item['journal']}, {item['year']}, {item['volume']}({item['issue']}): {item['pages']}." elif item["type"] == "book": edition = "" if not item.get("edition") or int(item["edition"]) == 1 else f"{item['edition']}版." return f"[{item['id']}] {item['author']}. {item['title']}[M]. {edition} {item['publisher_location']}: {item['publisher']}, {item['year']}: {item['pages']}." # 添加更多类型的格式化逻辑... # 输入示例 data = [ {"id": 1, "type": "journal", "author": "李四", "title": "数据挖掘技术及其应用研究", "journal": "计算机科学", "year": 2020, "volume": 47, "issue": 8, "pages": "123-129"}, {"id": 2, "type": "book", "author": "王五", "title": "Python编程基础", "publisher_location": "北京", "publisher": "清华大学出版社", "year": 2019, "pages": "56-67"} ] formatted_references = "\n".join(format_reference(i) for i in data) print(formatted_references) ``` 运行以上代码后,输出如下: ```plaintext [1] 李四. 数据挖掘技术及其应用研究[J]. 计算机科学, 2020, 47(8): 123-129. [2] 王五. Python编程基础[M]. 北京: 清华大学出版社, 2019: 56-67. ``` #### 注意事项 在实际操作中需要注意以下几点: - 如果存在多位作者,则需遵循“姓前名后”的原则,并用逗号分隔。 - 当作者超过三位时,可用“等”代替后续作者名单[^3]。 - 对于外文文献,“et al.”用于替代多余作者的名字。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值