清华大学刘洋--基于深度学习的机器翻译（2）--- 低资源/多模态

最新推荐文章于 2025-06-16 15:29:37 发布
转载 最新推荐文章于 2025-06-16 15:29:37 发布 · 420 阅读 · 2 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/vector11248/p/10382951.html
文章标签：

#人工智能

本文探讨了在低资源条件下，如何通过伪数据、半监督学习、对偶学习及多任务学习等策略优化翻译模型。介绍了谷歌的通用语言翻译模型，并提及最大期望似然估计在模型训练中的应用。

低资源：

平行语料库：质量不行。

 

伪数据：用单语语料库单向翻译，构造伪平行语料库

半监督学习

对偶学习：微软的

多任务学习：百度的

 

谷歌：通用的语言翻译模型

最大期望似然估计

 

————————————————————————————————————————————————————————————————————

 

 

 

 

 

 

 

转载于:https://www.cnblogs.com/vector11248/p/10382951.html

基于深度学习的机器翻译技术
AI天才研究院
07-13 3609
作者：禅与计算机程序设计艺术 《5. 基于深度学习的机器翻译技术》 5.1 引言 5.1.1 背景介绍 随着全球化的推进，跨文化交流的需求越来越大，机器翻译技术应运而生。机器翻译技术可以使得人们跨越语言障碍进行更加高效、便捷的交流，从而促进了不同国家、民族之间的交流和友谊。近年来，在人工智能技术的
基于联邦学习的隐私保护AI系统设计
SuperAGI2025
03-17 965
随着数字化时代的到来，大量的数据被收集和使用，人工智能技术在各个领域得到了广泛应用。然而，数据隐私问题成为了制约人工智能发展的重要因素。传统的AI训练方式需要将数据集中到一个中心节点，这可能会导致数据泄露和隐私侵犯。联邦学习作为一种新兴的技术，允许在不共享原始数据的情况下进行模型训练，从而有效保护了数据隐私。本文的目的是深入探讨基于联邦学习的隐私保护AI系统的设计，包括核心概念、算法原理、实际应用等方面，为相关领域的研究和开发提供参考。
[文献阅读]—一篇不错的低资源机器翻译综述(Neural Machine Translation for Low-Resource Languages: A Survey)
jokerxsy的博客
12-06 4088
前言 论文地址：https://arxiv.org/abs/2106.15115v1 时间线 1947：Warren Weaver提出了机器翻译的可能性 1954：IBM发明了word-for-word翻译系统 技术 数据增强（data augmentation） 主要包含：1. 基于单词和短语替换产生伪平行语料的方法；2. 基于回译产生伪平行语料的方法；3. 基于多语言预训练模型挖掘平行语料的方法 基于单词、短语替换的数据增强（坑1） 利用双语词典，替换选定句子的所有单词或稀有词，产生对应翻译[119]
清华刘洋：论文写作，信息为表，逻辑为骨，思想为心
BAAIBeijing的博客
07-20 595
报告：刘 洋撰文：张 虎导读在2021年6月2日下午举办的青源学术年会论坛上，清华大学计算机系教授、智能产业研究院副院长刘洋老师就如何撰写高质量科技论文，提出了“信息为表，逻辑为骨...
《14天动手学深度学习》——机器翻译及相关技术
u014723479的博客
02-14 735
机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 In[28]: import os os.listdir('/home/kesci/input/') Out[28]: ['fraeng6506', 'd2l9528...
低资源神经机器翻译MetaNMT ：来自MAML与NLP的温柔救赎
cqu67371的博客
03-01 941
过去十年，随着Attention模型、LSTM、记忆Memory等等方法的出现，尤其是在神经网络的加持下，机器翻译的水平取得了长足的进步。 在英法、中英这样的大语种(Rich Language)翻译任务上，机器的表...
【人工智能AI2.0】清华发布了 ChatGLM-6B & 中国大模型5支学术界团队和10大产业界力量介绍
热门推荐
AI天才研究院
03-18 2万+
清华技术成果转化的公司智谱 AI 开源了系列模型 ChatGLM-6B，这是一个支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。GLM 模型开源地址：ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。
清华系大模型创业关键人物盘点
强化学习曾小健
03-11 1491
在这个由清华系引领的创业新浪潮中，我们见证了一个重要转变：从学术研究到市场创新，从理论洞见到实践应用，一代又一代的优秀人才正在利用商业的力量将科技进步转化为现实世界的解决方案。越来越多的年轻创业者正在以独特的视角和方法，推动着行业的创新和变革。与之前互联网时代的创业潮流不同，这一轮大模型技术的兴起更注重合作与共赢，而非简单的竞争对抗。清华背景的创业者们已经用他们的行动和成果证明了这一点：他们的工作不仅仅是追求技术上的突破，更是在建立一个包容、创新和共享的新生态系统。
大模型对推荐系统探索与利用平衡的影响
AI天才研究院
11-14 1134
第1章：大模型与推荐系统概述 关键词： 大模型，推荐系统，发展历程，重要性，应用与平衡。 摘要： 本章将介绍大模型和推荐系统的基本概念、发展历程以及两者之间的关系。我们将探讨大模型在推荐系统中的应用及其带来的影响，并分析如何在两者之间实现平衡。
联邦学习在教育资源共享与个性化学习分析中的应用实践
最新发布
2501_92436107的博客
06-16 955
某市重点中学项目融合了课堂视频（时序数据）、作业批改记录（文本数据）和传感器采集的注意力指标（时序数据），构建的深度神经网络模型使学习预测准确率从72.3%提升至91.4%（应对策略包括：引入动态资源调度算法（使利用率提升至82%）、开发轻量化模型（参数量减少68%）、建立联合评估委员会（已制定《教育联邦学习评估标准V1.0》）。基于联邦学习的动态评估模型可实时更新学习画像。评估指标体系包含知识掌握度（权重40%）、学习投入度（30%）、认知发展水平（30%），经蒙特卡洛模拟验证，模型鲁棒性提升45%。
基于深度学习的机器翻译 ppt
08-19
Yang Liu Associate Professor Department of Computer Science and Technology Tsinghua University Bio Yang Liu is a tenured associate professor at the Department of Computer Science and Technology, Tsinghua University. He received his PhD degree from the Chinese Academy of Sciences Institute of Computing Technology in 2007. His research focuses on natural language processing and machine translation. He has published over 60 papers in leading NLP/AI journals and conferences such as Computational Linguistics, ACL, AAAI, EMNLP, and COLING. He was the recipient of ACL 2017 Outstanding Paper, COLING/ACL 2006 Meritorious Asian NLP Paper Award and the National Science and Technology Progress Award second prize. He served as Executive Committee Member of Asia-Pacific Chapter of ACL, Editorial Board Member of Computational Linguistics, Associate Editor of ACM TALLIP, ACL 2014 tutorial co-chair, ACL 2015 local arrangement co-chair, IJCAI 2016 senior PC, ACL 2017/2018 area co-chairs, EMNLP 2016/2018 area co-chairs, and SIGHAN information officer.
基于深度学习的机器翻译研究进展.pdf
02-13
基于深度学习的机器翻译研究进展
(转) 多模态机器翻译
weixin_34008784的博客
01-15 778
本文转自： http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650722318&idx=4&sn=728e8e264ca05f2366d75a27744bb383&chksm=871b1470b06c9d669f9a077f0b41502d7682c0f54d5585091a33ddbb5c1a99b00f...
动手深度学习PyTorch（十一）机器翻译
HyperionSS的博客
02-18 2286
机器翻译 机器翻译是指将一段文本从一种语言自动翻译到另一种语言。因为一段文本序列在不同语言中的长度不一定相同，所以我们使用机器翻译为例来介绍编码器—解码器和注意力机制的应用。 1. 读取和预处理数据 我们先定义一些特殊符号。其中“<pad>”（padding）符号用来添加在较短序列后，直到每个序列等长，而“<bos>”和“<eos>”符号分别表示序列的开始和结束...
【深入浅出】| 基于深度学习的机器翻译（附PDF+视频下载）
AI深入浅出
03-22 589
由公众号"机器学习算法与Python学习"整理源|将门创投本文所分享的是清华大学刘洋副教授讲解的“基于深度学习的机器翻译”的内容回顾。介绍神经机器翻译的基本思想、最新研究...
《中国人工智能学会通讯》——2.26 基于深度学习的机器翻译研究进展
weixin_34112181的博客
09-04 776
2.26 基于深度学习的机器翻译研究进展 机器翻译研究如何利用计算机实现自然语言的自动转换，是人工智能和自然语言处理的重要研究领域之一。机器翻译大致可分为理性主义和经验主义两类方法。 基于理性主义的机器翻译方法 , 主张由人类专家通过编纂规则的方式 , 将自然语言之间的转换规律“传授”给计算机。这种方法的主要优点是能够显式描述深层次的语言转换规律。然而，...
恒源云(GPUSHARE)_语音识别与语义处理领域之低资源机器翻译综述
weixin_53977063的博客
01-13 2274
文章来源 | 恒源云社区 原文地址 | 低资源机器翻译综述 原文作者 | 角灰 摘要 神经机器翻译效果非常好，但需要大量的平行语料，因此有了低资源翻译的研究。 本文按照按数据的利用对低资源翻译分为3类： 利用单语数据 利用辅助语言 利用多模态数据 结论和未来方向 目前还有如下开放问题： 在多语言迁移学习中，尚不知道应该用多少语言、哪些语言。 在迁移学习中如何处理未见过语言的词表 如何高效选择数轴语言 双语词典非常有用且易得，目前的研究主要用在源语言和目标语言上，如何用在多语言迁移学习中的低资源和辅
除了深度学习，机器翻译还需要啥？
技术杂谈
08-17 1万+
GitChat 作者：魏勇鹏 关注微信公众号：GitChat 技术杂谈 ，一本正经的讲技术 眼球不够，八卦来凑以一个“八卦”作为开头吧。本文开始要写作的时候，翻译圈里出了一个“爆炸性”的事件。6月27日下午，一个同传译员在朋友圈里爆料：某AI公司请这位译员去“扮演”机器同传，制造人工智能取代人工同传的“震撼”效果。
【论文泛读161】低资源神经机器翻译调查
scu-liu的博客
07-12 974
贴一下汇总贴：论文阅读记录 论文链接：《A Survey on Low-Resource Neural Machine Translation》 一、摘要 神经方法在机器翻译方面已经达到了最先进的准确性，但由于收集大规模并行数据的成本很高。因此，针对并行数据非常有限的神经机器翻译 (NMT) 进行了大量研究，即低资源设置。在本文中，我们对低资源 NMT 进行了调查，并根据它们使用的辅助数据将相关作品分为三类：（1）利用源语言和/或目标语言的单语数据，（2）利用辅助语言的数据，以及（3）利用多模态数据。我们希
探索GPT-4模型：深度学习下的ChatGPT技术原理
深度学习是机器学习的一个分支，是人工智能的核心技术之一。它模仿了人脑的神经网络结构，通过多层的神经网络对数据进行学习和分析，使计算机能够执行复杂的任务，例如语言识别、图像识别和自然语言处理等。GPT-4...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值