平行语料库

最新推荐文章于 2022-12-01 11:10:10 发布
最新推荐文章于 2022-12-01 11:10:10 发布
阅读量5.2k 收藏 10
点赞数
分类专栏： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huang_yx005/article/details/78677888
版权
爬虫工具，用于获取平行语料
04-28
通过爬得的网页来获取平行网页，java语言开发的，开源
TED 平行语料库数据集
07-03
TED平行语料库是多语言平行语料库，包括多语言并行语料库和单语语料库。从TED会议www.ted.com 提取109种世界语言。 多语言的平行语料库包括 12 种语言超过1.2亿 个对齐句子并进行了句子对齐。 所有的预处理都是自动完成。
中英平行语料库
10-23
一万句对齐的中英文平行语料库，用于机器翻译，问答系统等模型的预处理语料。
中英平行语料库（八万对，句粒度）
08-11
共8400多对中英语句，已预处理，中文用jieba分了词，标点符号没问题，保存于en-zh.csv，分隔符是制表符\t（不是默认逗号）。 句粒度，但有不少长句，裁剪后5w对也够用。 原始数据集也在包中，其中en-zh_News.tmx有一部分句子有问题，（en-zh.csv丢弃了有问题的句子），如果必要建议不要直接使用该文件。 另外附赠我对语料的预处理文件（propressor.py），以及数据集（pytorch的Dataset）等相关的实现（LangData.py)。 如果又可以改善的地方，欢迎留言
平行语料库，用于机器翻译等的预处理语料。
04-24
汉英双语语料和德英双语语料，可以用来训练NMT模型，谨供学术实验用
NiuTrans中英平行语料库10万句
06-12
NiuTrans的开源中英平行语料库，可以用来训练机器翻译。
中英平行语料库.zip
07-19
《中英平行语料库：构建智能翻译与问答系统的基础》 中英平行语料库是一种专门用于机器学习，特别是机器翻译和问答系统等自然语言处理任务的重要资源。语料库，即收集的语言数据，是计算机科学，尤其是人工智能领域...
单语种语料库 平行语料库 多语种语料库 可比语料库
qq_43385440的博客
01-18 3873
单语种语料库 平行语料库 多语种语料库 可比语料库 来源：https://zhuanlan.zhihu.com/p/59514775
中英平行语料链接
04-12
UN parallel corpus. 15,886,041 lines casia2015: 1,050,000 lines casict2015: 2,036,833 lines datum2015: 1,000,003 lines datum2017: 1,999,968 lines NEU2017: 2,000,000 lines
一万句中英平行语料库，不用预处理
07-01
平行语料库，用于机器翻译等大数据处理,有需要的可以下来用，可以直接用，不用全角半角变换
中英平行语料（白皮书，可以用于机器翻译，主题提取）
11-07
中英平行语料（白皮书，可以用于机器翻译，主题提取）
机翻福音-多种语言平行语料库资源
AI 数据库me
06-03 1751
与大多数机器学习模型一样，机器翻译需要大量的训练数据才能实现较好的性能提升。平行语料库是两种语言之间翻译文本的结构化集合。这种平行文本语料库是训练机器翻译算法的基础。 ▲图片来自网络 通过对网络资源的梳理，我们整理出一份表单，机翻从业者的终极福音——25个平行语料库数据集（选自gengo.ai） Aligned Hansards of the 36th Parliament of Canada：包含130万英语-法语句对。地址：https://www.isi.edu/natural-language/do
机器学习平行语料库（翻译记忆库）（句对齐）开源工具及方法介绍
厚积而薄发
02-19 9596
最近一直在做平行语料库句对齐的工作，新手上路 根据自己查的一些资料这里概括一下大致的思路（这里假设你有自己的语料库，文章，而且是双语的，也就是已经翻译好的文章，并且已经做了分段，且双语已经做了段落对齐。如果没有的话可以下载，一些双语语料库，如联合国双语语料库http://opus.nlpl.eu/MultiUN.php，有了这些，你要做一个分句，接就要对齐了，之后一般是要形成一个翻译记忆库，.t...
数据开源 | 跨境电商场景中日平行语料1000
weixin_47718443的博客
12-01 808
海量数据的开源是众多科研工作者的诉求，希望通过开源数据激发技术的革新，促进行业进步。
NLP 论文领读｜合成数据的妙用：低成本构建高质量的大规模平行语料
langboat_mengzi的博客
06-15 657
人工构建高质量平行数据是一件成本巨大的事情，且几乎不可能满足目前神经机器翻译对数据量的需求。因此人们尝试通过自动构建平行数据的技术。该论文利用合成数据，对挖掘得到的平行数据中不完全对齐的数据进行替换，从而得到高质量的平行语料。......
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值