使用Moses进行英文分词tokenizer、truecasing、lowercasing、clean等

最新推荐文章于 2024-12-11 11:29:06 发布

原创最新推荐文章于 2024-12-11 11:29:06 发布 · 7.3k 阅读

2 ·

CC 4.0 BY-SA版权

神经机器翻译同时被 2 个专栏收录

9 篇文章

订阅专栏

机器翻译学习

7 篇文章

订阅专栏

博客介绍了MOSES的安装，需打开主站http://www.statmt.org/moses/ 并安装依赖GIZA++等。还提及语料处理步骤，包括tokenizer、truecasing处理，创建model文件夹，clean处理剔除过长或过短语料对，统一命名语料并删除长度不符的，英文分词常用NLTK。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

打开MOSES主站http://www.statmt.org/moses/ 安装MOSES并安装其他依赖GIZA++等

tokenizer处理

~/mosesdecoder/scripts/tokenizer/tokenizer.perl -l en < en_yuliao_test.txt > en_yuliao_test_tok.txt

truecasing处理
创建model文件夹，复制一份语料放入model中（不知道这个操作是否合理）

~/mosesdecoder/scripts/recaser/train-truecaser.perl --model ./model/en_yuliao_tok.txt --corpus en_yuliao_tok.txt
~/mosesdecoder/scripts/recaser/truecase.perl --model ./model/en_yuliao_tok.txt < en_yuliao_tok.txt > en_yuliao_tok_true.txt

clean处理：剔除过长或过短的双语语料对
将双语语料统一命名为test-enzh.en和test-enzh.zh，并对长度不在[1, 80]之内的双语语料进行删除

~/mosesdecoder/scripts/training/clean-corpus-n.perl test-enzh en zh test-enzh.clean 1 80

更多工具使用请参考官方文档
英文分词使用工具众多，NLTK也是常用工具之一

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

kudou1994

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Moses使用教程之安装

懵懂小卡通的博客

03-17

3810

1. 安装环境: Ubuntu16.04 2. 最低软件需求: Moses GIZA++, 生成平行语料的词对齐 IRSTLM, SRILM, 或者KenLM, 生成语言模型估计 3. 安装依赖 sudo apt-get install build-essential git-core pkg-config automake libtool wget zlib1g-dev p

使用Moses脚本进行数据预处理

Elenore1997的博客

04-23

4664

文章将介绍在机器翻译时需要使用到的数据预处理方法，包括tokenize、truecase、bpe等等，好的预处理方法才能提升机器翻译的质量。下文会以en-de双语为例进行讲解。 Moses 这是Moses的github地址，它是一个统计机器翻译模型，我们主要使用里面的perl脚本进行数据预处理。所以确保电脑上已经安装配置好了perl（ubuntu自带）。 Normalize punctuation...

2 条评论您还未登录，请先登录后发表或查看评论

moses(mosesdecoder)数据预处理&BPE分词&moses用法总结

小小鸟要高飞

01-16

1万+

mosesdecoder&BPE数据预处理moses数据预处理BPE分词 moses数据预处理源码链接： https://github.com/moses-smt/mosesdecoder 做机器翻译的小伙伴应该会moses很熟悉，这是一个很强大的数据预处理工具，虽然已经用了很多年了，但现在依然非常流行。很多人做数据预处理都会用到BPE算法，bpe算法太强大，30000个子词几乎可以表...

mosesdecoder/tokenizer.perl 使用说明

Answer3664的博客

07-19

1873

tokenizer.perl是统计机器翻译系统moses的一个小工具，可以用来对英文德文等进行分词。使用方法： $ perl tokenizer.perl -l en < [待分词文件] > [分词结果] 其中: -l en 表示的输入的文件是英文例如： $ perl tokenizer.perl -l en < train.en > train.tok.en 参数说明： if ($HELP) { print "Usage ./tokenizer....

qt 判断路径非英文符号与非英文字符_Moses英文分词流程

weixin_39811036的博客

12-03

354

完整代码参考Github，欢迎starTrans-Bridge/MachineTranslationTutorialgithub.com英文分词分词是数据预处理的第一步。。对于像中文这样没有单词边界的语言，分词的策略通常比较复杂。现在常用的一些中文分词工具有 NLTK、jieba等。而像英文这种有单词边界的语言，分词要简单许多，比如，Moses 工具包就有可以处理绝大多数拉丁语系语言的分词脚本。...

【亲测免费】开源项目MOSES使用教程

gitblog_00398的博客

08-15

499

开源项目MOSES使用教程项目介绍 MOSES（Molecular Sets）是一个用于分子生成的开源机器学习工具包。它旨在为研究人员提供一个统一的框架，以便于比较和开发新的分子生成模型。MOSES包含多种先进的分子生成算法，并提供了一系列评估工具来衡量生成分子的质量。项目快速启动要快速启动MOSES项目，首先需要克隆仓库并安装必要的依赖。以下是详细步骤：克隆仓库 git clone ht...

探索Moses工具包中的英文分词技术

- **英文分词工具**：Moses中的分词工具主要是指`tokenizer.perl`，这是一个Perl脚本，可对英文文本进行分词处理。 #### 4. 使用tokenizer.perl - **安装**：通常可以从Moses的官方仓库下载到`tokenizer.perl`脚本...

使用MOSES搭建网页翻译系统

寒小阳

08-21

7047

在你完成整套moses的训练和微调(tuning)之后，你可以在本机上对文本里面的内容进行翻译，或者手动在终端输入进行翻译。这种方式作为研究是可以的，只适合单人使用，一个实际的服务器能同时处理多个人的翻译需求，且整个系统只启动一次，不用每次来一个请求载入一次相关数据（因为moses的数据较大时载入需要一定时间）。这样我们就应该以server的形式启动我们的翻译系统。 1 简介

使用mosesdecoder对机器翻译语料进行处理

orangefly0214的博客

11-27

2050

之前在进行机器翻译时，一般除了与句子长度做了长度限制外，几乎没有做任何额外的操作，直接暴力的使用BPE算法对语料进行预处理。接触的都是BPE子词级别的，我们都知道，bpe算法的强大性，30000个子词几乎可以表示词典中所有的单词。但是如果我们要用词级别的翻译，那词典太大了，在机器翻译中词典受限的情况下，很多词就会变为未登录词。为了让词典尽可能的能囊括更多的单词，必须对双语语料进行预处理操作。关...

MOSES翻译系统的训练，调优和使用

寒小阳

08-20

1万+

这里我假设你已经成功安装了摩西moses，并希望在平行语料数据的基础上建立一个真正的短语翻译系统。这个过程需要一定的Unix的基础，理想情况下，最好还有一台Linux服务器。当然，如果你只是想试试的话，你也可以在一台笔记本电脑上安装并运行它，但最少要2G的内存(貌似现在的电脑都至少有这么大吧)，和10G的空闲磁盘空间（声明一下，这是本人估计的，有可能配置达不到这个也能跑，但训练的速度会非常慢的）。

一个很好用的切词工具

03-06

一个很好用的切词工具,CIPP_JSsetup.虽然得注册，但还是可以使用

moses 手册

08-02

Philipp Koehn于May 30, 2011写的，202页pdf。【摘要】 This document serves as user manual and code guide for the Moses machine translation decoder. The decoder was mainly developed by Hieu Hoang and Philipp Koehn at the University of Edinburgh and extended during a Johns Hopkins University Summer Workshop and further developed under EuroMa-trix and GALE project funding. The decoder (which is part of a complete statistical machine translation toolkit) is the de facto benchmark for research in the field.

Moses机器翻译手册

09-03

全面介绍moses机器翻译系统的文档，既是使用手册，也是机器翻译教程。

统计机器翻译（SMT）工具Moses在Ubuntu上的安装及使用（安装篇）

程彦轲的博客

12-01

2309

本篇博客将介绍统计机器翻译工具Moses在Ubuntu上的安装过程以及Ubuntu的相关配置。Moses 是一个统计机器翻译系统，可以为任意两种语言执行翻译任务。

TensorFlow机器翻译之moses切词（附：ActivePerl安装）

lzbmc的博客

03-28

805

使用moses切词英文分词 Perl ***.perl (perl xxx.pl) perl moses_tokenizer.perl -no-escape -l en < train.tags.en-zh.en> train.txt.en 因为tokenizer.perl中没有找到nonbreaking_prefixes.en。路径问题，我把tokeni...

tokenizer简介