subword-nmt bpe 分词的使用

最新推荐文章于 2025-07-11 19:48:19 发布
原创 最新推荐文章于 2025-07-11 19:48:19 发布 · 5.6k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客介绍了使用BPE分词来减小词表大小、减少未知词量的方法。包含安装步骤，通过sudo pip install subword - nmt进行安装，还给出设置词表大小、应用BPE分词及BPE的detoken等操作的具体命令。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为了减小词表的大小，减少未知词(unk)的量，使用bpe分词：

安装：

1.sudo pip install subword-nmt
##设置词表大小3W，输入英文单语数据 train.en
2.subword-nmt learn-bpe -s 30000 < train.en > en.model
##应用BPE分词 -c 输入的词表，test.txt测试数据,并得到分词结果out.txt
3.subword-nmt apply-bpe -c en.model < test.txt > out.txt
#bpe的detoken
4.sed -r 's/(@@ )|(@@ ?$)//g' out.txt > out_detoken.txt

qq_18644513
关注
机器翻译BPE编码与subword-nmt碰撞出火花
人工智能
07-12 1074
2016年左右（该论文发表于2016）Neural machine translation(NMT)中有着一个众所周知的问题——稀有词与未知词的翻译问题。一般来说，神经网络中的词表被限制在30000-50000个词汇，但是对于翻译来说，各种词汇都可能出现（比如英语中的复合词汇，网络新词等），这种限制无疑使问题解决得效果大打折扣。
机器翻译-subword-nmt预处理语料
orangefly0214的博客
11-13 6589
在机器翻译中，目前都采用的方法是bpe切分子词的方法来处理翻译中的未登录词。 如何使用？ https://github.com/rsennrich/subword-nmt这里面已经写了详细的方法，本文主要记录我处理中英语料时的步骤。 1.共享词典 直接clone了这个项目，但是没有安装的情况下，我们使用python命令来处理。否则参考原文给出的命令处理语料。 如果我们进行翻译的双语是共享...
subword-nmt:用于神经机器翻译和文本生成的无监督分词
05-10
子词神经机器翻译 该存储库包含预处理脚本，用于将文本分段为子词单元。 主要目的是促进带有子词单元的神经机器翻译实验的重现（请参阅下面的参考资料）。 安装 通过pip安装（来自PyPI）： pip install subword-nmt 通过pip安装（来自Github）： pip install https://github.com/rsennrich/subword-nmt/archive/master.zip 或者，克隆此存储库； 这些脚本可以独立执行。 使用说明 检查各个文件以获取使用说明。 要将字节对编码应用于分词，请调用以下命令： subword-nmt learn-bpe -s {num_operations} < {train_file} > {codes_file} subword-nmt apply-bpe -c {codes_file} < {test_file
SentencePiece，subword-nmt，bpe算法
ferb的语音识别学习小站
03-14 5317
BPE（Byte Pair Encoding，双字节编码）。2016年应用于机器翻译，解决 集外词（OOV）和罕见词（Rare word）问题。论文题目《Neural Machine Translation of Rare Words with Subword Units》 —发表于ACL2016 http://www.sohu.com/a/115373230_465975 tensor2ten...
BPE（Byte Pair Encoding）分词算法
最新发布
weixin_67868534的博客
07-11 913
BPE（Byte Pair Encoding）是一种基于统计的子词分词算法，通过合并高频字符对构建词表，平衡了词级和字符级分词的优缺点。其核心流程包括初始化字符词表、统计字符对频率、贪心合并高频对直至达到预设词表规模。BPE分词有效解决了OOV问题，控制词表大小，被广泛应用于GPT、BERT等Transformer模型中。虽然存在贪心策略非最优、缺乏上下文感知等局限性，但仍是现代NLP的基础技术之一，在HuggingFace等框架中都有成熟实现。
subword-nmt 基本使用
-
12-02 3551
一.生成bpe模型和词典 subword-nmt learn-joint-bpe-and-vocab --input corpus.path -s 30000 --output en.bpe --wirte-vovocabulary dict.en.txt #corpus.path：语料路径 #en.bpe：bpe模型 #dict.en.txt：英文词典 二.根据bpe模型对语料进行切分 subword-nmt apply-bpe -c en.bpe < corpus.path > c
subword-nmt使用记录
2201_75349501的博客
04-19 668
【代码】subword-nmt使用记录。
NLP-2015：Subword NMT模型【使用子词来解决OOV问题】
u013250861的博客
08-14 983
《原始论文：Neural Machine Translation of Rare Words with Subword Units》 一、概述 1、摘要 神经机器翻译（NMT）模型通常以固定的词汇量运行，但是翻译是一个开放词汇的问题。 先前的工作通过退回到字典来解决词汇外单词的翻译。 在本文中，我们介绍了一种更简单，更有效的方法，通过将稀疏和未知词编码为子词单元序列，使NMT模型能够进行开放词汇翻译。这是基于这样的直觉，即：可以通过比单词小的单位来翻译各种单词类别，例如名称（通过字符复制或音译），复合词（通
# 生成词表，subword方式,统一用10000个subword subword-nmt learn-joint-bpe-and-vocab \ -i $1/train_l \ -s 20000 \ -o $1/bpe.20000 \ --write-vocabulary $1/vocab这段代码是什么意思
03-25
嗯，用户问的这段代码是关于生成词表和使用subword方式的，具体是使用subword-nmt工具来学习联合BPE和词表，参数是输入文件、符号数量20000，输出BPE模型和词表文件。 首先，我需要确认用户的问题背景。用户之前...
# 学习bpe分词(很慢,学一次就好) # -i 选择学习的文件 # -o 核心输出文件,分词需要用到imdb_bpe_code,生成的 imdb_bpe_code 文件包含了学习到的 BPE 操作规则。这些规则用于将单词分割成子词单元 # --write-vocabulary 字典输出文件，imdb_bpe_vocab 文件包含了根据 BPE 规则生成的词汇表，列出了所有子词单元及其频率 # -s 词表大小 !subword-nmt learn-joint-bpe-and-vocab -i ./imdb_train.txt -o ./imdb_bpe_code --write-vocabulary ./imdb_bpe_vocab -s 8000这段代码有什么用
03-12
代码是关于使用subword-nmt工具学习BPE分词的。首先，我要回忆一下BPE（Byte Pair Encoding）的基本概念，它是一种子词分割算法，常用于处理自然语言处理中的未登录词问题。用户可能对BPE的具体实现和参数不太清楚，...
import os from tqdm import tqdm import xml.etree.ElementTree as ET from sacremoses import MosesTokenizer from pathlib import Path import argparse def moses_cut(in_file, out_file, lang): mt = MosesTokenizer(lang=lang) # 初始化分词器 out_f = open(out_file, "w", encoding="utf8") with open(in_file, "r", encoding="utf8") as f: for line in f.readlines():#每读取一行，进行分词，并写入一行到新的文件中 line = line.strip() if not line: continue cut_line = mt.tokenize(line, return_str=True) # 分词 out_f.write(cut_line.lower() + "\n") #变为小写，并写入文件 out_f.close() if __name__ == "__main__": parser = argparse.ArgumentParser() # 创建解析器 parser.add_argument( "-p", "--pair_dir", default=None, type=str, help="The directory which contains language pair files.", ) parser.add_argument( "-d", "--dest_dir", default=None, type=str, help="The destination directory to save processed train, dev and test file.", ) parser.add_argument("--src_lang", default="de", type=str, help="source language") parser.add_argument("--trg_lang", default="en", type=str, help="target language") args = parser.parse_args() # 解析参数，args是一个列表，包含了传递的参数值 if not args.pair_dir:#如果不传参，就抛异常 raise ValueError("Please specify --pair_dir") #判断args.dest_dir是否存在,不存在就创建 if not os.path.exists(args.dest_dir): os.makedirs(args.dest_dir) local_data_path = Path(args.pair_dir) # 获取本地数据路径 data_dir = Path(args.dest_dir) # 获取保存路径 # 分词 for mode in ["train", "val", "test"]: moses_cut( local_data_path / f"{mode}.{args.src_lang}", # 读取源语言文件 data_dir / f"{mode}_src.cut.txt", lang=args.src_lang, ) print(f"[{mode}] 源语言文本分词完成") moses_cut( local_data_path / f"{mode}.{args.trg_lang}", # 读取目标语言文件 data_dir / f"{mode}_trg.cut.txt", lang=args.trg_lang, ) print(f"[{mode}] 目标语言文本分词完成") 这是python代码，下面还有一段sh代码，请帮我详细分析一下：python data_multi30k.py --pair_dir $1 --dest_dir $2 --src_lang $3 --trg_lang $4 # 新建train_l文件，合并两个文件到一个文件 touch $1/train_l cat $2/train_src.cut.txt >> $1/train_l cat $2/train_trg.cut.txt >> $1/train_l # 生成词表，subword方式,统一用10000个subword subword-nmt learn-joint-bpe-and-vocab \ -i $1/train_l \ -s 20000 \ -o $1/bpe.20000 \ --write-vocabulary $1/vocab # 应用分词 for mode in train val test; do subword-nmt apply-bpe -c $1/bpe.20000 -i $2/${mode}_src.cut.txt -o $1/${mode}_src.bpe subword-nmt apply-bpe -c $1/bpe.20000 -i $2/${mode}_trg.cut.txt -o $1/${mode}_trg.bpe echo "Finished applying bpe to ${mode} files." done
03-24
之后合并两个训练文件为一个，使用subword-nmt学习BPE词表，并应用到各个模式的文件上，生成BPE处理后的文件。 我需要确认每个步骤的作用，比如MosesTokenizer的具体功能，argparse参数的意义，以及subword-nmt工具...
机器翻译 bpe——bytes-pair-encoding以及开源项目subword-nmt快速入门-附件资源
03-02
机器翻译 bpe——bytes-pair-encoding以及开源项目subword-nmt快速入门-附件资源
机器翻译 bpe——bytes-pair-encoding以及开源项目subword-nmt快速入门
热门推荐
jmhIcoding
04-13 1万+
subword-nmt干啥用的 解决未登录词问题的一种方法。 在做nlp的时候，很多时候我们会对语料做一个预处理，生成语料的一个字典。为了不让字典太大，我们通常只会把出现频次大于某个阈值的词丢到字典里边，剩下所有的词都统一编码成#UNK 。这是很经典 很朴素的做法，这种方法不能解决未登录词的问题。未登录词是指 在验证集或测试集出现了训练集从来没见到过的单词。这种未登录词对分词，机器翻译性能影响很大...
Subword-NMT 开源项目安装与使用指南
gitblog_00062的博客
08-13 1176
Subword-NMT 开源项目安装与使用指南 目录结构及介绍 在克隆或下载 subword-nmt 开源项目后，其主要目录及其功能概述如下： root: 根目录包含了项目的主文件夹和其他重要资源。 scripts/: 包含执行子词操作的主要脚本，如 learn_bpe.py, apply_bpe.py, 和 get_vocab.py 等。 tests/: 测试代码和数据存放处，用于验证 su...
BPE使用笔记
houyshuai的博客
10-08 621
对应论文：Neural Machine Translation of Rare Words with Subword Units 实现代码：https://github.com/rsennrich/subword-nmt 执行过程分为BPE词表学习过程和词表应用两个过程， 词表学习过程从训练数据中获取指定词表规模的高频子节对： subword-nmt learn-bpe -s {num_operations} < {train_file} > {codes_file} num_ope
大模型基础技术理论第二章：自然语言处理基础
beifeng20200101的博客
09-20 1293
这种表示方式能够捕捉到词语的上下文关系，例如，“国王”和“皇后”在向量空间中距离较近，同时“男人”和“女人”之间的向量差异也能够表现出类似的语义关系。在词向量的表示方式中，每个词的语义信息不再是一个独立的符号，而是通过向量的维度之间的关系进行表达。Transformer 架构首次在2017年由 Vaswani 等人提出，论文《Attention is All You Need》彻底摆脱了 RNN 的序列处理方式，提出了自注意力机制和多头注意力机制，从而大幅提升了模型的并行计算能力和对全局信息的捕捉能力。
深度学习subword分词BPE
weixin_55843921的博客
03-11 1070
BPE：这是一种流行分词算法，可以有效的平衡词汇表大小和步数，分词采用共现性。步骤：1.准备足够大的训练语料2.确定期望的subword词表大小（超参）3.将单词拆分为字符序列并在末尾添加后缀"</w>"，这样就可以统计单词频率。比如一开始有一个l字母，现在编程l</w>5，就说明出现了五次。停止符</w>的意义在于表示subword是词后缀。每次合并后词表可能出现三种变化：+1：表明加入合并后的新字词，同时原来在的2个子词还保留；0：如果一个字词不是单独出现的，就被消解；
NLP中的BPE（byte pair encoding）分词算法
qq_43152622的博客
07-22 3799
本篇博客的算法来源的论文是Neural Machine Translation of Rare Words with Subword Units，感兴趣的读者可以自行在Google学术上搜索。 算法提出的问题背景 2016年左右（改论文发表于2016）Neural machine translation(NMT)中有着一个众所周知的问题——稀有词与未知词的翻译问题。一般来说，神经网络中的词表被限制在30000-50000个词汇，但是对于翻译来说，各种词汇都可能出现（比如英语中的复合词汇，网络新词等），这种限
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值