NLP中的BPE（byte pair encoding）分词算法【subword 切词】

已于 2023-10-27 23:35:45 修改
阅读量748 收藏
点赞数
分类专栏： NLP/自然语言处理 文章标签： 自然语言处理 人工智能 深度学习
于 2022-06-29 00:25:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013250861/article/details/125368686
版权

算法提出的问题背景

2016年左右（改论文发表于2016）Neural machine translation(NMT)中有着一个众所周知的问题——稀有词与未知词的翻译问题。一般来说，神经网络中的词表被限制在30000-50000个词汇，但是对于翻译来说，各种词汇都可能出现（比如英语中的复合词汇，网络新词等），这种限制无疑使问题解决得效果大打折扣。对于英语来说，一个单词可能有不同时态，进行时，过去时，一般现在时等，比如look, looking, looks, looked这些单词都表示的意思，但是传统处理手段就是在词表中为这些单词各开一个位置，这不仅造成了冗余，还削弱了它们之间的相关性。
基于上述问题，论文中提出将一个单词用可变长度表示，也就是关注于更小的分词单元（subword unit）似乎更加有吸引力。对于word-level的NMT模型，在遇到新词以后往往需要借助查阅字典的手段（15年左右被提出的一种方法，它假设source和target中的词汇是一 一对应的），论文作者认为这种假设在很多情况不适用，事实上也的确如此。此外，这种模型没法翻译或者生成没见过的单词。一些学者提出将未知的单词直接从source language复制到target language的翻译中，这对于名字来说确实很合理，但是在其他情况也许就不适用了。

算法希望实现的目标

创建一个subword-level的NMT模型，对于稀有词和未知词的翻译能够自己结果，能够生成在训练时没有见过的新词，能够从subword representations中学习复合词和音译词。

参考资料：
理解NLP最重要的编码方式 — Byte Pair Encoding (BPE)，这一篇就够了
NLP中的BPE（byte pair encoding）分词算法
BPE(Byte Pair Encoding)算法

NLP 三大Subword分词算法 (BPE、WordPiece、ULM) 原理与代码实现（面试必考知识点）
weixin_43646592的博客
11-13 1551
NLP 三大Subword分词算法 (BPE、WordPiece、ULM) 原理与代码实现（面试必考知识点）
Byte Pair Encoding（BPE）算法原理以及其python实现
mingo_敏
08-29 590
Byte Pair Encoding（BPE）是一种基于统计的压缩算法，最初由Gage于1994年在“A New Algorithm for Data Compression”一文中提出。尽管其初衷是用于数据压缩，但随着自然语言处理（NLP）的发展，BPE被广泛应用于词汇表构建和分词任务中，尤其是在处理形态丰富的语言时表现尤为出色。BPE通过迭代地合并文本语料库中最频繁的相邻字符对，生成子词单元（subword units），从而以更紧凑和高效的方式表示原始文本。
BPE分词方法总结
sslfk的博客
12-29 831
BPE方法可以认为是对一个1到n的ngram分词方式使用剪枝法（将有先后依赖，且词频重合度较高的词合并） 比如，输入的句子中，abc:50,abcd:49，那么就可以在49/50>Threshold时，直接删除abc这个词。这就是剪枝。可以用来减少词集合 ...
BPE分词算法逐步详解，超级简单易懂，草履虫都能看懂！
最新发布
GottenZZP的博客
04-10 702
BPE（Byte-Pair Encoding，字节对编码）是一种NLP中常见的分词方法，核心思想是通过“找规律、合并重复”的方式，把经常一起出现的字符或小片段组合起来，逐步构建一个“词汇表”，然后用该词汇表来拆分任何文本。现在 “u n” 和 “n </w>” 并列最常见（16次），我们随便挑一个，比如合并 “u n” 成 “un”。初始词汇表：[“b”, “g”, “h”, “n”, “p”, “s”, “u”, “</w>”]最常见的字符对是 “u g”，出现了20次。
NLP-分词方法
qq_41230076的博客
04-13 1555
正向最大匹配 从左到右选择词典中最长的词条进行匹配，获得分词结果。 1、统计分词词典，确定词典中最长词条的字符的长度m作为窗口大小； 2、从左向右取待切分语句的m个字符作为匹配字段，与词典中的词语进行匹配，若匹配成功，则作为一个切分后的词语，否则，去掉待匹配字符的最后一个字符继续与词典匹配，重复上述步骤直到切分出所有词语。 dictA = ['南京','南京市', '南京市长', '市长' ,'长...
BPE分词
谁谁谁的的的博客
08-17 1049
构建词表： BPE算法通过统计训练语料中字符或子词的频率来构建词表。初始时，将训练语料中的字符或子词作为词表中的初始词汇。数据预处理： BPE算法首先对输入的训练语料进行预处理，将每个词按字符切分为序列，加上特殊符号（如开始符号和结束符号）。分词时，优先匹配较长的子词，当无法继续匹配时，再匹配较短的子词。合并操作： 选择最频繁出现的一对相邻字符或子词进行合并，形成一个新的字符或子词，并更新词表和频率统计。恢复原始文本： 将分词结果中的特殊符号去除，并将字符或子词连接起来，恢复为原始的文本形式。
1. NLP基础 规则切词--正向，反向，双向最大匹配法
AaronPaul的博客
05-13 1051
1、正向最大匹配 正向最大匹配首先你要有一个匹配词库，你知道你匹配词库中长度最长的词的长度，假设是3 你取出头3个字去匹配词库，如果匹配不上就取头2个字，直到你能匹配上，你的起始指针就向后移动。 class MM(): def __init__(self): self.window_size = 0 self.dic = ['研究', '研究生', '生命', '命', '的', '起源'] def get_window_size(s
机器翻译中分词方法--BPE（Byte Pair Encoding）
weixin_45337615的博客
09-27 3883
参考文章：深入理解NLP Subword算法：BPE、WordPiece、ULM 使用API：文章目录前言1.与传统空格分隔tokenization技术的对比2.Byte Pair Encoding (Sennrich et al., 2015)2.1 算法例子2.2 BPE实现2.3 编码和解码实例 前言 Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配
详解Byte Pair Encoding (BPE)原理
强化学习曾小健
12-13 808
综上所述，预定的BPE词汇表大小是通过综合考虑数据集规模、模型需求、合并次数、稀有词处理能力以及具体应用场景来确定的。这种灵活性使得BPE能够在不同任务中表现出色，同时保持有效性和效率。相关事件事件名称事件时间事件概述Byte Pair Encoding (BPE) 的提出和应用首次提出于1994，2015后广泛应用于NLP领域。技术发展BPE是一种用于自然语言处理的子词嵌入技术，通过合并文本中最频繁的字符对来创建新的子词单元，以减少词汇表大小并提高文本处理效率。
基于 BPE 实现的中文分词。优化：预处理，并行计算，多字词，多词表.zip
03-02
本项目聚焦于中文分词，一个关键的数据预处理任务，采用了基于BPE（Byte Pair Encoding）的方法来实现。BPE是一种有效的词汇划分策略，尤其适用于处理未登录词，即在训练语料中未出现过的词汇。它通过合并频繁出现的...
LLM大语言模型之Tokenization分词方法（WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)原理及其代码实现）
Kingpeaceful的博客
09-09 966
本文主要内容为目前大模型时代分词是怎么做的☺️，WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)分词方法的原理以及其代码实现
Byte Pair Encoding（BPE）/WordPiece算法介绍
J~的博客
02-05 5771
Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配。所以作为NLP界的小菜鸟，有必要了解下Subword算法的原理。 1BPE BPE，（byte pair encoder）字节对编码，也可以叫做digram coding双字母组合编码，主要...
【大模型实战篇】大模型分词算法BPE(Byte-Pair Encoding tokenization)及代码示例
源泉的小广场
10-21 2712
大模型、数据预处理、词元化、Tokenization、分词、子词分词器、BPE分词、字节级BPE、Byte-Pair Encoding tokenization、GPT-2、特殊词元、合并规则学习
NLP分词
winnertakeall的博客
11-18 348
NLP之汉语分词： 可以先加载常用的词典，如果加载词典分词的效果还是不理想，可以选择将词典里面的词进行词频调整。方法如下： import jieba jieba.load_userdict("dic.txt") f = open("dic.txt", "r", encoding="utf8") for i in f: line = i.strip() jieba.sugges...
BPE提取subword
qq_27061325的博客
07-14 734
有一篇机器翻译的文章Neural Machine Translation of Rare Words with Subword Units提到了这个英文分词方法，这里简要介绍BPE。 BPE全称Byte Pair Encoding，通过不断迭代分词，每次按照最大出现频率将某一种n-gram子串组合在一起。随着迭代的推进，就像滚雪球一样，将subword 的组成字符们聚在一起。 以单词 lovi...
bpe分词
ltochange的博客
05-25 2164
AAT=(α1α2⋮αn)(α1Tα2T⋯αnT)AA^\mathrm{T}=\left(\begin{array}{c}\alpha_{1} \\ \alpha_{2} \\ \vdots \\ \alpha_{n}\end{array}\right)\left(\begin{array}{llll}\alpha_{1}^{\mathrm{T}} & \alpha_{2}^{\mathrm{T}} & \cdots & \alpha_{n}^{\mathrm{T}}\end{arr
【Python机器学习】NLP分词——利用分词器构建词汇表（一）
weixin_39407597的博客
08-23 1514
在NLP中，分词（也称切词）是一种特殊的文档切分过程。
NLP中常见的分词算法（BPE、WordPiece、Unigram、SentencePiece）
酒酿小圆子呀～
01-09 4255
从上面的公式，很容易发现，似然值的变化就是两个子词之间的互信息。简而言之，WordPiece每次选择合并的两个子词，他们具有最大的互信息值，也就是两子词在语言模型上具有较强的关联性，它们经常在语料中以相邻方式同时出现。在训练任务中，如果能对不同的 Subword 进行训练的话，将增加模型的健壮性，能够容忍更多的噪声，而 BPE 的贪心算法无法对随机分布进行学习。我们将一个个的 token（可以理解为小片段）表示向量，我们分词的目的就是尽可能的让这些向量蕴含更多有用的信息，然后把这些向量输入到算法模型中。
nlp中bpe_缓冲池扩展（BPE）–内存中OLTP：内存挑战
culuo4781的博客
07-22 363
nlp中bpe In continuation of the previous post “Buffer Pool Extension (BPE) – Introduction to the Buffer Pool”, we will keep diving into the Buffer Pool Extension, this time, talking about another im...
字节对编 码(Byte Pair Encoding, BPE)算法
04-02
<think>嗯，用户想了解BPE算法的工作原理和实现。首先，我需要回忆一下BPE的基本概念。BPE是字节对编码，主要用于自然语言处理中的分词，尤其是在像GPT这样的模型里。用户提到了参考内容里的BPE分词器用于训练GPT-2、GPT-3等模型，所以可能需要详细说明BPE在分词中的应用步骤。 首先，我应该解释BPE的核心思想：通过合并频率最高的字符对来逐步构建词汇表。比如，像“low”出现多次，可能会合并成“lo”和“w”，然后再继续合并。这个过程需要迭代进行，直到达到预设的词汇表大小。可能需要举一个具体的例子，比如用户提到的“low”五次出现的例子，这样更直观。 然后，需要分步骤说明算法的工作流程。比如初始化词汇表为字符，统计所有相邻字符对的频率，合并最高频的对，更新词汇表，重复直到达到所需词表大小。这部分要详细但清晰，确保用户能一步步理解。 接下来是实现部分。用户可能需要代码示例，比如用Python实现BPE的基本框架。这里要注意代码的正确性和可读性，比如如何统计频率，如何合并字符对。可能需要用字典来统计频率，用优先队列或者排序来找到最高频的对。然后展示训练和编码的过程，比如将单词拆分成子词。 最后，用户可能想知道BPE的优势和应用场景，比如处理未登录词，平衡词表大小和分词粒度。同时，生成相关问题，比如与WordPiece的区别，处理OOV词的方法，参数调整等。这些相关问题需要紧扣主题，帮助用户深入理解。 需要确保回答结构清晰，用中文，正确使用LaTeX格式，比如变量用$符号包裹。同时引用给定的参考内容，比如在提到BPE的应用时引用[^1]。还要检查是否有遗漏的步骤，比如预处理步骤是否需要提到，比如小写转换或处理特殊符号。另外，要注意代码示例的注释和可运行性，确保用户能理解每个部分的作用。 可能用户对BPE的具体合并过程不太清楚，比如如何选择合并对，如何处理多字节的情况。所以在例子中需要详细说明每一步的合并结果，比如初始分割、第一次合并后的结果，直到最终词汇表。同时，要指出BPE如何有效减少词表大小，同时保持分词的有效性。 在总结部分，需要强调BPE的优势，比如高效处理OOV，灵活适应不同语言，这对训练大模型很重要。同时，指出参数调整的重要性，如词表大小和合并次数的影响，帮助用户在实际应用中选择合适的参数。 最后，生成的相关问题要覆盖算法对比、应用中的问题和优化方法，这样用户可以进一步探索。比如与WordPiece的区别，处理多语言的能力，参数调整策略等。</think>### Byte Pair Encoding (BPE) 算法解析 #### 1. BPE 核心原理 BPE 是一种基于**频率统计**的分词算法，通过逐步合并高频字符对（byte pair）构建子词词汇表。其核心思想是：将常见字符组合编码为单一符号，从而平衡词汇表大小与分词粒度。 例如，假设语料中单词 $"low"$ 出现5次，$"lower"$ 出现2次，初始词汇表为字符集合 $\{l, o, w, e, r\}$。BPE 会优先合并最高频的字符对 $"lo"$，生成新符号 $"lo"$，将其加入词汇表。 #### 2. 算法实现步骤 1. **初始化**：将文本拆分为字符级单位 ```python # 输入文本预处理为字符序列 corpus = {"low":5, "lower":2} vocab = {'l', 'o', 'w', 'e', 'r'} ``` 2. **频率统计**：计算所有相邻字符对频率 ```python # 统计字符对频率 pairs = defaultdict(int) for word, freq in corpus.items(): symbols = list(word) for i in range(len(symbols)-1): pairs[(symbols[i], symbols[i+1])] += freq ``` 3. **合并操作**：选择最高频字符对合并 ```python # 找到最高频字符对 best_pair = max(pairs, key=pairs.get) # 示例中为 ('l','o') # 更新词汇表和语料 new_symbol = ''.join(best_pair) vocab.add(new_symbol) ``` 4. **迭代更新**：重复步骤2-3直到达到预设词汇表大小或合并次数 #### 3. 分词过程示例 初始词汇表：$\{l, o, w, e, r\}$ 第一次合并 $"lo"$ → 新词汇表：$\{lo, w, e, r\}$ 第二次合并 $"low"$ → 最终词汇表：$\{low, e, r\}$ 此时分词结果： - $"low"$ → `["low"]` - $"lower"$ → `["low", "er"]` #### 4. BPE 的优势（引用自参考内容） > "BPE分词器用于训练GPT-2、GPT-3等大型语言模型"，其优势体现在： > - 有效处理未登录词（OOV） > 通过子词组合生成新词，如 $"ChatGPT"$ → `["Chat", "G", "PT"]` > - 平衡词汇表规模与分词粒度 > - 支持多语言混合处理 #### 5. 完整实现框架 ```python class BPE: def __init__(self, vocab_size): self.vocab_size = vocab_size def train(self, corpus): # 初始化词汇表为字符集合 vocab = set("".join(corpus.keys())) while len(vocab) < self.vocab_size: # 统计字符对频率 pairs = get_pairs(corpus) if not pairs: break # 合并最高频对 best_pair = max(pairs, key=pairs.get) corpus = merge_vocab(corpus, best_pair) vocab.add("".join(best_pair)) return vocab def encode(self, text): # 将文本拆分为子词 tokens = [] for word in text.split(): while word not in self.vocab: # 寻找可合并的子词 pair = find_mergeable_pair(word) word = word.replace("".join(pair), "_".join(pair)) tokens.extend(word.split("_")) return tokens ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值