字节对编码 (BPE)：提升语言处理的效率和有效性

已于 2024-04-13 13:57:57 修改
阅读量1k 收藏 14
点赞数 16
文章标签： 人工智能 自然语言处理 深度学习
于 2024-04-13 13:54:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lichunericli/article/details/137714029
版权
字节对编码（BPE）是一种从数据压缩技术演变为NLP中文本标记化的方法，尤其适用于处理词汇量大或包含专业术语的语言建模。BPE通过合并常见字符序列，创建适应数据集的词汇，从而优化语言模型，降低训练复杂性，提高预测能力。在GPT等模型中，BPE平衡了粒度和效率，使得模型能处理罕见词和专业术语，提升整体性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文地址：byte-pair-encoding-bpe-bridging-efficiency-and-effectiveness-in-language-processing

2024 年 4 月 12 日

介绍

在快速发展的自然语言处理 (NLP) 领域，对人类语言高效解析和理解的追求带来了重大创新。字节对编码（BPE）作为一种关键技术脱颖而出，特别是在机器学习和语言模型训练中。本文深入探讨了 BPE 的机制、其实际应用及其对 NLP 领域的深远影响。

1

技术背景

字节对编码（BPE）是一种数据压缩技术，最初是为压缩文本数据而开发的。但在自然语言处理（NLP）中，它仍被广泛用于标记化。在 NLP 中，BPE 被用于将文本分割成子词单元，这有利于处理词汇量和语言模型中的词汇量不足问题。

以下是 BPE 在 NLP 中的工作原理：

  1. 从词汇开始： 最初，词汇表由数据集中的每个独特字符或单词及其频率组成。
  2. 迭代合并词对： 算法会反复查找文本中出现频率最高的一对相邻符号（或字符），并将它们合并为一个新符号。然后将这个新符号添加到词汇表中。
  3. 重复直到达到标准：这一过程一直持续到预定的合并次数或达到所需的词汇量为止。
  4. 标记文本： 合并完成后，根据最终的合并集将文本标记为子词。这些子词可以是单个字符，也可以是完整的单词，具体取决于它们在文本中的出现频率。

BPE 的优势在于，它可以通过创建有效代表常

最低0.47元/天 解锁文章
lichunericli
关注
Transformer大模型实战 字节对编码
AI天才研究院
07-31 504
Transformer大模型实战：字节对编码 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 在自然语言处理（NLP
神经压缩文本训练：提升大型语言模型效率的新方法
人工智能讲师分享前沿技术
06-21 1041
随着大型语言模型（LLMs）在各个领域的广泛应用，其训练和部署的效率问题日益凸显。传统的子词标记化方法，如Byte Pair Encoding (BPE) 或 Unigram，虽然能够在一定程度上压缩文本，但其压缩率通常只有4倍左右。LLMs在处理文本时，需要消耗大量的计算资源来处理这些标记。而且这些方法在处理长文本时，由于自注意力层的计算复杂度与序列长度的平方成正比，限制了模型能够处理的序列长度，进而影响了模型捕捉长距离依赖的能力。
字节对编码BPE
啊噗啊噗
01-19 4948
参考论文： Rico Sennrich, Barry Haddow, and Alexandra Birch.2016. Edinburgh neural machine translation systems for wmt 16. arXiv preprint arXiv:1606.02891. Rico Sennrich, Barry Haddow,and Alexandra Birch...
BPE（Byte Pair Encoding，字节对编码）
weixin_42136827的博客
12-26 655
是一种常用的子词分词算法，在自然语言处理（NLP）中用于将文本分割成更小的单位，例如子词或字符序列。它在基于词的分词和基于字符的分词之间提供了一个平衡，能够提升语言模型的效率和性能。通过使用 BPE，模型能够更好地处理罕见词或未见过的词，同时保持较小的词汇表规模，从而提升整体性能和效率。• BPE 在基于字符和基于词的分词之间提供了平衡，能让模型更高效地处理常见词和罕见词。• 与基于字符的分词相比，BPE 减少了词汇表的大小，同时保持了处理罕见词的灵活性。这个过程可以一直重复，直到达到预设的词汇表大小。
从理论到实践：字节对编码(BPE)算法
最新发布
2303_79071981的博客
04-06 807
从数学理论到代码实现学习BPE算法
大模型标记器 Tokenizer之Byte Pair Encoding (BPE) 算法详解与示例
段智华的博客
05-16 2179
词汇表构建：这个阶段采用单词集合及其频率，通过反复合并最频繁的字符对或标记对，逐步构建一组词汇表（标记）。标记化：这个阶段使用构建的词汇表和学习的合并规则来标记化新文本。它通过将新文本分解为词汇表构建阶段识别的标记来实现。在接下来的部分中，我们将更详细地探讨每个阶段。
BPE编码
weixin_36378508的博客
12-09 1515
一， BPE编码 （Byte Pair Encoding，简称 BPE）方法，BPE 是一种能够解决未登录词问题，并减小词典大小的方法。它综合利用了单词层面编码和字符层面编码的优势， 举例来说，我们要对下面的字符串编码， aaabdaaabac 字节对 aa 出现的次数最多，所以我们将它替换成一个没在字符串中被用过的字符 Z ， ZabdZabac Z=aa 然后我们重复这个过程，用 Y 替换 ab ， ZYdZYac Y=ab Z=aa 继续，用 X 替换 ZY ， XdXac X=ZY Y=ab
子词切分算法
u013453936的专栏
07-01 3560
     最近使用transformer训练机器翻译模型，期间也看了一些关于数据预处理分词的方法，了解了transformer[1]的subtokenizer以及bpe算法。     其中subtokenizer分为形成词汇表与处理训练文本两个部分。     形成词汇表部分，首先通过空格为间隔切分原始文本并统计词语与词频数，其次根据上个步骤的统计形成初始的每个单词或单字词汇表。通过迭代一定的次数不...
Python_最小的干净代码的字节对编码BPE算法通常用于LLM标记化.zip
05-25
标题中的“Python_最小的干净代码的字节对编码BPE算法通常用于LLM标记化”揭示了我们讨论的核心主题，即使用Python实现的BPE（Byte Pair Encoding）算法，这是一种常用的自然语言处理（NLP）技术，尤其在语言模型...
Rust-tokenizer 为现代语言模型提供高性能标记器，包括 WordPiece、字节对编码 (BPE) 和 Unigram (SentencePiece) 模型
06-28
Rust-tokenizersRust-tokenizer 为现代语言模型提供高性能的分词器，包括 WordPiece、字节对编码 (BPE) 和 Unigram (SentencePiece) 模型。这些标记器用于rust-bert crate。包括用于最先进转换器架构的广泛标记器，包括：句子片段（unigram 模型）伯特艾伯特蒸馏器罗伯塔GPTGPT2先知网控制基于词条的分词器包括单线程和多线程处理。字节对编码标记器倾向于使用共享缓存，并且仅可用作单线程标记器使用标记器需要手动下载标记器所需的文件（词汇表或合并文件）。这些可以在Transformers 库中找到。句子模型加载与C++ 库相同的.model proto 文件用法示例（Rust）let vocab= Arc::new (rust_tokenizers:: BertVocab::from_file (& vocab_path));let test_sentence= Example::new_from_string ("This is a sample sentence to be tokenized" );l
Byte Pair Encoding（BPE）算法及代码笔记
qq_29787929的博客
01-28 1392
本文以GPT-2中的BPE代码为例，主要记录了代码中Encoder里的bpe方法。
bpemb：基于字节对编码（BPE）的275种语言的预训练子词嵌入
02-03
BPEmb BPEmb是基于字节对编码（BPE）并在Wikipedia上进行过训练的275种语言的预训练子词嵌入的集合。 它的预期用途是作为自然语言处理中神经模型的输入。 ··· · · 用法 用pip安装BPEmb： pip install bpemb 嵌入和SentencePiece模型将在您首次使用时自动下载。 >> > from bpemb import BPEmb # load English BPEmb model with default vocabulary size (10k) and 50-dimensional embeddings >> > bpemb_en = BPEmb ( lang = "en" , dim = 50 ) downloading https : // nlp . h - its . org / bpemb / en / en . wiki . bpe . vs10000 . model downloading https : // nlp . h - its . org / bpemb / en / en . wiki . bp
python-bpe：Python的字节对编码！
02-03
BPE AKA字节对编码。 学习提供的空格分隔文本的词汇和字节对编码。 建议在生产用例中使用。 用法 $ python3 -m pip install --user bpe from bpe import Encoder # Generated with http://pythonpsum.com test_corpus = ''' Object raspberrypi functools dict kwargs. Gevent raspberrypi functools. Dunder raspberrypi decorator dict didn't lambda zip im
NLP-分词算法（一）：Byte-Pair Encoding (BPE) / Byte-level BPE【BPE是char级别】
u013250861的博客
07-11 5896
在这其中，一个小的知识点引起了我的好奇，就是在将英语训练语料输入到BERT模型之前，需要对其进行。英文字符的个数是有限的，基于字符的方式可以有效缓解词表数目过大以及OOV的问题，但由于其粒度太细，丢失了很多单词本身所具有的语意信息。比如说单词"looked"和"looking"会被划分为"look"，"ed”，"ing"，这样在降低词表大小的同时也能学到词的语意信息。为了解决上述问题，基于Subword（子词）的算法被提出，其中的代表就是BPE算法，初始的词表大小为7，其为训练语料中所有出现过的字符。
深刻理解BPE编码原理
qq_39691723的博客
04-16 1225
BPE（Byte Pair Encoding），即字节对编码，通过BPE编码后得到的subward词汇 1. 能有效减少词汇表的单词数量， 2. 其粒度在词与字符之间，能够较好的平衡未登录词或罕见词问题，从而提高神经机器翻译的质量。 友情链接：https://zhuanlan.zhihu.com/p/86965595 https://blog.youkuaiyun.com/jmh1996/articl...
BPE原理及代码简单演示
weixin_40994552的博客
02-19 908
BPE(Byte pair encoding)是对字节编码，BPE 算法是在 UTF-8 编码的字符串上运行的，所以它是“字节级”的。 理论上任何 UTF-8 编码的字符串都可以统一使用 BPE
BPE-NLP重要的编码方式
一蓑烟雨任平生
12-26 1059
最终，我们将遍历所有token，并且我们的子字符串将被替换为我们token列表中已经存在的token组合。我们常用的语言模型词汇列表是很大的，但仍有可能出现不在里面的单词。对于未知（新）词，我们应用上述编码方法对新词进行tokenization，并将新词的token添加到我们的token字典中以备将来用到。在实际中，我们的预料库通常要大得多，从而我们能通过更多的迭代次数将token列表缩小更多的比例。算法的下一步是寻找最频繁的字符对，合并它们，并一次又一次地执行相同的迭代，直到达到我们预先设置的。
BPE（Byte-Pair Encoding）简介
qq_52852138的博客
02-20 4540
BPE简介
bpe编码_缓冲池扩展（BPE）–缓冲池简介
culuo4781的博客
07-22 396
bpe编码Introduced on SQL Server 2014, the Buffer Pool Extension came to build up a new layer of cache, helping to maintain the “hot” pages accessible with less effort. With the introduction of Hekaton, ...
字节对编 码(Byte Pair Encoding, BPE)算法
04-02
<think>嗯，用户想了解BPE算法的工作原理和实现。首先，我需要回忆一下BPE的基本概念。BPE是字节对编码，主要用于自然语言处理中的分词，尤其是在像GPT这样的模型里。用户提到了参考内容里的BPE分词器用于训练GPT-2、GPT-3等模型，所以可能需要详细说明BPE在分词中的应用步骤。 首先，我应该解释BPE的核心思想：通过合并频率最高的字符对来逐步构建词汇表。比如，像“low”出现多次，可能会合并成“lo”和“w”，然后再继续合并。这个过程需要迭代进行，直到达到预设的词汇表大小。可能需要举一个具体的例子，比如用户提到的“low”五次出现的例子，这样更直观。 然后，需要分步骤说明算法的工作流程。比如初始化词汇表为字符，统计所有相邻字符对的频率，合并最高频的对，更新词汇表，重复直到达到所需词表大小。这部分要详细但清晰，确保用户能一步步理解。 接下来是实现部分。用户可能需要代码示例，比如用Python实现BPE的基本框架。这里要注意代码的正确性和可读性，比如如何统计频率，如何合并字符对。可能需要用字典来统计频率，用优先队列或者排序来找到最高频的对。然后展示训练和编码的过程，比如将单词拆分成子词。 最后，用户可能想知道BPE的优势和应用场景，比如处理未登录词，平衡词表大小和分词粒度。同时，生成相关问题，比如与WordPiece的区别，处理OOV词的方法，参数调整等。这些相关问题需要紧扣主题，帮助用户深入理解。 需要确保回答结构清晰，用中文，正确使用LaTeX格式，比如变量用$符号包裹。同时引用给定的参考内容，比如在提到BPE的应用时引用[^1]。还要检查是否有遗漏的步骤，比如预处理步骤是否需要提到，比如小写转换或处理特殊符号。另外，要注意代码示例的注释和可运行性，确保用户能理解每个部分的作用。 可能用户对BPE的具体合并过程不太清楚，比如如何选择合并对，如何处理多字节的情况。所以在例子中需要详细说明每一步的合并结果，比如初始分割、第一次合并后的结果，直到最终词汇表。同时，要指出BPE如何有效减少词表大小，同时保持分词的有效性。 在总结部分，需要强调BPE的优势，比如高效处理OOV，灵活适应不同语言，这对训练大模型很重要。同时，指出参数调整的重要性，如词表大小和合并次数的影响，帮助用户在实际应用中选择合适的参数。 最后，生成的相关问题要覆盖算法对比、应用中的问题和优化方法，这样用户可以进一步探索。比如与WordPiece的区别，处理多语言的能力，参数调整策略等。</think>### Byte Pair Encoding (BPE) 算法解析 #### 1. BPE 核心原理 BPE 是一种基于**频率统计**的分词算法，通过逐步合并高频字符对（byte pair）构建子词词汇表。其核心思想是：将常见字符组合编码为单一符号，从而平衡词汇表大小与分词粒度。 例如，假设语料中单词 $"low"$ 出现5次，$"lower"$ 出现2次，初始词汇表为字符集合 $\{l, o, w, e, r\}$。BPE 会优先合并最高频的字符对 $"lo"$，生成新符号 $"lo"$，将其加入词汇表。 #### 2. 算法实现步骤 1. **初始化**：将文本拆分为字符级单位 ```python # 输入文本预处理为字符序列 corpus = {"low":5, "lower":2} vocab = {'l', 'o', 'w', 'e', 'r'} ``` 2. **频率统计**：计算所有相邻字符对频率 ```python # 统计字符对频率 pairs = defaultdict(int) for word, freq in corpus.items(): symbols = list(word) for i in range(len(symbols)-1): pairs[(symbols[i], symbols[i+1])] += freq ``` 3. **合并操作**：选择最高频字符对合并 ```python # 找到最高频字符对 best_pair = max(pairs, key=pairs.get) # 示例中为 ('l','o') # 更新词汇表和语料 new_symbol = ''.join(best_pair) vocab.add(new_symbol) ``` 4. **迭代更新**：重复步骤2-3直到达到预设词汇表大小或合并次数 #### 3. 分词过程示例 初始词汇表：$\{l, o, w, e, r\}$ 第一次合并 $"lo"$ → 新词汇表：$\{lo, w, e, r\}$ 第二次合并 $"low"$ → 最终词汇表：$\{low, e, r\}$ 此时分词结果： - $"low"$ → `["low"]` - $"lower"$ → `["low", "er"]` #### 4. BPE 的优势（引用自参考内容） > "BPE分词器用于训练GPT-2、GPT-3等大型语言模型"，其优势体现在： > - 有效处理未登录词（OOV） > 通过子词组合生成新词，如 $"ChatGPT"$ → `["Chat", "G", "PT"]` > - 平衡词汇表规模与分词粒度 > - 支持多语言混合处理 #### 5. 完整实现框架 ```python class BPE: def __init__(self, vocab_size): self.vocab_size = vocab_size def train(self, corpus): # 初始化词汇表为字符集合 vocab = set("".join(corpus.keys())) while len(vocab) < self.vocab_size: # 统计字符对频率 pairs = get_pairs(corpus) if not pairs: break # 合并最高频对 best_pair = max(pairs, key=pairs.get) corpus = merge_vocab(corpus, best_pair) vocab.add("".join(best_pair)) return vocab def encode(self, text): # 将文本拆分为子词 tokens = [] for word in text.split(): while word not in self.vocab: # 寻找可合并的子词 pair = find_mergeable_pair(word) word = word.replace("".join(pair), "_".join(pair)) tokens.extend(word.split("_")) return tokens ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值