BPE分词方法总结

最新推荐文章于 2025-10-08 15:34:32 发布
原创 最新推荐文章于 2025-10-08 15:34:32 发布 · 885 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #算法 #人工智能

BPE方法可以认为是对一个1到n的ngram分词方式使用剪枝法（将有先后依赖，且词频重合度较高的词合并）

比如，输入的句子中，abc:50,abcd:49，那么就可以在49/50>Threshold时，直接删除abc这个词。这就是剪枝。可以用来减少词集合

参考：https://leimao.github.io/blog/Byte-Pair-Encoding/

LLMs之Tokenizer之Unigram：Unigram分词方法的简介、使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-05 1562
Unigram源自N-gram，最简单的分词方式，而UnigramLM是一种基于语言模型的分词算法/切分技术，它使用已经切分好的词汇序列(比如Unigram)来训练n-gram语言模型，然后使用该模型来预测新的句子中的词汇切分位置。为了估计Unigram语言模型，它采用了期望最大化（EM）算法：在每次迭代中，我们首先根据旧的语言模型找到当前最优的单词分词方式，然后重新估计Unigram的概率以更新语言模型。此外，为了更好的子词抽样，我们提出了一种基于unigram语言模型的新的子词分割算法。
深度学习系列28：BPE分词模型
kittyzc的博客
05-17 2109
这个是当前英文分词的标准方法了。 1. 简介 在NLP模型中，输入通常是一个句子，例如I went to New York last week.。传统做法：空格分隔，例如[‘i’, ‘went’, ‘to’, ‘New’, ‘York’, ‘last’, ‘week’]。 BPE算法通过训练，能够把[‘loved’, ‘loving’, ‘loves’]拆分成[“lov”, “ed”, “ing”, “es”]几个部分，这样可以把词的本身的意思和时态分开，有效的减少了此表的数量。算法流程如下： 1）设定最大
NLP中的BPE（byte pair encoding）分词算法【subword 切词】
u013250861的博客
06-29 823
2016年左右（改论文发表于2016）Neural machine translation(NMT)中有着一个众所周知的问题——稀有词与未知词的翻译问题。一般来说，神经网络中的词表被限制在30000-50000个词汇，但是对于翻译来说，各种词汇都可能出现（比如英语中的复合词汇，网络新词等），这种限制无疑使问题解决得效果大打折扣。对于英语来说，一个单词可能有不同时态，进行时，过去时，一般现在时等，比如look, looking, looks, looked这些单词都表示的意思，但是传统处理手段就是在词表中为这
BPE分词
谁谁谁的的的博客
08-17 1276
构建词表： BPE算法通过统计训练语料中字符或子词的频率来构建词表。初始时，将训练语料中的字符或子词作为词表中的初始词汇。数据预处理： BPE算法首先对输入的训练语料进行预处理，将每个词按字符切分为序列，加上特殊符号（如开始符号和结束符号）。分词时，优先匹配较长的子词，当无法继续匹配时，再匹配较短的子词。合并操作： 选择最频繁出现的一对相邻字符或子词进行合并，形成一个新的字符或子词，并更新词表和频率统计。恢复原始文本： 将分词结果中的特殊符号去除，并将字符或子词连接起来，恢复为原始的文本形式。
一文读懂 LLM 工作原理：分词、嵌入、Transformer 如何协同实现精准响应？
最新发布
ytt0523_com的博客
10-08 793
一文读懂 LLM 工作原理：分词、嵌入、Transformer 如何协同实现精准响应？
机器翻译中分词方法--BPE（Byte Pair Encoding）
weixin_45337615的博客
09-27 4019
参考文章：深入理解NLP Subword算法：BPE、WordPiece、ULM 使用API：文章目录前言1.与传统空格分隔tokenization技术的对比2.Byte Pair Encoding (Sennrich et al., 2015)2.1 算法例子2.2 BPE实现2.3 编码和解码实例 前言 Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配
分词（tokenization）算法之Byte Pair Encoding (BPE) 算法详解（代码实现）
阿正的梦工坊
03-27 2477
BPE 的基本思想可以用一句话概括：从字符级别开始，通过统计频率最高的字符对或子词对，逐步构建一个词汇表，用于表示文本中的单词或子词单元。 这种方法既能保留词的语义信息，又能灵活处理未见过的新词（out-of-vocabulary, OOV），在深度学习模型中表现出色。
大模型系列：大模型tokenizer分词编码算法BPE理论简述和实践
2401_85325397的博客
06-05 2449
token是大模型处理和生成语言文本的基本单位，在之前介绍的Bert和GPT-2中，都是简单地将中文文本切分为单个汉字字符作为token，而目前`LLaMA`，`ChatGLM`等大模型采用的是基于分词工具`sentencepiece`实现的`BBPE（Byte-level BPE）`分词编码算法，本节介绍BBPE分词编码作为大模型系列的开篇。
大模型底层探秘（二）：分词技术如何塑造AI的“语言基因”？全面详解BPE等子词分词算法原理
weixin_60487778的博客
04-19 1021
大模型学习基础（三）大模型架构之分词技术之二
子词级别分词器(BPE)在IMDB数据集上训练情感分析模型
Harry的博客
10-06 1004
我们使用的是经典的aclImdb数据集，数据集下载参考这篇博客。这是一组二分类的电影评论文本，分别标记为正面（positive）和负面（negative）。数据集分为训练集和测试集，分别包含正面和负面的评论。我们首先将数据集读取进来，并做基本的处理。在这段代码中，我们遍历文件目录，读取文本文件，并为每个评论添加标签：1表示正面，0表示负面。分词器是文本处理的核心部分之一。我们使用tokenizers库中的BPE（字节对编码）分词器来对文本进行子词级别的分割。
深入解析 Transformers 框架（四）：Qwen2.5/GPT 分词流程与 BPE 分词算法技术细节详解
老牛啊
11-09 2142
本文深入解析 Qwen2.5 大语言模型的分词流程和 BPE 分词算法。通过中英文混合文本示例，详细介绍了从文本规范化、初步分词、字节编码与映射到 BPE 分词的每一步骤。结合代码实现，揭示了 Qwen2.5 如何高效处理多语言文本，帮助读者全面理解 BPE 分词算法的原理和应用……
NLP中常见的分词算法（BPE、WordPiece、Unigram、SentencePiece）
酒酿小圆子呀～
01-09 5606
从上面的公式，很容易发现，似然值的变化就是两个子词之间的互信息。简而言之，WordPiece每次选择合并的两个子词，他们具有最大的互信息值，也就是两子词在语言模型上具有较强的关联性，它们经常在语料中以相邻方式同时出现。在训练任务中，如果能对不同的 Subword 进行训练的话，将增加模型的健壮性，能够容忍更多的噪声，而 BPE 的贪心算法无法对随机分布进行学习。我们将一个个的 token（可以理解为小片段）表示向量，我们分词的目的就是尽可能的让这些向量蕴含更多有用的信息，然后把这些向量输入到算法模型中。
bpe分词
ltochange的博客
05-25 2252
AAT=(α1α2⋮αn)(α1Tα2T⋯αnT)AA^\mathrm{T}=\left(\begin{array}{c}\alpha_{1} \\ \alpha_{2} \\ \vdots \\ \alpha_{n}\end{array}\right)\left(\begin{array}{llll}\alpha_{1}^{\mathrm{T}} & \alpha_{2}^{\mathrm{T}} & \cdots & \alpha_{n}^{\mathrm{T}}\end{arr
分词算法BBPE详解和Qwen的应用
lovep1的博客
06-02 2605
​1、BPE有什么问题：依旧会遇到OOV问题，并且中文、日文这些大词汇表模型容易出现训练中未出现过的字符 2、Byte-level BPE怎么解决：与BPE一样是高频字节进行合并，但BBPE是以UTF-8编码UTF-8编码字节序列而非字符序列 3、Byte-level BPE利用utf-8编码，利用动态规划解码，最大程度的还原字符的语义和上下文信息（这是我理解为什么LLM能够通过NTP进行理解的最主要原因） 4、Qwen是使用BBPE算法，增加了中文的能力，词汇表包括151,643 tokens ​
BPE提取subword
qq_27061325的博客
07-14 768
有一篇机器翻译的文章Neural Machine Translation of Rare Words with Subword Units提到了这个英文分词方法，这里简要介绍BPE。 BPE全称Byte Pair Encoding，通过不断迭代分词，每次按照最大出现频率将某一种n-gram子串组合在一起。随着迭代的推进，就像滚雪球一样，将subword 的组成字符们聚在一起。 以单词 lovi...
子词切分算法
u013453936的专栏
07-01 3683
     最近使用transformer训练机器翻译模型，期间也看了一些关于数据预处理分词的方法，了解了transformer[1]的subtokenizer以及bpe算法。     其中subtokenizer分为形成词汇表与处理训练文本两个部分。     形成词汇表部分，首先通过空格为间隔切分原始文本并统计词语与词频数，其次根据上个步骤的统计形成初始的每个单词或单字词汇表。通过迭代一定的次数不...
NLP-分词算法（一）：Byte-Pair Encoding (BPE) / Byte-level BPE【BPE是char级别】
u013250861的博客
07-11 7299
在这其中，一个小的知识点引起了我的好奇，就是在将英语训练语料输入到BERT模型之前，需要对其进行。英文字符的个数是有限的，基于字符的方式可以有效缓解词表数目过大以及OOV的问题，但由于其粒度太细，丢失了很多单词本身所具有的语意信息。比如说单词"looked"和"looking"会被划分为"look"，"ed”，"ing"，这样在降低词表大小的同时也能学到词的语意信息。为了解决上述问题，基于Subword（子词）的算法被提出，其中的代表就是BPE算法，初始的词表大小为7，其为训练语料中所有出现过的字符。
bpe分词算法的原理以及在机器翻译中的应用
乱指的指针
06-11 7997
概述： bpe（bytepair encoding），是一种根据字节对进行编码的算法。主要目的是为了数据压缩，算法描述为字符串里频率最常见的一对字符被一个没有在这个字符中出现的字符代替的层层迭代过程。该算法在论文：https://arxiv.org/abs/1508.07909Neural Machine Translation of Rare Words with Subword Unit...
AI机器翻译数据预处理步骤
无忧代理IP
05-05 2135
之前在进行机器翻译时，一般除了与句子长度做了长度限制外，几乎没有做任何额外的操作，直接暴力的使用BPE算法对语料进行预处理。接触的都是BPE子词级别的，我们都知道，bpe算法的强大性，30000个子词几乎可以表示词典中所有的单词。但是如果我们要用词级别的翻译，那词典太大了，在机器翻译中词典受限的情况下，很多词就会变为未登录词。为了让词典尽可能的能囊括更多的单词，必须对双语语料进行预处理操作。 关...
BPE tokenizer 只是分词不涉及编码么
02-26
总结来说，BPE分词器的主要任务是分词，但通常也会包含编码（转换为ID），所以严格来说，不只是分词。但需要明确用户所指的“编码”具体是什么，如果是字符编码则不涉及，如果是转换为数字ID则是分词的一部分。**BPE...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会发paper的学渣

您的鼓励和将是我前进的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值