BPE (Byte-Pair Encoding) Tokenization

原创 已于 2024-06-19 18:10:56 修改 · 1.2k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nlp #BPE

于 2024-06-19 13:45:18 首次发布

目录

遇到看不明白的地方，欢迎在评论中留言呐，一起讨论，一起进步！
在这里插入图片描述

本文参考： P24 台大资讯 2023秋季 深度学习之应用 ｜ADL 5.1：BPE (Byte-Pair Encoding) Tokenization

一、Tokenization 的概念

Tokenization 即将每个单词进行切分成小的单元。

我们其实也可以直接将每个单词作为一个单元来进行后续的训练，但是这样当我们处理新单词的时候就没有办法给出一个合适的表示，可能许多没有见过的所有的字都公用同一个表示。
在这里插入图片描述

然而，作为真人的我们第一次看到生词的时候，并不是对它一无所知的，我们可以通过生词的组成来进行猜测意思。

最低0.47元/天 解锁文章

200万优质内容无限畅学
OpenAI - tiktoken ⏳ | fast BPE tokeniser
AI工程化、开源分享、文档翻译、代码笔记
03-31 8576
关于 ⏳ tiktoken 性能表现 安装 tiktoken 如何计算 token Encodings Tokenizer libraries 对不同编程语言的支持 How strings are typically tokenized 使用 编解码 比较 encodings 计算chat API调用的tokens 拓展 tiktoken
《从零构建大模型》系列（12）：BPE算法——大语言模型的分词基石
最新发布
Conan_0728的博客
05-29 827
BPE算法：现代语言模型的分词核心技术 BPE（Byte Pair Encoding）算法通过动态合并高频字符对的方式，完美解决了传统分词方法在词表大小和OOV问题之间的权衡难题。本文系统性地介绍了BPE的核心原理、实现方法和优化策略，包括： 算法流程解析与可视化演示 从基础到优化的完整实现代码 GPT系列采用的字节级BPE创新 与传统分词算法的性能对比 训练实践中的参数配置与陷阱规避 BPE通过将词汇拆分为可组合的子词单元，显著提升了语言模型处理稀有词和未知文本的能力，已成为GPT等大语言模型的标准分词方
NLP中的Tokenization方法——BPE（Byte-Pair Encoding）
xiao_ling_yun的博客
03-19 7259
我们知道很多NLP模型（Transformer, Bert）输入的其中一部分是句子的token，然后结合位置编码进入到Mutil-Head Self Attention Layer，后者大家都很熟悉，但如何获得token，却很少有人讲解，这一部分也一度令我疑惑。 获得句子的token，操作被称为：tokenization。是NLP任务中最基础、最先需要进行的一步，该操作的目的是将输入文本分割成单独的部分，然后结合词典进一步转化为token。
基于BPE的汉语tokenization
回锅肉炒肉的博客
04-20 1799
编程作业1：基于BPE的汉语tokenization 基本环境算法说明train.pytokenlize.py源码 基本环境 操作系统：Windows10 python版本：3.7.8 算法说明 train.py get_vocab——从训练语料中获取基本字典 def get_vocab(filename): vocab = collections.defaultdict(int) with open(filename,
tokenizers：BPE算法
芳樽里的歌的博客
12-15 3091
本文结合BPE算法的论文，对该算法的原理及工作流程进行说明。
自然语言模型（LM）之Tokenizer的介绍（1）--BPE
qq_38100666的博客
11-07 1329
本文进行自然语言模型（LM）中Tokenizer的介绍--BPE部分
BPE(Byte-Pair Encoding )代码实现
一蓑烟雨任平生
01-11 836
BPE是使用最广泛的sub-word tokenization算法之一。尽管贪婪，但它具有良好的性能,并被作为机器翻译等主流NLP任务的首选tokenize方法之一。
LLM大语言模型之Tokenization分词方法（WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)原理及其代码实现）
Kingpeaceful的博客
09-09 1028
本文主要内容为目前大模型时代分词是怎么做的☺️，WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)分词方法的原理以及其代码实现
Byte-Pair Encoding（BPE）
白马负金羁
01-02 2373
Byte-Pair Encoding（简称BPE）是一种在NLP中使用的压缩算法，它用一小组子词单元表示大词汇量。它广泛用于各种NLP任务，如machine translation, text classification, and text generation。BPE的基本思想是通过迭代地合并文本语料库中最频繁的相邻字节或字符对，直到达到预定的词汇大小。生成的子词单元可用于以更紧凑和高效的方式表示原始文本
详解Byte Pair Encoding (BPE)原理
强化学习曾小健
12-13 861
综上所述，预定的BPE词汇表大小是通过综合考虑数据集规模、模型需求、合并次数、稀有词处理能力以及具体应用场景来确定的。这种灵活性使得BPE能够在不同任务中表现出色，同时保持有效性和效率。相关事件事件名称事件时间事件概述Byte Pair Encoding (BPE) 的提出和应用首次提出于1994，2015后广泛应用于NLP领域。技术发展BPE是一种用于自然语言处理的子词嵌入技术，通过合并文本中最频繁的字符对来创建新的子词单元，以减少词汇表大小并提高文本处理效率。
tokenizers in Transformers：BPE、WordPiece，SentencePiece
满腹的小不甘
01-30 4993
目录 1. space、punctuation、rule-based tokenization 2. Subword tokenization 2.1 Byte-Pair Encoding (BPE) Byte-level BPE 2.2 WordPiece 2.3 Unigram 2.4 SentencePiece：ALBERT，XLNet，Marian和T5 tokenizing a text是将文本分为words或subwords，然后通过look-up table将其转换为ID。我们
大模型系列：大模型tokenizer分词编码算法BPE理论简述和实践
2401_85325397的博客
06-05 2255
token是大模型处理和生成语言文本的基本单位，在之前介绍的Bert和GPT-2中，都是简单地将中文文本切分为单个汉字字符作为token，而目前`LLaMA`，`ChatGLM`等大模型采用的是基于分词工具`sentencepiece`实现的`BBPE（Byte-level BPE）`分词编码算法，本节介绍BBPE分词编码作为大模型系列的开篇。
每天5分钟搞懂大模型的分词器tokenizer（二）：BPE (Byte-Pair Encoding)
深数研究院
10-23 1232
字节对编码 (BPE) 最初是作为一种压缩文本的算法开发的，最早是由Philip Gage于1994年在《A New Algorithm for Data Compression》一文中提出，后来被 OpenAI 在预训练 GPT 模型时用于分词器（Tokenizer）。
自然语言基础1: 文本标记算法 (Tokenization Algorithm) : Byte-Pair Encoding (BPE) 和 WordPiece
disanda的专栏
07-05 1272
BPE最初是用于文本压缩的算法，当前是最常见tokenizer的编码方法，用于 GPT (OpenAI) 和 Bert (Google) 的 Pre-training Model。
分词（tokenization）算法之Byte Pair Encoding (BPE) 算法详解（代码实现）
阿正的梦工坊
03-27 1356
BPE 的基本思想可以用一句话概括：从字符级别开始，通过统计频率最高的字符对或子词对，逐步构建一个词汇表，用于表示文本中的单词或子词单元。 这种方法既能保留词的语义信息，又能灵活处理未见过的新词（out-of-vocabulary, OOV），在深度学习模型中表现出色。
【自己创建分词器tokenizer】（2）——BPE tokenizer
qq_46634315的博客
08-12 1377
其他部分，比如保存与加载等，和之前WordPiece tokenizer是一样的，本文没有赘述。
NLP中的Tokenization(subword BPE--WPM--ULM )
weixin_44885180的博客
04-11 263
NLP中的Tokenization
大模型标记器 Tokenizer之Byte Pair Encoding (BPE) 算法详解与示例
大模型与Agent智能体
05-16 2431
词汇表构建：这个阶段采用单词集合及其频率，通过反复合并最频繁的字符对或标记对，逐步构建一组词汇表（标记）。标记化：这个阶段使用构建的词汇表和学习的合并规则来标记化新文本。它通过将新文本分解为词汇表构建阶段识别的标记来实现。在接下来的部分中，我们将更详细地探讨每个阶段。
LLama2使用的BPE Tokenizer
smartcat2010的博客
06-19 402
字节对编码（Byte-Pair Encoding，简称BPE）最初是作为一种压缩文本的算法开发的，然后由OpenAI用于训练GPT模型时的标记化。它被许多Transformer模型广泛使用，包括GPT、GPT-2、RoBERTa、BART和DeBERTa。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸葛思颖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值