Subword算法

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 500+累计阅读 540平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄27年

关注

原创最新推荐文章于 2026-03-28 09:31:28 发布 540 阅读 AI 写同款· GEO 优化 ›

【深度学习】Subword Tokenization算法 BPE最早是一种数据压缩算法，由Sennrich等人于2015年引入到NLP领域并很快得到推广。该算法简单有效，因而目前它是最流行的方法。GPT-2和RoBERTa使用的Subword算法都是BPE。BPE算法的步骤如下：1.给定的数据集中抽取单词以及相应的频次，并确定词表大小；2.将单词拆分为字符序列，比如英文中26个字母加上各种符号，这些作为初始词表；3.将所有字符序列中的字符不重复地添加到词表中，选择并合并频次最高的相邻字符对；4.重复步骤3直到满足词表大小。3-1-2 BPE实例。阅读详情

Subword算法

Byte Pair Encoding（BPE）/WordPiece算法

Byte Pair Encoding（BPE）/WordPiece算法介绍_一枚小码农的博客-优快云博客

收录于

00.LLM

当前文章被收录于：

00.LLM

11 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#人工智能

NLP 三大Subword分词算法 (BPE、WordPiece、ULM) 原理与代码实现（面试必考知识点）阅读详情

相关推荐

手把手教你用TL431设计反激电源补偿器（附波特图调试技巧）

本文详细介绍了如何使用TL431设计反激电源补偿器，并提供了波特图调试技巧。通过实战经验分享，帮助工程师快速掌握补偿网络设计、分压电阻计算和稳定性判据，避免常见设计误区，提升电源稳定性与效率。

weixin_29201859的博客 376

subword系列算法

1. 前言 nlp领域目前已经发展到一个非常高的层次了，这个层次不仅仅是模型和数据方面，还涌现出了很多非常巧妙的trick，这篇文章就记录一下关于tokenization方面的工作。所谓的tokenization其实就是将文本切分成words或者subwords，然后转成ids以便模型处理。最初的nlp分词非常简单，对于英语类以空格分割的语言来说，简单的以空格进行分割就行，不过这样简单的处理还存在一些问题，比如说*“Don’t you love ???? Transformers? We sure d

u013596454的博客 940

一文了解英伟达（NVIDIA）所有显卡芯片

英伟达（NVIDIA）的产品线庞杂繁复，从面向游戏玩家的GeForce RTX系列，到数据中心的H100、B200，再到Jetson、DRIVE等边缘智能平台，一般人很难以厘清其全貌。这篇文章将用通俗而专业的语言，一文打通英伟达显卡芯片体系，让你彻底读懂这个GPU帝国是如何运转的。

bjdx_001的博客 6343

有必要了解的Subword算法模型

在NLP领域，对语料进行预处理的过程中，我们需要进行分词和生成词典。很多时候用多了框架的API，觉得分词和生成字典就是调用的事情，不过事情并没有那么简单，比如其中涉及到的未登录词的问题，就对任务性能影响很大。一种很朴素的做法就是将未见过的词编码成#UNK ，有时为了不让字典太大，只会把出现频次大于某个阈值的词丢到字典里边，剩下所有的词都统一编码成#UNK 。

BoCong-Deng的博客 2621

基于STM32的电子琴音乐播放器设计

本设计以实际电路为最后的结果，实现了所有与其功能，具有重要的现实意义。件，在Proteus中进行原理图绘制，然后把 .hex文件下载到STM32F103RBT6中进行仿真。由于网络上下载的 Proteus中没有 STM32F103RBT6这个芯片型号，我们又从网上下载芯片进行仿真。本设计以实际电路为最后的结果，实现了所有与其功能，具有重要的现实意义。

TMMXA的博客 2万+

GD32F450以太网(1):ETH 外设接口简介

GD32F450以太网ETH MAC外设接口简介

Zhichao_Zhang的博客 1万+

理解 NLP Subword算法：BPE、WordPiece、ULM

前言 Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配。所以作为NLP界从业者，有必要了解下Subword算法的原理。 1. 与传统空格分隔tokenization技术的对比传统词表示方法无法很好的处理未知或罕见的词汇（OOV问题）。 ...

饲养员的小熊猫博客 1060

Tessent Atpg系列第七章 Running ATPG Patterns -- 如何书写proc文件

本篇文章是记录Tessent scan ATPG系列本文并非是对userguide的完全翻译，而是自己对userguide的理解，此外，有部分比较深入的内容可能需要后续实验验证。本系列并不对tessent scan做过多描述。请勿随意转载：优快云博主： ciscomonkey一种是在使用tessent scan之后使用ATPG 另一种是使用第三方工具，如snps的DFTC之后使用tessent的ATPG。这里我们仅仅介绍without tessent scan之后tessent ATPG:对于t

ciscomonkey的博客 7693

Subword三大算法原理：BPE、WordPiece、ULM

前言 Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配。所以作为NLP界从业者，有必要了解下Subword算法的原理。目录与传统空格分隔tokenization技术的对比 Byte Pair Encoding WordPiece Unigram Language Model 总结 1. 与传统空格分隔tokenization技术的对比

lwgkzl的博客 1419

C#客户端对接工厂MES的方法

本文介绍了使用C#实现WebApi客户端与工厂MES系统交互的方法。主要包括四个步骤：1)配置工控机IP地址；2)获取服务器URL；3)创建HttpHelper帮助类实现单例模式HttpClient，提供异步POST请求方法；4)通过实例化帮助类实现设备状态数据的JSON格式发送与接收。该方案采用异步通信方式，支持超时处理，能够满足大多数MES系统交互需求，帮助工程师快速完成设备与MES系统的数据对接。文中给出了核心代码片段和完整的数据交互流程示例。

weixin_39832501的博客 264

防护装备穿戴检查：基于YOLOv8与UI界面的深度学习应用

通过结合YOLOv8模型与UI界面，本系统实现了防护装备穿戴检查的自动化。该系统能够快速识别工作人员是否正确佩戴了所需的防护装备，帮助提高安全管理水平。未来，随着技术的发展，防护装备穿戴检查系统将在更多领域得到应用，如工业现场、建筑工地等，实现更加精确和高效的实时监控。

YOLO 354

NLP Subword三大算法原理：BPE、WordPiece、ULM

一只小狐狸带你解锁NLP/ML/DL秘籍正文作者：Luke正文来源：https://zhuanlan.zhihu.com/p/86965595前言Subword算法如今已经成为了一个重要...

夕小瑶科技说 5254

落地实战！Python构建地方政府公开数据爬虫：政策/数据/规划全维度抓取（附反爬适配+数据清洗）

政务公开数据爬虫的核心不是“技术多先进”，而是“适配政务网站的特性”——慢一点、稳一点、合规一点，比追求抓取速度更重要。多地市爬虫集群：通过配置文件管理不同地市的URL规则，实现全省/全国政务数据抓取；图片表格识别：结合OCR工具（如pytesseract）识别政务网站的图片表格，转换为结构化数据；数据可视化：将抓取的统计数据导入PowerBI/Matplotlib，实现区域发展趋势分析。

专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。 1797

token生成算法_有必要了解的Subword算法模型

说明：讲解时会对相关文章资料进行思想、结构、优缺点，内容进行提炼和记录，相关引用会标明出处，引用之处如有侵权，烦请告知删除。转载请注明：DengBoCongSubword算法在预训练语言模型中有着不小的地位，它在分词和字典方面的优化改进带来的影响，间接或直接影响着任务最终的性能效果，因此，作为NLP研究者或开发者，有必要了解下Subword算法的原理。介绍在NLP领域，对语料进行预处理的过程中，我...

weixin_39707693的博客 704

SAP B1中文培訓教材_SDK

公司内部培训资料，对开发工具，DIAPI， UIAPI，Add-ON有详细解说

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

【NLP Subword】三大算法原理：BPE、WordPiece、ULM

点击上方，选择星标或置顶，每天给你送干货！阅读大概需要11分钟跟随小博主，每天进步一丢丢编辑：夕小瑶的卖萌屋正文作者：Luke正文来源：https://zhuanlan.zhihu.co...

zenRRan的博客 543

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具，可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Subword算法:BPE,WordPiece,ULM

本文基本转载于深入理解NLP Subword算法：BPE、WordPiece、ULM bpe分词子词技巧：The Tricks of Subword 1. 传统的空格分隔的tokenization技术对比传统词表示方法无法很好的处理未知或罕见的词汇（OOV, out-of-vocabulary：不在词库）传统的tokenization方法不利于模型学习词缀之间的关系：E.g. 模型学到的“old”, “older”, and “oldest”之间的关系无法泛化到“smart”, “sma

qq_38317254的博客 1138

OV9734 DATASHEET，完整规格书

OV9734完整规格书，包括电气参数，尺寸规格，寄存器配置表等

深入理解NLP Subword算法：BPE、WordPiece、ULM

weixin_44966641的博客 700

bp算法和nlp算法_NLP中的subword算法及实现

最近在做机器翻译相关的工作，发现subword算法在NLP各大任务中无处不在。既然要用到并且用好subword，这里就重点捋一遍关于subword的算法以及几个开源的实现。1.word、subword和character在神经机器翻译中，通常有一个固定的词表，并且模型的训练和预测都非常依赖这个词表。在神经网络的训练过程中，需要对词表中每个词做向量表，每个词对应不同的向量，即embedding的过程...

weixin_33364018的博客 634

NLP中Subword算法：WordPiece、BPE、BBPE、SentencePiece详解以及代码实现

本文将介绍以下内容： 1. Subword与传统tokenization技术的对比 2. WordPiece 3. Byte Pair Encoding (BPE) 4. Byte-level BPE(BBPE) 5. SentencePiece 以及各Subword算法代码实现

TFATS的博客 1240

自然语言处理中的Tokenizer全面解析：从基础概念到Subword算法

1.以单词为单位对文本进行划分，并在每个单词后面添加结束符</w>2.再以字符为单位对每个单词进行划分（包含结束符），并统计每个单词的频率。并且初始化基础词汇表（包含最开始的字符和结束符）3.开始迭代合并计算每个相邻子词的频率（最开始每个字符就是一个子词）找到频率最高的相邻对（如果存在频率相同的，随便取个）将频率最高的相邻对合并为一个新的子词，并将其添加到词汇表中在后续的所有单词中，使用这个新的子词来替换之前的相邻对重复该过程。

2403_88851185的博客 1538

Subword算法之WordPiece、Unigram与SentencePiece

本文深入探讨了三种Subword分词算法：WordPiece、Unigram和SentencePiece。WordPiece是BPE的变种，通过互信息选择合并，被BERT等模型采用；Unigram采用逆向思维，从大词表逐步删除低效子词；SentencePiece统一处理多语言文本，无需预分词。文章详细解析了各算法的训练流程、核心思想、优缺点及代码实现，并提供了选择建议：BPE/WordPiece适合通用场景，Unigram适用于概率化分词，SentencePiece擅长处理非空格分隔语言。通过技术对比和实例

printf_huf的博客 995

Subword算法: bpe与bbpe

子词切分算法BPE与BBPE比较分析：BPE以字符为初始单元，通过合并高频字符对构建子词，适用于单语言场景；BBPE则基于UTF-8字节实现，初始词汇表固定256个字节，支持任意文本处理，成为GPT等大模型的主流选择。二者核心区别在于初始处理单元（字符vs字节），BBPE在多语言支持方面具有明显优势。BPE适用于简单字符集场景，而BBPE凭借其通用性成为大语言模型的首选子词切分方案。

m0_74053237的博客 657

LLM大模型-Tokenizer及其分类与常见算法Word-based Tokenization、Character-based Tokenization、Subword-based Tokeniza

Tokenizer（分词器）是大模型处理文本的关键组件，负责将原始文本转换为模型可理解的数字格式。主要分为三类分词方法：基于词的分词（Word-based）简单高效但难以处理未登录词；基于字符的分词（Character-based）可处理任意字符但计算量大；基于子词的分词（Subword-based）通过BPE、WordPiece等算法平衡了词汇表大小和语义表达能力，成为现代大模型的主流方案。不同分词方法各有优劣，选择取决于任务需求，如文本分类适合词级分词，而机器翻译等复杂任务更适合子词分词。理解Token

2202_75674969的博客 1740

NLP中的subword算法及实现

character-level模型试图使用26个字母加上一些符号去表示所有的词汇，相比于word-level模型，这种处理方式的粒度变小，其输入长度变长，使得数据更加稀疏并且难以学习长远程的依赖关系。word-level模型导致严重的OOV，而character-level模型粒度又太小，那么subword-level的处理方式就应运而生。将词划分成字词的形式，能够大大降低词典的大小。同时，这种word-level的处理方式并不能通过增大词表真正解决OOV的问题，因为再大的词典不能真正覆盖所有的词汇。

匿名用户 384

NLP Subword 之 WordPiece 算法原理

本文介绍以下内容： 1. WordPiece 与 BPE 的区别 2. WordPiece 算法原理 3. WordPiece 算法流程 4. WordPiece 算法源码实现Demo

TFATS的博客 1058

SentencePiece，subword-nmt，bpe算法

BPE（Byte Pair Encoding，双字节编码）。2016年应用于机器翻译，解决集外词（OOV）和罕见词（Rare word）问题。论文题目《Neural Machine Translation of Rare Words with Subword Units》 —发表于ACL2016 http://www.sohu.com/a/115373230_465975 tensor2ten...

ferb的语音识别学习小站 5410

上一篇： Instruction finetuning

下一篇： InstructGPT

手把手教你用TL431设计反激电源补偿器（附波特图调试技巧）