Subword算法

BPE与WordPiece算法详解：分词技术在IT中的应用
最新推荐文章于 2025-12-12 17:54:27 发布
原创 最新推荐文章于 2025-12-12 17:54:27 发布 · 519 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

subword系列算法
u013596454的博客
09-28 859
1. 前言  nlp领域目前已经发展到一个非常高的层次了，这个层次不仅仅是模型和数据方面，还涌现出了很多非常巧妙的trick，这篇文章就记录一下关于tokenization方面的工作。  所谓的tokenization其实就是将文本切分成words或者subwords，然后转成ids以便模型处理。最初的nlp分词非常简单，对于英语类以空格分割的语言来说，简单的以空格进行分割就行，不过这样简单的处理还存在一些问题，比如说*“Don’t you love ???? Transformers? We sure d
【深度学习】Subword Tokenization算法
Dong_ZH的博客
03-10 5081
BPE最早是一种数据压缩算法，由Sennrich等人于2015年引入到NLP领域并很快得到推广。该算法简单有效，因而目前它是最流行的方法。GPT-2和RoBERTa使用的Subword算法都是BPE。BPE算法的步骤如下：1.给定的数据集中抽取单词以及相应的频次，并确定词表大小；2.将单词拆分为字符序列，比如英文中26个字母加上各种符号，这些作为初始词表；3.将所有字符序列中的字符不重复地添加到词表中，选择并合并频次最高的相邻字符对；4.重复步骤3直到满足词表大小。3-1-2 BPE实例。
NLP中Subword算法：WordPiece、BPE、BBPE、SentencePiece详解以及代码实现
TFATS的博客
09-17 926
本文将介绍以下内容： 1. Subword与传统tokenization技术的对比 2. WordPiece 3. Byte Pair Encoding (BPE) 4. Byte-level BPE(BBPE) 5. SentencePiece 以及各Subword算法代码实现
Subword算法: bpe与bbpe
m0_74053237的博客
10-09 591
子词切分算法BPE与BBPE比较分析：BPE以字符为初始单元，通过合并高频字符对构建子词，适用于单语言场景；BBPE则基于UTF-8字节实现，初始词汇表固定256个字节，支持任意文本处理，成为GPT等大模型的主流选择。二者核心区别在于初始处理单元（字符vs字节），BBPE在多语言支持方面具有明显优势。BPE适用于简单字符集场景，而BBPE凭借其通用性成为大语言模型的首选子词切分方案。
Subword算法:BPE,WordPiece,ULM
qq_38317254的博客
06-10 996
本文基本转载于 深入理解NLP Subword算法：BPE、WordPiece、ULM bpe分词 子词技巧：The Tricks of Subword 1. 传统的空格分隔的tokenization技术对比 传统词表示方法无法很好的处理未知或罕见的词汇（OOV, out-of-vocabulary：不在词库） 传统的tokenization方法不利于模型学习词缀之间的关系：E.g. 模型学到的“old”, “older”, and “oldest”之间的关系无法泛化到“smart”, “sma
有必要了解的Subword算法模型
BoCong-Deng的博客
12-05 2318
在NLP领域，对语料进行预处理的过程中，我们需要进行分词和生成词典。很多时候用多了框架的API，觉得分词和生成字典就是调用的事情，不过事情并没有那么简单，比如其中涉及到的未登录词的问题，就对任务性能影响很大。一种很朴素的做法就是将未见过的词编码成#UNK ，有时为了不让字典太大，只会把出现频次大于某个阈值的词丢到字典里边，剩下所有的词都统一编码成#UNK 。
token生成算法_有必要了解的Subword算法模型
weixin_39707693的博客
12-06 667
说明：讲解时会对相关文章资料进行思想、结构、优缺点，内容进行提炼和记录，相关引用会标明出处，引用之处如有侵权，烦请告知删除。转载请注明：DengBoCongSubword算法在预训练语言模型中有着不小的地位，它在分词和字典方面的优化改进带来的影响，间接或直接影响着任务最终的性能效果，因此，作为NLP研究者或开发者，有必要了解下Subword算法的原理。介绍在NLP领域，对语料进行预处理的过程中，我...
自然语言处理中的Tokenizer全面解析：从基础概念到Subword算法
2403_88851185的博客
10-09 1376
1.以单词为单位对文本进行划分，并在每个单词后面添加结束符</w>2.再以字符为单位对每个单词进行划分（包含结束符），并统计每个单词的频率。并且初始化基础词汇表（包含最开始的字符和结束符）3.开始迭代合并计算每个相邻子词的频率（最开始每个字符就是一个子词）找到频率最高的相邻对（如果存在频率相同的，随便取个）将频率最高的相邻对合并为一个新的子词，并将其添加到词汇表中在后续的所有单词中，使用这个新的子词来替换之前的相邻对重复该过程。
理解 NLP Subword算法：BPE、WordPiece、ULM
饲养员的小熊猫博客
04-19 977
前言 Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配。所以作为NLP界从业者，有必要了解下Subword算法的原理。 1. 与传统空格分隔tokenization技术的对比 传统词表示方法无法很好的处理未知或罕见的词汇（OOV问题）。 ...
NLP Subword算法详解：BPE、WordPiece与ULM比较
NLP领域中的Subword算法是近年来提高模型性能的关键技术之一，特别是自BERT在2018年的崛起后，它已成为预训练语言模型的常见组成部分。传统的词分割方法存在处理未知或罕见词汇（OOV）和词缀关系学习的问题。...
NLP-Subword三大算法原理：BPE、WordPiece、ULM.pdf
08-12
自然语言处理（NLP）中的Subword算法是近年来在深度学习模型中广泛应用的一种技术，它旨在解决词汇表中未知或罕见词汇（OOV，Out-of-Vocabulary）的问题，以及帮助模型更好地学习词缀关系。本篇文章将深入探讨三种...
深入解析NLP中的Subword算法：BPE、WordPiece与ULM
文档"资源摘要信息:"NLP-Subword三大算法原理：BPE、WordPiece、ULM.pdf"为我们提供了详细的三种Subword算法的原理和应用，这对于我们深入理解和实现高效的NLP系统具有极大的帮助。掌握这些算法，对于研发高质量的...
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8
12-11 679
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
精品数据分享 | 锂电池数据集（七）同济大学电池数据集
12-11 607
本期继续分享一篇Nature communicationTop论文公开锂离子电池数据，划重点-数据集开源，代码开源！！！
【论文速递】2025年第34周(Aug-17-23)(Robotics/Embodied AI/LLM)
淋曦的进击手记
12-07 1871
自我监督的学习有望消除对手动数据注释的需求，从而使模型能够毫不费力地扩展到大规模的数据集和较大的体系结构。通过不针对特定的任务或领域量身定制，这种训练范式有可能使用单个算法从不同的来源学习视觉表示形式，从自然到航空图像。该技术报告介绍了Dinov3，这是通过利用简单而有效的策略来实现这一愿景的主要里程碑。首先，我们利用仔细的数据准备，设计和优化来扩展数据集和模型大小的好处。其次，我们介绍了一种称为GRAM锚定的新方法，该方法有效地解决了长期训练时间表中已知但未解决的密集特征映射降解的问题。
vLLM推理引擎教程4-离线推理功能
最新发布
benben044的专栏
12-12 264
本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。
观成科技:Zloader木马家族加密流量分析
GCKJ_0824的博客
12-12 315
摘要：Zloader木马最初作为银行木马Zeus的下载器，现被广泛用于勒索软件投递。其采用多种加密通信技术规避检测：1）DGA技术生成随机域名；2）DNS隧道隐藏数据；3）HTTPS加密通信；4）Websocket掩码加密。最新版本通过会话密钥强化DNS隧道加密。观成科技利用AI模型结合TLS指纹检测HTTPS加密流量，持续通过行为分析和机器学习应对加密威胁。研究表明，恶意软件正不断升级流量对抗技术，凸显加密流量检测的重要性。（149字）
“人工智能 +” 创新大会签约落定，云工场科技与沐曦、中国移动等企业携算力服务助力潍坊转型发展
Cloudcsp的博客
12-12 89
大会紧密围绕贯彻落实党的二十届四中全会精神，旨在纵深推进“人工智能+”行动，促进人工智能与实体经济深度融合，为培育和发展新质生产力注入强大 AI 动能。，共同推进智能算力供给与行业应用落地。聚焦于行业大模型落地应用、高效智能算力供给、以及“人工智能+”模式创新等多个关键方向，携手构建开放、协同、共赢的 AI 产业生态。在大会签约环节，昌邑市、安丘市、寒亭区、潍城区等政府单位围绕人工智能+治理分别推进相关合作布局；等核心能力，协同产业伙伴共同服务潍坊“人工智能+”行动，助力区域新质生产力加速培育。
宝马，如何建设一座AI汽车工厂？｜产业AI案例
chanyejiawang的博客
12-08 1409
AI汽车时代来袭
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值