BERT模型自定义词汇以及token相关

最新推荐文章于 2025-11-11 19:52:46 发布
原创 最新推荐文章于 2025-11-11 19:52:46 发布 · 2.9k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #自然语言处理 #人工智能 #nlp #pytorch

本文介绍了如何在BERT模型中增加自定义词汇，如'COVID'和'hospitalization'，以保持单词完整性。通过调整模型和tokenizer的词汇表大小，并使用resize_token_embeddings方法，可以成功添加新词汇。此外，还讨论了BERT词表的修改和配置，以及保存自定义tokenizer到指定目录的方法。这对于适应特定下游任务和提高模型表现非常有用。

1.加载bert模型及分词

from transformers import AutoModelForMaskedLM, AutoTokenizer
model = "bert-base-cased"
tokenizer = AutoTokenizer.from_pretrained(model, use_fast=True)
model = AutoModelForMaskedLM.from_pretrained(model)

2.分词演示

  • 这里是对COVID hospitalization分词

                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
情感分析系列（四）——使用BERT进行情感分析

				
			

			

				

					⚡
				

				

					11-01
					
					6150
					
				

			

		

		

			
				
使用BERT进行情感分析

			
		

	



                

            
              



	

		

			

				
					
bert源码详解

				
			

			

				

					霜叶的博客
				

				

					11-24
					
					1339
					
				

			

		

		

			
				
1、bert源码详解博客

https://zhuanlan.zhihu.com/p/103226488（80% 10% 10%mask策略的具体计算逻辑；这是我影响比较深的一段代码逻辑）


			
		

	



              


  
  
              

                


	

		

			

				
					
Transformer模型添加新的[token]

				
			

			

				

					笔记
				

				

					02-08
					
					3212
					
				

			

		

		

			
				
huggingface transformer 如何添加自定义[token], 亲测有效！

			
		

	





	

		

			

				
					
[AI] 在 huggingface transformers新增自定义token

				
			

			

				

					weixin_44491772的博客
				

				

					06-13
					
					2034
					
				

			

		

		

			
				
通常，新数据集和自然语言任务使用新的或不同的领域特定词汇。虽然目前模型一起使用的子词tokenizers能够处理基本上任意的token，但这并不是最优的。这样可以处理文本，但以这种方式一些特殊涵义的词汇可能不够精准，而且整体token长度会变长，从而降低模型的效率。因此将新的领域特定令牌添加到tokenizers和模型中，可以更快地进行微调，并更好地捕获数据中的信息。我们可以通过使用词汇表中的令牌数量（包括新添加的令牌）调用模型的。作为最后一步，我们需要向模型的embedding matrix中。

			
		

	



		

			
		



	

		

			

				
					
 HuggingFace课程笔记：使用BERT进行Token分类任务详解

					
最新发布

				
			

			

				

					gitblog_01071的博客
				

				

					11-11
					
					424
					
				

			

		

		

			
				
Token分类是自然语言处理中的一项基础任务，它要求模型为输入文本中的每个token分配一个类别标签。这类任务在实际应用中非常广泛，主要包括以下几种典型场景：

1. **命名实体识别(NER)**：识别文本中的人名、地名、组织机构名等实体
2. **词性标注(POS)**：标注每个词的语法类别（名词、动词、形容词等）
3. **组块分析(Chunking)**：识别文本中的短语组块

这些任务虽

			
		

	





	

		

			

				
					
BERT 中的tokenizer和wordpiece和bpe（byte pair encoding）分词算法

				
			

			

				

					枪枪枪的博客
				

				

					09-28
					
					9715
					
				

			

		

		

			
				
文章目录一、BERT 中的tokenizer和wordpiece和bpe（byte pair encoding）分词算法1.1 tokenizer 分词器wordpiece（暂且称为 词块）对于英文词语对于中文1.2 谷歌中文预训练语言模型，vocab.txt词包（词典）1.3 bpe（byte pair encoding，字节对编码）分词算法资料理解bpebpe分词算法的原理以及在机器翻译中的应用机器翻译 bpe——bytes-pair-encoding以及开源项目subword-nmt快速入门理解tok

			
		

	





	

		

			

				
					
NLP（五十二）在BERT模型中添加自己的词汇

				
			

			

				

					山阴少年
				

				

					05-03
					
					9262
					
				

			

		

		

			
				
  不论是Tensorflow版本或者PyTorch版本的NLP预训练模型，我们都会在模型文件中看到vocab.txt文件，这个文件就是该预训练模型的词汇表。通常，模型本身都会自带词汇表文件，这是在模型预训练的时候训练得到的词汇表，具有代表性，一般不可随意更改。同时vocab.txt文件中也保留了一定数量的unused词汇，用来添加新词。
  本文将介绍如何在BERT模型中添加自己的词汇，其他预训练模型原理相同。
我们将通过三个常见的模块来介绍，分别是keras-bert，transformers,toke

			
		

	





	

		

			

				
					
向预训练Bert添加自定义词汇

				
			

			

				

					fun_always的博客
				

				

					06-17
					
					1106
					
				

			

		

		

			
				
Bert是NLP常用的特征提取模型，但其预训练的时候通常规定了词语字典，例如中文Bert模型里缺少英文单词，英文Bert里缺少中文字词。这里归纳如何使用预训练Bert模型处理其训练数据中不包含的词汇。

			
		

	





	

		

			

				
					
bert模型自定义分词器

				
			

			

				

					02-19
				

			

		

		

			
				
### 创建自定义分词器以适配 BERT 模型  为了使 BERT 模型能够处理特定领域或数据集中的文本，创建一个自定义分词器是非常重要的。这可以通过使用 `Hugging Face` 的工具包并结合 `SentencePiece` 来完成。  #### ...

			
		

	





	

		

			

				
					
BERT模型中词汇表（Vocabulary）的具体结构和组成是怎样的？

				
			

			

				

					11-15
				

			

		

		

			
				
BERT模型的词汇表（Vocabulary），也称为Tokenizer，通常由两部分组成：预训练词汇（Pre-trained Vocabulary）和自定义词汇（Custom Vocabulary）。预训练词汇包含了BERT模型在其训练过程中使用的大量常见单词、符号...

			
		

	





	

		

			

				
					
bert模型加载、预训练、推理的教程

				
			

			

				

					qq_36545573的博客
				

				

					10-22
					
					3050
					
				

			

		

		

			
				
这篇文章介绍了如何使用 Hugging Face 的 transformers 库进行 BERT 模型的加载与推理，适合初学者。通过详细的代码示例，展示了如何使用 AutoTokenizer 和 AutoModelForMaskedLM 加载预训练模型并对中文句子进行推理，提取其隐藏状态。文章还解释了 Tokenizer 的作用、掩码语言模型（MLM）的工作原理，并提供了英文 BERT 模型示例，展示了如何进行词汇预测任务。这有助于读者更好地理解预训练模型在文本表示中的应用

			
		

	





	

		

			

				
					
BERT模型可视化：用TensorBoard理解模型内部机制

				
			

			

				

					AI智能探索者的博客
				

				

					06-16
					
					778
					
				

			

		

		

			
				
BERT的神经网络层级结构（到底有多少层？每层长什么样？训练过程中损失/准确率的变化规律（模型是否稳定收敛？自注意力机制的“关注焦点”（模型更在意句子中的哪些词？词向量的空间分布（同义词是否在向量空间中“相邻”？本文从“为什么需要可视化”出发，先通俗解释BERT和TensorBoard的核心概念，再通过实战代码演示如何用TensorBoard记录BERT的关键信息，最后结合可视化结果解读模型行为。BERT结构：12层Transformer编码器，每层含自注意力和前馈网络。TensorBoard功能。

			
		

	





	

		

			

				
					
利用 Bert 将文本token化

				
			

			

				

					2401_84495872的博客
				

				

					08-16
					
					1752
					
				

			

		

		

			
				
在[Token 到底是个啥]？​这篇文章中，介绍了token的概念。我们可以这么认为，token是自然语言处理场景中（如文本生成、AI聊天），AI模型处理的最小单位。在计算机视觉中，模型是以像素为单位，来处理图像像素之间的关系的，而语言模型则是以token为单位来理解token之间的关系。下面我将通过一个小例子，来展示一下语言模型是如何将一段文本转换为token的，以及模型将文本转换为token之后是什么样子。通过这个例子，希望你可以对模型处理 token 这个过程有一个感性的认识。

			
		

	





	

		

			

				
					
BERT中的Tokenizer说明

					
热门推荐

				
			

			

				

					weixin_42223207的博客
				

				

					08-03
					
					3万+
					
				

			

		

		

			
				
BERT中的Tokenizer说明

			
		

	





	

		

			

				
					
预训练模型-词汇表：bert-base-uncased【vocab.txt；共30522个subword】

				
			

			

				

					u013250861的博客
				

				

					09-29
					
					6374
					
				

			

		

		

			
				
预训练模型-词汇表：bert-base-uncased【vocab.txt；共30522个subword】



			
		

	





	

		

			

				
					
使用BERT模型生成token级向量

				
			

			

				

					周晓松的个人主页
				

				

					08-23
					
					2146
					
				

			

		

		

			
				
本文默认读者有一定的Transformer基础，如果没有，请先稍作学习Transormer以及BERT。
相信网上有很多方法可以生成BERT向量，最有代表性的一个就是bert as service，用几行代码就可以生成向量，但是这样生成的是句向量，也就是说，正确的做法是输入一句句子：
我是一个中国人，我热爱着中国的每一个城市。
输出的是这句句子的向量，一个768维的向量(google预训...

			
		

	





	

		

			

				
					
BERT模型中句子Tokenize和ID转换的过程

				
			

			

				

					SimpleLearning
				

				

					03-26
					
					1289
					
				

			

		

		

			
				
当我们使用BERT或其他类似的预训练语言模型时，将句子转换为token的过程通常涉及以下几个步骤：初始化Tokenizer：首先，我们需要导入相应的Tokenizer类，并根据需求选择合适的预训练模型进行初始化。分词（Tokenization）：分词是将句子分割成单词或者子词（subword）的过程。这个过程通常包括将句子转换为小写（如果使用的模型支持小写输入）、识别并标记单词边界、将单词分割为子词（如果使用的是基于WordPiece或Byte-Pair Encoding的模型），等等。

			
		

	





	

		

			

				
					
BERT 提取特征 (extract_features.py) 源码分析 代码简化

				
			

			

				

					ling620的专栏
				

				

					07-30
					
					1万+
					
				

			

		

		

			
				
文章目录源码分析1. 输入参数2. 主流程3. read_examples4. convert_examples_to_features5. model_fn_builder()6. input_fn_builder代码简化
之前的文章介绍了如何使用Bert的extract_features.py去提取特征向量，本文对源码进一步的分析。
BERT之提取特征向量 及 bert-as-server的使...

			
		

	





	

		

			

				
					
（教程）如何在BERT模型中添加自己的词汇（pytorch版）

				
			

			

				

					学姐带你玩AI的博客
				

				

					01-24
					
					3172
					
				

			

		

		

			
				
参考文章：NLP | How to add a domain-specific vocabulary (new tokens) to a subword tokenizer already trained like BERT WordPiece | by Pierre Guillou | Medium

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			
			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值