LLM--如何使用SentenceTransformer将文本向量化

已于 2024-03-31 09:42:36 修改
阅读量1.2k 收藏
点赞数 10
分类专栏： AI 程序员实用工具集合 文章标签： LLM GPT 向量化 Vector NLP
于 2024-03-31 09:41:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/penriver/article/details/137191171
版权
本文介绍了如何使用SentenceTransformer库进行文本向量化，包括安装步骤、模型下载和环境变量设置，以支持自然语言处理任务如相似度计算、检索和文本摘要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

将文本向量化是自然语言处理（NLP）中的一项关键步骤，其主要目的是将原本难以直接被计算机理解的自然语言文本转换成数值形式的向量，以便于后续的机器学习算法和深度学习模型进行处理、分析和建模

1. 如何安装SentenceTransformer

安装参考：
https://pypi.org/project/sentence-transformers/
https://www.sbert.net/docs/pretrained_models.html

1.1. 安装步骤

pip install -U sentence-transformers

1.2. 使用示例

示例1


                

                
                
        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    


                



	

		

			

				
					
SentenceTransformers库介绍

				
			

			

				

					优快云 精品推荐
				

				

					03-07
					
					3662
					
				

			

		

		

			
				
对于NLP有个常见的任务就是计算不同文本之间的相似度，对于文本来讲我们是用Embedding向量来进行表示，因为这个嵌入向量就已经蕴含了该文本的语义信息，所以我们可以根据这个向量来计算文本之间的相似度。这个框架计算超过100种语言的句子或文本嵌入。然后，这些嵌入可以进行比较，例如与余弦相似度进行比较，以找到具有相似含义的句子，这对于语义文本相似、语义搜索或释义挖掘非常有用。该框架基于PyTorch和Transformer，并提供了大量预训练的模型集合，用于各种任务，此外，很容易微调您自己的模型。

			
		

	



                

            
              



	

		

			

				
					
llm-medical-data用于大模型微调训练的医疗数据集_llm-medical-data.zip

				
			

			

				

					09-15
				

			

		

		

			
				
在未来的应用中，"llm-medical-data" 数据集有望在药物研发、疾病诊断、个性化治疗建议、临床决策支持等多个方面发挥巨大作用。随着人工智能技术在医疗领域的深入应用，这个数据集很可能成为推动医疗人工智能发展的...

			
		

	



              


  
              

                


	

		

			

				
					
SentenceTransformer使用多GPU加速向量化

				
			

			

				

					qq_44193969的博客
				

				

					10-11
					
					3816
					
				

			

		

		

			
				
当我们需要对大规模的数据向量化以存到向量数据库中时，且服务器上有多个GPU可以支配，我们希望同时利用所有的GPU来并行这一过程，加速向量化。

			
		

	





	

		

			

				
					
【无标题】

				
			

			

				

					无极低码
				

				

					03-03
					
					755
					
				

			

		

		

			
				
以下是使用模型的完整过程步骤，包括安装依赖、加载模型、编码文本、计算相似度、以及实际应用示例。

			
		

	



		

			
		



	

		

			

				
					
pip安装sentence-transformers版本冲突

				
			

			

				

					SENRANHumphrey的博客
				

				

					04-12
					
					1857
					
				

			

		

		

			
				
pip在安装sentence-transformers时不会完全考虑各个版本的兼容性,会出现transformer和sentence-transformers的版本冲突问题.这时候需要手动重新安装transformer的版本.所以我pip install transformers==4.32.0,但是又出现了如下错误。最终pip install transformers==4.36.0,成功解决。这里tokennizers出现了版本兼容问题。

			
		

	





	

		

			

				
					
安装sentence_transformers之后仍然报ModuleNotFoundError: No module named ‘sentence_transformers‘解决办法

				
			

			

				

					Tom_Blibe的博客
				

				

					09-21
					
					5267
					
				

			

		

		

			
				
在File -> setting -> Project:xxx -> Project interpreter -> 点击“+” -> 搜索“sentence_transformers" -> 点击”install"但是安装成功后项目内 from sentence_transformers import SentenceTransformer仍然爆红。再次安装，这次显示requirement satisfied，需求已满足。在网上看了好多的解决办法，感觉都在说车轱辘话，没什么用。返回项目，发现不再爆红。

			
		

	





	

		

			

				
					
SentenceTransformer简单使用

				
			

			

				

					make_progress的博客
				

				

					03-03
					
					2032
					
				

			

		

		

			
				
SentenceTransformer主要用于对句子、文本和图像进行嵌入。可用于文本和图像的相似度对比查找等。

			
		

	





	

		

			

				
					
sentence_transformers‘下载，ModuleNotFoundError: No module named ‘sentence_transformers‘

				
			

			

				

					Eskiii的博客
				

				

					08-22
					
					1519
					
				

			

		

		

			
				
sentence_transformers'下载，ModuleNotFoundError: No module named 'sentence_transformers'

			
		

	





	

		

			

				
					
从ID-based到LLM-based使用LLM的基于内容的多模态推荐系统

				
			

			

				

					11-21
				

			

		

		

			
				
从ID-based到LLM-based使用LLM的基于内容的多模态推荐系统

			
		

	





	

		

			

				
					
LLM-interview

				
			

			

				

					02-26
				

			

		

		

			
				
LLM-interview的学习路线是一项旨在帮助学习者系统掌握大型语言模型（LLM）相关知识的计划。在当前人工智能快速发展的背景下，大型语言模型已经成为自然语言处理领域的一个重要分支。LLM通过深度学习技术能够对自然...

			
		

	





	

		

			

				
					
MindSpeed-LLM-人工智能资源

					
最新发布

				
			

			

				

					03-15
				

			

		

		

			
				
MindSpeed-LLM-人工智能资源是一份专注于LLM（Large Language Models）的集合，该集合旨在为开发者和研究人员提供一个全面的资源包，以便他们能够更容易地在人工智能领域，特别是与语言模型相关的领域进行研究和开发...

			
		

	





	

		

			

				
					
小白学NLP：Sentence Transformers教程

				
			

			

				

					2401_85378759的博客
				

				

					10-26
					
					5696
					
				

			

		

		

			
				
Sentence Transformers（简称SBERT）是一个Python模块，用于访问、使用和训练最先进的文本和图像嵌入模型。**它可以用来通过Sentence Transformer模型计算嵌入向量，或者使用Cross-Encoder模型计算相似度分数。**本相似度和意译挖掘等。

			
		

	





	

		

			

				
					
使用transformers框架导入bert模型提取中文词向量

				
			

			

				

					weixin_42280271的博客
				

				

					12-16
					
					2470
					
				

			

		

		

			
				
在笔者的上一篇文章中提到了如何将词语转变成计算机能够识别的语言，即将文本数据转换成计算机能够运算的数字或者向量这个概念，并详细阐述了word2vec这个模型的原理，如何在gensim框架下使用word2vec将单词转变成一个能够表达单词特征的向量。但是在gensim框架下使用word2vec模型提取特征向量之前，需要准备一些场景中的语料，同事也需要对语料进行分词操作，然后再输入到模型中进行训练，最后才可以用训练好的模型进行特征提取。

			
		

	





	

		

			

				
					
人工智能学习与实训笔记（五）：神经网络之NLP进阶—词向量模型及NLP实战

				
			

			

				

					weixin_45512098的博客
				

				

					10-14
					
					2517
					
				

			

		

		

			
				
本文介绍词向量处理和预训练模型微调方法

			
		

	





	

		

			

				
					
win10系统 python3.11.9 的 sentence_transformers安装报错解决

				
			

			

				

					weixin_45312236的博客
				

				

					07-23
					
					991
					
				

			

		

		

			
				
报错的解决可以直接看 ‘解决方法’ 这块。

			
		

	





	

		

			

				
					
学习记录：sentence-transformers与transformers 冲突

				
			

			

				

					weixin_48473914的博客
				

				

					04-12
					
					811
					
				

			

		

		

			
				
调整版本：完美解决。

			
		

	





	

		

			

				
					
pip安装sentence transformer失败原因解析

				
			

			

				

					Meiling_up
				

				

					11-17
					
					2767
					
				

			

		

		

			
				
linux服务器pip安装sentence-transformers 等任何库一定记得连网啊！！！

			
		

	





	

		

			

				
					
安装sentence-transformers

				
			

			

				

					RinaWong的博客
				

				

					02-11
					
					8586
					
				

			

		

		

			
				
点击此处可访问SBERT官方代码(GitHub)


在安装sentence-transformers之前需要确保以下条件：
We recommend Python 3.6 or higher, PyTorch 1.6.0 or higher and transformers v4.6.0 or higher. The code does not work with Python 2.7.

一、安装PyTorch

点击此处可访问PyTorch官网
点击此处可查看PyTorch历史版本安装说明

pip.

			
		

	





	

		

			

				
					
sentence-transformers安装方法

				
			

			

				

					weixin_62456514的博客
				

				

					06-20
					
					918
					
				

			

		

		

			
				
sentence-transformers是一个基于Python的库，它专门用于句子、文本和图像的嵌入。这个库可以计算100多种语言的文本嵌入，并且这些嵌入可以轻松地用于语义文本相似性、语义搜索和同义词挖掘等任务。sentence-transformers基于PyTorch和Transformers库构建，提供了大量针对各种自然语言处理任务的预训练模型。此外，用户还可以根据自己的需求对模型进行微调。

			
		

	





	

		

			

				
					
cherry studio 向量化

				
			

			

				

					02-19
				

			

		

		

			
				
该平台支持多种大型语言模型（LLM），并允许用户通过集成不同的组件来创建复杂的工作流，其中包括向量化处理。  #### 向量化的重要性  在构建私有知识库的过程中，向量化扮演着至关重要的角色。具体来说，在基于 ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
enjoy编程

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值