embedding模型 Instructor-embedding安装/推理报错解决方案

背景

在按照https://github.com/xlang-ai/instructor-embedding中的指引安装embedding模型instructor时,遇到了多种报错。比如:

INSTRUCTOR._load_sbert_model() got an unexpected keyword argument 'local_files_only'

 或

instructor embedding cannot import name 'cached_download' from 'huggingface_hub' 

以及

No such file or directory: 'hkunlp/instructor-large/modules.json'

原因是现在的transformers、huggingface库更新速度太快,基本上月更,所以需要修补各种版本上的问题。

解决方案

直接用sentence-transformer框架进行推理,读取权重文件。

pip install sentence-transformers -q
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("hkunlp/instructor-large", trust_remote_code=True)
sentence = "3D ActionSLAM: wearable person tracking in multi-floor environments"
instruction = "Represent the Science title:"
embeddings = model.encode([[instruction,sentence]])
print(embeddings)

注:默认embeddings未经过normalize

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值