Sagemaker加载spacy model出错: OSError: Can't find model

最新推荐文章于 2024-09-19 21:10:17 发布

原创最新推荐文章于 2024-09-19 21:10:17 发布 · 652 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #机器学习 #aws

本文分享了在Jupyter Notebook环境下解决Spacy模型下载及链接问题的详细步骤，包括使用conda环境遇到的问题及最终通过GitHub下载模型并成功加载的解决方案。

一般情况下在jupyter notebook中下载Spacy model的指令为

!python -m spacy download en_core_web_lg

然而可能是由于我用的是conda环境, load模型的时候出错显示找不到模型. 我首先尝试了开一个terminal去再试一遍. 使用了以下指令:

python -m spacy download en

conda install -c conda-forge spacy

python -m spacy download en_core_web_sm

python -m spacy link en_core_web_sm en

在这里插入图片描述
然而回notebook运行依旧不行, 所以就放弃terminal直接在notebook下加了以下代码

!pip install https://github.com/explosion/spacy-models/releases/download/fr_core_news_md-2.2.5/fr_core_news_md-2.2.5.tar.gz
!python -m spacy download fr_core_news_md
!python -m spacy link fr_core_news_md fr

最后一行只是为了load的时候简化下名称. 总之我就是从github上也下载了一遍model, 然后就可以使用了
具体需要那个语言模型可以在github上找: https://github.com/explosion/spacy-models/releases/
然后在download处copy link即可
在这里插入图片描述
其实我并没有真正明白是哪里出了问题, 只是试到了解决方法, 如果有朋友有同样困惑不妨一试. 问题的根源希望大家能留言指教, 谢谢!