modelscope 多模态环境配置及问题解决

CV温故知新

已于 2023-07-21 12:32:31 修改

阅读量5.4k

点赞数 2

分类专栏：配置错误解决文章标签：多模态 mplug环境 ubuntu

于 2023-07-21 12:32:07 首次发布

本文链接：https://blog.youkuaiyun.com/lansebingxuan/article/details/131846918

版权

6 篇文章

订阅专栏

首先，参考文档安装配置Anaconda环境。安装完成后，执行如下命令为modelscope library创建对应的python环境。

conda create -n modelscope python=3.7

完成后输入如下命令进入环境

conda activate modelscope

进入pytorch官网https://pytorch.org/get-started/locally/选择合适的版本，注意这里一定和自己的cuda版本一致，若当前页面没有自己的cuda版本，可以点击图中红字寻找历史版本。

在这里插入图片描述
如下图，根据自己的机器环境和CUDA版本选择，我的环境是Ubuntu系统，CUDA是10.2,因此选择下面红框的命令安装。

pip install torch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1

1. PIP安装
ModelScope Libarary由核心框架，以及不同领域模型的对接组件组成。如果只需要ModelScope模型和数据集访问等基础能力，可以只安装ModelScope的核心框架：

pip install modelscope

如果需要进一步具体使用ModelScope平台上承载的，包括多模态，NLP，CV，语音等不同领域的模型，来进行模型推理以及模型训练、微调等能力，则需要安装各个领域上不同的依赖。例如，

如仅需体验多模态领域的模型，可执行如下命令安装领域依赖：

pip install "modelscope[multi-modal]"

2. 源码安装
可通过从GitHub上下载ModelScope源码进行安装。适合本地开发调试使用，修改源码后可以直接执行。 ModelScope的源码可以直接clone到本地：

git clone git@github.com:modelscope/modelscope.git
cd modelscope
git fetch origin master
git checkout master

如需体验多模态领域模型，可执行如下命令安装依赖：

pip install ".[multi-modal]"

安装成功后，即可使用对应领域模型进行推理，训练等操作。这里我们以NLP领域为例。安装后，可执行如下命令，运行中文分词任务，来验证安装是否正确：

python -c "from modelscope.pipelines import pipeline;print(pipeline('word-segmentation')('今天天气不错，适合 出去游玩'))"

1. 报错no module named ‘open_clip’

pip install open_clip_torch

2. modelscope.preprocessors.multi_modal requires the decord library but it was not found in your environment.

pip install decord>=0.6.0

详细教程参见modelscope官网