modelscope安装并下载模型文件

目录

1. 安装modescope工具

2. 下载模型文件


大模型开发过程中,一般需要下载模型文件,在国内经常使用modescope工具,首先需要安装modescope工具

1. 安装modescope工具

安装时指定国内的源,执行下列命令:
pip install modelscope -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

输出以下内容,表示工具安装成功

Looking in indexes: https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
Collecting modelscope
  Downloading https://mirrors.tuna.tsinghua.edu.cn/pypi/web/packages/8e/6e/50fed6b37503accb0199153d3c18884380797b40491b11bd03279cd2d698/modelscope-1.26.0-py3-none-any.whl (5.9 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 5.9/5.9 MB 10.0 MB/s eta 0:00:00
Collecting requests>=2.25 (from modelscope)
  Downloading https://mirrors.tuna.tsinghua.edu.cn/pypi/web/packages/f9/9b/335f9764261e915ed497fcdeb11df5dfd6f7bf257d4a6a2a686d80da4d54/requests-2.32.3-py3-none-any.whl (64 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 64.9/64.9 kB 214.2 kB/s eta 0:00:00
Collecting tqdm>=4.64.0 (from modelscope)
  Downloading https://mirrors.tuna.tsinghua.edu.cn/pypi/web/packages/d0/30/dc54f88dd4a2b5dc8a0279bdd7270e735851848b762aeb1c1184ed1f6b14/tqdm-4.67.1-py3-none-any.whl (78 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 78.5/78.5 kB 1.5 MB/s eta 0:00:00
Collecting urllib3>=1.26 (from modelscope)
  Downloading https://mirrors.tuna.tsinghua.edu.cn/pypi/web/packages/6b/11/cc635220681e93a0183390e26485430ca2c7b5f9d33b15c74c2861cb8091/urllib3-2.4.0-py3-none-any.whl (128 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 128.7/128.7 kB 1.5 MB/s eta 0:00:00
Collecting charset-normalizer<4,>=2 (from requests>=2.25->modelscope)
  Downloading https://mirrors.tuna.tsinghua.edu.cn/pypi/web/packages/8c/73/6ede2ec59bce19b3edf4209d70004253ec5f4e319f9a2e3f2f15601ed5f7/charset_normalizer-3.4.2-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (148 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 148.6/148.6 kB 1.5 MB/s eta 0:00:00
Collecting idna<4,>=2.5 (from requests>=2.25->modelscope)
  Downloading https://mirrors.tuna.tsinghua.edu.cn/pypi/web/packages/76/c6/c88e154df9c4e1a2a66ccf0005a88dfb2650c1dffb6f5ce603dfbd452ce3/idna-3.10-py3-none-any.whl (70 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 70.4/70.4 kB 202.7 kB/s eta 0:00:00
Collecting certifi>=2017.4.17 (from requests>=2.25->modelscope)
  Downloading https://mirrors.tuna.tsinghua.edu.cn/pypi/web/packages/4a/7e/3db2bd1b1f9e95f7cddca6d6e75e2f2bd9f51b1246e546d88addca0106bd/certifi-2025.4.26-py3-none-any.whl (159 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 159.6/159.6 kB 369.1 kB/s eta 0:00:00
Installing collected packages: urllib3, tqdm, idna, charset-normalizer, certifi, requests, modelscope
Successfully installed certifi-2025.4.26 charset-normalizer-3.4.2 idna-3.10 modelscope-1.26.0 requests-2.32.3 tqdm-4.67.1 urllib3-2.4.0

2. 下载模型文件

验证效果,尝试下载以下Qwen3-32B模型,执行命令:

modelscope download --model 'Qwen3-32B' --local_dir '/home/model/Qwen3-32B'

指定将下载的模型文件,存储在 /home/model/Qwen3-32B 目录,显示类似下面的信息,表示模型文件下载成功了

Downloading [config.json]: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 795/795 [00:00<00:00, 1.88kB/s]
Downloading [README.md]: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16.8k/16.8k [00:00<00:00, 48.1kB/s]
Downloading [tokenizer_config.json]: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.15k/1.15k [00:00<00:00, 3.71kB/s]
Downloading [special_tokens_map.json]: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 964/964 [00:00<00:00, 1.98kB/s]
Downloading [sentencepiece.bpe.model]: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.83M/4.83M [00:07<00:00, 638kB/s]
                                                                                                                                                                                                                                            l
Downloading [tokenizer.json]: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16.3M/16.3M [00:57<00:00, 299kB/s]
Downloading [model.safetensors]: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.12G/2.12G [31:55<00:00, 1.19MB/s]
Processing 13 items: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 13.0/13.0 [31:55<00:00, 147s/it]

在Mac上安装和配置ModelScope涉及几个关键步骤,包括环境准备、依赖项安装以及测试运行。以下是一个完整的指南。 ### 安装 ModelScope 1. **安装 Python** 确保你的系统中已安装 Python 3.8 或更高版本。可以通过 Homebrew 安装最新版的 Python: ```bash brew install python ``` 2. **创建虚拟环境(可选)** 使用 `venv` 创建一个隔离的 Python 环境来管理项目依赖: ```bash python3 -m venv modelscope_env source modelscope_env/bin/activate ``` 3. **安装 ModelScope** 可以通过 pip 安装 ModelScope 的官方包: ```bash pip install modelscope ``` 如果遇到网络问题,可以使用国内镜像源加速下载: ```bash pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple ``` 4. **验证安装** 安装完成后,可以通过以下命令验证是否成功: ```python import modelscope print(modelscope.__version__) ``` ### 配置 ModelScope 1. **设置模型存储路径** 默认情况下,ModelScope 会将模型缓存到用户目录下的 `.modelscope` 文件夹中。如果需要更改此路径,可以通过设置环境变量 `MODELSCOPE_CACHE` 来指定新的位置: ```bash export MODELSCOPE_CACHE=/path/to/your/model/folder ``` 2. **加载预训练模型** ModelScope 提供了多种方式来加载预训练模型。以下是几种常见的方法: - **直接加载模型** 可以通过 `from_pretrained` 方法直接从 ModelScope 加载模型和对应的 tokenizer: ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-1.8B-Chat", device_map="cpu") tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-1.8B-Chat") inputs = tokenizer("你好呀,你是谁?", return_tensors="pt") outputs = model.generate(**inputs, max_new_tokens=128) print(tokenizer.decode(outputs[0])) ``` - **从 ModelScope 下载特定文件** 如果你需要手动下载某些模型文件,可以使用 `download_from_modelscope` 函数: ```python from diffsynth.models.downloader import download_from_modelscope download_from_modelscope("Kwai-Kolors/Kolors", "vae/diffusion_pytorch_model.fp16.bin", "models/kolors/Kolors/vae") ``` 3. **优化性能(适用于 Mac M1/M2 芯片)** 如果你使用的是 Apple Silicon(如 M1 或 M2 芯片),可以通过启用 MPS(Metal Performance Shaders)来加速推理过程。首先确保 PyTorch 支持 MPS,然后设置环境变量: ```bash export PYTORCH_ENABLE_MPS_FALLBACK=1 ``` 接着,在代码中指定设备为 `mps`: ```python import torch device = torch.device("mps" if torch.backends.mps.is_available() else "cpu") model.to(device) ``` 4. **运行生成任务** ModelScope 支持多种生成任务,例如生成视频或图像。以下是一个生成视频的示例命令: ```bash python3 generate_video.py --model_id ${model_id} --resolution 540P --num_frames 97 --prompt "您的文本描述" --offload ``` ### 注意事项 - **依赖管理**:根据不同的模型需求,可能还需要安装额外的库,例如 `transformers` 和 `torch`。 - **硬件要求**:对于较大的模型,建议使用具有足够内存的设备进行推理,尤其是在使用 GPU 加速时。 - **兼容性**:部分功能可能不支持所有硬件平台,特别是对于没有 CUDA 支持的设备(如某些 Mac 系统)。 通过以上步骤,你应该能够在 Mac 上顺利安装配置 ModelScope开始使用它来进行各种 AI 任务。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值