在modelscope中下载LLM至本地运行

最新推荐文章于 2025-07-09 13:59:48 发布

小懒猪谢-

最新推荐文章于 2025-07-09 13:59:48 发布

阅读量1k

点赞数 3

CC 4.0 BY-SA版权

文章标签： python

本文链接：https://blog.youkuaiyun.com/hate_cpp/article/details/142814595

首先在modelscope

魔搭社区

中选择自己想要的模型，因为要下载到本地运行，所以需要考虑自己的gpu能带动多少b的模型，不然就会出现“CUDA OUT OF MEMORY” 的错误

然后点击想要的模型，最好新建一个conda环境。来下载usage这里的package

下面这个python文件是用来调用LLM的，如果在本地下载好了model的话，需要把这里的model = AutoModel.from_pretrain()这里的地址改一下，改成本地LLM所在的地址。

然后下载模型：这里用git下载最好了。就是看不到进度条……

然后再调试一下python文件就行了。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小懒猪谢-

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

AGI大模型（19）：下载模型到本地之ModelScope(魔搭社区)

u013938578的博客

05-16

328

本文介绍了如何安装、下载和使用Meta-Llama-3-8B模型。首先，通过pip命令从清华镜像源安装modelscope模块。接着，使用snapshot_download函数从ModelScope下载模型，并指定缓存目录。最后，通过SentenceTransformer加载本地模型路径，以便在本地环境中使用该模型。整个过程涵盖了从安装到本地部署的关键步骤，适合需要快速上手模型使用的开发者。

魔搭社区（modelscope）和huggingface下载模型到本地的方法

风信子的博客

05-12

1587

魔搭社区（modelscope）和huggingface下载模型到本地的方法

参与评论您还未登录，请先登录后发表或查看评论

ModelScope模型下载脚本

lldhsds的专栏

05-17

3886

根据需求更新下载的model_ids，model_id可以在modelscope官网进入具体的模型文件界面查询。分享一个自己写的下载ModelScope大模型文件的python脚本,支持多线程下载，支持多个模型一起下载。windows：cache_dir='C:\tmp'，将模型下载到C盘tmp目录；linux： cache_dir='/tmp'，将模型下载到/tmp目录；根据客户端配置修改下载的线程数，上述脚本为4线程，2.2 填写下载的model_ids。ModelScope模型下载脚本。

手动将ModelScope的模型下载到本地

u011250186的博客

06-13

439

手动将ModelScope的模型下载到本地

modelscope本地模型使用教程

热门推荐

weixin_44798538的博客

07-12

1万+

如果使用过模型，那么模型文件默认缓存地址：C:\Users\Administrator.cache\modelscope\hub。（miniconda 环境，需要提前安装 setuptools_scm）（左边的 base 变成了 modelscope，说明成功）#仅支持 CPU 的版本。

【工程实践】使用modelscope下载大模型文件

Dong_ZH的博客

12-08

5710

Modelscope（魔搭社区）是阿里达摩院的一款开源模型平台，里面提供了很多的热门模型供使用体验，其中的模型文件可以通过git clone 快速下载。并且为模型提供了Notebook的快速开发体验，使用阿里云服务，不需要额外部署机器进行模型的运行调试，即可自动在阿里云进行实例创建。

本地ollama的LLM模型运行微软GraphRAG

m0_38007743的博客

09-03

1060

在当前目录下新建一个目录./ragtest/input，用于存放我们初始化graphrag需要的相关文件。其中ragtest到时候系统会参数其他配置文件和目录，input目录需要我们自己放置要解析的txt文件。默认graphRag使用的openia的key，要改用本地的llm需要修改相应的代码和配置，我已经整理好修改步骤，按如下步骤修改即可。根据红色的位置，修改ragtest目录下的settings.yaml相应的内容。前面的步骤完成后，运行索引，创建graph。脚本原来以上两个原函数，使用的新脚本替换。

LLM实践——下载、加载（启动）、微调、量化等

lucky_chaichai的博客

12-05

1146

也可以使用git的方式，但是这个方式很慢，而且容易中途出现中断，或者下载的模型文件不完整。下面以lora方式微调为例（可以将bash命令写入.sh文件中，直接运行该文件。1、安装并部署api-for-open-llm；[ 下面这种方式还有具体实践过，待验证 ]3、启动api-for-open-llm；2、根据私有大模型信息修改配置文件；仅为机器性能结果，模型微调的效果。4、openai方式调用。

大模型运行ollama、vllm、huggingface、modelscope

qq_41359817的博客

11-15

3738

（1）拉取镜像（2）启动（3）启动完成后，您可以通过访问 http://<您的IP地址>:11434/api/tags 来查看当前已下载的大模型列表。同时，通过访问 http://<您的IP地址>:11434/api/version 可以获取当前安装的 Ollama 版本信息。

使用XINFERENCE快速本地运行LLM

MoyiTech

07-29

1226

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。

基于ModelScope打造本地AI模型加速下载方案

weixin_42429220的博客

11-10

1415

在AI开发过程中,模型下载一直是一个让开发者头疼的问题。目前主流的模型下载渠道如下:最大的模型分享平台下载速度慢,经常需要科学上网模型版本更新及时Hugging Face镜像 (https://hf-mirror.com/)提供了一定的加速服务存在连接超时问题稳定性有待提高阿里开源的国内模型平台下载速度快但对Swift等语言支持不足。

使用 ModelScope 本地部署图片变视频模型

hawk2014bj的博客

08-02

1204

ModelScope 最大的优点就是安装了所有运行模型需要的依赖库，可以说是一键运行。下载模型速度也非常快，能够快速体验所有的模型，如果本地没有资源也可以是使用 ModelScope 提供的工作空间，需要付费。本文使用的环境操作系统 Ubuntu、GPU 2080ti 22G。

ModelScope下载模型

weixin_46316820的博客

01-25

2987

在 ModelScope 中，snapshot_download 是一个非常有用的工具，可以直接下载模型文件到指定路径，而无需加载模型。

使用modelscope下载到指定的文件夹

最新发布

柯影的博客

07-09

346

本文介绍了如何通过ModelScope下载Qwen2.5-VL-3B模型到本地。

本地部署model scope魔搭大模型流程

CQller的博客

02-17

4052

涵盖了构建和训练视频审核模型所需的主要工具和库。这些库能够支持从数据处理、模型训练到超参数优化以及实验跟踪的完整流程。

ModelScope 模型下载

2509_92058858的博客

05-16

2428

本文详细介绍了在ModelScope社区下载模型的三种主要方式：使用命令行工具、ModelScope SDK以及Git。默认情况下，模型会下载到~/.cache/modelscope/hub目录，但可以通过设置环境变量MODELSCOPE_CACHE来修改缓存路径。命令行工具支持下载整个模型仓库或指定文件，并允许通过--include和--exclude参数进行文件过滤

利用modelscope下载模型

qq_42178122的博客

08-18

2113

ModelScope作为一个先进的“模型即服务”(MaaS)平台，它的核心在于汇聚人工智能领域的尖端模型，降低了在现实世界应用这些前沿技术的门槛。该平台通过ModelScope库展现了其强大功能，这一库专为简化开发者体验而设计，无论是在计算机视觉（CV）、自然语言处理（NLP）、语音识别、多模态分析，还是科学计算领域，它都能提供一个统一、高效的接口去执行推理、定制训练及性能评估任务。

modelscope 下载模型

02-10

### 如何从 ModelScope 下载模型 #### 安装依赖库为了能够顺利下载模型，需先安装 `modelscope` 库。这可以通过 Python 的包管理工具 pip 来完成。 ```bash pip install modelscope ``` #### 准备工作区创建并激活一个新的 Conda 虚拟环境有助于隔离项目依赖关系，保持开发环境整洁有序[^3]。 ```bash conda create -n ms python=3.9 conda activate ms pip install modelscope jupyterlab ``` #### 编写下载脚本通过调用 `snapshot_download` 方法可以方便地获取所需模型，并将其保存至本地磁盘上的特定位置。 ```python from modelscope import snapshot_download # 设置目标模型ID及存储路径 model_identifier = "Qwen/Qwen1.5-1.8B-Chat" destination_folder = "/home/llm/ai/model" # 执行下载操作 downloaded_model_directory = snapshot_download( model_identifier, cache_dir=destination_folder, revision="master" # 版本控制参数，默认为主分支最新版 ) print(f"模型已成功下载到目录 {downloaded_model_directory}") ``` 对于偏好命令行界面的用户来说，也可以采用 Git 方式克隆仓库来获得模型资源[^4]： ```bash git clone http://oauth2:<your_git_token>@www.modelscope.cn/<namespace>/<model-name>.git ``` 请注意替换 `<your_git_token>` 和其他占位符为实际值之前再运行上述指令。