从零体检一个魔塔社区模型(modelscope)最简单demo

从社区拿一个模型,比如以下这个链接 https://www.modelscope.cn/models/iic/cv_mobilenet-v2_bad-image-detecting

它的代码样例如下

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope.outputs import OutputKeys

img = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/dogs.jpg'
test_pipeline = pipeline(Tasks.bad_image_detecting, 'damo/cv_mobilenet-v2_bad-image-detecting')
result = test_pipeline(img)
print(result)

怎么在自己电脑环境中运行起来?

前期准备

首先安装一个Python环境,选最新版本安装就好了,然后把Python配置到环境变量。

按照官方文档的说法,需要安装一个conda环境,这里建议是安装一个miniconda版本,链接 Miniconda — Anaconda documentation

如果想要在cmd命令行使用,还可以将安装路径miniconda3\condabin配置到环境变量

最后在控制台输入 conda -V,能顺利显示版本号说明成功了。

C:\Users\Admin>conda -V
conda 24.5.0
创建一个conda环境

注意官方文档推荐使用python版本是3.8(如果提示没有权限Permission denied,那么使用管理员身份运行)

conda create --name modelscope python==3.8

通过 conda info -e检查是否存在modelscope环境

C:\Windows\System32>conda info -e
# conda environments:
#
base                     C:\ProgramData\miniconda3
modelscope               C:\ProgramData\miniconda3\envs\modelscope

在PyCharm使用conda环境

添加Python解释器 - Virtualenv环境,选择miniconda3\envs\modelscope下的Python.exe

其次配置Conda环境,选择现有环境modelscope

如果以上步骤都顺利,此时在PyCharm终端看到的Python环境应该是

(modelscope) PS E:\GitHub\blogsCodeSimple\新建文件夹\modelscopeDemo> python   
Python 3.8.0 (default, Nov  6 2019, 16:00:02) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.

然后拉取 modelscope[framework]opencv-python

点击运行即可(如果提示没有权限Permission denied,那么使用管理员身份运行PyCharm)

最后输出如下

{'scores': [1.0, 2.5564614e-10, 3.6810602e-13], 'labels': ['正常', '绿屏', '花屏']}

 

原创作者: yinghualuowu 转载于: https://www.cnblogs.com/yinghualuowu/p/18342418
### 如何在魔塔社区微调 Qwen3:8B 大模型 要在魔塔社区 (ModelScope) 上微调 Qwen3:8B 大模型,可以按照以下方法操作: #### 准备工作 为了成功完成微调过程,需先安装必要的依赖项。可以通过运行以下命令来设置环境: ```bash pip install -e .[metrics,modelscope,qwen] pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl ``` 这些工具包提供了对 PyTorch 的支持以及其他必需的功能模块[^4]。 #### 下载并加载模型ModelScope 平台获取 Qwen3:8B 模型文件后,在 Python 脚本中通过 `from_pretrained` 方法指定本地路径而非远程仓库名称即可初始化模型及其对应的分词器 tokenizer[^3]。具体实现如下所示: ```python from transformers import AutoTokenizer, AutoModelForCausalLM model_dir = "/path/to/local/model" tokenizer = AutoTokenizer.from_pretrained(model_dir) model = AutoModelForCausalLM.from_pretrained(model_dir) ``` #### 数据准备与处理 对于特定任务的数据集,应将其转换成适合输入给定语言模型的形式。通常这涉及 tokenization 步骤以及可能的其他自定义变换逻辑。确保数据格式匹配所选框架的要求。 #### 微调配置 基于目标应用场景调整超参数设定非常重要。例如学习率、批量大小等都会显著影响最终效果。推荐参考官方文档或者类似项目中的最佳实践案例来进行合理的选择。 #### 开始训练 当一切准备工作完成后便可以直接启动训练流程了。如果是在分布式环境中执行,则还需要额外考虑节点间通信等问题。 --- ### 注意事项 由于此过程中涉及到大量计算资源消耗,请务必确认硬件条件满足需求后再行动;另外也要注意遵循各平台的服务条款规定合法合规地使用相关技术成果[^1]^。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值