MiniCPM-V 2.6 本地快速部署使用

部署教程很多,但是感觉不够直接,小白的我就是拿来就用的,所以写个最最最直接的。

下载:

下载模型权重:

git clone https://huggingface.co/openbmb/MiniCPM-V-2_6

git clone https://www.modelscope.cn/models/openbmb/minicpm-v-2_6

下载MiniCPM方便直接运行py用

git clone https://github.com/OpenBMB/MiniCPM-V.git

安装环境

conda create -n MiniCPMV python=3.10 -y
conda activate MiniCPMV

#进入刚下载的文件夹
cd MiniCPM-V

pip install -r requirements.txt

修改模型文件地址:

Mini CPM-V文件夹下的web_demo_2.6.py

运行

# 对于 NVIDIA GPU,请运行:
python web_demo_2.6.py --device cuda

提问回答:

它说自己是OpenAI的   晕

识别图片:

### 如何在本地环境中部署 MiniCPM-o 2.6 为了成功在本地环境部署 MiniCPM-o 2.6,可以按照以下方法操作: #### 准备工作 首先需要确保开发环境已经安装必要的依赖项以及工具链。这通常包括 Python 的适当版本(建议使用 Python 3.8 或更高版本),并配置好虚拟环境以便隔离项目所需的库。 #### 获取代码仓库 通过 Git 命令获取项目的源码文件是一个标准流程: ```bash git clone https://github.com/OpenBMB/MiniCPM-V.git cd MiniCPM-V ``` 上述命令用于克隆指定的 GitHub 仓库至本地,并切换到对应的目录下继续后续的操作[^3]。 #### 安装依赖包 进入目标路径之后,需执行 pip 工具来完成所需软件包的下载与设置。如果存在 `requirements.txt` 文件,则可以通过下面的方式快速加载所有必需组件: ```bash pip install -r requirements.txt ``` #### 下载预训练权重 对于像 MiniCPM-o 2.6 这样的大型语言模型来说,其性能很大程度上取决于高质量参数初始化的结果。因此,在实际应用前还需要单独准备或者拉取官方发布的最新版权重数据集。具体位置可以根据官方文档指引找到链接地址进行手动同步;当然也支持利用脚本自动化实现这一环节。 #### 微调简易指南 如果有特定领域任务需求的话,可能涉及进一步调整基础架构使之更贴合业务场景特点的过程即所谓“微调”。这部分内容已经在相关资料中有提及过相应技巧可供参考学习[^1]。 #### 测试验证阶段 最后一步就是确认整个框架能否正常运转起来啦!一般情况下会提供几个样例输入供开发者初步检验成果效果如何。一旦发现问题所在则及时排查修复直至满足预期为止。 ```python from minicpm import Model model = Model.load_from_checkpoint('path/to/checkpoint') output = model.predict(input_data) print(output) ``` 以上便是关于如何在本地环境下顺利搭建起属于自己的 MiniCPM-o 2.6 实例的大致步骤概述了!
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值