ollama部署的qwen2.5:32b突然消失

背景

在开发环境中用ollama部署了qwen2.5:32b模型,在之前一段时间都是正常使用的。突然某一天发现再次调用接口时发现模型没了。

  • 接口返回结果{“error”:“model “qwen2.5:32b” not found, try pulling it first”}。
  • 通过 ollama list 查看发现所有的模型都消失了。
  • 通过ollama ps 查看发现qwen2.5:32b还在运行。

next

如果有遇到类似问题的网友欢迎评论、交换意见。

### 部署 Qwen2.5-Coder-32B-Instruct 至 Ollama 平台 为了在Ollama平台上成功部署Qwen2.5-Coder-32B-Instruct模型,需遵循特定流程来准备环境并上传模型文件。以下是具体操作指南: #### 准备工作 确保本地环境中已安装必要的软件包以便于后续操作顺利进行。创建一个新的Conda虚拟环境用于隔离依赖项,并激活此环境。 ```bash conda create -n ollama_env python=3.10 conda activate ollama_env pip install modelscope requests ``` #### 下载模型 利用ModelScope工具下载目标模型至指定路径下,这一步骤至关重要因为只有获取到了实际的权重文件才能继续下一步的工作。 ```bash modelscope download --model 'Qwen/Qwen2.5-Coder-32B-Instruct' --local_dir './qwen_model' ``` #### 转换模型格式 考虑到Ollama平台可能接受特定格式的输入,因此需要确认所使用的框架支持哪种类型的文件作为其加载对象。如果必要的话,则要对原始`.bin`或其他形式的数据集做适当转换处理以匹配API预期的要求。 对于某些情况而言,可以尝试使用HuggingFace Transformers库来进行序列化或反序列化的调整作业;不过针对本案例中的大型预训练语言模型来说,更推荐直接按照官方文档指示完成迁移过程[^1]。 #### 注册与配置Ollama服务端口 登录到个人账户页面设置好相应的参数选项(比如实例规格、存储位置等),接着通过命令行界面或者其他图形界面对话框提交任务请求给云端服务器执行初始化动作。 假设已经完成了上述准备工作之后,现在可以通过RESTful API接口向远程主机发送POST消息实现自动化部署目的。这里给出Python脚本片段示范怎样构建这样的调用逻辑: ```python import os import json import requests def deploy_to_ollama(api_key, model_path): url = "https://api.ollama.com/v1/models" headers = { "Authorization": f"Bearer {api_key}", "Content-Type": "application/json", } payload = { "name": "Qwen2.5-Coder-32B-Instruct", "source": open(model_path, 'rb'), "framework": "transformers", # 或者其他适用的选择 } response = requests.post(url=url, files=payload, headers=headers) if response.status_code == 200: print("Deployment succeeded.") else: raise Exception(f"Failed to deploy with status code {response.status_code}: {response.text}") if __name__ == "__main__": api_token = "<your_api_key_here>" local_model_directory = "./qwen_model" try: deploy_to_ollama(api_token, os.path.join(local_model_directory)) except Exception as e: print(e) ``` 请注意替换掉模板里的占位符变量值为真实的个人信息以及绝对地址字符串表示法。此外还需参照最新的开发者手册核实URL路径是否有所变动以免造成不必要的麻烦[^4]。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值