【自然语言处理与大模型】算力云平台上的大模型部署并实现远程调用

小oo呆

已于 2025-04-25 05:24:12 修改

阅读量2k

点赞数 21

分类专栏：【学习心得】【自然语言处理与大模型】文章标签：人工智能语言模型 web python 运维

于 2024-11-17 17:42:36 首次发布

本文链接：https://blog.youkuaiyun.com/qq_39780701/article/details/143831286

版权

以AutoDL算力云平台为例，部署国产开源ChatGLM3b模型。

一、准备工作

（1）准备一台算力服务器

首先，进入AutoDL官网的算力时长选择算力服务器资源。

创建好后会自动跳转控制台的“容器实例”界面，稍等片刻后选择“快捷工具 > JupyterLab”开始部署。

通过jupyter lab的形式远程访问算力服务器后点击“终端”。

（2）准备开源大模型的部署环境

你想部署哪个大模型就事先去GitHub或者Hugging face找到代码仓库，然后在终端中克隆项目，本文以ChatGLM3为例。

THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型https://github.com/THUDM/ChatGLM3

如果你按照本文的方式，通过Github来进拉取项目的话，还必须开启一下学术资源加速。输入命令开启学术资源加速（此方法只能用在AutoDL中）

在终端中输入命令进行项目克隆。

# 开启学术加速
source /etc/network_turbo

# 克隆ChatGLM3的项目仓库
git clone https://github.com/THUDM/ChatGLM3.git

# 关闭学术加速
unset http_proxy && unset https_proxy

使用con

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小oo呆

关注关注

21
点赞
踩
22

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【大模型】蓝耘智算云平台对接满血DeepSeek R1/R3 实战详解

congge

02-25

3861

蓝耘智算云平台对接满血DeepSeek R1/R3 集成应用实战详解

使用VScode连接算力云远程服务器训练

qq_60423839的博客

09-17

2121

在算力云上租借GPU，并使用VScode连接远程主机进行训练。

参与评论您还未登录，请先登录后发表或查看评论

腾讯云算力平台ubuntu20.04本地化部署deepSeek

m0_53440477的博客

02-28

849

在腾讯云上囤了个算力平台，尝试本地化部署deepSeek。

StarCloud开源行动：激发算力调度的创新潜力

OpenCSG的博客

05-14

1817

StarCloud旨在满足大模型应用和高性能计算的需求，致力于构建一个普惠、易用的算力服务平台。

AutoDL算力云平台租用教程

junR_980218的博客

03-25

1万+

AutoDL算力云平台租用教程

Pycharm连接云算力远程服务器（AutoDL）训练深度学习模型全过程

weixin_52010459的博客

01-28

2万+

我试图使用`笔记本联想小新air14的mx350显卡`训练一个图像检测的深度学习模型，但是训练时长大概需要几天时间远超我的预期，所以我便选择租用GPU进行训练，在对多家平台对比后找到了经济实惠的AutoDL，接下来是我租用GPU--配置环境--连接Pycharm--训练模型的全过程，基于本人也是刚入门的新手，如果有不恰当的地方还请大家指教。

浅谈AI+工业视觉检测技术应用的优化

m0_49711991的博客

08-23

773

视觉是人类获取信息最主要的渠道，它使人们得以感知和理解周边的世界。通过视觉，人类可以感知外界物体的大小、明暗、颜色、动静，获得对机体生存具有重要意义的各种信息。人类的大脑皮层约有70%都在处理视觉信息，因此可以说视觉是人类最重要的感觉。机器视觉又称计算机视觉（CV），通过电子化的方式来感知和理解影像，让机器或计算机可以像人类那样“看”，甚至达到超越人类视觉智能的效果。随着工业自动化技术向着智能化方向演进，工业场景对计算机视觉技术的需求持续推进着工业机器视觉技术的发展。

【自然语言处理与大模型】vLLM部署本地大模型①

qq_39780701的博客

12-18

1801

本文记录我个人在使用vllm部署私有大模型的时候遇到的困难和详细部署过程。

大模型远程部署本地调用

最新发布

06-09

完成远程服务器上的模型部署后，需要在本地实现对远程模型的调用： - 使用 Cherry Studio 等工具，通过远程调用接口访问已部署的大模型。 - 如果需要进一步优化推理速度，可以考虑知识蒸馏技术，通过训练小型“学生...

Ollama、vLLM和LMDeploy这三款主流大模型部署框架

沐雪架构师

03-24

878

LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算 kernel等重要特性。推理性能是 vLLM 的 1.8 倍LMDeploy 支持权重量化和 k/v 量化。4bit 模型推理效率是 FP16 下的 2.4 倍。量化模型的可靠性已通过 OpenCompass 评测得到充分验证。通过请求分发服务，LMDeploy 支持多模型在多机、多卡上的推理服务。

【深度学习】教你怎样远程连接云服务器跑自己本地电脑上的代码

lingchen1906的博客

10-08

7444

如上图红色标的1区和2区分别是本地环境和云服务器环境，在这个地方可以将本地的文件（比如数据集）等上传到云服务器（可以直接从桌面拖到2区进行上传），也可将云服务器的文件下载到本地，下载一般就下载到1区的地方了。点击“倒三角”如下“，进一步选择前面配置的环境----- ssh -p 37792 root@connect.westb.seetacloud.com。刚创建完环境是默认‘有卡开机的’，有卡开机比较费钱，所以先将其关机，再以无卡的模式开机，从而进行后续环境配置操作。

揭秘｜一探腾讯基于Kubeflow建立的多租户训练平台背后的技术架构

吉小白的博客

08-25

1739

腾讯业务及组织架构现状先简单和大家介绍一下腾讯内部的业务及相关组织架构的现状，有助于帮助大家理解为什么我们会基于后面的架构来设计整套方案。下图的应用大多数人经常会用到，比如微信、腾讯视频、游戏等等APP，其背后承载的技术也不尽相同，涉及了NLP、计算机视觉、强化学习、语音等不同的AI技术。比如我们玩的《王者荣耀》或者下围棋，背后所对应的就是用强化学习训练出来的一个机器人，玩游戏没有队友陪同时，机器人可以满足我们对战合作等游戏需求。不同的业务部门，APP对外需求也不同，均会针对自己的业务场景做一些A

AutoDL云gpu训练yolov5，保姆级教程

ldz1221的博客

04-05

3647

保姆级云gpu训练yolov5教程，十分详细

大模型应用开发：手把手教你部署并使用清华智谱GLM大模型

kfashfasf的博客

03-21

4351

部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。

PODsys：大模型AI算力平台部署的开源“神器”

浪潮圈

11-08

1484

PODsys是一个为客户提供智算集群系统环境部署方案的开源项目，具备基础设施环境安装、环境部署、用户管理、系统监控和资源调度等能力。用户只需执行两条简单的命令，即可完成大模型算力平台的部署，将大模型算力平台部署效率提升11倍，帮助用户顺利迈出大模型研发的第一步。（下载地址：https://podsys.ai/）

算力云平台

li_jiejun的专栏

04-29

589

4. 创业公司的需求，目前的很多创业公司都是在公有云上面租机器的，价格很贵，其实他们有些业务对安全稳定性要求不是太高，就是引入到我们的算力出租平台上来，价格肯定是比公有云便宜的。2. 服务器中间商准系统集成，目前了解到挖矿不好弄了以后，很多有服务器的小老板没有了宣传模式，他们的服务器带着我们的准系统算力出租这个也是可以赋能点。3. 中小型算力公司，有些公司只做特定的业务，一天24小时不能一直跑满，那我算力出租平台就可以把他们的自有算力空闲时间利用起来，达到24小时不停的跑。算力互联，随需随取；

如何使用AutoDl平台跑自己的模型（纯干货，步骤很详细）

热门推荐

qq_45073592的博客

10-17

3万+

记录我使用AutoDL云服务器来跑自己模型的全过程

LLaMA-Factory+算力云6步开启你的第一次大模型训练

AngelCryToo的专栏

09-19

636

下面的步骤是在Ubuntu安装LLaMA-Factory的详细步骤；建议用Ubuntu,安软件非常好安。注意：端口必需是6006，算力云的默认要求，只有这样才可以通过给定的域名访问。想用就开机，开机才收费，和网吧一样。就这几项配置，改成你自己期望的就可以了。参数配置好，启动训练就可以了。

Deepseek的应用|在GPU算力平台部署Deepseek-R1-1.5b轻量版模型的应用教程

微学AI的博客

02-08

2532

算力云langchain cahtchat

12-27

### 如何在算力云上使用 LangChain 进行开发 #### 使用环境准备为了能够在AutoDL算力云平台上顺利运行LangChain项目，需先完成必要的软件安装和配置。这通常涉及创建一个新的虚拟环境来隔离依赖项，并安装Python包管理工具pip以及Git用于获取源码仓库。 ```bash conda create -n langchain_env python=3.8 conda activate langchain_env pip install --upgrade pip git clone https://github.com/chatchat-space/Langchain-Chatchat.git cd Langchain-Chatchat ``` 上述命令会建立一个名为`langchain_env`的新Conda环境并激活它，接着更新Pip到最新版本以便更好地兼容后续操作；最后克隆指定的GitHub仓库至当前目录下[^2]。 #### 配置计算资源利用AutoDL算力云所提供的强大硬件设施，特别是对于深度学习任务至关重要的GPU/TPU支持，可以通过平台提供的Web控制台或者API接口申请适合需求规格实例。确保所选实例具备足够的内存空间以容纳大型预训练模型及其配套的数据集。一旦获得了适当类型的机器实例访问权限之后，则可通过SSH连接远程登录该服务器，在此之上继续执行下一步骤中的具体编程活动[^1]。 #### 安装依赖库与初始化设置进入之前下载下来的项目文件夹内，按照官方文档指示依次安装所需的第三方库： ```bash pip install -r requirements.txt ``` 这段脚本将会读取requirements.txt清单里列出的所有外部依赖关系，并自动从PyPI在线索引中下载相应版本号匹配的目标程序包加以安装。此外还需注意调整某些特定参数选项（比如CUDA路径），使之适应实际使用的物理设备情况。针对LangChain框架本身而言，可能还需要额外加载一些专有的组件和服务端口监听器等辅助功能模块，这些都应参照官方说明手册来进行个性化定制化部署安排。 #### 开发流程概述当一切准备工作就绪以后就可以着手构建自己的应用程序逻辑了。考虑到LangChain是一款面向自然语言处理场景设计的应用框架，因此其核心部分围绕着对话管理和语义理解展开。开发者应当熟悉掌握以下几个关键技术环节： - **数据预处理**：清洗整理原始输入资料，转换成可供下游消费的标准格式； - **特征工程**：提取有效表征样本特性的数值向量表示形式； - **评估测试**：采用交叉验证或其他统计方法检验最终成果的质量水平，确保满足预期目标要求。在整个过程中要充分利用AutoDL算力云带来的便利条件——即按需调配充足的运算能力支撑起复杂耗时的任务负载，从而大大缩短迭代周期提高研发效率[^3]。