Torch - 1 -- Install and Get Start on Ubuntu 12

最新推荐文章于 2025-12-15 12:33:35 发布
原创 最新推荐文章于 2025-12-15 12:33:35 发布 · 398 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何通过Git克隆并安装Torch7科学计算框架及其依赖项，同时还展示了如何安装特定的包如image，并提供了启动Torch7交互式解释器的示例。

From: torch.ch


Install Package:

$  git clone https://github.com/torch/distro.git ~/torch --recursive
$  cd ~/torch; bash install-deps;
$  ./install.sh

$ source ~/.bashrc


Install Package:

$ luarocks install image


List Package:
$ luarocks list


$ th
  ______             __   |  Torch7                                  
 /_  __/__  ________/ /   |  Scientific computing for Lua.        
  / / / _ \/ __/ __/ _ \  |                                          
 /_/  \___/_/  \__/_//_/  |  https://github.com/torch  
                          |  http://torch.ch           
th> torch.Tensor{1,2,3}
 1
 2
 3
[torch.DoubleTensor of dimension 3]
th>

R1-Omni 模型云部署：AWS 和 GCP 实用指南
moton2017的博客
03-17 1388
WS/GCP 云服务器部署 R1-Omni 教程。你可以 从零开始，最终搭建一个可用的 API 服务器，并且支持 Web 访问，用React实现iOS、Andriod访问应用
从安装双系统ubuntu到pytorch-gpu
TerryGGGGG的博客
04-19 553
安装windows和ubuntu双系统，安装nvidia驱动和cuda11.7，安装anaconda，创建虚拟环境并安装pytorch
Caffe2 - Install - Ubuntu - Build From Source (源码编译安装)
程永强
10-27 2317
Caffe2 - Install - Ubuntu - Build From Source (源码编译安装) https://caffe2.ai/ Install Welcome to Caffe2! Get started with deep learning today by following the step by step guide on how to download and install Caffe2. Select your preferred platform and install
torch-points3d(1.2.0版本)示例代码
baidu_40840693的博客
04-29 1952
1分类代码示例 RSConvCLassifier.py # python3.8 # -*- coding: utf-8 -*- # --- # @Software: PyCharm # @File: RSConvCLassifier.py # @Author: --- # @Institution: BeiJing, China # @E-mail: lgdyangninghua@163.com # @Site: # @Time: 4月 27, 2021 # --- import torch f.
Ubuntu 18.04配置TensorFlow-GPU与PyTorch-GPU完整指南
最新发布
weixin_28888459的博客
12-15 669
本文详细记录在Ubuntu 18.04系统上为2080Ti显卡配置TensorFlow-GPU和PyTorch-GPU的全过程，涵盖换源、禁用nouveau、安装NVIDIA驱动、CUDA、cuDNN，以及通过conda和离线方式安装深度学习框架的关键步骤。特别指出了conda镜像导致torch.cuda.is_available()返回False等常见坑点，并提供有效解决方案，适合深度学习环境搭建参考。
Pytorch 安装-Ubuntu 20.04
u010422712的博客
08-20 589
PyTorch安装
How to install CUDA & cuDNN on Ubuntu 22.04
qq_36784503的博客
10-22 322
Start HereAbout ▼OverviewfreestarCopyCopyCopyCopy[Y/n] ydoneCopyCopyDoneCopyCopyCopyfreestarCopyCopyCopyppaCATEGORIESFILES。
Ubuntu-8卡H20服务器升级nvidia驱动+cuda版本
BothSavage
10-16 1085
看到qwen3-vl-30b开源了，想测试下性能+资源占用，奈何部署sglang需要12.7版本的cuda？我目前手里的H20的服务器cuda版本最高只支持12.2所以需要升级驱动以及cuda版本，随使用官方.run还有apt install xx进行升级。之前用的火山官方ubuntu镜像，默认驱动535，后升级驱动550，570，580后，cuda也对应升级后，cuda都无法使用无论是在conda中，还是直接在宿主机上测试，最后发现是nvidia-fabricmanager问题，遂记录下升级历程。
Ubuntu配置Pytorch环境用于U-net网络模型
weixin_44825542的博客
01-22 1401
此文用于记录Ubuntu20.04+anaconda的环境下，创建Pytorch的虚拟环境，用于训练测试U-net神经网络。
模型部署 RK3588部署大模型记录（Deepseek-R1-1.5b/7、Qwen2-VL-2B/7B视觉多模态大模型）
guoqingru0311的博客
07-11 1915
模型部署 RK3588部署大模型记录（Deepseek-R1-1.5b/7、Qwen2-VL-2B/7B视觉多模态大模型）
离线安装Ubuntu16.04 NVIDIA1060显卡驱动 CUDA9.0 CUDNN7.0 anaconda TensorFlow-GPU pycharm opencv-python opencv
小零件儿的博客
09-25 1174
离线安装Ubuntu16.04 NVIDIA1060显卡驱动 CUDA9.0 CUDNN7.0 anaconda TensorFlow-GPU pycharm opencv-python opencv-contrib-python pytorch clion qt5 OpenCV3.3.1教程 注：用word编辑的，文章太长实在是不想再编辑了,编号没对上，上传了教程的word版本，每个步骤都附了...
深度学习应用资源整理
不以己悲的博客
04-27 2227
1. 分类 2. 目标跟踪 http://blog.youkuaiyun.com/real_myth/article/details/52620145 深度学习在目标跟踪中的应用 http://blog.youkuaiyun.com/ben_ben_niao/article/details/51315000 CNN-tracking-文章导读 https://zhuanlan.zhihu.com/p/2...
深度学习与视频恢复，视频压缩专题
不以己悲的博客
09-09 2162
https://researcher.watson.ibm.com/researcher/files/us-kvswamin/SP-CNN%20ASPLOS%202015.pdf http://tucodec.com/news/detail?id=3 https://www.zhihu.com/question/56801298 https://juejin.im/post/5b45907c...
Tensorflow 资源整理
不以己悲的博客
03-14 1521
1. 安装 http://blog.youkuaiyun.com/zhuiqiuk/article/details/52984415 http://blog.youkuaiyun.com/u010099080/article/details/53418159   2. Tensorboard http://blog.youkuaiyun.com/u010099080/article/details/53560426 ht
Install Tensorflow on windows(Anaconda)
不以己悲的博客
03-13 1468
References: http://www.tuicool.com/articles/MjAz2mhttp://www.cnblogs.com/aloiswei/p/6510355.html   Install Anaconda: https://www.continuum.io/downloads 打开Anaconda Prompt $ conda update conda $ c...
Build Dana on CentOS7
不以己悲的博客
11-28 564
1. Install sbt, JAVA8,    see to http://blog.youkuaiyun.com/ccwwff/article/details/78188868 2. python3.5(anaconda, numpy, sicpy) $ sudo yum -y install gcc gcc-c++ numpy python-devel scipy 首先上官网下载an
halide 资源整理
不以己悲的博客
01-15 489
Halide学习笔记—Halide语言设计的初衷 https://blog.youkuaiyun.com/luzhanbo207/article/details/78675453 halide编程技术指南（连载一） https://blog.youkuaiyun.com/Aoulun/article/details/105239473 halide编程技术指南（连载二） https://blog.youkuaiyun.com/Aoulun/article/details/105249604 halide编程技术指南（连载三） https://
TensorFlow - 1 - Install and get start on Ubuntu 12
不以己悲的博客
02-05 489
Reference: http://www.tensorfly.cn/tfdoc/get_started/os_setup.html 1. 安装JDK8: $ sudo add-apt-repository ppa:webupd8team/java $ sudo apt-get update $ sudo apt-get install oracle-java8-i
DeepSeek-R1-Distill-Qwen-7B满血版部署
06-11
<think>首先，用户的问题是如何部署DeepSeek-R1-Distill-Qwen-7B满血版模型。参考之前的对话历史，用户提供了几个引用：[1]关于DeepSeek模型和vLLM用于推理加速，[2]关于使用Docker部署DeepSeek模型，[3]关于下载模型文件和大小。用户提到“上述引用仅供参考，并不是用户真正的需求，请尽可能多的参考用户上一次的问题和你的回答。”在之前的问题中，用户是问“如何部署DeepSeek-R1-Distill-Qwen-7B满血版模型”，所以我要直接回答这个部署问题。关键点是“满血版模型”。从引用[1]看，DeepSeek-R1-Distill-Qwen-7B是蒸馏版本，但用户可能指的是完整版本或不减的版本。在引用[1]中描述为“蒸馏技术成功提炼出Qwen-7B大型模型的核心知识”，所以“满血版”可能是个误解，因为DeepSeek-R1-Distill-Qwen-7B已经是蒸馏过的版本。但用户明确说“DeepSeek-R1-Distill-Qwen-7B满血版模型”，所以我要基于提供的引用回答。从引用[3]：“部署DeepSeek-R1-Distill-Qwen-7B并进行推理。将https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B/tree/main目录下面的所有文件全部下载下来，稍微有点大，所有文件将近16个G[^3]。”所以模型文件可以通过HuggingFace下载。用户的问题聚焦于部署，引用提供的关键元素：-[1]提到使用vLLM进行推理加速。-[2]提到使用Docker部署模型。-[3]提到下载模型文件。所以，部署步骤可能包括：下载模型、设置环境（包括Docker）、运行推理（可能使用vLLM）。我需要结构清晰的回答，帮助用户逐步解决问题。系统指令要求：-回答结构清晰，逐步解决问题。-使用中文回答。-生成相关问题。-引用的段落末尾添加引用标识。系统指令还提到数学表达式格式，但这个问题是关于模型部署的，可能不涉及数学，所以我不需要使用$...$或$$...$$。回答问题时要真实可靠，基于引用。步骤分解：1.**下载模型文件**：从引用[3]，可以从HuggingFace下载，URL为https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B/tree/main。用户需要下载所有文件，总大小约16GB。2.**准备环境**：引用[2]提到使用Docker来简化环境设置。Docker可以避免手动安装依赖。3.**部署和推理**：引用[1]提到使用vLLM进行推理加速。vLLm是用于大语言模型的高效推理库。所以，部署过程可能涉及：-使用Docker容器来运行环境。-配置vLLM来加载模型和进行推理。生成相关问题作为结尾。引用标识：[^1][^2][^3]分别对应提供的引用。用户说“尽可能多的参考用户上一次的问题和你的回答”，但上一次是系统指令的示例，所以我需要基于当前上下文。确保回答可靠：建议使用Docker和vLLM作为标准方法。最终回答结构：-引言：解释部署步骤概要。-详细步骤：逐步指导如何部署。-添加引用。-结束部分生成相关问题。</think> 我将基于您提供的引用内容，逐步指导您如何部署DeepSeek-R1-Distill-Qwen-7B模型（即您提到的“满血版”模型）。引用中提到的“满血版”可能指未剪枝或完整性能的版本，而DeepSeek-R1-Distill-Qwen-7B本身就是通过蒸馏技术保留Qwen-7B核心知识的优化版本，部署过程无需额外特殊处理。从引用内容看，部署的核心涉及：从Hugging Face下载模型文件（约16GB）、使用Docker容器化环境简化依赖安装，以及结合vLLM实现高效推理加速[^1][^2][^3]。 ### 部署DeepSeek-R1-Distill-Qwen-7B模型的详细步骤 以下是完整的部署流程，基于引用内容进行了整合和优化。部署过程分为三个主要阶段：下载模型文件、设置Docker环境、运行vLLM进行推理。整个过程假设您的设备具有足够资源（至少16GB以上RAM、Linux/Windows WSL支持CUDA的GPU）和基本命令行操作知识。每个步骤都包含具体命令和说明。 --- #### 步骤1: 下载模型文件 模型文件位于Hugging Face上的指定目录，总大小约16GB。您需要先下载所有文件，并确保有稳定网络和足够磁盘空间。 - **操作说明**： 1. 访问Hugging Face模型页面：<https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B>。 2. 使用Git或Hugging Face官方工具下载所有文件： - **方法一（推荐，使用Git）**：在终端中运行以下命令： ```bash git lfs install # 安装Git LFS（用于大文件管理） git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B cd DeepSeek-R1-Distill-Qwen-7B ``` - **方法二（使用huggingface-hub库）**：在Python环境中安装库后下载： ```bash pip install huggingface-hub from huggingface_hub import snapshot_download snapshot_download(repo_id="deepseek-ai/DeepSeek-R1-Distill-Qwen-7B", local_dir="./DeepSeek-R1-Distill-Qwen-7B") ``` 3. 下载完成后，模型文件将保存在本地目录（`./DeepSeek-R1-Distill-Qwen-7B`）。验证下载完整性：检查文件大小（约16GB）和文件数量（包括config、bin等文件）。 - **注意事项**：如果下载中断，使用Git LFS恢复（`git lfs pull`）。下载过程可能需要数小时，取决于网络速度[^3]。 --- #### 步骤2: 设置Docker环境 使用Docker容器化部署可以避免复杂的依赖安装（如Python、CUDA等），引用[2]中强调这是“披荆斩棘的利刃”，能确保环境一致性和快速部署。 - **操作说明**： 1. **安装Docker**：如果您的系统未安装Docker，参考[Docker官方文档](https://docs.docker.com/get-docker/)。Ubuntu系统示例： ```bash sudo apt update sudo apt install docker.io docker-compose sudo systemctl start docker sudo docker run hello-world # 验证安装 ``` 2. **创建Docker镜像和容器**： - 创建一个包含vLLM和Python依赖的Dockerfile。新建文件 `Dockerfile`，内容如下： ```dockerfile # 基于CUDA基础镜像（确保与您GPU兼容） FROM nvidia/cuda:12.1.0-devel-ubuntu22.04 # 安装依赖 RUN apt update && apt install -y python3 python3-pip git RUN pip install --upgrade pip RUN pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu121 RUN pip install vllm transformers huggingface-hub # 设置工作目录，挂载模型文件 WORKDIR /app VOLUME ["/app/model"] # 用于挂载下载的模型 ``` - 构建Docker镜像： ```bash docker build -t deepseek-deploy . ``` 3. **运行Docker容器**：启动容器，并挂载您下载的模型目录： ```bash docker run -it --gpus all -v $(pwd)/DeepSeek-R1-Distill-Qwen-7B:/app/model deepseek-deploy ``` - **关键参数解释**：`--gpus all` 启用GPU加速；`-v` 将本地模型目录映射到容器内 `/app/model`。运行后，您将进入容器内的Shell提示符。 - **验证环境**：在容器内运行 `python -c "import vllm; print('vLLM installed!')"` 测试vLLM安装。 --- #### 步骤3: 配置vLLM进行推理加速 vLLM提供高效推理能力，引用[1]指出它“为行业带来了新的曙光”，能显著提升DeepSeek模型性能。 - **操作说明**： 1. **在Docker容器内启动vLLM服务**： - 确保您已在Docker容器Shell中。在 `/app` 目录下创建一个Python脚本 `inference.py`： ```python from vllm import LLM, SamplingParams # 加载模型（路径为挂载的目录） llm = LLM(model="/app/model", tensor_parallel_size=1) # tensor_parallel_size设置GPU并行数 # 定义推理参数 sampling_params = SamplingParams(temperature=0.7, max_tokens=512) # 示例输入 inputs = ["Q: What is the capital of France? A:", "Q: Explain quantum computing. A:"] outputs = llm.generate(inputs, sampling_params) # 打印结果 for output in outputs: print(f"Input: {output.prompt}") print(f"Output: {output.outputs[0].text}") ``` - 或使用vLLM命令行快速启动推理服务： ```bash python -m vllm.entrypoints.openai.api_server --model /app/model --host 0.0.0.0 --port 8000 ``` 然后通过HTTP访问（例如：`curl http://0.0.0.0:8000/v1/completions`）。 2. **运行推理**： - 执行脚本：`python inference.py` - 或通过API调用（适用于应用程序集成）。 - **性能调优建议**：根据GPU资源调整 `tensor_parallel_size`；参考vLLM文档优化batch size[^1]。 3. **完成后处理**：停止容器时保存状态（`docker commit`）或导出为镜像备用。 --- ### 完整部署验证和故障排除 - **验证部署成功**： - 在容器内运行推理后，观察输出是否正常（如正确回答提示问题）。 - 检查GPU使用率：在主机运行 `nvidia-smi` 确保GPU负载。 - **常见问题处理**： - **下载失败**：确保使用Git LFS；分批次下载单个文件。 - **Docker GPU问题**：安装NVIDIA Container Toolkit（运行 `nvidia-container-toolkit` 工具）。 - **内存不足**：模型约需16GB显存，低配设备可尝试量化优化（但可能影响“满血版”性能）。 - **引用说明**：以上步骤整合了Hugging Face下载[^3]、Docker部署[^2]和vLLM加速[^1]的最佳实践。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值