深度学习环境搭建手册

深度学习环境搭建超级详解(Miniconda、pytorch安装) 《动手学深度学习》,本文主要是为了记录在环境搭建过程中遇到的问题和疑惑,以及解决方法, 阅读详情

深度学习环境搭建手册——安装Nvidia、Cuda、CuDNN、TensorFlow以及Keras
朝阳
朝阳一起TP,一起哈啤!

9月前发表至数据科学,4550次访问

原文标题:Installing Nvidia, Cuda, CuDNN, TensorFlow and Keras

原文链接:https://medium.com/@acrosson/installing-nvidia-cuda-cudnn-tensorflow-and-keras-69bbf33dce8a

原文作者:Alexander Crosson

这是我们搭建深度学习环境系列文章的第三篇,你可以在这里找到其他两篇:

Building a Deep Learning Box

GPU Virtualization with KVM / QEMU

Installing Nvidia, Cuda, CuDNN, TensorFlow and Keras

在这篇文章中我会给出如何安装显卡驱动和相关软件包,从而能让我们安装和运行TensorFlow的深度学习框架。

(译者注:原文写自2016年9月18日,部分方法和命令可能有变化,请参照时注意。)

首先,我们需要安装Ubuntu 14.04服务器系统,下载地址可以点这里。如果你在使用AWS或是其他类似的云服务主机,请直接创建一个安装有Ubuntu 14.04的实例并通过ssh登入。使用Ubuntu 14.04而不是使用最新的16.04版本的理由是,Cuda现在只支持这个版本。

然后请启动服务器然后保持运行状态,我们需要安装一些驱动和文件包,这里是需要安装的软件列表。

Nvidia驱动

Cuda

CudNN

TensorFlow

Keras

确认GPU可用
我们假设你现在运行的设备上安装有GPU,确切地说,是英伟达的驱动。你可以通过以下的命令来查询你的GPU是否已正常安装并已处在运行状态。

lspci -nnk | grep -i nvidia
lspci -nnk | grep -i nvidia
​
4b:00.0 VGA compatible controller [0300]: NVIDIA Corporation Device [10de:1b80] (rev a1)
4b:00.1 Audio device [0403]: NVIDIA Corporation Device [10de:10f0] (rev a1)
先期准备
在我们安装软件之前,首先确认apt-get已经升级到最新版本。

apt-get update
sudo apt-get update
同样我们还要确认gcc是否升级至最新,以及安装python和pip和其他的与科学计算相关的python库。

sudo apt-get install libglu1-mesa libxi-dev libxmu-dev -y
sudo apt-get — yes install build-essential
sudo apt-get install python-pip python-dev -y
sudo apt-get install python-numpy python-scipy -y
安装Nvidia驱动
使用wget来下载Nvidia驱动然后在静音模式(silent mode)下运行以下脚本。

请注意:如果你使用的GPU型号并不是GTX 1080,你需要为你的GPU下载特定的版本驱动。

wget http://us.download.nvidia.com/XFree86/Linux-x86_64/367.44/NVIDIA-Linux-x86_64-367.44.run
​
sudo chmod +x NVIDIA-Linux-x86_64-367.35.run
./NVIDIA-Linux-x86_64-367.35.run –silent
为了确认驱动已得到正确安装同时GPU也被成功识别,我们可以运行nivida-smi。如果你希望查看GPU的性能参数,这个命令也同样管用。

安装Cuda
如果要在GPU上运行TensorFlow,我们需要安装Cuda,没有Cuda我们将只能使用CPU来进行计算。我们同样可以使用wget来下载Cuda 7.5运行包,然后安装相关驱动、工具以及示例。

wget http://developer.download.nvidia.com/compute/cuda/7.5/Prod/local_installers/cuda_7.5.18_linux.run
​
sudo chmod +x cuda_7.5.18_linux.run
./cuda_7.5.18_linux.run –driver –silent
./cuda_7.5.18_linux.run –toolkit –silent
./cuda_7.5.18_linux.run –samples –silent
我们还需要把Cuda库添加到系统目录之中。这需要我们修改.bashrc文件或是直接运行以下命令。

echo ‘export LD_LIBRARY_PATH=”$LD_LIBRARY_PATH:/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64”’ >> ~/.bashrc
​
echo ‘export CUDA_HOME=/usr/local/cuda’ >> ~/.bashrc
安装CuDNN
CuDNN是一个能够用来加速深度学习框架(比如TensorFlow或Theano)的库。这里有一段来自于Nvidia官网的简要介绍。

英伟达CUDA深度学习库(NVIDIA CUDA® Deep Neural Network library,简称cuDNN)是一个能够为深度神经网络提供原生GPU加速的库件。cuDNN为诸如前向卷积、后向卷积、池化、正规化以及激活层等标准例程提供了高度优化的实现方案。cuDNN是NVIDIA深度学习SDK的一部分。

在安装之前你需要注册英伟达的加速计算开发者项目。注册完成之后,请登录并下载cuDNN 4.0到你的计算机中,然后将下载得到的zip包使用scp传入你的深度学习服务器中。

更新:我已经注意到最新的TensorFLow 0.10版本只能在CudNN v5.1上运行,这可能是因为TensorFlow还在开发中。

sudo scp cudnn-7.0-linux-x64-v4.0-prod.tgz root@192.168.0.1:/home/root/
解压文件包然后将必要文件拷贝至我们已经安装好的Cuda库之中。

tar -xzvf cudnn-7.0-linux-x64-v4.0-prod.tgz
cp cuda/lib64/* /usr/local/cuda/lib64/
cp cuda/include/cudnn.h /usr/local/cuda/include/
安装TensorFlow
我们假设你已经开始使用TensorFlow来建立你的深度神经网络模型。我们现在可以使用pip来简单地安装最新的TensorFlow 0.10,别忘了加上upgrade标志。

pip install — upgrade https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.10.0rc0-cp27-none-linux_x86_64.whl
现在你已经可以使用你的GPU来运行模型并完成计算任务。如果你要确认TensorFlow是否正常运行,你不用自己编写确认脚本,简单运行TensorFlow的官方示例即可。

python -m tensorflow.models.image.mnist.convolutional
运行以上命令的前几行输出应该是如下的样子。

控制台输出的错误应当随着运算步数的增加而减少。如果不是这样,则说明你的安装过程中有疏漏。

安装Keras
Keras的运行需要一些额外的依赖库,而这些依赖库并不存于他们的网站上。运行以下命令可以完成所有的工作。

sudo apt-get install python-numpy python-scipy -y
sudo apt-get install python-yaml -y
sudo apt-get install libhdf5-serial-dev -y
sudo pip install keras==1.0.8
总结
这篇指导文章可以作为搭建深度学习环境并使用TensorFlow来安装和运行深度学习项目的一个很好的开始。

各类深度学习框架详解+深度学习训练环境搭建-GPU版本 工欲善其事必先利其器,对工具的熟练程度很多时候决定你工程项目的质量和上限。对于人工智能工程师来说,搭建本地深度学习环境来说是比较麻烦的一件事,其中涉及到较多的相关硬件和软件的兼容问题。很多初学者安装的深度学习框架环境仅能够使用CPU运行并没有利用到GPU,关于很多硬件关联的深度学习训练框架并没有清楚的认知,导致配置环境的时候很容易出现各类错误。所以本篇文章主要讲述清楚如何搭建深度学习环境以及框架选择和自己硬件匹配的系统。如果你发现深度学习看似难以掌握,我将尽力简化知识,将其转化为我们更容易理解的内容。 阅读详情

相关推荐

Keras深度学习框架中文手册完整指南

Keras是当前深度学习领域中,一个开源的高级神经网络API,它可以运行在TensorFlow、Microsoft Cognitive Toolkit (CNTK) 或 Theano之上。Keras 以其简洁、快速以及易于扩展性等特点受到广大开发者的青睐。Keras 可以让研究者和开发人员快速试验新的架构、评估不同模型的表现,或者进行简单的训练任务。序列模型(Sequential Model)是最简单的模型类型,由若干层(Layer)按顺序堆叠而成。每层的输入是前一层的输出,形成一个直线型的数据流。

weixin_28235889的博客 533

搭建一个简单的深度神经网络

本博客实验环境为jupyter。

weixin_58628068的博客 1423

泛微ecology9 HRMwebservice接口实战:企业组织架构与人员信息同步指南

本文详细介绍了泛微ecology9 HRMwebservice接口在企业系统集成中的实战应用,重点解析了如何通过该接口实现组织架构与人员信息的双向同步。内容涵盖环境配置、核心接口调用、数据格式规范及常见错误排查,旨在帮助开发与运维工程师高效完成主数据同步,提升企业IT管理效率。

weixin_29323365的博客 498

深度学习环境搭建

本文简要介绍深度学习环境的配置

m0_62497785的博客 2303

告别误唤醒!S32K3xx低功耗设计避坑指南:Fast Standby模式与WISR寄存器操作详解

本文深入解析了NXP S32K3xx系列MCU在低功耗设计中常见的误唤醒问题,并提供了基于Fast Standby模式的解决方案。文章重点剖析了DCMRWF5寄存器的配置方法、WISR/WISR_64唤醒中断状态寄存器的标志位处理策略,以及如何利用32KB Standby SRAM保存唤醒状态,从而帮助开发者构建稳定可靠的汽车电子低功耗系统。

weixin_29163857的博客 366

VS2022如何兼容老项目?.NET Framework 4.0/4.5安装避坑指南

本文提供了在Visual Studio 2022中兼容和维护.NET Framework 4.0/4.5等老旧项目的完整解决方案。针对VS2022无法直接识别旧框架的核心问题,文章详细剖析了原因,并重点推荐通过官方NuGet包安全获取引用程序集的方法,给出了从下载、解压到部署至标准目录的详细步骤。同时,文章还深入探讨了项目文件格式过旧、NuGet包还原失败等进阶问题的排查与解决策略,旨在帮助开发者高效、稳定地在现代开发环境中维护历史代码库。

weixin_27734811的博客 519

深度学习:新项目的环境搭建

由于最近刚刚接触深度学习,接下来记录一下自己浮现项目的过程,并将其总结成方法,以便于以后的使用。下载代码在这里本文总结了个人对于一个项目的环境搭建的见解,环境搭建真的好麻烦,网上资料太分散了,要上网找好长时间,所以就想着自己写一篇,这样以后就不用花费大量时间去配置环境了。。。

qq_63250140的博客 2285

从SPI到JTAG:玩转FT2232H的MPSSE多协议切换指南(附配置代码)

本文详细介绍了如何利用FT2232H芯片的MPSSE技术实现SPI与JTAG协议的无缝切换,提供配置代码和调试技巧。通过解析MPSSE引擎架构和硬件特性,帮助开发者灵活应对多种串行协议需求,提升嵌入式开发效率。特别适合FPGA调试和物联网设备开发场景。

sun99的博客 258

DL4J(Deep Learning for Java)Document 使用手册

DL4J(Deep Learning for Java)Document 使用手册 去发现同类优质开源项目:https://gitcode.com/ 欢迎来到DL4J(Deep Learning for Java)Document资源文件使用说明。本手册将详细向您介绍DL4J作为Java深度学习接口的特点及使用方法。 DL4J是一个开源的、分布式深度学习库,专为Java和JVM环境设计。它能够让J...

gitblog_06798的博客 647

ADS笔记,新旧两组仿真数据进行绘图和列表对比

原理图器件参数的不同,怎么进行对比观看,操作如下。

彭辉荣的博客 3872

攻防世界 misc题GFSJ1129-【您看我还有机会吗?】

我们发现了隐藏内容,一开始我以为那个英文就是flag,提交后发现不对,然后我想只有一张图片然后图片上的隐写内容又不是flag,那必定还有什么文件被隐藏了,于是我们打开VMware并启动Ubuntu,使用binwalk分析一下有没有隐藏文件,我们要在Terminal中分析,如下。我们发现里面有一个flag.txt文件,我们尝试提取里面内容,但发现又要密码,我们想起了之前图片上的隐藏内容,我们将那段英文输入(包括空格和符号,在VMware中输入密码不会有显示,你看到的就像没输入一样),然后我们看到如下。

大数据专业,关注 AI 安全与数学建模。记录 Web 安全、对抗攻击、隐私保护等安全实践,以及从经典模型到智能方法的建模思考。用数学思维理解 AI,用 AI 方法反哺安全与建模。 1104

5天精通AMD GPU深度学习:从环境搭建到性能优化的完整手册

还在为AMD显卡在深度学习应用中的配置而烦恼吗?今天,我将带你用5天时间,从零开始掌握AMD GPU的完整配置流程,让你的显卡在AI应用中发挥最大性能。 ## 第一天:硬件认知与基础准备 在开始配置之前,我们首先要理解AMD GPU的硬件架构特点。不同于传统的单GPU系统,现代AI服务器通常采用多GPU集群设计。 [![AMD MI300X节点级架构图](https://raw.gitcod

gitblog_00962的博客 849

太美了!现代女主jk海军风穿搭四视图

哪个女孩子初高中的时候不买几套JK衣服啊,穿上完全是青春女孩。那还愣着干啥,不得也给你的漫剧女主也穿上!直接就是分享三套JK穿搭,红棕双麻花辫配经典水手服,是那种乖乖巧巧的元气学妹;粉色羊毛卷双马尾,搭配蝴蝶结和小挎包甜度直接拉满;还有灰棕色侧麻花辫,浅蓝上衣配黑色百褶裙,温柔里又带点小酷。下面把这三套角色的完整提示词分享出来,喜欢哪套就拿去参考,改改发型和配色,还能继续解锁新角色!

欢迎来到鸾姝淡月博客,专为程序员和编程爱好者打造的技术博客。我们分享编程语言趋势、开发工具、编程哲学、职业发展等,助你掌握新技术,优化技能,激发编程热情。 62

AMD ROCm深度学习环境搭建实战手册

本手册将带领你从零开始,在Linux系统上完成AMD ROCm深度学习环境的完整部署。无论你是AI开发新手还是希望迁移到AMD平台的开发者,这份详细的实践指南都将为你提供有力的技术支持。 ## 环境准备与系统检查 在开始安装之前,让我们先对系统环境进行全面检查,确保满足ROCm的运行要求。 ### 硬件兼容性验证 首先确认你的AMD GPU是否在支持列表中: ```bash lspci

gitblog_00915的博客 514

H3C BGP联盟实验

bgp,bgp联盟,bgp公认团体属性,

一只懒羊羊 971

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

深度学习环境搭建手册(二)

搭建完tensorflow后,一定要在tensorflow环境内使用。

binbigdata的博客 211

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

【免费下载】 Jetson TX2 NX使用手册:深度学习开发者的利器

Jetson TX2 NX使用手册:深度学习开发者的利器 【下载地址】JetsonTX2NX使用手册 本资源文件提供了详细的NVIDIA Jetson TX2 NX使用手册,涵盖了从硬件组装到系统烧录、深度学习环境搭建等多个方面的内容。无论你是初学者还是有一定经验的用户,这份手册都能帮助你更好地理解和使用Jetson T...

gitblog_06606的博客 1104

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

【亲测免费】 Jetson TX2 NX使用手册

Jetson TX2 NX使用手册 【下载地址】JetsonTX2NX使用手册 本资源文件提供了详细的NVIDIA Jetson TX2 NX使用手册,涵盖了从硬件组装到系统烧录、深度学习环境搭建等多个方面的内容。无论你是初学者还是有一定经验的用户,这份手册都能帮助你更好地理解和使用Jetson TX2 NX ...

gitblog_06669的博客 546

MindSpore 环境搭建操作手册

1.准备工作 1.完成pycharm专业版的安装 2.windows系统下可通过cmd进行ssh连接,mac下可通过终端进行ssh连接 2.服务器的购买(华为云) 注意:本教程为了适配后期神经网络的训练,因此只提供华为云的GPU的服务器购买,旨在为入门小白提供服务器购买的范例,您可根据需要选择符合您实际需要的服务器规格。 1.官网完成账户的登陆 https://www.huaweicloud.com/ 进入首页后如下图所示 2.点击进入后如下图所示,下滑页面找到推...

m0_58969225的博客 5711

TensorFlow-gpu 在 CentOS 7 下的完全安装手册

转载 TensorFlow-gpu 在 CentOS 7 下的完全安装手册

coder 218

PyTorch深度学习环境搭建指南(含M1芯片深度优化)

关键选项安装时取消勾选(避免VS2019冲突)手动添加环境变量:CUDA_PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1。

weixin_69882801的博客 1675

Anaconda配置PyTorch环境手册:轻松配置深度学习环境

Anaconda配置PyTorch环境手册:轻松配置深度学习环境 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在深度学习领域,PyTorch以其灵活性和易用性获得了广泛的认可。然而,配置PyTorch环境对于新手来说可能是一个挑战。Anaconda配置PyTorch环境手册应运而生,它为用户提供了在Anaconda环境中配置PyTorch的详细步骤,帮助用户快速搭建...

gitblog_06763的博客 325

深度学习环境配置

本文将系统讲解深度学习开发环境的完整配置链路,涵盖环境隔离、IDE配置、智能辅助工具链整合。以Windows 11为例,文末附常见问题排查手册。结合本人踩过的坑整理出来,倾情推荐!

m0_55656412的博客 2013

从零开始:GPU、CUDA、PyTorch 深度学习环境一键搭建避坑指南

2025年深度学习环境搭建避坑指南:本文提供一站式解决方案,10分钟搞定PyTorch GPU环境配置。关键点包括:1)确认驱动≥535版本;2)使用conda一键安装PyTorch 2.5.1+CUDA12.4组合;3)提供验证脚本和常见问题急救方案;4)推荐Docker镜像实现环境隔离。通过自动化脚本简化安装流程,解决版本兼容性问题,告别手动配置CUDA/cuDNN的烦恼,让torch.cuda.is_available()快速返回True。

2501_91624122的博客 726

Ubuntu 22.04 深度学习环境搭建:NVIDIA驱动、CUDA 12.4、cuDNN 9.0.0与TensorRT 10.1一站式配置手册

本文提供了一份在Ubuntu 22.04系统上搭建深度学习环境的详细配置手册。内容涵盖从系统准备、NVIDIA显卡驱动安装,到CUDA 12.4、cuDNN 9.0.0及TensorRT 10.1的一站式部署与验证步骤。通过清晰的命令行操作和关键配置说明,旨在帮助用户高效、稳定地构建支持主流AI框架(如PyTorch、TensorFlow)的GPU计算平台。

z5a6b的博客 828

清华大学《DeepSeek:从入门到精通》 (文末有免费下载地址)

清华大学Deepseek文档分享

u013490544的博客 573
上一篇: ubuntu14.04安装cuda
下一篇: 深度学习环境搭建手册(二)
binbigdata
博客等级 码龄9年 227粉丝 68原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值