[框架安装趟雷指南]Ubuntu+1060+cuda+cudnn+Keras+TH+TF+MXnet(转自知乎) 附带装mxnet0.9.5版本

本文详细介绍了一种在Ubuntu16.04环境下安装配置GPU支持的深度学习环境的方法,包括安装Ubuntu、配置NVIDIA显卡、安装CUDA和cuDNN、安装Keras+Theano和TensorFlow、安装MXNet等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

原地址:https://zhuanlan.zhihu.com/p/23480983
写的很好,把他搬运过来 我的MXnet就是看这个装的,希望能帮助到大家
写这篇文章的问题是为了回报社会,同时纪念长达一周的地狱般的安装(折腾)过程。

本文不一定是最佳安装方法,也不一定适合每一个人,主要目的是帮助大家避坑。

已经更到安装完毕keras+th+tf并开启gpu支持,如果发现有任何错误请务必指正。

感谢一切在安装过程中给予我帮助的文档作者、群友、同行,感谢清华大学开源软件镜像站,感谢x雷。

重要的话写在前头:

1:不要尝试Windows安装!不要尝试Windows安装!不要尝试Windows安装!成功安装只属于不可复制的小概率事件!不要想着工作娱乐用Windows,在Windows上搞深度学习会方便!呵呵,等着系统完蛋工作娱乐一起毁吧。>.<

2:网上文档众多,不少过于老旧或者不适合你的环境,注意避坑!小trick:在用100度搜索时,用筛选功能筛进一周或者一个月的,选择环境硬件与自己相近的。

正文:

我的配置:

华硕主板,双路e5,GTX1060,240gINTEl固态装win,120gINTEL固态装Ubuntu,1T机械放东西。

最终系统及重要环境:Ubuntu16.04(sever),cuda8.0.44,cudnn5.1

一.安装ubuntu(最大的坑!已有ubuntu跳过)

用N卡装ubuntu是一件很坑的事,安装界面都可能进不去。这是最大的坑,过去了以后其他的其实都是小坑。

避坑方法:安装sever版再安装Desktop!!!!!!!!!

sever 版优点是无图形界面,可以顺利安装并进入系统(命令行),至少能让计算机活过来。N卡福音。

缺点也是无图形界面,真的不习惯。

安装过程:

1.官网下载:Ubuntu Server

2启动盘制作

过程参照这一篇教程:Ubuntu 16.04 U盘安装图文教程_Linux教程_Linux公社-Linux系统门户网站

*注意,选择镜像类型时要选择Ubuntu sever installer ,这个和教程有区别。

3.备份!

4.插u盘重启进bios,设置u盘启动。保存退出(重启)

5.U盘启动成功,进入grub

安装过程基本上没坑,不会在那个界面截图,过程参考:Ubuntu Server 13.10 安装配置图解教程

*分区的时候需要注意,最好准备一块空硬盘单独安装ubuntu,这个和文档不一样

选择手动》》选择要安装的硬盘的名称那行》》建立空白分区列表》》选择空白分区》》自动分区》》确认写入

最后别忘了拔u盘,修改BIOS

6.安装完成,应该是黑屏。。。。

不要慌,sever就这样,默认进入黑屏!按ctrl+shift+f1进入命令行,输入用户名和密码!

升级和配置基本环境

sudo apt update
sudo apt upgrade
sudo apt install -y python-dev python-pip python-nose gcc g++ git gfortran vim
sudo apt install -y libopenblas-dev liblapack-dev libatlas-base-dev
二、配置n卡

第二大坑,根据另外一个显卡是集显或者核心有不同。

安装流程:

安装desktop>>安装驱动>>重启进desktop

sudo apt-get update
sudo apt-get install ubuntu-desktop
桌面安装完毕,如果进的去,就在附加驱动里看一看N卡用什么驱动,最好换367以上。

不过有可能进不去,切到命令行,安装显卡驱动。

方法1:

wget:驱动网址

sudo service lightdm stop
sudo sh 文件名

sudo service lightdm restart
这里网址我是手打,run文件的

方法2:

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
sudo apt-get install nvidia-367
sudo apt-get install mesa-common-dev
sudo apt-get install freeglut3-dev
sudo service lightdm restart
重启,应该能成功进入桌面系统了

如果闪退,就尝试重启,再不行就再装一次驱动

三、安装cuda

在NVIDIA下载cuda8的runfile local版,注意8.0.44已经解决了gcc版本这个大坑!

https://developer.nvidia.com/cuda-downloads

*小trick,可以在Windows下用x雷下载,速度爆快!

拷到home目录

sudo sh cuda_8.0.44_linux.run
当它询问是否要安装cuda包里带的驱动时(我记得是367.xx),一般教程都说否,因为他们装cuda8.0.27版本,驱动是361。这里,建议你选否,我也选的no。

千万不要改路径,默认就好

安装完成

下一步要把cuda路径添加到环境变量

sudo gedit ~/.bashrc
在最后一个fi后面换行

写入

export PATH=/usr/local/cuda-8.0/bin PATH:+:$PATHexportLDLIBRARYPATH=/usr/local/cuda8.0/lib64 {LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
保存,关闭

source ~/.bashrc

重启

然后应该无坑

输入

nvidia-smi
查看显卡状态

输入

nvcc -V
查看cuda状态

四、安装cudnn

https://developer.nvidia.com/cudnn

N家官网下载,需要注册一个开发者账户,每次下载都要答一个问卷

下载对应的最新版本

解压,cd到新解压出来的cuda文件夹

sudo cp include/cudnn.h /usr/local/cuda-8.0/include/
sudo cp lib64/* /usr/local/cuda-8.0/lib64/

五、安装Keras+Theano

提示,Tensorflow慢成狗,慎用。

先把pip源改成清华镜像:

复制自: 清华大学开源软件镜像站

pypi 镜像使用帮助

pypi 镜像每 5 分钟同步一次。

临时使用

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
注意,simple 不能少, 是 https 而不是 http

设为默认

修改 ~/.pip/pip.conf (没有就创建一个), 修改 index-url至tuna,例如

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
好,我们成功的避免了pip安装时超时以及30byte/s的情况,下面安装keras就非常简单了

sudo pip install -U –pre pip setuptools wheel
sudo pip install -U –pre numpy scipy matplotlib scikit-learn scikit-image
sudo pip install -U –pre theano
sudo pip install -U –pre keras
theano和keras安装完成,注意,此时只有cpu版本,我们要修改theano配置来实现gpu加速

先把tensorflow改成theano

gedit ~/.keras/keras.json
先import 一次keras

python
import theano
import keras
没报错的话就是成功了

修改theano配置:

gedit ~/.theanorc
写入

[global]
openmp=False
device = gpu
floatX = float32
allow_input_downcast=True
[lib]
cnmem = 0.8
[blas]
ldflags= -lopenblas
[nvcc]
fastmath = True
保存退出

python
import keras
应该会有warning说正在使用cudnn5.1,theano只支持5.,如果有问题就降级cudnn或者升级theano

那么恭喜!你已经成功安装keras和theano,并且开启了gpu支持,可以开始用keras愉快的搞♂深度学习了!

六、安装Tensorflow

完全按照官网来吧:

https://www.tensorflow.org/versions/r0.11/get_started/os_setup.html#pip-installation

Then, select the correct binary to install:

Ubuntu/Linux 64-bit, CPU only, Python 2.7

$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0rc2-cp27-none-linux_x86_64.whl

Ubuntu/Linux 64-bit, GPU enabled, Python 2.7

Requires CUDA toolkit 8.0 and CuDNN v5. For other versions, see “Install from sources” below.

$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.11.0rc2-cp27-none-linux_x86_64.whl

Mac OS X, CPU only, Python 2.7:

$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.11.0rc2-py2-none-any.whl

Mac OS X, GPU enabled, Python 2.7:

$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/gpu/tensorflow-0.11.0rc2-py2-none-any.whl

Ubuntu/Linux 64-bit, CPU only, Python 3.4

$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0rc2-cp34-cp34m-linux_x86_64.whl

Ubuntu/Linux 64-bit, GPU enabled, Python 3.4

Requires CUDA toolkit 8.0 and CuDNN v5. For other versions, see “Install from sources” below.

$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.11.0rc2-cp34-cp34m-linux_x86_64.whl

Ubuntu/Linux 64-bit, CPU only, Python 3.5

$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0rc2-cp35-cp35m-linux_x86_64.whl

Ubuntu/Linux 64-bit, GPU enabled, Python 3.5

Requires CUDA toolkit 8.0 and CuDNN v5. For other versions, see “Install from sources” below.

$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.11.0rc2-cp35-cp35m-linux_x86_64.whl

Mac OS X, CPU only, Python 3.4 or 3.5:

$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.11.0rc2-py3-none-any.whl

Mac OS X, GPU enabled, Python 3.4 or 3.5:

$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/gpu/tensorflow-0.11.0rc2-py3-none-any.whl
Install TensorFlow:

Python 2

sudopipinstallupgrade TF_BINARY_URL

Python 3

sudopip3installupgrade TF_BINARY_URL
So easy!可以在keras里切换后端了。
注意一下keras针对cnn中th和tf卷积核的数据格式

还是在刚才那个修改后端的文件里修改即可。

七、安装MXNet

个人很看好MXNet,简介、速度快、语言多、社区活跃,缺点就是时间段、文档比较少。

先按照官网教程安装

We need git to clone MXNet source code repository to your machine.

Install git if not already installed.

sudo apt-get update
sudo apt-get -y install git

Clone mxnet repository. In terminal, run the commands WITHOUT “sudo”

git clone https://github.com/dmlc/mxnet.git ~/MXNet/mxnet –recursive

Install MXNet dependencies

cd ~/MXNet/mxnet/setup-utils
bash install-mxnet-ubuntu.sh

We have added MXNet Python package path in your ~/.bashrc.

Run below command to refresh environment variables.

$ source ~/.bashrc
下面我们需要修改config.mk文件使其使用gpu

cd MXNet/mxnet

cp make/config.mk .

到mxnet目录编辑config.mk文件

改这几处(文件里本身带教程)

USE_CUDA = 1
USE_CUDA_PATH = /usr/local/cuda
USE_CUDNN = 1
保存
make clean
make -j4
MXNet至此完成

打开python,试验一下

import mxnet as mx
a = mx.nd.ones((2, 3),
… mx.gpu())
print (a * 2).asnumpy()
至此,框架安装结束!

如果我的文档能帮你避掉一两个坑,我将感到无比的欣慰

如有安装过程、代码命令的错误以及侵权等质疑请务必联系我!
以下是安装mxnet0.9.5的命令。
sudo apt-get update
sudo apt-get install -y build-essential git
sudo apt-get install -y libopenblas-dev
sudo apt-get install -y libopencv-dev
git clone https://github.com/dmlc/mxnet.git mxnet –recursive –branch v0.9.5 –depth 1
cd mxnet/setup_utils && bash bash install-mxnet-ubuntu-python.sh

以下是几种主流深度学习框架的功能介绍: 1.PyTorch • 动态计算图:PyTorch采用动态计算图,允许用户在运行时构建和修改计算图,这使得调试和开发更加灵活。 • 自动求导:提供了强大的自动微分机制,能够自动计算梯度,极大地简化了神经网络的训练过程。 • 易用性与灵活性:代码风格接近Python,简洁易懂,与Python数据科学栈(如NumPy)高度集成。 • 分布式训练与混合精度训练:支持多GPU和多节点的分布式训练,以及混合精度训练,可显著加速训练过程。 • 社区支持:拥有活跃的社区和丰富的资源,适合学术研究和工业级应用。 2.TensorFlow • 静态计算图:TensorFlow采用静态计算图,在训练前需要先构建完整的计算图,适合大规模分布式训练和生产级部署。 • TensorBoard可视化:提供了强大的可视化工具TensorBoard,可用于监控训练过程、分析模型性能。 • 丰富的API和工具:支持多种硬件加速,提供了从底层到高层的丰富API,满足不同层次用户的需求。 • 模型部署:通过TensorFlow Serving等工具,可以方便地将模型部署到生产环境中。 3.Keras • 高层API:Keras是一个高层神经网络API,运行在TensorFlow等框架之上,以简单易用、高度模块化著称。 • 快速构建模型:提供了Sequential和Functional API两种模型定义方式,适合快速构建和测试神经网络。 • 数据预处理:内置了多种数据预处理函数,如独热编码、序列填充等。 • 模型评估与调优:支持使用回调函数(如EarlyStopping和学习率调度器)来优化训练过程。 4.其他框架 • Caffe/Caffe2:主要用于计算机视觉任务,支持卷积神经网络(CNN),以高效的训练和推理速度著称。 • MXNet:支持灵活的模型定义和高效的分布式训练,适合大规模数据集。 • PaddlePaddle:百度开发的深度学习框架,支持多种硬件加速,提供了丰富的预训练模型和工具。 • Deeplearning4j:基于Java的深度学习框架,适合在Java生态中使用。 深度学习框架的通用功能 1. 数据预处理:大多数框架提供了数据加载、预处理(如归一化、标准化、数据增强等)的工具。 2. 模型定义:用户可以通过内置的层(如全连接层、卷积层等)快速搭建神经网络。 3. 训练与优化:支持多种优化算法(如SGD、Adam等),并提供自动求导功能。 4. 模型评估与部署:可以对模型进行评估,并通过工具将模型部署到生产环境中。 这些框架各有优势,选择时可以根据具体需求、开发习惯和项目规模来决定。以下是关于大模型搜索引擎和超级计算模板的相关信息: 大模型搜索引擎 1. 博查AI搜索 • 国内首个支持多模型的AI搜索引擎,集成了通义千问、字节云雀、月之暗面Kimi等多个顶尖AI大模型。 • 提供干净、无广告的搜索体验,支持实时信息获取和多模型切换,能够直接生成问题的答案,而非传统搜索引擎的链接列表。 • 其AI智能体深度回答功能(内测中)可提供更丰富、深入的搜索结果。 • 网址:[]()。 2. 秘塔AI搜索 • 能够深入理解用户问题,提供无广告、直达结果的搜索体验。 3. 卡奥斯智能交互引擎 • 专注于工业知识智能搜索和解决方案精准生成,融合智能检索、应用和多模态连续交互功能,以“大连接、大数据、大模型”为基础技术。 4. 360AI搜索 • 结合大模型与搜索技术,注重用户体验,通过多步推理和慢思考模式提高答案质量和准确性。 5. 知乎直答 • 利用知海图AI大模型处理内部文本数据,并整合其他网站文章,生成丰富参考答案。 6. 天工AI搜索 • 搭载天工大模型,提供智能、高效、快速的搜索体验,支持全网信息搜索、智能聚合,并可将结果整理为脑图和大纲。 7. Perplexica • 开源AI驱动搜索引擎,可使用Grok和OpenAI等模型本地运行,适用于学术研究、写作等场景。 8. MindSearch • 基于LLM的多代理框架,通过WebPlanner和WebSearcher模拟人类多步信息寻求和整合过程,能够从大规模网页中并行寻求和整合信息。 超级计算模板 • AI超级计算机 • 专为人工智能应用设计的高性能计算系统,能够处理和分析海量数据,支持复杂的机器学习和深度学习任务。 • 典型应用场景包括语言大模型、视觉大模型和多模态大模型的训练,广泛应用于自动驾驶、智能安防、医学影像等领域。 • 开源AI搜索引擎技术栈 • 一些开源AI搜索引擎(如OpenPerPlex、LangChain-SearXNG等)结合了多种技术,包括语义分块、搜索引擎集成(如SearXNG)、大模型(如Llama 3)和推理引擎(如Groq),为开发者提供了强大的技术框架。 这些工具和平台为大模型的应用和开发提供了丰富的支持,用户可以根据具体需求选择合适的搜索引擎或计算模板。在讨论如何通过编程实现更环保、低排放的生成式AI时,需要从多个方面来考虑“更好”的编程方式。这里的“更好”可以包括更高的效率、更低的能耗、更简洁的代码以及对环境影响的最小化。以下是一些具体的建议和方向: --- 1.选择合适的编程语言 不同的编程语言在性能、开发效率和资源消耗方面各有优劣。对于开发低能耗的AI应用,以下语言可能是较好的选择: Python • 优点: • 丰富的库和框架:Python是深度学习和AI领域的主流语言,拥有大量的开源库(如TensorFlow、PyTorch、Keras等),这些库经过优化,能够高效地利用硬件资源。 • 易读性和开发效率:Python语法简洁,易于理解和维护,适合快速开发和迭代。 • 社区支持:拥有庞大的开发者社区,遇到问题时更容易找到解决方案。 • 优化方向: • 使用高效的Python库(如NumPy、Pandas)进行数据处理。 • 利用JIT编译器(如Numba)加速Python代码的执行。 • 避免不必要的循环和复杂的数据结构,减少内存占用。 C++ • 优点: • 高性能:C++在执行效率上优于Python,尤其是在大规模数据处理和复杂计算任务中。 • 底层控制:能够直接操作硬件资源,适合对性能要求极高的场景。 • 优化方向: • 使用高效的算法和数据结构。 • 利用多线程和并行计算技术充分利用多核CPU。 • 结合CUDA等技术加速GPU计算。 Julia • 优点: • 高性能与易用性:Julia在性能上接近C++,同时语法简洁,类似于Python。 • 内置并行计算支持:Julia原生支持多线程和分布式计算,适合大规模并行任务。 • 优化方向: • 利用Julia的内置并行计算功能,减少计算时间。 • 使用预编译的包和库,避免运行时的性能开销。 --- 2.编程实践中的优化策略 无论选择哪种语言,以下编程实践都能帮助降低能耗和提高效率: 高效的数据处理 • 避免重复计算:缓存中间结果,避免重复执行相同的计算。 • 批量处理:将数据分批处理,减少I/O操作和内存占用。 • 数据压缩:在不影响模型性能的前提下,对数据进行压缩以减少存储和传输成本。 代码优化 • 减少不必要的循环和递归:优化算法复杂度,减少不必要的计算。 • 使用内置函数和库:内置函数通常经过优化,比自定义实现更高效。 • 内存管理:合理管理内存分配和释放,避免内存泄漏。 并行计算 • 多线程和多进程:利用多核CPU的计算能力,将任务分配到多个线程或进程中。 • GPU加速:对于深度学习任务,使用GPU加速可以显著减少计算时间和能耗。 • 分布式计算:对于大规模任务,可以使用分布式计算框架(如Apache Spark)将任务分配到多个节点上。 --- 3.开发环境和工具的选择 • 使用高效的IDE:选择支持代码优化、性能分析和调试的集成开发环境(如PyCharm、Visual Studio Code)。 • 性能分析工具:使用性能分析工具(如Python的cProfile、C++的gprof)来识别代码中的性能瓶颈。 • 代码审查:定期进行代码审查,优化算法和数据结构,减少冗余代码。 --- 4.环境友好型编程的额外建议 • 选择绿色云计算服务:使用采用可再生能源的数据中心,减少碳排放。 • 模型优化:选择更高效的模型架构,避免过度复杂的模型。例如,使用轻量级模型(如MobileNet)代替大型模型。 • 资源管理:合理规划硬件资源,避免过度配置。例如,根据任务需求动态调整GPU资源。 --- 总结 选择“更好”的编程语言和实践需要综合考虑任务需求、开发效率和环境影响。Python是目前AI领域的主流选择,适合快速开发和迭代;C++适合对性能要求极高的场景;Julia则在性能和易用性之间取得了很好的平衡。无论选择哪种语言,通过优化代码、利用并行计算和选择绿色计算资源,都可以显著降低生成式AI的碳排放,实现更环保的编程目标。
最新发布
03-10
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值