SPARK-CNN 安装及使用教程

最新推荐文章于 2025-06-12 19:21:40 发布

magicmae

最新推荐文章于 2025-06-12 19:21:40 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark-cnn spark cnn python

本文链接：https://blog.youkuaiyun.com/magicmae/article/details/78776639

SPARK-CNN 安装及使用教程

一、准备工作

如何设置Root
Su passed root 设置密码

如何修改静态ip
主机的gateway dns，mask都在library/preference/vmware fusion/vmnet8夹下的文件里dhcpd.conf
http://blog.youkuaiyun.com/yaphat/article/details/53007127

su与su -root的区别
大部分Linux发行版的默认账户是普通账户，而更改系统文件或者执行某些命令，需要root身份才能进行，这就需要从当前用户切换到root用户，Linux中切换用户的命令是su或su -
前者只是切换root身份，但shell环境仍然是普通用户的shell；
而后者连用户和shell环境一起切换成root身份了。只有切换了shell环境才不会出现PATH环境变量错误。su切换成root用户以后，pwd一下，发现工作目录仍然是普通用户的工作目录；而用su - 命令切换以后，工作目录变成root工作目录了。

设置root用户登录

安装hadoop

出现问题：
E：Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)
E: Unable to lock the administration directory (/var/lib/dpkg/), is another process using it?
解决： ps -A | grep apt
查看所有正在执行的进程
杀死apt进程 killall 显示的apt进程

安装Spark（注意Spark版本和Hadoop版本的问题）
Spark1.6版本没有sparksession
Spark2.0版本增加sparksession

7.安装VMware tools
VMware-install.pl

二、安装所有依赖
安装python需要的软件使用pip语句
安装ubuntu需要的软件使用apt-get 语句

设置依赖：
如何升级python2到python3：apt-get update

安装psutil模块 http://blog.youkuaiyun.com/cui98/article/details/42212477
Pip3 install psutil
psutil模块，主要应用于系统监控，分析和限制管理资源及进程的管理，它实现了同等命令工具提供的功能。

安装cython cython是一个用来快速生成Python扩展模块(extention module)的工具
拓展：
https://www.cnblogs.com/BugQiang/p/4750216.html
•Python
一种支持面向对象和函数式（面向过程）的高级编程语言
•CPython　　　　
由 C 语言编译，一种默认的，通常我们所提及的基于 C 的 Python 的一种实现
•Cython　　　　
一种 Python 到 C 的一种转换器，用于对 CPyhton 做模块扩展，在一定程度上可以有一定的性能提升
•Jython
一种设计运行在 Java 平台的 Python 编程语言的实现
•IronPython
一种设计运行在 .NET CLR 平台的 Python 编程语言的实现
•PyPy
具有即时编译（JIT）功能的 Python 编程语言的实现
Pip3 install cython
http://www.php.cn/python-tutorials-360493.html