- 博客(3)
- 收藏
- 关注
RSS订阅原创 西北工业大学软件学院大数据技术实验（三）
安装分布式的Spark集群的环境Spark分布式集群的安装环境，需要事先配置好Hadoop的分布式集群环境，如果没有配置好Hadoop的分布式集群环境，请点击西北工业大学软件学院大数据技术试验（二）进行安装，本文采用Spark2.4.0来搭建集群。1.安装Spark这里采用5台机器（节点）作为实例来演示如何搭建Spark集群，其中一台机器作为master节点，另外4台机器作为slave节点，主机名一次命名为slave01,slave02.......。我们需要在m...
2021-11-15 11:51:20
1424
2
原创 西北工业大学软件学院大数据技术实验(二)
安装分布式的Hadoop集群的环境准备工作：在安装分布式的Hadoop集群之前需要我们准备好若干台能够连接到网络的虚拟机，采用ifconfig命令可以查看该虚拟机的IP，最好通过apt命令安装vim编辑器方便修改配置文件。1.安装JDK找到对应的JDK的安装包，我安装的是JDK1.8_162版本的，如果大家需要的话，我会整理我用到的软件上传到网盘分享给大家。cd /usr/localsudo mkdir jvm #创建/usr/local/jvm目录用来存放JDK文件sudo tar
2021-11-11 13:57:59
2859
原创 西北工业大学软件学院大数据技术实验(一)
登录服务器并创建自己的虚拟机学校服务器地址为：10.13.0.21~10.13.0.29，每一个IP对应着是不同配置的主机，在新建自己虚拟机之前应该先估算自己所需要多少资源，确定在哪个IP上注册自己的虚拟机。所有IP的登录名：root,密码：xxx。下面展示的是22节点上登录界面：成功登录以后会显示出服务器上面的虚拟主机，如下图所示：在服务器上面创建虚拟机之前需要提前准备ISO镜像文件，需要保证每个新建的虚拟机采用不同的ISO文件，不然的话会出现各个虚拟机会对同一个文件产生读写冲突，我.
2021-11-10 18:02:37
3550
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人