- 博客(15)
- 收藏
- 关注
原创 hadoop完全分布式搭建
systemctl disable firewalld #关闭防火墙开机自起。拷贝完成后,在hadoopwanquan中检查是否拷贝成功(hadoopwanquan执行)秘钥拷贝(将三个节点的秘钥都拷贝到hadoopwanquan中)(三个节点执行)ps: 第一次拷贝slave2出现以下问题,没有解决,但是不影响无密钥登录。各节点更改主机名,每个节点配置上述规划的主机名(重启生效)ping 节点名称,在一个节点ping其他两个节点。生成秘钥(三个节点生成)输入yes和root密码。
2023-06-01 17:09:24
734
1
原创 编写独立应用程序实现求平均值问题
每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写Spark独立应用程序求出所有学生的平均成绩,并输出到一个新文件中。下面是输入文件和输出文件的一个样例供参考。1.进入到mycode目录,新建RemDup目录(没有mycode目录可以新建一个)scala运行版本和查看版本不一致,让人思考simple.sbt底下用哪个版本合适。↑这个内容很好看,但是很愚蠢,不知道的话这里错误会浪费几个小时(肯定不是我)实验结果过后表明,两个版本都可以。
2023-05-31 04:02:47
2626
3
原创 VMware安装Ubuntu 16.04
10.选择I/O控制类型:LSI Logic,下一步。8.设置虚拟机内存:4096MB,下一步。13. 指定磁盘容量:建议50G,下一步。6.创建虚拟机名称,选择存放位置,下一步。11. 选择磁盘类型:SCSI,下一步。这里建议选择数量 2,内核 2。12.创建新虚拟磁盘,下一步。5.设置用户名密码,下一步。9.网络类型NAT,下一步。14.指定磁盘文件,下一步。7.处理器配置:下一步。
2023-05-28 14:07:10
847
1
原创 《大数据基础编程、实验和教程案例》学习日志 第一章、第二章
Linux是一种自由和开放源代码的类Unix操作系统,可以在各种计算机硬件设备上运行,包括个人计算机、服务器、移动设备和嵌入式设备等。Linux基于Unix的设计理念和技术,但是与传统Unix有很大区别。Linux系统的核心是Linux内核,它是一个功能全面、高效、稳定的操作系统核心,负责硬件管理、内存管理、进程管理、文件系统管理等任务。Linux内核通常被打包为Linux发行版,如Ubuntu、Red Hat、Debian、CentOS等。
2023-05-27 14:35:05
1153
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人