- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark安装
1. spark安装与使用(在Hadoop已经安装的基础上) 参考厦门大学大数据实验室的博客安装 1.1. 安装环境 Ubuntu 20.04 Hadoop 3.1.3 Java JDK 1.8 Spark 3.0.0 preview2 1.2. 安装Hadoop(伪分布式) 在我之前的博客中有 1.3. 安装Spark 1.3.1. 下载Spark压缩包 1.3.2. 解压压缩包并为Spark配置文件 解压压缩包 sudo tar -zxf ~/下载/spark-3.0.0-preview2-
2020-05-15 18:51:43
599
原创 Hadoop的高可用性
1. Hadoop的高可用性 1.1. 问题引入 对于单一的namenode1或者联邦（Federation）HDFS2无法解决单点失效问题。 如果namenode失效了，那么会造成所有客户端，包括MapReduce作业，均无法读写和列举文件。 1.2. 新的namenode响应服务的条件 现在来考虑一下如果旧的namenode失效后，启动一个新的namenode需要满足什么条件？ 假设...
2020-04-23 19:33:29
702
原创 Hadoop的数据类型和自定义Hadoop数据类型
Hadoop的数据类型 在学习了Hadoop的基本架构以后,就可以试着编写Map和Reduce的来处理数据 但是,编写之前我们需要来了解一下Hadoop的基本数据类型 1. 为什么Hadoop有自己的数据类型 hadoop由各个节点构成一个集群，分布式储存就要考虑到数据在节点之间来回传递的问题。为了解决这一问题，hadoop采用了java中的序列化和反序列化概念1。在Hadoop中，位...
2020-04-19 19:03:49
2059
1
原创 安装 hadoop3.1.3 for ubuntu19.10 伪分布模式
1.下载hadoop，https://hadoop.apache.org/releases.html 不想自己编译就下载Binary download （不过编译也就是一个命令的事） 2.JAVA JDK的选择与安装 吐槽一下：网上那些教程都是什么鬼，一点都不细节（花了我整整一天的时间）,也是因为我太菜了 1.安装java8（就安装java8，不要整那些花里胡哨的）安装其他版本可能用不了hado...
2020-02-29 01:10:51
719
原创 Shell脚本的执行
Shell脚本的执行 1.创建模拟脚本test.sh cat > test.sh #<==编辑test.sh脚本文件 echo ‘I am LYJ’ #按回车键后再按Ctrl+d组合键结束编辑 2.显示文件内容 cat test.sh 3用第一种方式命令执行 sh test.sh #sh命令 bash test.sh #bash命令 4用第二种方法命令执行 ls -l tesh....
2019-10-12 11:59:17
311
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人