周凡的博客

1.发行版本    Hadoop发行版本分为开源社区版和商业版，社区是指同Apache软件基金会维护的版本，是官方维护的版本体系，是官方维护版本体系。商业版Hadoop是指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试面发行的版本，比较著名的cloudera的CDH、mapR等    Hadoop的版本很特殊，是由多条分支并行的发展着。大的来看分为3个...

1.启动方式 要启动Hadoop集群，需要启动HDFS和YARN两个集群 注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的 hdfs namenode -format 或者 hadoop namenode -format 1.1. 单节点逐个启动 在主节点上使用以下命令启动HDFS NameNode： hadoop-daemon....

1.HDFS重要特性 首先，它是一个文件系统，用于存储文件，通过统一的命名空间目录树来定位文件； 其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 1.1. master/salver架构 HDFS采用master/salver架构。一般一个HDFS集群是有一个NameNode和一定数目的DataNode组成。NameNode是HDFS集群主节点，DataNode是...

准备 需要hadoop集群，如不会搭建的请参考Hadoop集群–(1)搭建 1. scala安装 scala官网下载地址 移到网页最下面，选择自己的版本下载，然后上传到服务器 或直接下载 wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz 解压 tar zxf scala-2.12.8.tgz -C /root/...