starkpan的博客

这里搭建的是慕课网大数据课程中的版本 1、下载hadoop wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 2、解压hadoop tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/ 3、修改配置文件 配置文件1、/home/hadoop...

hadoop下载网址 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 1、关闭防火墙 #停止防火墙，重启后失效 sudo systemctl stop firewalld.service #禁用防火墙，重启后依然有效 sudo systemctl disable firewalld.ser...

创建六台linux centos7(redhat)虚拟机，起名分别为hadoop001，hadoop002，hadoop003，hadoop004，hadoop005，hadoop006 创建用户hadoop，设置为sudo用户。 1、关闭防火墙 2、配置主机名 3、配置hosts 4、配置密码互通 5、安装jdk1.8 6、安装hadoop 以上参看hadoop单节点安装（注意...

hdfs组成 hdfs由NameNode、secondNameNode与DataNode组成。 DataNode存储真实的数据(1台真实的服务器为1个dataNode) NameNode记录文件、block、DataNode之间的映射关系，保存在内存和磁盘之中各一份。 SecondNameNode合并操作日志，协助NameNode 存储过程     一个大文件存储到hdfs中，会首...

MapReduce分为两个阶段：Mapper和Reducer，用户只需要实现map()和reduce()两个函数，即可实现分布式计算。 两个工作节点为ResourceManager，NodeManager。 ResourceManager工作职能： 1、管理nodeManager 2、检测NodeManager状态变换，通过RPC心跳实现。 3、任务的分配和调度，做到细粒度任务分配，比...

1、安装hadoop，参考hadoop伪分布式搭建 https://blog.youkuaiyun.com/starkpan/article/details/85470433 2、下载hive，注意hive版本与hadoop一定要一致 wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz 3、解压到指定目录，随...

搭建伪分布式hbase需要搭建zookeeper、hadoop、hbase。 mac上搭建hbase集群，大体上和linux一致，在这里总结一下遇到的坑。 1、host文件配置 路径/etc/hosts 127.0.0.1 localhost 255.255.255.255 broadcasthost #::1 localhost 127.0.0.1 hadoop...