starkpan的博客

这里搭建的是慕课网大数据课程中的版本1、下载hadoopwget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz2、解压hadooptar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/3、修改配置文件配置文件1、/home/hadoop...

hadoop下载网址wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz1、关闭防火墙#停止防火墙，重启后失效sudo systemctl stop firewalld.service #禁用防火墙，重启后依然有效sudo systemctl disable firewalld.ser...

创建六台linux centos7(redhat)虚拟机，起名分别为hadoop001，hadoop002，hadoop003，hadoop004，hadoop005，hadoop006创建用户hadoop，设置为sudo用户。1、关闭防火墙2、配置主机名3、配置hosts4、配置密码互通5、安装jdk1.86、安装hadoop以上参看hadoop单节点安装（注意...

hdfs组成hdfs由NameNode、secondNameNode与DataNode组成。DataNode存储真实的数据(1台真实的服务器为1个dataNode)NameNode记录文件、block、DataNode之间的映射关系，保存在内存和磁盘之中各一份。SecondNameNode合并操作日志，协助NameNode存储过程    一个大文件存储到hdfs中，会首...

MapReduce分为两个阶段：Mapper和Reducer，用户只需要实现map()和reduce()两个函数，即可实现分布式计算。两个工作节点为ResourceManager，NodeManager。ResourceManager工作职能：1、管理nodeManager2、检测NodeManager状态变换，通过RPC心跳实现。3、任务的分配和调度，做到细粒度任务分配，比...

1、安装hadoop，参考hadoop伪分布式搭建https://blog.youkuaiyun.com/starkpan/article/details/854704332、下载hive，注意hive版本与hadoop一定要一致wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz3、解压到指定目录，随...

搭建伪分布式hbase需要搭建zookeeper、hadoop、hbase。mac上搭建hbase集群，大体上和linux一致，在这里总结一下遇到的坑。1、host文件配置路径/etc/hosts127.0.0.1 localhost255.255.255.255 broadcasthost#::1 localhost127.0.0.1 hadoop...