Au的博客

环境：hadoop 3.0.3VMware+Ubuntu 16.04两台（或多台）JDK 1.8一、装好Linux虚拟机，大概步骤如下：命名随便，为了方便区分，主节点取名master，从节点1取名slave1，从节点2取名slave2。。。。为了以后ip地址不变，网络适配器选择桥接模式。二、装好后，查询各节点ip（命令：ifconfig）：我...

Zookeeper选举机制Zookeeper的选举机制是半数机制（Paxos协议）：集群中半数以上机器存活，集群就可用。所以Zookeeper适合装在奇数台机器上。Zookeeper在配置文件没有指定master和slave，但是在Zookeeper工作时，是有一个节点为leader，其它为followrer，这个leader就是通过内部的选举机制临时产生的。集群中每台机器在选举过程中有...

Hive 的 sort by 与 order by、distribute by 与 cluster by文章目录Hive 的 sort by 与 order by、distribute by 与 cluster bysort by 与 order bydistribute by 与 cluster bysort by 与 order by我们知道，在MapReduce中，每个分区的数据是k...

Hive安装与使用文章目录Hive安装与使用Hive安装设置Hive执行环境Hive支持的数据类型表的创建内部表外部表分区表Array、Map、Struct的使用ArrayMapStructHive安装到官网下载 apache-hive-2.3.5-bin.tar.gz 文件到/home/au/software/hive（目录随意）。解压该文件：tar -zxvf apache-hiv...

Spark在windows运行报错-ERROR Shell Failed to locate the winutils binary in the hadoop binary path java.io.IOException Could not locate executable null\bin\winutils.exe in the Hadoop binaries.在windows的idea...

HBase存储原理、读写原理以及flush和合并过程文章目录`HBase`存储原理、读写原理以及`flush`和合并过程`HBase`存储原理（架构）`HBase`读原理`HBase`写原理`HBase`数据`flush`刷写过程`HBase`数据`compaction`合并过程HBase存储原理（架构）HBase依赖于Zookeeper和Hadoop的，所以在启动HBase前需要启动Z...

zookeeper概述文章目录`zookeeper`概述`1.` 概述`2.` 特点`3.` 数据结构`4.` 应用场景1. 概述Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。Zookeeper 从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生...

大数据 —— Flume文章目录大数据 —— `Flume``Flume`简介`Flume`结构`Flume`安装`Flume`常用命令`Flume`实例1. 监控一个文件,实时采集新增的数据输出到控制台2. 从指定网络端口采集数据单行数据输出到控制台3. 监控一个文件,实时采集新增的数据输出到`Kafka`4. 监听TCP的端口，实时采集新增的数据输出到控制台5. 监控一个文件,实时采集新增的...

MapReduce原理文章目录MapReduce原理MapReduce架构MapReduce执行过程MapReduce的map与reduce过程`MapReduce`流程总览：`MapReduce`详细流程：`Map`端分析：`Shuffle`过程分析：`map`端的`shuffle`：`Reduce`端的`shuffle`：`Reduce`端分析：MapReduce架构在MapReduce...