Supplant的博客

Flume是一个高可用的、高可靠的日志采集系统，它能够将不同数据源的海量日志进行高效采集、汇总和移动，最终将这些日志存储到指定的存储系统（HDFS、HBase等）。Flume在实际应用过程中，不仅仅用于日志的采集，由于Flume采集的数据源是可定制的，所谓数据源可定制是指用户可以根据实际应用场景指定Flume采集的数据，所以Flume还可以用于传输大量的网络流量数据、社交媒体生成的数据和电子邮件等。

基于hadoop集群搭建hive仓库，和。关于hive的表和数据库详细操作。

HIVE是基于HDFS的数据仓库，要首先搭建好HADOOP的集群才可以正常使用HIVE，HADOOP集运搭建详见Hadoop集群搭建，首先在hadoop1上面搭建hive数据仓库。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。

首先得创建3个虚拟机，hadoop1，hadoop2与hadoop3，设置好hosts文件与地址，设置方式，就可以搭zookeeper了。提取码: ybts资源下载ZooKeeper是一个开源的分布式协调服务，目标是将那些复杂且容易出错的分布式应用封装起来，构成一个高效可靠的原语集，并提供一系列简单易用的接口提供给用户使用，主要是就是为了解决分布式系统中单点故障的问题。

在Hadoop 3.x版本中，HDFS新增了Erasure Coding（纠删码），简称EC。Erasure Coding是一种编码技术，它在廉价磁盘冗余阵列（Redundant Arrays of Inexpensive Disks，缩写RAID）中广泛应用，RAID通过条带化技术实现Erasure Coding。条带化技术是一种自动将I/O的负载均衡到多个物理磁盘上的技术，原理就是将逻辑上连续的数据（如文件）划分为较小的单位，并将连续的单位存储到不同的磁盘上。

HDFS提供了一种Federation机制，该机制允许单个HDFS存在多个NameNode，从而解决了HDFS的存储能力受单个NameNode的内存限制的问题，而且还可以提高HDFS读写数据的效率。

HDFS Shell类似于Linux操作系统中的Shell，都是一种命令语言，可以完成对HDFS上文件和目录的一系列操作。HDFS Shell的语法格式如下。OPTIONS：可选，用来调试Hadoop。SUBCOMMAND：表示HDFS Shell的子命令，用于操作HDFS。SUBCOMMAND OPTIONS：表示HDFS Shell子命令的选项。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档Hadoop集群搭建。