Wpixel的博客

开发环境和工具MAC OSParallels Desktop 12SecureCRTSecureFXhadoop环境Centos7jdk-8u101-linux-x64Hadoop2.8.1zookeeper-3.4.10集群节点配置 IpAddr HostName 10.211.55.111 wpixel01 10.211

Hadoop Federation + HA 搭建（一） – 环境准备一 . 搭建ZK的分布式环境（3台机器，如果ZK是StandAlone的模式，只需要一台机器）1 . 解压Zookeeper包解压到当前目录[root@wpixel01 www]# tar -zxvf zookeeper-3.4.10[root@wpixel01 www]# lltotal 4488-

一. hadoop环境搭建完毕，现在可以对hdfs进行操作1 .上传文件到hdfs文件系统#创建一个hive文件夹[root@wpixel01 www]# hadoop fs -mkdir /hive#将当前目录的文件上传到hdfs文件系统中的hive目录下[root@wpixel01 www]# hadoop fs -put hadoop-2.8.1.tar.gz /hive#l

前言我们先了解一下hadoop，然后再介绍生态系统中各组件以及使用方法。（HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Pig、Flume、Sqoop）hadoop是一个开源框架，可以编写和运行分布式系统来处理大规模的数据集。Hadoop的核心是HDFS和MapReduce。其中HDFS是分布式文件系统，MapReduce是一种编程模型，用于...