Mr_Queen

服务器配置以及JDK的安装一、硬件准备1、服务器准备服务器准备：VMware12/10/14CentOS6.8 下载网址：http://vault.centos.org/2、网络环境准备NAT方式：不需要做任何网络设置，只要宿主主机上网即可上网IP地址，子网掩码，网关，DNS（外网）二、LINUX系统环境准备1、修改主机名root用户下：vim /etc/sysconfig...

一、Hadoop2.6.5 分布式集群搭建1、安装Hadoop准备安装包：hadoop-2.6.5.tar.gz上传到 Linux 服务器上去（我的上传目录是/home/xutao/Desktop/software）把软件解包解压缩到当前目录下:tar -zxvf hadoop-2.6.5.tar.gz2.Hadoop配置cd /home/xutao/Desktop/s...

MapReduce中数据流动（1）最简单的过程： map - reduce（2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce（3）增加了在本地先进性一次reduce（优化）过程：　map - combin(本地reduce) - partition -reduce1、概述：Partitioner 组件可...

一、什么是 Combiner？作用：在 MapTask 之后给 MapTask 的结果进行局部汇总以减轻 ReduceTask 的计算负载，减少网络传输每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一Combiner最基本是实现本地key...

一、基本思路自定义 bean 类来封装流量信息，实现 WritableComparable 接口将 bean 作为 Map 输出的 key 来传输重写compareTo方法，对 Map 输出的 key 实现自定义排序二、代码实现步骤1、自定义 bean 类来封装流量信息，实现 WritableComparable 接口，并将 bean 作为 Map 输出的 key 来传输2、定义成...

一、初识Zookeeper1、Zookeeper概述什么是 ZooKeeper？ 译名为“动物园管理员” 开源的分布式协调服务，就是为用户的分布式应用程序提供协调服务。2、ZooKeeper 功能 （1）为别的分布式程序服务 （2）本身就是一个分布式程序（只要有半数以上节点存活，ZooKeeper 就能正常服务） （3）所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置...

一、什么是Hbase二、Hbase分布式集群搭建Mysql和Hbase的区别：三、HBase 表存储结构HBase 表逻辑视图表的形式存储数据，表由行和列组成。列划分为若干个列簇 (Column Family)。2、HBase 表结构组成行键（RowKey）作用：用来检索记录的主键访问 HBase 表中的行，有三种方式：- 通过单个 RowKey 访问- 通过 RowKe...

Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能， Hive 底层是将 SQL 语句转换为 MapReduce 任务运行一、前 期准备1.保证 Hadoop 集群搭建成功并启动hadoop集群搭建教程：http://39.105.70.212/?p=109# 启动HDFSstart-dfs.sh# 启动yar...