自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Mr_Queen

I think the most helpless thing for a man is that in his incompetent age he meets the girl he wants to take care of in whole li

  • 博客(8)
  • 收藏
  • 关注

原创 Hive搭建

Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能, Hive 底层是将 SQL 语句转换为 MapReduce 任务运行 一、前 期准备 1.保证 Hadoop 集群搭建成功并启动 hadoop集群搭建教程:http://39.105.70.212/?p=109 # 启动HDFS start-dfs.sh # 启动yar...

2018-11-16 19:57:44 1530

原创 高可靠性、高性能、可伸缩、分布式、基于列存储的非关系型(NoSQL)数据库——Hbase

一、什么是Hbase 二、Hbase分布式集群搭建 Mysql和Hbase的区别: 三、HBase 表存储结构 HBase 表逻辑视图 表的形式存储数据,表由行和列组成。列划分为若干个列簇 (Column Family)。 2、HBase 表结构组成 行键(RowKey) 作用:用来检索记录的主键 访问 HBase 表中的行,有三种方式: - 通过单个 RowKey 访问 - 通过 RowKe...

2018-11-16 19:56:58 1102

原创 Zookeeper集群搭建

一、初识Zookeeper 1、Zookeeper概述 什么是 ZooKeeper? 译名为“动物园管理员” 开源的分布式协调服务,就是为用户的分布式应用程序提供协调服务。 2、ZooKeeper 功能 (1)为别的分布式程序服务 (2)本身就是一个分布式程序(只要有半数以上节点存活,ZooKeeper 就能正常服务) (3)所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置...

2018-11-16 19:55:47 183

原创 Mapreduce三大组件之三———— SORT

一、基本思路 自定义 bean 类来封装流量信息,实现 WritableComparable 接口 将 bean 作为 Map 输出的 key 来传输 重写compareTo方法,对 Map 输出的 key 实现自定义排序 二、代码实现步骤 1、自定义 bean 类来封装流量信息,实现 WritableComparable 接口,并将 bean 作为 Map 输出的 key 来传输 2、定义成...

2018-11-16 19:54:47 425

原创 Mapreduce三大组件之二 Combiner——本地Reducer

一、什么是 Combiner? 作用:在 MapTask 之后给 MapTask 的结果进行局部汇总以减轻 ReduceTask 的计算负载,减少网络传输 每一个map都可能会产生大量的本地输出,Combiner的作用就是对map端的输出先做一次合并,以减少在map和reduce节点之间的数据传输量,以提高网络IO性能,是MapReduce的一种优化手段之一 Combiner最基本是实现本地key...

2018-11-16 19:53:48 769

原创 Mapreduce三大组件之一Partitioner——实现自定义分区

MapReduce中数据流动 (1)最简单的过程: map - reduce (2)定制了partitioner以将map的结果送往指定reducer的过程: map - partition - reduce (3)增加了在本地先进性一次reduce(优化)过程: map - combin(本地reduce) - partition -reduce 1、概述: Partitioner 组件可...

2018-11-16 19:51:57 1166

原创 Hadoop2.6.5 分布式集群搭建

一、Hadoop2.6.5 分布式集群搭建 1、安装Hadoop 准备安装包: hadoop-2.6.5.tar.gz 上传到 Linux 服务器上去(我的上传目录是/home/xutao/Desktop/software) 把软件解包解压缩到当前目录下: tar -zxvf hadoop-2.6.5.tar.gz 2.Hadoop配置 cd /home/xutao/Desktop/s...

2018-11-16 19:47:38 326

原创 Hadoop之Linux系统环境准备

服务器配置以及JDK的安装 一、硬件准备 1、服务器准备 服务器准备:VMware12/10/14 CentOS6.8 下载网址:http://vault.centos.org/ 2、网络环境准备 NAT方式:不需要做任何网络设置,只要宿主主机上网即可上网 IP地址,子网掩码,网关,DNS(外网) 二、LINUX系统环境准备 1、修改主机名 root用户下:vim /etc/sysconfig...

2018-11-16 19:34:42 483

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除