- 博客(8)
- 收藏
- 关注
原创 Hive搭建
Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能, Hive 底层是将 SQL 语句转换为 MapReduce 任务运行 一、前 期准备 1.保证 Hadoop 集群搭建成功并启动 hadoop集群搭建教程:http://39.105.70.212/?p=109 # 启动HDFS start-dfs.sh # 启动yar...
2018-11-16 19:57:44
1530
原创 高可靠性、高性能、可伸缩、分布式、基于列存储的非关系型(NoSQL)数据库——Hbase
一、什么是Hbase 二、Hbase分布式集群搭建 Mysql和Hbase的区别: 三、HBase 表存储结构 HBase 表逻辑视图 表的形式存储数据,表由行和列组成。列划分为若干个列簇 (Column Family)。 2、HBase 表结构组成 行键(RowKey) 作用:用来检索记录的主键 访问 HBase 表中的行,有三种方式: - 通过单个 RowKey 访问 - 通过 RowKe...
2018-11-16 19:56:58
1102
原创 Zookeeper集群搭建
一、初识Zookeeper 1、Zookeeper概述 什么是 ZooKeeper? 译名为“动物园管理员” 开源的分布式协调服务,就是为用户的分布式应用程序提供协调服务。 2、ZooKeeper 功能 (1)为别的分布式程序服务 (2)本身就是一个分布式程序(只要有半数以上节点存活,ZooKeeper 就能正常服务) (3)所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置...
2018-11-16 19:55:47
183
原创 Mapreduce三大组件之三———— SORT
一、基本思路 自定义 bean 类来封装流量信息,实现 WritableComparable 接口 将 bean 作为 Map 输出的 key 来传输 重写compareTo方法,对 Map 输出的 key 实现自定义排序 二、代码实现步骤 1、自定义 bean 类来封装流量信息,实现 WritableComparable 接口,并将 bean 作为 Map 输出的 key 来传输 2、定义成...
2018-11-16 19:54:47
425
原创 Mapreduce三大组件之二 Combiner——本地Reducer
一、什么是 Combiner? 作用:在 MapTask 之后给 MapTask 的结果进行局部汇总以减轻 ReduceTask 的计算负载,减少网络传输 每一个map都可能会产生大量的本地输出,Combiner的作用就是对map端的输出先做一次合并,以减少在map和reduce节点之间的数据传输量,以提高网络IO性能,是MapReduce的一种优化手段之一 Combiner最基本是实现本地key...
2018-11-16 19:53:48
769
原创 Mapreduce三大组件之一Partitioner——实现自定义分区
MapReduce中数据流动 (1)最简单的过程: map - reduce (2)定制了partitioner以将map的结果送往指定reducer的过程: map - partition - reduce (3)增加了在本地先进性一次reduce(优化)过程: map - combin(本地reduce) - partition -reduce 1、概述: Partitioner 组件可...
2018-11-16 19:51:57
1166
原创 Hadoop2.6.5 分布式集群搭建
一、Hadoop2.6.5 分布式集群搭建 1、安装Hadoop 准备安装包: hadoop-2.6.5.tar.gz 上传到 Linux 服务器上去(我的上传目录是/home/xutao/Desktop/software) 把软件解包解压缩到当前目录下: tar -zxvf hadoop-2.6.5.tar.gz 2.Hadoop配置 cd /home/xutao/Desktop/s...
2018-11-16 19:47:38
326
原创 Hadoop之Linux系统环境准备
服务器配置以及JDK的安装 一、硬件准备 1、服务器准备 服务器准备:VMware12/10/14 CentOS6.8 下载网址:http://vault.centos.org/ 2、网络环境准备 NAT方式:不需要做任何网络设置,只要宿主主机上网即可上网 IP地址,子网掩码,网关,DNS(外网) 二、LINUX系统环境准备 1、修改主机名 root用户下:vim /etc/sysconfig...
2018-11-16 19:34:42
483
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅