2、hadoop子项目

##Pig---hadoop客户端

Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

http://guoyunsky.iteye.com/blog/1317084

http://blackproof.iteye.com/blog/1791980

 

##Hbase--apache顶级项目

Hbase query language(HQL Not only sql)

google3大论文之一bigtable的开源实现;适合高速读写数据场景。

http://blog.youkuaiyun.com/viewcode/article/details/9967497

http://www.youkuaiyun.com/article/2014-02-17/2818431-HDFS+MapReduce+Hbase

 

##Hive(蜂巢)--Hbase的数据仓库项目

http://sishuok.com/forum/blogPost/list/6220.html

http://zhangwei20086.blog.163.com/blog/static/230557182012619111956724/

HiveQL支持大部分SQL

 

##zookeeper

通信协调软件,google chubby的开元实现,确认消息是否到达,防止单点失效,处理负载均衡。

http://www.blogjava.net/BucketLi/archive/2010/12/21/341268.html

http://cailin.iteye.com/blog/2014486

 

sqoop

实现hadoop与关系型数据库的交互

 

avro(avro)

数据序列化工具,用于大数据交互

 

chukwa--数据收集与分析框架

 

cassanda--facebook提供与hbase类似

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值