qq_34126805的博客

1.1 安装包准备 Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.gz Azkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.gz Azkaban 初始化脚本文件：azkaban-sql-script-2.5.0.tar.g 下载地址:http://azkaban.github.io/do...

一、Hadoop的产生背景 关于Hadoop的产生背景来源于Nutch，Nutch 的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，然而随着抓取网页数据的增加，数据的搜索和储存成为了设计人员所要思考的一个关键！ 2003年Google发布了三篇论文，GFS（Google File System），分布式计算框架（MapReduce）,分布式数据库（BigTa...

1.1原理 Hive 与 HBase 利用两者本身对外的 API 来实现整合，主要是靠 HBaseStorageHandler 进行通信，利用 HBaseStorageHandler，Hive 可以获取到 Hive 表对应的 HBase 表名，列簇以及列，InputFormat 和 OutputFormat 类，创建和删除 HBase 表等。 Hive 访问 HBase 中表数据，实质上是通过...