
hive
文章平均质量分 91
贤云(xianyun)
爱学,不经历地狱般的磨练,怎么享受天堂的幸福,没有流过血的手指,怎么弹出世间绝唱
展开
-
Hive与HBase的整合
开场白:Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类 (Hive Storage Handlers), 大致意思如图所示: 口水: 对 hive_hbase-handler.jar 这个东东还有点兴趣,有空来磋磨一下。 一、2个注意事项:1、需要的软件有 Hadoop、Hive、Hbas...原创 2014-04-06 22:48:53 · 106 阅读 · 0 评论 -
hive集成hbase笔记
系统环境: Hbase:0.90.3 hive:0.7.0 hive 0.7.0自带的lib下包含文件“hbase-0.89.0-SNAPSHOT.jar”,我的hbase版本是0.90.3,首先拷贝hbase-0.90.3.jar到hive/lib下,然后删除“hbase-0.89.0-SNAPSHOT.jar”。 创建hive表、hbase表: Xml代码 CREATE ...原创 2014-04-06 22:52:58 · 252 阅读 · 0 评论 -
Hive安装及使用攻略
前言 Hive是Hadoop一个程序接口,Hive让数据分析人员快速上手,Hive使用了类SQL的语法,Hive让JAVA的世界变得简单而轻巧,Hive让Hadoop普及到了程序员以外的人。 从Hive开始,让分析师们也能玩转大数据。 1. Hive介绍 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(E...原创 2014-04-07 00:02:15 · 442 阅读 · 0 评论 -
hiveQL学习和hive常用操作
Hive服务 Hive外壳环境是可以使用hive命令来运行的一项服务。可以在运行时使用- service选项指明要使用哪种服务。键入hive-servicehelp可以获得可用服务 列表。下面介绍最有用的一些服务。 cli Hive的命令行接口(外壳环境)。这是默认的服务。 hiveserver 让Hive以提供Trift服务的服务器形式运行,允许用不同语...原创 2014-04-07 00:02:49 · 200 阅读 · 0 评论 -
hadoop+hbase+hive
讲解提纲 Hadoop框架 Hadoop周边框架 Hadoop框架 Master 同时是NameNode,在runtime时会生成JobTracker Slave 同时是DataNode,在runtime时会生成TaskerTracker Master与Slave之间通过RPC互相通讯,没隔一定时间进行一次心跳,如果...原创 2014-04-09 21:55:31 · 204 阅读 · 0 评论 -
Hive导入10G数据的测试
前言 Hadoop和Hive的环境已经搭建起来了,开始导入数据进行测试。我的数据1G大概对应500W行,MySQL的查询500W行大概3.29秒,用hive同样的查询大概30秒。如果我们把数据增加到10G,100G,让我们来看看Hive的表现吧。 目录 导出MySQL数据 导入到Hive 优化导入过程Hive Bucket 执行查询 1. 导出MySQL数据 下面是...原创 2014-04-09 23:23:02 · 234 阅读 · 0 评论 -
hbase与hive的区别
觉得在问区别之前,我应该显示说相同点,这么一想,又糊涂了,hive和hbase哪里像了,好像哪里都不像,既然哪里都不像,又何来的“区别是什么”这一问题,他俩所有的都算区别。那么,hive是什么?白话一点再加不严格一点,hive可以认为是map-reduce的一个包装。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。于是,hbase是什么?同样白话一点加不严格一点...原创 2014-04-11 10:42:59 · 149 阅读 · 0 评论