
Hive学习
文章平均质量分 91
NIITYZU
并不是每一个人都能成为黄家驹...
展开
-
HiveQL 数据定义语言使用(一)—Hive中数据库的创建、显示、删除和修改操作介绍
HiveQL 数据定义语言使用(一)—Hive中数据库的创建、显示、删除和修改操作介绍原创 2015-01-06 16:05:38 · 6618 阅读 · 0 评论 -
将Hive统计分析结果导入到MySQL数据库表中(三)——使用Hive UDF或GenericUDF
前面我分别介绍了两种Hive将分析结果导入到MySQL表的两种方式:Sqoop导入方式和使用Hive、MySQL JDBC驱动,现在我介绍第三种,也是使用比较多的方式——使用Hive 自定义函数(UDF或GenericUDF)将每条记录插入到数据库表中。一、使用UDF方式 使用UDF方式实现比较简单,只要继承UDF类,并重写evaluate方法即可 1、编原创 2015-04-23 21:24:28 · 2594 阅读 · 0 评论 -
将Hive统计分析结果导入到MySQL数据库表中(二)——使用Hive和MySQL JDBC驱动
上一篇文章中,我介绍了一种将Hive分析结果,通过存放到另外一个Hive表中,使用Sqoop将该表内容直接导入到MySQL中的方法。本人认为这种方式在数据量特别大的时候,可能很有效果,但是一般情况下,Hive的分析、查询、统计结果数据量不会太大,所以在这种情况下,我尝试使用Hive JDBC驱动连接Hive将查询结果集,通过MySQL JDBC驱动,直接导入到数据库中,并取得成功,速度也比Sqoo原创 2015-04-22 18:02:38 · 6375 阅读 · 1 评论 -
将Hive统计分析结果导入到MySQL数据库表中(一)——Sqoop导入方式
最近在做一个交通流的数据分析,需求是对于海量的城市交通数据,需要使用MapReduce清洗后导入到HBase中存储,然后使用Hive外部表关联HBase,对HBase中数据进行查询、统计分析,将分析结果保存在一张Hive表中,最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下: 下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这原创 2015-04-22 09:49:37 · 13916 阅读 · 0 评论 -
Hive 支持多表数据插入
Hive多表数据导入原创 2014-12-29 13:35:58 · 6649 阅读 · 0 评论 -
Hive 五种数据导入方式介绍
介绍五种Hive表数据导入方法原创 2014-12-29 09:56:15 · 7955 阅读 · 9 评论 -
Hive表中四种不同数据导出方式以及如何自定义导出列分隔符
Hive四种数据导出方式介绍原创 2014-12-29 15:00:18 · 16338 阅读 · 2 评论 -
Hive 使用RegexSerDe来处理标准格式Apache Web日志
使用RegexSerDe来处理标准格式的Apache Web日志,并报Caused by: java.lang.ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe not found错误。原创 2014-12-23 15:25:47 · 3189 阅读 · 0 评论 -
Hive 处理CSV格式文件数据
Hive 处理CSV格式文件数据原创 2014-12-28 15:57:18 · 5004 阅读 · 0 评论 -
Hive用户接口(二)—使用Hive JDBC驱动连接Hive操作实例
问题导读: 1、Hive提供了哪三种用户访问方式? 2、使用HiveServer时候,需要首先启动哪个服务? 3、HiveServer的启动命令是? 4、HiveServer是通过哪个服务来提供远程JDBC访问的? 5、如何修改HiveServer的默认启动端口? 6、Hive JDBC驱动原创 2015-01-12 10:34:11 · 22133 阅读 · 0 评论 -
Hive 实战练习(一)—按照日期将每天的数据导入Hive表中
每天会产生很多的日志文件数据,有这么一种需求:需要将每天产生的日志数据在晚上12点钟过后定时执行操作,导入到Hive表中供第二天数据分析使用。要求创建分区表,并按照日期分区。原创 2015-01-10 20:35:38 · 6559 阅读 · 2 评论 -
Hive用户接口(一)—Hive Web接口HWI的操作及使用
Hive用户接口(一)—Hive Web接口HWI的操作及使用原创 2015-01-10 13:42:07 · 9088 阅读 · 0 评论 -
Hive 创建表报"Specified key was too long; max key length is 767 bytes" 错误
Hive元数据库使用MySQL数据库,在使用Hive创建表的时候,报了以下错误:hive> create table base ( id int, name string, address string) row format delimited fields terminated by ',';FAILED: Execution Error, return code 1 from原创 2015-06-23 15:43:28 · 4577 阅读 · 0 评论