Hive
关注
分享
扫一扫
文章平均质量分 51
iteye_5304
这个作者很懒，什么都没留下…
展开
-
【1】HIve升级到新版本过程
1:将原有的hive改名为hive_backup2:将原有hive中的conf文件夹全部复制到新版本hive中3：修改hive-conf.sh 文件 添加HADOOP_HOME 4：相关第三方的包要转移到新的hive版本lib目录下5：首先要把之前的10000端口对应的线程kill掉，然后 $HIVE_PORT=10000 bin/hive --service hiveserv...2009-11-13 08:38:44 · 168 阅读 · 0 评论 -
Hive使用一段时间后Hadoop集群占用空间暴增的原因
我使用的是hive。所有的数据也是在hive中 load data inpath 导入的导入的数据时保存到虚拟路径 hdfs:////user/hive/warehouse 以一个表一个文件夹的形式两天来一直面对着一个困惑从hive中load进去的数据只有600G但是页面显示的DFS Used却为4.2T这个数据时很不正常的因为简单地算一下 600G dfs.re...2011-02-25 14:09:52 · 544 阅读 · 0 评论 -
Hive HBase整合使用
Hive HBase整合使用将Hive中的数据导入到HBase中wiki上的介绍链接如下：http://wiki.apache.org/hadoop/Hive/HBaseIntegration 各版本要求：hadoop-0.20.2hbase-0.20.3hive-0.6.0（之前的版本都不支持）zookeeper-3.3.0 确认目录下有这个ja...2011-02-18 18:01:59 · 125 阅读 · 0 评论 -
[7] 编写Python脚本将Hive的运算结果保存到MySQL数据库中(1)
编写Python脚本将Hive的运算结果保存到MySQL数据库中(1)很多情况下，需要将Hive中的运算结果保存到MySQL数据库中，可以通过简单的Python脚本来实现。例子1：如果获取Hive查询语句的返回值#encoding=utf-8from hive_service import ThriftHivefrom hive_service.ttypes impo...2011-01-20 11:57:09 · 403 阅读 · 0 评论 -
【6】hive报Could not load shims in class null错误的原因
mongodb@krusiting-laptop:~/hive-0.6.0$ bin/hiveException in thread "main" java.lang.RuntimeException: Could not load shims in class null at org.apache.hadoop.hive.shims.ShimLoader.loadShims(Shi...原创 2010-11-10 22:32:04 · 623 阅读 · 0 评论 -
【5】hive报Invalid maximum heap size: -Xmx4096m错误解决方法
mongodb@krusiting-laptop:~/hive-0.6.0$ bin/hiveInvalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum representable size.Could not create the Java virtual machine. 解决方...2010-11-10 22:21:33 · 1332 阅读 · 0 评论 -
【4】HIVE中map，array和structs使用
1：怎样导入文本文件（格式是怎样的？），2：怎样查询数据，已经能否在join中使用？在子查询中使用？等等知道怎么在hive中导入数组不？例如：我想把 数组[1,2,3] 和 数组 ["a","b","c"]导入到table1中create table table2 ( a array<int> , b array<string>);那么 我如何 导入呢？使得sel...2010-11-09 00:15:01 · 396 阅读 · 0 评论 -
【3】hive中关于partition的操作
hive> create table mp (a string) partitioned by (b string, c string);OKTime taken: 0.044 secondshive> alter table mp add partition (b='1', c='1');OKTime taken: 0.079 secondshive> alt...2010-11-09 00:12:45 · 473 阅读 · 0 评论 -
【2】How to load data into Hive
How to load data into Hive------------------------In order to load data into Hive, we need to tell Hive the format of the datathrough "CREATE TABLE" statement:FileFormat: the data has to be in Te...2010-11-09 00:04:52 · 156 阅读 · 0 评论 -
配置hadoop使用lzo对中间数据进行压缩
分3步完成1.需要使用root安装liblzo动态链接库#rootcp ./lib64/liblzo2.so.2.0.0 /lib64cd /lib64/ln -s liblzo2.so.2.0.0 liblzo2.soln -s liblzo2.so.2.0.0 liblzo2.so.2--检查下是否拷贝进去了ls -l /lib64|grep lzo|w...2012-05-18 11:45:17 · 316 阅读 · 0 评论