
hive
文章平均质量分 53
bluekeyv
致力于hadoop生态系统,专注hbase应用与研究
展开
-
Hive-如何基于分区优化
<br />最近一直做系统优化,但从建模的角度今天有个小优化,原理比较简单,效果可能不是很大,但很有意思。<br />这种优化的好处是不用改变sql代码,对用户是透明的。<br />所以分享下。<br />-<br />由于hive在文件基础上,而会全部扫一个分区里面的内容。<br />hive表的概念是基于hadoop的文件系统hdfs,表其实是分布式文件里面的一个文件目录。<br />再加上没有索引,如果要取的表里面的某些字段就必须全部扫描该表对应的文件目录<br />-<br />如:建表way1:<转载 2011-05-16 17:19:00 · 2654 阅读 · 0 评论 -
HIVE的学习笔记
hive原来是hadoop开源项目中的一个子模块,hadoop0.20以后独立出来成为单独项目,不过安装时还是要指定hadoop路径:export HADOOP_HOME=,看看都有些什么命令吧: hive> CREATE TABLE pokes (foo INT, bar STRING);//建表 hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);//创建可分区表 hive> SHOW TABLE原创 2009-09-30 15:36:00 · 1498 阅读 · 0 评论 -
hive的jdbc数据库连接
package org.apache.hadoop.hive.cli; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement; import java.sql.ResultSet; import java.sql.ResultSetMetaData; import java.uti原创 2010-09-15 15:40:00 · 3361 阅读 · 0 评论 -
sql小技巧+antlr关键字问题
SQL查看表是否存在: show tables like '表名'; 之前对antlr添加了create user功能,想要创建一个叫user的用户就会语法报错,研究了一下发现是我把为了写语法把'user' 定义成了KW_USER关键字,导致antlr的Identifier类型对用户输入关键字不接受。解决办法是将'user '定义成KW_USER关键字,(注意,这次user后面带了一个空格)这是利用了antlr对空格不敏感的特点,这样user就可以当Identifier使用了。原创 2010-01-05 15:46:00 · 2072 阅读 · 0 评论