codemosi的专栏，点击我可以跳到目录一栏

HIVE的数据类型包括基本，和复杂两种类型。 数据类型 所占字节 开始支持版本 TINYINT 1byte，-128 ~ 127   SMALLINT 2byte，-32,768 ~ 32,767   INT 4byte,-2,147,483,648 ~ 2,147,483,647

 --========== order_created ==========-- /* 10703007267488 2014-05-01 06:01:12.334+01 10101043505096 2014-05-01 07:28:12.342+01 10103043509747 2014-05-01 07:50:12.33+01 10103043501575 2014-05-

UDF（user defined function） 用于对每一条记录产生作用的自定义函数。 package hive; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public class MyUDF extends UDF {  private boolean ev

HIVE执行流程 explain extended select city,count(1) from user group by city;   //查看HQL对应的mapreduce流程树 1表的优化 1：表分区（例如：日志按天存放） 2：表分桶 2HQL优化 1： join优化  set hive.optimize.skewjoin=true;数据倾斜  se

HIVE函数，自带函数，和自定义函数 自带函数100多个包括，基本函数（map），聚合函数（reduce），集合函数（map），其他函数 自定义函数包括UDF（map） ，UDAF（reduce）。 -------------------------------------------------------------------------------------------------

创建分区 create table user( name string ) partitioned by (dt string,b string); 添加分区 alter table user add if not exists partition(dt='20140405',b='boy'); 删除分区 alter table user dro

执行hive语句的方式 1：cli（command line interface） 2：jdbc 3：beeline 4：hwi 1 hive -命令（和hql执行有关） hive -V(-S) -e "select * from user" > /home/data;              //  -e 在linux下直接运行hql hive -f

where查询 select * from user where name = ‘liguozhong’;       where 操作是在多个map端进行的。 group by select name age count(1),avg(age),sum(money),count(distinct age) form user where sex = 'b' group by

1 hadoop：get和text命令，整个表对应的文件都导出去。 2 insert overwrite local directory ‘/home/resultDir’ row format delimited fields terminated by '\t' select name,age from user where sex = 1;

建表 create table user(name string,password string);   简单建表 CREATE EXTERNAL TABLE SOGOUQ1(DT STRING,WEBSESSION STRING,WORD STRING,S_SEQ INT,C_SEQ INT,WEBSITE STRING) ROW FORMAT DELIMITED FIELDS TERMIN

1 日志分析场景 某网站的apache common每天产生一个日志日志文件。将每一天的日志文件，按照日期作为分期，导入HIVE数据仓库。通过hive分析网站用户行为，如:PV，注册数,UV ip                          时间                                           访问地址