wangqiaowqo的专栏

insert overwrite local directory '/home/hadoop/data' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' select appId, category from focus_test_log1;

1、创建两个partition的hive表 [code="java"] CREATE EXTERNAL TABLE t_result_analysis_web_stat( appid int, type string, key string, statdate string, uv string, pv string, extra str...

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 最常用的就是多表关联查询，主要讲解下join、outer join和semi join的具体使用。 join是最简单的关联操作，两边关联只取交集。 outer join分为left outer join、rig...

hive json 查询 select count(1), get_json_object(datainfo, '$.dataInfo.domainFlag') from t_origin_ugc_stat_online where datecol='2015-05-28' and appid=1000 and category='user.reg' group by get_json_...

[code="java"] /opt/hive-0.9.0/bin/hive -e "use ent;select distinct c.userid from (select a.userid ,a.stat_date from t_result_channel_login_user_detail a inner join (select fk_origin_user,datecol from...

http://pan.baidu.com/share/link?shareid=372909&uk=34400340&fid=115236157 http://wenku.baidu.com/link?url=MQRl3qs3DDjrwu52Dm7fWvgpbs9wkMQCXmCf9MdqcCs1anwUp57sIIwCu9Z_6DG6K3O2ZQQ9VxJNYE7n7P4d8Ao8_0Re...

[code="java"] insert overwrite local directory '/home/yule/test' select distinct userid from t_origin_ugc_stat_online where datecol = '2015-03-29' and ugctype = 't_chat'; [/code] 参考 http://www....

[code="java"] /opt/hive-0.9.0/bin/hive -e "use ent;add jar /work/yule/online/fastjson-1.1.31.jar;add jar /work/yule/online/JsonValueByKey.jar; create temporary function jsonkey as 'cn.focus.hadoop.so...

http://my.oschina.net/wangjiankui/blog/263994

add jar /home/work/udf.jar; create temporary function mytest as 'test.udf.ToLowerCase'; add jar /work/yule/online/LogTimeToDetailDate.jar; create temporary function logtime as 'cn.focus.hadoop....

NULL值的处理 遗漏的值被代表为特殊值NULL。 要导入NULL字段的数据，需要查阅使用的SerDe的文档。 （默认的文本格式使用LazySimpleSerDe的解释字符串\ N为NULL），如将查询结果输出到文件，若为NULL，则字段值显示为\N http://yugouai.iteye.com/blog/1849192 hive空值处理 sqoop会自动把NULL转换为n...

查看hive版本 1.执行hive命令 2.在克隆窗口下执行jps，查到进程号7225 RunJar 3.执行lsof -g 7225 | grep hive,查看加载到的hive相关jar包 [code="java"] 16:34 [yule@a02.hive.hadoop.qingdao.youku]$ jps 52821 Jps 52647 RunJar tty:...