jasonliaoxiaoge的专栏

hive> set hive.exec.compress.output=true; 启用压缩hive> set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 指定格式 查询INSERT OVERWRITE DIRECTORY '/bip/test' SELECT * FROM ik_

hive udf&udaf说明使用说明：也可参见http://www.linuxidc.com/Linux/2012-01/52689.htm主要步骤有：1.添加jar到hive session  中如果在hive-site.xml中定义了hive.aux.jars.path属性的值，则可以省略这个步骤>

Array Array:[1,2,3]     文件格式:  1,2,3Array: ["a","b","c"]   文件格式: a,b,c MapMap:{"k1":1,"k2":2,"k3",3}  文件格式:  k1:1,k2:2,k3:3Map:{"k1":"value1","k2":"value2","k3","value3"}   文件格式:

添加war包到hive的lib目录：下载添加到/usr/lib/hive/lib/hive-hwi-0.9.0-cdh4.1.0.war添加配置到hive-site.xml  hive.hwi.listen.host  0.0.0.0  This is the host address the Hive Web Interface wil

一、    控制hive任务中的map数: 1.    通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2.    举例： a)    假设input目录下有