JavaShooter的专栏

在hive sql中如果有自定义的函数，注意捕获异常，否则hiveserver进程会被干掉。

环境：cdh4,hive-0.10问题:启动hive,报 java.io.IOException: Cannot initialize Cluster，Please check your configuration for mapreduce.framework.name and the correspond server addresses.解决：修改$HIVE_HOME/conf/hi

测试集群配置lzo，无问题。生产环境上通过hive查询数据时，出现乱码（多出几行），应该是在解压时出现了其它的字符，通过lzop解压无问题。解决方案：待....

安装hive-0.11，执行ql，报如下错误：2013-08-09 10:23:08,854 ERROR metastore.RetryingHMSHandler (RetryingHMSHandler.java:invoke(134)) - NoSuchObjectException(message:partition values=[2013-08-03])        at org

编译hive时，出现了以下异常： You probably access the destination server through a proxy server that is not well configured！原因：可能是网络配置原因，无法访问目标网站，解决方法：待定！！！

hive 自定义UDAF报FAILED: Error in semantic analysis: No matching method for class org.apache.hadoop.hive.ql.udf.GetExitPageUDAF with (string, string, bigint). Possible choices:写了很多udf，udaf，居然遇到这样的

今天在添加表分区遇到如下的异常：ALTER TABLE s_search_log ADD IF NOT EXISTS PARTITION (day_id =20130428, PLAT_TYPE=3) LOCATION '/data/stg/s_search_log/20130428/3/';异常：FAILED: Error in metadata: javax.jdo.JDODa

1.导入到hdfs的文件是gbk编码2.创建hive的外表部，引用gbk编码文件.hive数据utf-8编码。3.cli查询出中文为乱码由于数据入hive表中已为乱码，此时再进行转码已无效。

java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Error evaluating regexp_replace(_col3, ':| |-', '') at org.apache.hadoop.hive.ql.exec.ExecReducer.reduce(ExecReducer.java

最近有几个处理大数据的计算，占用reduce为999，直接占满slot，导致其它任务无法够取资源。现在尝试修改         hive.exec.reducers.max        27        max number of reducers will be used. If the one                   specified in the c

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy

注意：A left outer join B on (..)，如果A表中有日期分区，要将日期条件放到where中，B表中的日期分区放到on条件中。昨天将两个表中日期分区都放到on中，出现错误结果。

https://cwiki.apache.org/confluence/display/Hive/MapJoinOptimization不错！

java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)Caused by: java.io.IOException: Task process exit with nonzero status of 255. at org.apache.hadoop.ma

执行hsql :select user_id, prod_id, size(sw_prod) as item_cntfrom i_order_prod_log lateral view explode(sw_prod) prodTable as prod_id;发生下面的错误：java.lang.RuntimeException: org.apache.hadoop.h

写了一个hive的UDF函数 rownum，用于记录行号，后发现一个问题，就是rownum有重复。原因在于产生的多个map都会调用rownum，解决的方法要求你的hive sql中必须有sort by，不过这也意味着数据是在单内机器上排序。

问题：编译hive-0.11，执行hive报这个错，发现$HIVE_HOME/lib下面没有hive-builtins-*.jar。待解：