czw698的专栏

大写转小写package com.afan;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public class UDFLower extends UDF{    public Text evaluate(final Text s){        if (

报错现象：要做的修改：//修改字段注释字符集alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;//修改表注释字符集alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) charac

1 首先修改 hive-site.xml hive.server2.thrift.port 10000 hive.server2.thrift.bind.host localhost 2 测试连接是否以连上不用写jdbc程序,运行 bin/beeline.sh然后输入  !connect jdbc:hive2://上面设置的ip地址:10000 hiv

今天配置hive 犯了一个问题：下载的hive tar.gz 里的conf目录只有一个 hive-default.xml.template，于是我就cp  了一份命名为：hive-default.xml结果弄上去总是出现一个问题，就是我在 bin/ 运行hive 创建的database和在 任意其他目录运行hive 创建的database （已配置好环境变量）在两个地方出现的并不相同，这个

转自： http://www.linuxidc.com/Linux/2013-04/82878.htm大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中，再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。 今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。 步骤为 

转自：http://blog.youkuaiyun.com/jiedushi/article/details/6663177运行环境  centos 5.6   hadoop  hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具在使用过程中可能遇到的问题：sqoop依赖zookeep

转自：http://wuhongyu.iteye.com/blog/461477/通过 java.lang.Runtime 类可以方便的调用操作系统命令，或者一个可执行程序，下面的小例子我在windows和linux分别测试过，都通过。基本原理是，首先通过 Runtime.getRuntime() 返回与当前 Java 应用程序相关的运行时对象，然后调用run.exec(cmd)  另启一

ObjectInspector是Hive中一个咋一看比较令人困惑的概念，当初读Hive源代码时，花了很长时间才理解。 当读懂之后，发现ObjectInspector作用相当大，它解耦了数据使用和数据格式，从而提高了代码的复用程度。 简单的说，ObjectInspector接口使得Hive可以不拘泥于一种特定数据格式，使得数据流 1）在输入端和输出端切换不同的输入/输出格式 2）在不同的Oper

Serde是什么：Serde实现数据序列化和反序列化以及提供一个辅助类ObjectInspector帮助使用者访问需要序列化或者反序列化的对象。Serde层构建在数据存储和执行引擎之间，实现数据存储+中间数据存储和执行引擎的解耦。 //主要实现数据的序列化和反序列化。publicabstractclass AbstractSerDe implements SerDe

本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在MapReduce环境下的大规模数据分析中扮演重要角色。Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中，提供了一套类数据库

先介绍下Orc的文件格式，截一张官方的图：    可以看到每个Orc文件由1个或多个stripe组成，每个stripe250MB大小，这个Stripe实际相当于之前的rcfile里的RowGroup概念，不过大小由4MB->250MB，这样应该能提升顺序读的吞吐率。每个Stripe里有三部分组成，分别是Index Data,Row Data,Stripe Footer：  

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成N个row group，在row group中对每个列分别进行存储。另：Hive能支持自定义格式，详情见：Hive文件存储格式基于HDFS的行存储具备快速数据加载和动态负载的高适应能力，

HIVE分区，实际上是通过一个路径来标识的，而不是在物理数据中。比如每天的数据，可能分区是pt=20121023这样，那么路径中它就会变成：/hdfs/path/pt=20121023/data_files。通过路径来标识的好处是，如果我们需要取特定分区的数据，只需要把这个路径下的数据取出来就可以了，不用扫描全部的数据。HIVE默认是静态分区。但是有时候可能需要动态创建不同的分区，比如商品

谓词下推的生效：select * from czw_test2 ajoin (select * from czw_test1 where pt >='20121101' and pt <='20121102') bon (a.search_id = b.search_id)select count(1) from czw_test2 ajoin czw_test1 bon a.s

源数据放在test1表中，大小 26413896039 Byte。创建sequencefile 压缩表test2，使用insert  overwrite table test2 select ...语句将test1数据导入 test2 ，设置配置项：set hive.exec.compress.output=true;set mapred.output.compre

hive在建表时，可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式例如：> CREATE EXTERNAL TABLE MYTEST(num INT, name STRING)> ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'> STORED AS TEXTFILE> LOCATION '/data/test'

最近感受了hive的udf函数的强大威力了，不仅可以使用很多已经有的udf函数，还可以自己定义符合业务场景的udf函数，下面就说一下如何写udf/udaf/udtf函数，算是一个入门介绍吧。First, you need to create a new class that extends UDF, with one or more methods named evaluate. pa

CREATE TABLE page_view(viewTime INT, userid BIGINT,     page_url STRING, referrer_url STRING,     ip STRING COMMENT 'IP Address of the User') COMMENT 'This is the page view table' PARTITIONED