An342647823的专栏

转载：http://blog.youkuaiyun.com/haojun186/article/details/7977565非常感谢分享。。。。。目录(?)[+]1.  HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。H

转载：http://blog.sina.com.cn/s/blog_9f48885501017cq8.html

转载：http://blog.youkuaiyun.com/johnny_lee/article/details/8867632

Hive SQL执行计划深度解析转载：http://blog.youkuaiyun.com/moon_yang_bj/article/details/31744381分类： hadoop&hive2014-06-17 11:12 25人阅读 评论(0) 收藏 举报目录(?)[+]美团网技术陈纯大作，值得拥有。Hive是基于Hadoop的一个数据仓

转载： http://wolfskin.blog.163.com/blog/static/2081731282013812104016406/

自定义多行分隔，列分隔转载：http://www.coder4.com/archives/4031

hive中新加字段需要注意如下1）如果表中有分区字段，必须先删除分区才能插入数据否则为null;2）insert override TABLE table1 select counm1,counm2 from table2; counm1,counm2的顺序必须与table1中字段的顺序一致否则为null;

hive使用总结

转载：http://blog.youkuaiyun.com/namo_amitabha/article/details/9762959hive元数据建表之后需要修改一些字符集为了解决hive的specified key was too long; max key length is 767 问题(MySQL的varchar主键只支持不超过768个字节 或者 768/2=384个双字

转载：http://itindex.net/detail/47472-%E5%AD%A6%E4%B9%A0-programing-hiveHive使用的是Hadoop的文件系统和文件格式，比如TEXTFILE，SEQUENCEFILE等。          在Hive中对中间数据或最终数据数据做压缩，是提高数据吞吐量和性能的一种手段。对数据做压缩，可以大量减少磁盘的存储空间，比如基于文本的

当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM。为此，当我们启动一个任务，发现输入数据量小但任务数量多时，需要注意在Map前端进行输入合并当然，在我们向一个表写数据时，也需要注意输出文件大小1. Map输入合并小文件对应参数：set mapred.max.

以下操作在hdpsrc3 节点上操作一，下载安装包1，下载hive http://mirrors.hust.edu.cn/apache/   得到apache-hive-1.1.0.tar.gz  ，放到该目录下 /home/hdpsrc/ 2，下载mysql   http://dev.mysql.com/downloads/mysql/5.5.html#downloads   得

import org.apache.hadoop.hive.ql.exec.UDF;public class Rep_Ascii extends UDF{ private String str = null; public String evaluate(String urlStr) { if (urlStr == null) { return null;

转载：http://blog.youkuaiyun.com/wypblog/article/details/14167035谢谢分享！1、新增”Explain dependency”语法，以json格式输出执行语句会读取的input table和input partition信息，这样debug语句会读取哪些表就很方便了1234

谢谢分享!转载：http://yugouai.iteye.com/blog/1849902个人理解有点类似行转列函数Lateral View语法Sql代码  lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*  from

谢谢分享转载：http://www.tuicool.com/articles/u2Yr6z3在使用hive开发数据分析代码时，经常会遇到需要改变运行参数的情况，比如select语句中对日期字段值的设定，可能不同时间想要看不同日期的数据，这就需要能动态改变日期的值。如果开发量较大、参数多的话，使用变量来替代原来的字面值非常有必要，本文总结了几种可以向hive的SQL中传入参数的方

转载：http://abc.wm23.com/jxgj/27096.html首先来看看ip、uv和pv的定义----------PV(访问量)：  即Page View, 即页面浏览量或点击量，用户每次刷新即被计算一次。count(host)UV(独立访客)：即Unique Visitor,访问您网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次.

转载：http://blog.youkuaiyun.com/yfkiss/article/details/7859477学习网址：http://www.360doc.com/content/12/0111/11/7362_178698714.shtmlhive用户可以通过alter语句更改table属性Alter Partitions增加partitions：[pl

转载：http://blog.youkuaiyun.com/joe_007/article/details/8987419谢谢分享。hive估算reduce的逻辑如下：（1）     判断Job是否需要reduce操作，如不需要reduce操作，reduce数设置为0，跳出；如需要reduce操作，执行步骤（2）；（2）     判断Job是否在编译时确定reduce数为1

转载：http://blog.youkuaiyun.com/wypblog/article/details/17410315谢谢分享。如果你想查询某个表的某一列，Hive默认是会启用MapReduce Job来完成这个任务，如下：010203040506070809101112

转载：http://langyu.iteye.com/blog/1171091非常感谢分享!    MapReduce Counter为提供我们一个窗口：观察MapReduce job运行期的各种细节数据。今年三月份期间，我曾经专注于MapReduce性能调优工作，是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter，可能有些朋友对它们有

转载：http://blog.youkuaiyun.com/z_l_l_m/article/details/8773505#t4谢谢分享，非常实用.部分内容出处：http://www.atatech.org/article/detail/5617/0http://www.atatech.org/article/detail/4392/515 一．UDFS函数介绍1. 基本UDF

转载：http://www.youkuaiyun.com/article/2014-01-07/2818052-about-hive谢谢分享！【Hadoop技术博客推荐】Hive的那些事发表于2014-01-07 17:35|2726次阅读| 来源优快云博客|9 条评论| 作者吴阳平HiveHadoop分布式文件系统摘要：Hive是建立在Hadoop上的数据仓库基础构

1.查看表结构信息。desc formatted table_name;

日期类型为：Sun Mar 9 21:16:18 2014  星期几 月份 天from_unixtime(unix_timestamp('Sun Mar 9 21:16:18 2014','EEE MMM dd HH:mm:Ss z yyyy'),'yyyy-MM-dd HH:mm:Ss')EEE代表星期几MMM代表月的英文名称

hive sql脚本中带变量如：select table_coulm from table_name where dt='{etl_date}'; --dt是分区名如果变量未赋值，{etl_date}会变成特殊字符dt=$%7Betl_date}删除带特殊字符的分区：alter table tmp_h02_click_log drop partition(dt='${etl_date}')

hive0.14版本之前默认只支持单个字符。0.14版本以后提供序列化类支持多个字节。hive官网描述： https://cwiki.apache.org/confluence/display/Hive/MultiDelimitSerDe例子如下：CREATE TABLE test ( id string, hivearray array, hivemap map) ROW