lm709409753的专栏

hive可以做什么？hive本质上是Hadoop数据仓库工具。用于解决海量结构化的日志的数据统计。可以将结构化的数据文件映射成一张表，并提供SQL查询。hive可以通过一种基于SQL的数据操纵语言来简化对mapreduce的访问。通过编写SQL语句，优化后自动生成mapreduce任务，并执行任务。适合离线数据处理，因为hive的执行延迟比较高。hive是构架在hadoop之上的数

hive的企业配置：1、配置元数据的存储-》derby数据库只能启动一个实例-》配置使用mysql进行存储元数据mysql热备-》安装配置mysql-》卸载自带的mysql-lib-》安装  sudo yum install -y  mysql-server要求：联网、yum源/etc/yum.repos.d/-》检查sudo service mysqld

export 格式：export table to ‘hdfs_path’hive (default)> export table liangman21 to '/user/liangman/input' > ;FAILED: SemanticException Line 1:13 Invalid path ''/user/liangman/input'': Tar

order by：全局排序 select * from emp order by sal; sort by：对于每个reduce进行排序 set mapreduce.job.reduces=3; insert overwrite local directory ‘/opt/datas/emp_sort’ row format delimited fie

UDF自定义UDF●      继承org.apache.hadoop.hive.ql.exec.UDF类●      必须含有一个evaluate（）方法，可以重载多个，但至少有一个evaluate方法。●      我写这个很简单，只要判断输入的数据不为空，就用java的正则表达式，把"替换为空。packagecom.liangman.udf;import org.ap

分析函数是什么？分析函数是Oracle专门用于解决复杂报表统计需求的功能强大的函数，它可以在数据中进行分组然后计算基于组的某种统计值，并且每一组的每一行都可以返回一个统计值。分析函数和聚合函数的不同之处是什么？普通的聚合函数用group by分组，每个分组返回一个统计值，而分析函数采用partition by分组，并且每组每行都可以返回一个统计值。分析函数的形式分析函数带有一个

hiveserver2 -》启动 bin/hiveserver2:前段运行 bin/hiveserver2 & ：后台运行 bin/hive –service hiveserver2beeline（先启动hiveserver2） -》启动 bin/beeline bin/beeline -u jdbc:hive2://hadoop-seni

转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842860.htmlhive大数据倾斜总结在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原