hive
关注
分享
扫一扫
文章平均质量分 79
Kumquatlemon
这个作者很懒，什么都没留下…
展开
-
hive查询语句
Hive查询1、hive模糊搜索表show tables like '*name*';2、查看表结构信息desc formatted tablename;desc table_name3、查看分区信息show partitions tablename;4、根据分区查询数据select table_coulm from tablename where partit原创 2017-11-14 10:58:24 · 15264 阅读 · 0 评论 -
hive优化
Hive优化1、fetchTask直接抓取数据Single query设置：hive.fetch.task.conversion为more默认的select start *、分区表的过滤(filter on partition columns)、limit only不走MR2、大表拆成子表、外部表与分区表结合使用、设置数据的存储格式与数据压缩。大表拆成子表：create t原创 2017-11-14 11:06:18 · 431 阅读 · 0 评论 -
UDF函数
UDF函数 UDF函数可以直接应用于select语句，对查询结构做格式化处理输出内容。自定义UDF需要继承org.apache.hadoop.hive.ql.UDF,实现evaluate函数。自定义udf函数步骤： 1.继承UDF类 2.重写evaluate方法 3.把项目打成jar包 4.hive中执行命令add jar /home/jrjt/dwetl/PUB/原创 2017-11-14 11:09:51 · 10627 阅读 · 0 评论