
hive
yala说
这个作者很懒,什么都没留下…
展开
-
hive系统学习笔记
目录基本概念解析器交互方式基本操作创建库表数据导入数据的导出常用sql函数hive数据压缩,常用语法 操作分区和分桶数据存储格式建立表与文件的关联方式数据结构 结构化的数据:字段个数一定,字段之间的分隔符一定 半结构化的数据:例如xml,json等 非结构化的数据:没有任何规律格式的数据基本概念本质:将sql...原创 2019-08-27 23:12:32 · 828 阅读 · 0 评论 -
hive优化
hive优化hive本质上将sql语句解析成mapreduce程序运行,对于mapreduce的优化同样也会对hive sql的运行起到一定的优化作用,优化的大致思路大致目标是:增加任务线程来处理、避免数据倾斜1.增加任务线程来处理增加reduce数量 reduce数量计算公式:N=min(最大的reduce数,总输入数据量/每个reduce的处理数据大小) 每个Redu...原创 2019-08-27 19:29:29 · 842 阅读 · 0 评论