Hive性能调优实战总结
关注
分享
扫一扫
文章平均质量分 94
jialun0116
浙江工业大学
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hive性能调优实战 总结一
Hive性能调优（一）第一章数据准备@SQL语句对性能影响数据块大小对性能影响数据格式对性能影响@分区和分桶对性能影响第一章 总结第二章理解经典wordcount使用explain查看HiveSQL的执行使用YARN提供的日志查看执行@通过改写SQL实现过程干预@通过SQL-Hint方法@通过开放的一些配置开关过度优化理透需求查看元信息运行环境梳理cube、grouping set、roll up相关规范第二章总结 本文章对Hive性能调优实战这本书的总结 第一章 数据准备 init_student 学生数原创 2021-05-25 13:00:39 · 983 阅读 · 1 评论 -
Hive性能调优实战 总结三
Hive性能调优（三）第7章 Hive数据处理模式过滤模式聚合模式连接模式第8章 YARN日志ResourceManager Web UI 界面JobHistory Web UI 界面第9章 数据存储数据格式数据归档@第10章 发现并优化问题@监控普通表存储的文件的平均大小监控大表不分区的表@监控分区数据不均匀的表@查询表字段的空值率监控当前集群状态@定位性能瓶颈HiveServer2 WebUI 排除大数据组件的问题Job OverView 排查长时间等待调度Map任务读取小任务数据倾斜缓慢的Shuff原创 2021-05-28 00:08:02 · 1608 阅读 · 0 评论 -
Hive性能调优实战 总结二
Hive性能调优（二）第4章 Hive及相关大数据结构Hive工作流程Hive元数据YARN组件YARN执行流程HDFS架构HDFS读写流程hadoop的HA(高可用)实现和zk的作用常见HDFS优化计算引擎第6章 HiveSQL执行计划查看执行计划 eplain简单执行计划解读带普通函数/操作法的执行计划解读带聚合函数的执行计划解读高级分组聚合Hive表的连接 第4章 Hive及相关大数据结构 Hive工作流程 客户端提交SQL作业到HiveServer2 HiveServer2根据作业及数据库中元数据原创 2021-05-26 12:59:05 · 643 阅读 · 0 评论