优化
关注
分享
扫一扫
u4110122855
1.熟悉 Spark、 ElasticSearch、 Kafka、 Solr、 Impala等分布式开源组件
2.熟悉 Spark、 MapReduce 计算框架和工作原理，了解Tez框架
3.熟悉 Scala、 Java、C/C++等编程语言，了解html语言
4.熟悉 Linux 操作系统，能够使用Shell脚本语言编程
5.灵活使用 MySql， Oracle， MS SQL Server 等关系数据库
6.熟悉 Cloudera Hadoop 和纯粹开源 Hadoop 版本的组件
7.有较为丰富的集群部署、开发和维护管理经验
展开
-
【Hive】Hive笔记：Hive调优总结——数据倾斜，join表连接优化
数据倾斜即为数据在节点上分布不均，是常见的优化过程中常见的需要解决的问题。常见的Hive调优的方法：列剪裁、Map Join操作、 Group By操作、合并小文件。 一、表现 1.任务进度长度为99%，在任务监控页面中发现只有几个 reduce 子任务未完成； 2.单一 reduce 记录与平均记录数差异过大（大于3倍），最长时长＞＞平均时长； 3.job数多的，效...转载 2018-02-09 14:19:18 · 682 阅读 · 0 评论 -
Spark性能优化指南——基础篇（转自美团）
前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、...转载 2018-04-01 22:00:47 · 265 阅读 · 0 评论 -
Spark性能优化指南——高级篇（转自美团）
前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据转载 2018-04-01 22:05:39 · 364 阅读 · 0 评论