Spark
关注
分享
扫一扫
u4110122855
1.熟悉 Spark、 ElasticSearch、 Kafka、 Solr、 Impala等分布式开源组件
2.熟悉 Spark、 MapReduce 计算框架和工作原理，了解Tez框架
3.熟悉 Scala、 Java、C/C++等编程语言，了解html语言
4.熟悉 Linux 操作系统，能够使用Shell脚本语言编程
5.灵活使用 MySql， Oracle， MS SQL Server 等关系数据库
6.熟悉 Cloudera Hadoop 和纯粹开源 Hadoop 版本的组件
7.有较为丰富的集群部署、开发和维护管理经验
展开
-
Apache Spark大数据分析入门
摘要：Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程（共四部分）的第一部分。Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教转载 2015-11-29 23:07:15 · 822 阅读 · 0 评论 -
Livy：基于Apache Spark的REST服务
Apache Spark提供的两种基于命令行的处理交互方式虽然足够灵活，但在企业应用中面临诸如部署、安全等问题。为此本文引入Livy这样一个基于Apache Spark的REST服务，它不仅以REST的方式代替了Spark传统的处理交互方式，同时也提供企业应用中不可忽视的多用户，安全，以及容错的支持。背景Apache Spark作为当前最为流行的开源大数据计算框架，广泛应用于数据处转载 2017-07-04 11:24:26 · 517 阅读 · 0 评论 -
Spark Streaming应用与实战全攻略
Spark Streaming应用与实战系列包括以下六部分内容：背景与架构改造通过代码实现具体细节，并运行项目对Streaming监控的介绍以及解决实际问题对项目做压测与相关的优化Streaming持续优化之HBase管理Streaming任务本篇为第一部分，包括背景与架构改造、通过代码实现具体细节并运行项目、对Streaming监控的介绍以及解决实际问题、对项目做压测与相关的优化转载 2017-07-13 19:12:57 · 1715 阅读 · 0 评论 -
Spark Scala 实现二次排序和相加
利用Spark 实现二次排序和加法操作原创 2017-11-25 22:04:15 · 1155 阅读 · 0 评论 -
Spark Streaming 对接Kafka实现实时统计的问题定位和解决
整个思路：spark streaming 接受Kafka数据（KafkaUtils.createDirectStream） 然后累计值（updateStateByKey） 把值发给Kafka。整个过程出现两个问题，第一个问题是启动脚本的问题，第二个问题是添加性能参数的问题，第三个问题是认证过期问题。问题一：Exception in thread "dag-scheduler-event-loop"...原创 2018-03-30 16:45:54 · 1346 阅读 · 0 评论 -
Spark性能优化指南——基础篇（转自美团）
前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、...转载 2018-04-01 22:00:47 · 265 阅读 · 0 评论 -
Spark性能优化指南——高级篇（转自美团）
前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据转载 2018-04-01 22:05:39 · 364 阅读 · 0 评论