sh0308的博客

本文转自：https://blog.youkuaiyun.com/ainidong2005/article/details/53141822 目录1、引言2、数据序列化3、内存优化4、其他建议官网地址：http://spark.apache.org/docs/latest/tuning.html1、引言提到Spark与Hadoop的区别，基本最常说的就是Spark采用基于内...

本文转自：https://blog.youkuaiyun.com/u013709270/article/details/70132756完整的项目：https://github.com/JeemyJohn/SparkToEs.git         由于项目需要，最近搞Spark Streaming做数据分析，并最终将分析完的数据写入ElasticSearch。我们项目使用的是Spark 2.1.0，而我们公...

问题描述：开发环境为spark2.0 + kafka0.8，spark-streaming-kafka-0-8-assembly_2.11.jarsparkStreaming消费kafka时遇到如下错误： 18/02/27 10:19:17 WARN ReceiverSupervisorImpl: Reported error Error handling message; exiting - j...

原文：http://litaotao.github.io/boost-spark-application-performance写在前面本系列是综合了自己在学习spark过程中的理解记录 ＋ 对参考文章中的一些理解 ＋ 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录，所以一切以能够理解为主，没有必要的细节就不会记录了

原文链接：http://blog.youkuaiyun.com/edin_blackpoint/article/details/72638015Q: Spark使用databricks进行csv文件读取的时候报错java.lang.NoClassDefFoundError: org/apache/commons/csv/CSVFormat,找不到对应的CSVFormat类.A: 根据kevin

文章转自：http://tech.meituan.com/spark-tuning-pro.html前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手

前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速

1.问题描述：使用spark 集成elasticSearch时，--jars 来添加依赖的jar包，使用local模式程序正常，使用yarn模式时会出现找不到jar包的情况。报错信息如下：        1.java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecuto

目录问题描述：问题原因：解决方法：问题描述： 开发环境为spark2.0 运行sparksql时发生如下错误： com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.2 at com.fasterxml.jac...