qiuhui的博客

原文链接：http://tech.meituan.com/spark-tuning-pro.html前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最

原文链接：http://tech.meituan.com/spark-tuning-basic.html前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用

近期在调实验，发现了一个Java.lang.nullPointerException异常， 导致部分task挂掉，最终通过调节参数内存管理参数成功解决。下面总结一下Spark中的内存管理机制。   从Spark1.6.0开始，Spark的内存管理采用了和之前不同的方式，采用了一种新的内存管理模式叫做统一内存管理，UnifiedMemoryManager。而1.6.0版本之前的Spark的内存管

原文地址：http://www.snee.com/bobdc.blog/2015/03/spark-and-sparql-rdf-graphs-an.htmlSome interesting possibilities for working together.In Spark Is the New Black in IBM Data Magazine, I recently

注释：教程以MacOS系统下的安装和使用情况为例，Linux系统类似。    首先登录网址：https://portal.azure.com输入账号密码，进入个人界面，在这个界面上可以看到资源的使用情况，这个界面将是我们工作的主界面。一． 安装AzureCLI 2.0教程地址：https://docs.microsoft.com/zh-cn/cli/azure/install-azur