沈颖的家

spark graphx 各个连通子图顶点大小计算

spark部署模式常见的部署方式：本地部署：本地集群部署：Standalone部署：other部署：部署模式设计的组件：Application：用户使用Spark API开发的应用程序Driver：应用驱动程序。有了Driver，APplication才会被提交到Spark集群运行。Master：Spark的主控节点。Worker：Spark的工作节点，向Master汇报自身资源、Executor执行状态的改变，并接受Master的命令启动Executor或者Driver。Ex

HeartbeatReceiver运行在Driver上，用于接收各个Executor的心跳消息，对各个Executor的生死进行监控。

前言Spark SQL里面有很多的参数，而且这些参数在Spark官网中没有明确的解释，可能是太多了吧，可以通过在spark-sql中使用set -v 命令显示当前spark-sql版本支持的参数。本文讲解最近关于在参与hive往spark迁移过程中遇到的一些参数相关问题的调优。内容分为两部分，第一部分讲遇到异常，从而需要通过设置参数来解决的调优；第二部分讲用于提升性能而进行的调优。异常调优...

yarn的rest api 提交时出现的错误及解决方案环境配置通过yarn rest方式，提交application环境配置基于ambari 2.7 安装的hdp集群hadoop 3.1.1yarn 3.1.1spark2 2.3.2通过yarn rest方式，提交applicationcurl -X POST http://localhost:8088/ws...

将 spark 从 2.0升级到2.3 过程中，出现无法识别找到表问题，后经过排查，是由于代码中 出现了 new sparkContext（）原因导致 错误如下I0828 18:05:25.272563 134 sched.cpp:743] Framework registered with 33c370c3-d41c-43aa-92b2-d43280ae9a32-1687-driv...

开发过程中，数次遇见hbase连接问题，通常情况下就是无任何异常，程序却被阻塞掉。 表面上看好像程序挂掉，不再运行，就是没有异常信息。通常情况下原因是创建hbase连接时，几乎完全使用hbase默认配置信息。 hbase默认超时时间都非常长，其中rpc的超时默认为60秒， 默认连接次数为35+1次。也就意味着每次测试，大概需要40分钟。我们往往没有耐心用这么长时间测试，就已经认为程序出...

装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。先看官网的资源Hive on Spark: Getting Started要想在Hive中使

基于mesos的spark集群中，spark是如何提交任务的

spark 的应用原来越广泛，而且hbase的最新代码也开始加入了hbase-spark模块，但是发行版本并未提供spark api。为了方面程序处理，故写了一个demo。用于处理spark中获取hbase的数据，并将获取到的数据转化为dataframe