OopsOutOfMemory盛利的博客

Spark SQL缓存到内存中的数据的存储策略

1、WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster uito ensure that workers are registered and have sufficient memory当前的集群的可用资源不能满足应用程序所请求的资源。资源分2类： cores 和 ramCo

一、问题定义最近在用sbt打assembly包时出现问题，在package的时候，发生jar包冲突/文件冲突问题，两个相同的class来自不同的jar包在classpath内引起冲突。具体是：我有一个self4j的jar， 还有一个hadoop-common-hdfs的jar包，其中hadoop-common-hdfs.jar内包含了self4j这个jar包，导致冲突。此类异常一般是由于打包不规范

本文讲述了如何运行Spark的测试用例

Spark中Executor的生成策略

spark sql udf编写及使用

Spark应用程序编写，执行应该注意的问题。

Spark1.1发布后会支持Spark SQL CLI ， Spark SQL的CLI会要求被连接到一个Hive Thrift Server上，来实现类似hive shell的功能。

要学习一个框架最好的方式就是调试其源代码。编译Spark 0.81  with hadoop2.2.0本机环境：1.eclipse kepler2.maven3.13.scala2.9.34.ubuntu12.04步骤：1. 先从网上下载spark0.81的源代码.  下载方式：_2.  upzip v0.8.1-incubating.zip3.  expo

Spark RDD Action 详解配有实际例子

早在Spark Submit 2013里就有介绍到Spark SQL，不过更多的是介绍Catalyst查询优化框架。经过一年的开发，在今年Spark Submit 2014上，Databricks宣布放弃Shark 的开发，而转投Spark SQL，理由是Shark继承了Hive太多，优化出现了瓶颈，如图：        今天把Spark最新的代码签了下来，测试了一下：1、编译Spar

Spark是基于内存的分布式计算框架，性能是shi

Shark是基于Spark与Hive之上的一种SQL查询引擎，本文将带你搭建Shark集群

一、Spark SQL External DataSource简介  随着Spark1.2的发布，Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口，来让开发者可以实现。  这使得Spark SQL支持了更多的类型数据源，如json, parquet, avro, csv格式。只要我们愿意，我们可以开发出任意的外部数据源来连接到Spark SQL。之前大家

在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。 企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。一、环境：Haoop2.2.0Hbase版本0.96.2-hadoop2, r158109

Spark SQL之Catalyst的物理计划，讲解了物理计划的产生过程，以及涉及到的策略。

从源代码的角度来看一下Spark SQL的核心执行流程吧

Spark SQL Catalyst的核心类库TreeNode详解，配有实例，图文并茂。

Spark SQL 中Catalyst的核心优化器Optimizer源码剖析

Spark SQL UDF 源码分析

Spark SQL 物理计划到 RDD 的计算过程实现。

本文以Catalyst源代码的角度解析Catalyst的解析器如何解析SQL的生成UnResolved LogicalPlan的。

Spark SQL 源码分析系列文章，从整个SQL执行流程到各个环节的关键组件，以及Catalyst框架的讲解。

Spark SQL在Spark1.2中提供了External DataSource API，开发者可以根据接口来实现自己的外部数据源，如avro, csv, json, parquet等等。    在Spark SQL源代码的org/spark/sql/sources目

Spark SQL源码分析之如何查询cache后的table

本文详细介绍了Spark SQL的Catalyst里，Analyzer是如何Sql parser的解析的UnResolved逻辑计划，进行resolve的。

Build Spark1.3.1 with CDH HADOOP1、找到CDH的版本[root@web02 spark1.3]# hadoop versionHadoop 2.0.0-cdh4.7.0Subversion file:///var/lib/jenkins/workspace/CDH4.7.0-Packaging-Hadoop/build/cdh4/hadoop/2.0.0-cdh4

sbt pom reader - sbt读取pomSpark为了依赖项的统一管理用了sbt pom reader这个插件，sbt编译发布也是从pom里读GAV了。 我记得老版本sbt的依赖项是写在project/SparkBuild.scala里的。这个工具在java/scala项目内很有使用场景。地址在：https://github.com/sbt/sbt-pom-reader1.配置插件在/ap

这几天学习了Spark RDD transformation 和 action ，做个笔记记录下心得，顺便分享给大家。1. 启动spark-shell SPARK_MASTER=local[4] ./spark-shell.shWelcome to      ____              __       / __/__  ___ _____/ /__    _\ \/

RDD的最重要的特性之一就是血缘关系，血缘关系描述了

上回运行了一个计算Pi的例子那么Spark究竟是怎么执行的呢？我们来看一下脚本#!/bin/shexport YARN_CONF_DIR=/home/victor/software/hadoop-2.2.0/etc/hadoopSPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubat

Spark Streaming的 窗口操作的类WindowedDStream下面我们一起探究一下，Spark Streaming怎么实现chu

1.Spark Streaming的Window Operation可以理解为定时的进行一定时间段内的数据的处理。

由于需要调试spark，需要scala ide在eclipse中。但是最新版本的scala ide 调试spark0.81（用的是scala2.9.3）,在eclipse导入会报错，因为最新版本的scala ide 支持的是2.10.3安装scala ide http://scala-ide.org/download/current.html还是不支持kepler.于是

1. Application客户端的应用程序，

Spark Streaming是一个基于Spark核心的扩展。主要y

话接上回Spark学习笔记1-编译源代码，已经成功编译了spark on yarn启动yarnvictor@victor-ubuntu:~/software/hadoop-2.2.0/sbin$ ./start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.shStarting n

如何部署和开发一个spark应用程序呢？首先要选好环境，我用的是incubator-spark-0.8.1-incubating,那么对应的是scala版本是2.9.3。如果使用maven或者sbt构建，则可以使用gavgroupId = org.apache.sparkartifactId = spark-core_2.9.3version = 0.8.1-incubatin

想要调试源代码，还是要放到eclipse里面去。先生成eclipse项目，下载依赖包victor@victor-ubuntu:~/software/incubator-spark-0.8.1-incubating$ mvn eclipse:eclipse[INFO] Scanning for projects...[INFO] ---------------------------

目前spark的Run on的hadoop版本大多是hadoop2以上，但是实际上各个公司的生产环境不尽相同，用到2.0