Inkbamboo专栏

转载自：http://blog.youkuaiyun.com/princemrgao/article/details/52397444 1. 概述：什么是sparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有hadoopMapReduce所具有的优点；但不同于M

spark错误合集

转载自：http://www.cnblogs.com/wwxbi/p/6114410.html 查看当前环境SQL参数的配置spark.sql("SET -v")keyvaluespark.sql.hive.version1.2.1spark.sql.sources.parallelPartitionDiscovery.threshold32spark.sql.hive.metastore.bar

前几天在做开发的时候无意中得到一段idea中spark运行hive语句得到的执行树：但是很困惑的是之后就没有再出现过了如果有大神路过看到请指教该怎么打开这个查看执行树的显示设置。代码，执行树和个人理解如下：spark hivesql执行树(部分)执行代码：create table if not exists tmp_t_rdvs_exp_waybill_deta

自己尝试实现的类，本类的作用：调用内部方法根据输入的表名，列族，列名，筛选需要展示的列根据输入的列族，列名，列值，筛选条件，是用过滤器过滤数据返回值：SQLContext  已完成表的注册，可以直接操作sql方法，使用sql语言查询处理代码如下package cn.deppon.Toolimport java.utilimport scala.collectio

转载自：http://blog.youkuaiyun.com/yeruby/article/details/51448188简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Sp

1.  Spark连接hbase//后续更多细节补充，现在还不太懂。      如有大神看到请不吝赐教Spark连接hbase的步骤：1.      构建sparkconf配置信息，设置spark主机位置，设置程序名称，资源数等2.      构建sparkcontext3.      构建Sqlcontext4.      通过sqlcontext操作构建RDD5.

1.at org.jetbrains.jps.incremental.scala.remote.Main.nailMain(Main.scala)Error:scalac: Error: org/jetbrains/jps/incremental/ModuleLevelBuilder$ExitCodejava.lang.UnsupportedClassVersionError: org/j

声明：该文档根据spark工程师qq群（511947673）中提供的rdd-api.pdf文档中rdd顺序，进行了一系列的测试。部分不详细的rdd/transform参考：http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html。该文档很详细地归纳了rdd，也包含完全的例子。建议：学习过程中不懂