leaxning的博客

sparkSQL本地运行，加载json文件到线上hive表本地配置线上授权一个cmd运行，搞定 本地配置 这些都是环境变量的，配置的，注意下 线上授权 就是写入表文件授权 一个cmd运行，搞定 这个是外加的，可以自己去下载，和hadoop对应就行； 在spark/bin 运行一下图的就可以了 ...

sparkcore的操作指南Spark是什么原理运行模式基础编程 Spark是什么 1.Spark是什么 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。并且 Spark 目前已经成为 Apache 最活跃的开源项目。 2.Spark特点 2.1 快速 与 Hadoop 的 MapReduce 相比, Spark 基于内存的运算是 MapReduce 的 100 倍.基于硬盘的运算也要快 10 倍以上. 2.2 易用 Spark 支持 Scala, Java, Python, R 和 SQ