风筝中有风

一 、spark-SQL的DataFrame与RDD的相互转换通常有两种(spark 1.6.x)：第一种方式是使用反射机制推断RDD中schema和类型信息。适用于已知schema的场景；第二种方式是通过程序接口构造数据的schema,将schema应用于RDD，此方式适用于程序开发时才能确定数据schema、类型的场景。1.1 第一种，通过反射推断schema信息     sp

1、sparksteaming 入门例子    注：代码摘自spark官方文档  http://spark.apache.org/docs/latest/streaming-programming-guide.html#a-quick-exampleimport org.apache.spark._import org.apache.spark.streaming._import

虽然接触大数据2年了，以前对spark使用都是和solr建索引任务，由于目前的工作很少涉及spark了，为了不遗忘，从头开始复习一下spark，不同的是这次记录下来，一来方便自己查阅，二来对于刚入门的同行也算个案例。PS.高手勿喷1、spark读取文件，统计行数Intellj idea 开发工具环境就不在介绍了，网上很多教程，唯一需要注意的是你的spark或者scala版本与本地一致即可。