香宝的私房小厨

1. spark简介 Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。 Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。 2. RDD简介 RDD（Resilient Distributed D...

实际工作上很少在虚拟机上直接使用spark-shell去编写程序，更多的是在IDEA等编辑器上将写好的程序打包，使用spark-submit提交到集群上去执行。 我们使用scala去编写程序，不会的自己百度学下，不解释。 1，安装jdk 因为scala也是运行在jvm上的，所以需要安装jdk。（jdk安装方法不解释，自己百度,建议安装1.7以上版本） 2，安装scala 笔者安装的...