fadetoblackfff的专栏

spark官方文档阅读笔记1 sparkContext的初始化 val conf = new SparkConf().setAppName(appName).setMaster(master) new SparkContext(conf) 如果在本地运行，则master的值为"local"，如果在集群运行，则值为master主机的ip地址，问题：如果在yarn运行呢？ 参考文档

spark本地练习环境搭建 练习环境搭建 为了避免搭建环境阻塞对spark本身的学习（当然这部分也很重要，当对spark本身有了基本了解后应该学习这部分内容），可采用本地的模式快速搭建练习环境，具体环境搭建参考：Spark在Windows下的环境搭建 本人亲测可用，希望对入门大数据的朋友有所帮助。 IDEA开发环境搭建 在有了上面的环境之后，可以在spark-shell下进

异常信息： java.lang.NoSuchMethodError: scala.Product.$init$ 事情的经过是这样的： 1. 使用spark最新版本2.2.0测试SparkSql的DataFrame及Dataset的时候抛出这个异常。 2. 开始怀疑是scala版本问题，于是没多想安装了scala最新版本2.1.2.4，然而依然报这个错。 3. 郁闷好久，甚至去研究ca