weixin_39423653的博客

由于此书不配代码，以下代码都是本宝宝在ipynb测试过的。

8.3 数据探索 spark-shell --num-executors 1 --total-executor-cores 3 --executor-memory 512m val Path = "hdfs://uti04.utidata.com:8020/u01/bigdata/" val raw_data = sc.textFile(Path + "data/train_nohea...

发现一个好地方：https://www.jianshu.com/p/da2be3876b009.2 数据加载 http://archive.ics.uci.edu/ml/datasets/Bike+Sharing+Dataset # 查看前3行 head -3 hour.csv # 查看记录总数 wc -l hour.csv # 查看文件列数 cat hour.csv | head -1 |...

抓住一只文章：https://www.jianshu.com/p/79a896a5442f10.2 数据加载 http://archive.ics.uci.edu/ml/datasets/Wholesale+customers hdfs dfs -put Wholesale_customers_data.csv /u01/bigdata/data import org.apache.spark...

抓住一只：https://www.jianshu.com/p/82c95217e42913.3 Spark Streaming应用实例 172 // 先启动nc，端口为9999 nc  -lk  9999 // 启动spark-shell spark-shell --num-executors 1 --total-executor-cores 3 --executor-memory 512...