m0_37340681的博客

一．安装虚拟机：在3台电脑中或者3个虚拟机中安装Ubuntu系统，并测试三台电脑能互相ping通二．安装Java：1. 在3台Ubuntu电脑中安装Oracle Java 8(由于Hadoop对高版本jdk支持不好，所以若jdk版本大于8，卸载后重新安装。卸载 指令：移除所有 Java相关包 (Sun, Oracle, OpenJDK, IcedTea plugins, GI...

安装Scala：到官网下载最新版本的scala 2.12.7，并拷贝至虚拟机中https://www.scala-lang.org/download/解压sudo mkdir /usr/lib/scalasudo tar -xzvf scala-2.12.7.tgz -C /usr/lib/scala添加到系统变量中sudo gedit ~/.bashrcexport S...

Spark+Python函数总结整理自:https://www.cnblogs.com/yangzhang-home/p/6058076.htmlhttps://blog.youkuaiyun.com/nanruoanhao/article/details/497385210. parallelize()通过调用SparkContext的parallelize方法，在一个已经存在的集合上创建的（...

Spark + Python实践入门整理自：https://www.cnblogs.com/yangzhang-home/p/6056133.htmlhttp://spark.apache.org/docs/latest/quick-start.html更新日期: 20181107Spark版本:2.3.2配置好spark以及环境变量后在终端中输入pyspark即可运行，spar...

数据可视化库Matplotlib学习总结更新日期:20181109安装#需要先安装numpypip install numpypip install matplotlib如果下载速度慢可以参考:https://blog.youkuaiyun.com/m0_37340681/article/details/84109320官网https://matplotlib.org/users...