Nurbiya_K的博客

1.下载 spark 安装包选择自己Hadoop对应的版本，不然会不兼容spark下载链接2.解压tar -zvxf spark.2.33.删除安装包，修改解压后的文件名字rm -rf 安装包名mv spark-2.3.4-bin-hadoop2.7 spark4. 配置文件进入到spark 目录下cd conf(1).修改配置文件名字：mv spark-en...

在写spark 读取本地文件命令的时候报hdfs上文件不存在的错…读取文件是分两种情况：（首先要确保文件路径写对了！！！！！）1. 如果读取hdfs上的文件时报这个错，那么去看hdfs上是否有这个文件！！hdfs dfs -ls / （ / 后面写要读取的文件的路径）如果没有那么就创建文件，或者把本地文件上传到hdfs上：上传本地文件：hdfs dfs -put /usr/l...

会发比起在IntelliJ IDEA 输入Scala代码，直接在spark启动的shell里面写代码会少些很多代码，那怎么怎么在shell里面写多行代码呐，so easy！！！首先启动spark shellscala> :paste这样会直接进入多行代码编写模块退出多行代码编写 ctrl +D退出完之后会直接运行代码块。...

在spark-shell里面编写Scala代码的时候报了<console>:30: error: not found: type ArrayBufferval result=new ArrayBuffer[Int]需要导一个包：import scala.collection.mutable.ArrayBuffer;导的包在代码块的哪儿都行，都可以的，Scala没有固定...

（我这个是直接运行在spark-shell里面的）算子，通俗一点儿就是函数，方法spark里面的算子分两大类：（1） 转换算子 Transformation（只作转换）（2）行动算子 Action（行动）以下提到的算子都是转换算子：1. map ：遍历每一个元素，返回一个新的RDD（弹性分布式数据集）val arr=Array(1,5,4,6,8)val numRDD=sc.pa...

Spark应用程序在集群上作为独立的进程集合运行，由主程序(称为驱动程序)中的sparkContext对象与Spark集群进行交互协调每个application（应用程序）有自己的executor进程，他们相互隔离，每个executor中可以有多个task线程。这样可以更好的隔离各个application；各个spark application 不能分享数据，除非把数据存储到外部系统。...