Hughnes的博客

1、快速入门 a) val conf = new SparkConf().setAppName("xxx").setMaster("xxx") val sc = new SparkContext(conf) val spark = SparkSession.builder().appName("xxx").getOrCreate() b) val、var、def的区别 val：...

HADOOP相关：HADOOP文件夹添加限制：针对的是文件夹而不是针对账号。hdfs dfs -setQuota 2 path：为指定HADOOP文件夹添加上传文件的数量。hdfs dfs -setSpaceQuota 4k path：为指定HADOOP文件夹空间添加大小限制。hdfs dfsadmin -clrSpaceQuota path：清楚指定HADOOP文件夹的空间大小限制。HADOOP安全模式集群启动的时候，首先会进入安全模式，处于安全模式时系统会检查数据块的完整性。比如如果我们