iamboluke的博客

文章目录spark是什么？有什么？RDD:弹性分布式数据集spark运行原理:spark任务划分:spark宽依赖和窄依赖:spark转换算子和行动算子：reduceByKey(func)和groupByKey()的区别：spark数据倾斜:出现数据倾斜的原因：工作时我的应对:解决方案:spark优化:spark shuffle调优updateStateByKey: 有状态的转化操作spark几种部署模式spark-submit 提交作业参数和过程作业参数过程：spark wordcount：sparkst

spark 、 spark SQL 读取HDFS中的文件 处理数据在IDEA中:导入 spark-core_2.11的依赖包 版本和安装spark的版本相同Object ConnTest{ def main(args: Array[String]): Unit = { val conf = SparkConf().setMaster("local[2]").setAppName("ap...

在IDEA中运行Spark SQL读取hdfs文件时报java.io.IOException: (null) entry in command string: null ls -F F:\tmp\hive的错，或者是报 Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeExcep...