David_house的博客

运行Spark报错：java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)我这里报错的原因是因为我是使用maven创建项目并添加scala框架支持来运行spark程序，我之前使用的scala版本为2.12的，我以为我已经改成了2.11的，结果路径中引入的还是2.12的，而maven中（pom.xml）引入的scala版本是2.11的，总之一句话，使用的scala版本和maven引入的版本不一致！把它们改一致

运行Spark时报错：java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunc首先，我检查了一下我使用的scala版本与maven中引入的scala版本是否一致，发现二者一致，那为什么还会报错呢？我之前使用的是2.12版本的scala，已经从项目中删掉了，现在使用和引入的都是2.11版本的scala。难道是我当前项目使用的scala版本还没有生效，停留在之前删掉的那个版本？多方

8080端口未出现wokers如果你已经启动hdfs和yarn，但是8080端口里面的wokers一个都没有出现或者是显示虚拟机拒绝了连接请求：一般情况下都是因为没有关闭防火墙，没有wokers出现还有一种情况就是你配置了zookeeper但是没有开zookeeper集群关闭防火墙命令：systemctl stop firewalld.service查看防火墙状态：systemctl ...

概述spark简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，可用来构建大型的、低延迟的数据分析应用程序。spark与hadoopSpark，拥有Hadoop MapReduce所具有的优点；但不同于MapRed...