- 博客(6)
- 收藏
- 关注
RSS订阅原创 spark启动节点时，从节点slave未启动：Worker:87 - Failed to connect to master master:7077
spark集群总共三个节点，一个主节点，两个从节点，在master提交了任务运行之后发现两个从节点并未work起来，然后去两个从节点slave01 slave02上查看日志文件，在spark目录下的logs查看日志文件，发现如下错误信息：2019-09-19 20:33:57 WARN Worker:87 - Failed to connect to master localhost:...
2019-09-20 09:47:40
4397
1
原创 spark启动master和slave时报错：org.apache.spark.deploy.master.Master --host localhost --port 7077 --webui-po
总共三台服务器，一个master，两个slave，运行start-all.sh时报错，提示的错误信息如下：failed to launch: nice -n 0 /home/zhanghaiping/spark-2.3.3/bin/spark-class org.apache.spark.deploy.master.Master --host localhost --port 7077 --...
2019-09-17 17:06:22
5935
4
原创 Intellij IDEA 打包Jar包时（提示错误: 找不到或无法加载主类）
首先查看提示：打包过程如下：File -> Project Structure:OK 提交：build完之后就会出现两个目录如果你是这样打包的jar包的话，就会出现找不到主类的问题。引用一篇文章的解决办法：Intellij IDEA 封装Jar包（提示错误: 找不到或无法加载主类）那么如何能解决这个问题呢？百度找了很多发现其实配置都不准确，最终发现...
2019-07-11 15:33:53
12007
13
原创 启动spark-shell报错
错误信息：[root@HadoopStudy bin]# ./spark-shell WARNING: An illegal reflective access operation has occurredWARNING: Illegal reflective access by org.apache.hadoop.security.authentication.util.Kerbero...
2019-07-09 16:51:57
1262
翻译 Prophet: forecasting at scale——Prophet：大规模预测
Facebook开源了一个预测工具，一个可用Python语言编写的预测工具。例如，像Facebook这样的大型组织必须进行容量规划，以便有效地分配稀缺资源和目标设置，以便度量相对于基准的性能。对机器或大多数分析师来说，做出高质量的预测都不是一个容易的问题。在编制各类业务预测时，我们发现两个主要的主题:完全自动化的预测技术可能很脆弱，而且它们往往过于死板，无法纳入有用的假设或启发能够做出高质量...
2019-04-19 12:40:37
1806
原创 The program 'java' can be found in the following packages: * default-jre * gcj-5-jre-headless * o
Ubuntu系统安装jdk的问题，配置环境变量，明明是按照教程来的，然后运行Java -version时一直报以下错误The program 'java' can be found in the following packages: * default-jre * gcj-5-jre-headless * openjdk-8-jre-headless * gcj-4.8-jre-h...
2018-10-08 21:23:08
5466
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人