- 博客(4)
- 收藏
- 关注
RSS订阅原创 Spark on yarn启动时报错：Error initializing SparkContext解决方法
1.首先确认hadoop集群下的yarn-site.xml配置文件是否添加了下面内容 <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <...
2019-12-06 18:55:06
1884
3
原创 长时间未关闭hadoop集群导致stop-all.sh 失效
如果长时间未关闭hadoop集群，执行stop-all.sh命令会报错：no DataNode/NameNode to stop。这是因为hadoop启动时的默认地址为：export HADOOP_PID_DIR=${HADOOP_PID_DIR}即存放log的地址（/tmp），在启动时可以看到starting datanode, logging to /hadoop/hadoop-2.7.7...
2019-12-06 18:32:53
1499
原创 R语言——使用as.Date转换数据类型，结果为NA的解决方案
在学习R语言的时候，发现将字符串转换成时间戳的时候，即使格式正确，也会出现将字符串转换成NA的情况，如下图所示解决方法：通过Sys.setlocale方法改变...
2019-11-02 22:14:12
11900
9
原创 hadoop与java API连接报错总结
hadoop与java API连接的采坑：个人配置：Windows10、IntelliJ IDEA 2019.2.3、hadoop2.6.0和jdk1.8.0_101注意，过高的jdk版本可能会导致连接出现报错，jdk与hadoop版本不相互匹配也可能会导致连接失败，如果下述方法都不行可以考虑查找并更换jdk版本和hadoop相关版本。由于可能性过多且复杂本人并没有逐一尝试。问题1：Exc...
2019-10-15 13:57:07
733
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人