
hadoop
JasonLee实时计算
博主一直从事大数据开发的工作,工作经验非常丰富,目前主要专注于 Flink 实时计算领域,博客里面主要分享 spark 和 flink 的实战系列和源码分析的文章,欢迎交流和沟通,也欢迎关注我,希望和你一起学习,共同进步!
展开
-
local-dirs usable space is below configured utilization percentage/no more
最近新搭建了spark2.3 on yarn的集群,遇到这么一个问题,刚开始没有仔细看,最后才发现是由于datanode节点的磁盘空间不足,造成的,查看了一下机器的磁盘使用,发现确实是没有空间了,已经使用了98%,清理了一下磁盘的空间,或者给磁盘扩容就可以解决这个问题,如下图所示.箭头所指地方,有一个Unhealthy Nodes,这一块会有一个提示,点击进去就有详细的信息.当然我这个现在...原创 2018-10-28 18:48:00 · 3287 阅读 · 0 评论 -
hadoop 的启动和停止命令(史上最全)
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManagersbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeMana...原创 2019-02-19 11:37:31 · 44422 阅读 · 4 评论