
分布式平台搭建
weixin_41366941
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop2.7.5 Spark2.3.0 Anaconda2-5.1.0分布式集群搭建
这几天因为学习需要搭建了一个由3个节点组成的hadoop和spark分布式集群,做记录如下(已生成目录,可按需查看)。 集群搭建环境及安装软件版本 centos6 jdk1.8.0_161 hadoop2.7.5 Spark2.3.0 Scala-2.11.8 Anaconda2-5.1.0 IDEA-2018.1 搭建分布式集群的几个主要步骤: 下载好搭建分布式集群的软件 修...原创 2018-06-10 11:05:01 · 1717 阅读 · 0 评论 -
Uncaught exception while reverting partial writes to file ...(Too many open files)
在用一个新的spark集群 处理业务时,处理的任务量稍微大一点,涉及到较多的map和reduce的任务式就会报下列错误: 开始以为是spark集群的内存没给够,因为在另一个更大集群中和自己只有6g的单机上跑都没有问题,但尝试加大集群运行内存和集群worker和executor数量后仍然报同样地错误。在技术群里问了一下,有人提示说是centos系统的系统参数没有设置好,沿着这个线索对比了...原创 2018-08-15 17:12:48 · 1903 阅读 · 0 评论