- 博客(4)
- 收藏
- 关注
RSS订阅转载 大数据组件默认端口号
大数据组件默认端口号Hadoop：50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS RPC端口8088 ： Yarn 的WEB UI 接口8485 ： JournalNode 的RPC端口8019 ： ZKFC端口19888：jobhistory WEB UI端口Zookeeper:2181 ： 客户端连接zoo...
2019-10-30 21:32:17
738
转载 Spark map 和 flatMap 区别
Spark map 和 flatMap 区别map: 对RDD每个元素转换flatMap: 对RDD每个元素转换, 然后再扁平化（即将所有对象合并为一个对象）Example:data 有两行数据：a,b,c1,2,3scala>data.map(line1 => line1.split(",")).collect()res11: Array[Array[String]]...
2019-10-27 16:10:32
165
原创 **(centos虚拟机向yarn提交wordcount任务卡在running)**
(centos虚拟机向yarn提交wordcount任务卡在running)可能的原因是安装了太多东西，可以尝把上传的到虚拟机的安装包删除掉。我删除之后，多了几百兆的空间，可以正常向yarn提交任务。...
2019-09-06 22:43:42
215
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人