
Hadoop
C_time
BD
展开
-
Hadoop基础介绍
?????????原创 2019-05-13 22:52:28 · 491 阅读 · 0 评论 -
mapred.ClientServiceDelegate:Application state is completed. FinalApplicationStatus=SUCCEEDED.错误解决
19/08/19 10:00:29 INFO mapred.ClientServiceDelegate:Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server19/08/19 10:00:30 INFO ipc.Client: Retrying co...原创 2019-08-19 14:42:45 · 1347 阅读 · 0 评论 -
ha高可用集群一站式搭建
VMware11 已经装好CenOS6.5镜像hadoop-2.7.1安装包Linux的JDK1.8安装包1.安装VMrare11 自行安装2.安装CenOS6.5Linux下mysql的安装 CentOS6.5就是安装 一台 Linux的虚拟机 使用的镜像是CentOS6.53.修改主机名和映射’安装完成了Linux默认用户是root密码是刚刚自己设置的我的是12345...原创 2019-08-31 21:28:53 · 404 阅读 · 0 评论 -
获取集群节点信息
要求获取出集群中每一台节点的如下信息:主机名:ip:port:节点容量:很简单 就将FileSystem类型转换为DistributedFileSystem 一切就可以获得了用户设置的话在idea加这句-DHADOOP_USER_NAME=root或者在代码中加入System.setProperty("HADOOP_USER_NAME","root");/** * 作者:Shis...原创 2019-09-05 21:42:10 · 1791 阅读 · 0 评论 -
Yarn三种调度策略FIFO Scheduler ,Capacity Scheduler,Fair Scheduler
原文链接:https://blog.youkuaiyun.com/qq_34382453/article/details/83615000 理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就Scheduler。其实调度本身就是一个难题,很难找到一个完美的...原创 2019-09-08 17:06:55 · 1379 阅读 · 0 评论