C_time的博客

用了好久的ha的hdfs，今天才发现hdfs-site.xml文件的dfs.namenode.data.dir配置错了data这个单词没写 导致hdfs的文件不知道存储到哪去了反正/home/hahadoopdata/dfs/data配置的这个路径就没有data文件夹现在只能格式化hdfs 步骤跟简单 就三步因为用过一段时间了 产生了许多文件 需要删除1.删除文件2.格式化3.重启服...

checkpointing过程 机制即secondarynamenode怎么工作的，做什么工作的.NameNode和SecondaryNamenode对fsimage与edits的操作请大家看完指正！！！ 肯定有不对的地方，感谢！个人理解：1.刚开启服务，namenode主动将edits和fsimage合并。2.SecondaryNamenode刚开启不做操作，它是namenode的助...

VMware11 已经装好CenOS6.5镜像hadoop-2.7.1安装包Linux的JDK1.8安装包1.安装VMrare11 自行安装2.安装CenOS6.5Linux下mysql的安装 CentOS6.5就是安装 一台 Linux的虚拟机 使用的镜像是CentOS6.53.修改主机名和映射’安装完成了Linux默认用户是root密码是刚刚自己设置的我的是12345...

要求获取出集群中每一台节点的如下信息：主机名:ip:port:节点容量:很简单 就将FileSystem类型转换为DistributedFileSystem 一切就可以获得了用户设置的话在idea加这句-DHADOOP_USER_NAME=root或者在代码中加入System.setProperty("HADOOP_USER_NAME","root");/** * 作者:Shis...

聚合日志：搜集每一个 container的log信息(较为细粒度的日志信息)，并可以移动到hdfs等文件系统中。适合用于追踪每个container的情况。在yarn-site.xml文件增加如下配置 并分发到另外的机子上 重启集群[root@hadoop01 ~]# scp /usr/local/hadoop-2.7.1/etc/hadoop/yarn-site.xml hadoop02:/u...

原文链接：https://blog.youkuaiyun.com/qq_34382453/article/details/83615000 理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就Scheduler。其实调度本身就是一个难题，很难找到一个完美的...