
hadoop
huangyueranbbc
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hdfs-block放置策略源码
FSNamesystem.ReplicationMonitor线程负责对block进行复制。run方法不断循环执行computeDatanodeWork()方法,对blokc进行复制和失效操作。computeReplicationWork()方法会遍历所有需要复制的block,调用computeReplicationWorkForBlock()进行复制操作。 该方法调用BlockPlacementPolicyDefault放置策略对象的chooseTarget()来选择复制的所有目标节点。会先将CPU不忙原创 2021-02-05 08:47:54 · 429 阅读 · 0 评论 -
CDH集群环境进行IP变更
★【如果三台服务器IP地址发生改变】(需要重启服务器) 1.在host重新设置ip地址。 2、停止CM相关服务 cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/ ./cloudera-scm-agent stop ./cloudera-scm-server stop 3、 查看postgresql 的scm用户的密码 cat /opt/cl...原创 2018-11-21 17:57:29 · 761 阅读 · 0 评论 -
CDH 集群安装
centos7.0+ 查看ip命令: ip addr 1.下载 http://archive.cloudera.com/cdh5 CDH https://www.cloudera.com/downloads/manager/5-4-3.html Cloudera Manager 2.Cloudera Manager安装 137 134 136 ======...原创 2018-11-21 18:08:19 · 204 阅读 · 0 评论 -
参考Hadoop源码 实现项目启动和停止时,输出项目版本信息工具
读过Hadoop源码的人一定不陌生,其实就是借鉴Hadoop源码里的启动工具类。 只不过Hadoop源码是用package-info.java来实现。 原理大致一样,通过打包脚本,在maven打包之前生成相关的信息载体文件放入项目资源文件中,然后进行maven打包。 项目启动时,加载资源文件到VersionInfo信息类中,给消息输出工具类进行使用。 由于工作中的项目是通过生成txt的版本...原创 2018-12-05 15:07:22 · 201 阅读 · 0 评论