
hadoop
zhangketuan
这个作者很懒,什么都没留下…
展开
-
设置Hadoop+Hbase集群pid文件存储位置
有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,为什么呢? 因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是 框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次转载 2016-01-17 21:05:09 · 1203 阅读 · 0 评论 -
Hadoop2.2.0已经遗弃的属性名称
Hadoop自升级到2.x版本之后,有很多属性的名称已经被遗弃了,虽然这些被遗弃的属性名称目前还可以用,但是这里还是建议用新的属性名,主要遗弃的属性名称主要见下面表格:已经被遗弃属性的名称新的属性名称属性默认值create.empty.dir.if.nonexistmapreduce.jobcontrol.createdir.ifnotexist转载 2016-01-07 15:16:00 · 804 阅读 · 0 评论 -
Hadoop集群节点的动态增加与删除
Hadoop集群节点的动态增加1. 安装配置节点具体过程参考 《Hadoop集群实践 之 (1) Hadoop(HDFS)搭建》2. 在配置过程中需要在所有的Hadoop服务器上更新以下三项配置$ sudo vim /etc/hadoop/conf/slaves1hadoop-node-12转载 2016-01-14 11:03:45 · 819 阅读 · 0 评论 -
hadoop常见配置含义备忘录
列了很多配置的参数 其中红色的配置为必须配置参数 参数 取值 备注fs.default.nameNameNode 的URI。hdfs://主机名/dfs.hosts/dfs.hosts.exclude许可/拒绝DataNode列表。如有必要,用这个文件控制许可的datanode列表。dfs.replication默转载 2016-01-14 11:14:40 · 745 阅读 · 0 评论