yinjs1989-优快云博客

原创 Hadoop监控方法总结

接触Hadoop已经一年半了，期间积累了一些Hadoop运维经验，一直想自己开发一套Hadoop监控系统，正好最近实验室有个相关的项目，就借机研究了一下，在这里总结一下Hadoop监控办法。一直认为Hadoop本身自带的HDFS和JobTracker监控页面是最好用的监控页面，简单明了。但是现在想要自己开发一套监控系统，那该怎样去获取Hadoop集群的当前状况呢？网页抓取首先，想到

2014-01-03 09:25:30 12260

原创 hadoop datanode节点超时时间设置

datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.

2013-10-13 21:22:42 1811

原创 HDFS冗余数据块的自动删除

在日常维护hadoop集群的过程中发现这样一种情况：某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏，所以造成了HDFS上某些block的备份数超过了设定的备份数。通过观察发现，这些多余的数据块经过很长的一段时间才会被完全删除掉，那么这个时间取决于什么呢？该时间

2013-10-13 21:00:26 1203

LaTeX经典书籍

收集了学习LaTeX的基本经典书籍，包括 Latex学习笔记.pdf 一份不太简短的LATEX介绍.pdf latex_faq.pdf LaTeX科技文档排版.pdf LaTeX中表格的制作.pdf LaTeX中数学公式的排版.pdf 让TeX中文套装更简单.pdf xeCJK宏包-manual-cn.pdf 如何使用latex撰写科技论文.pdf 用Latex写漂亮学位论文.pdf

2012-03-04

Linux下用Socket和多线程实现简单聊天室

2011-04-05

随机信号经线性系统并行叠加后分析

随机信号实验报告随机信号经线性系统并行叠加后分析

2011-03-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人