u010316405的专栏

启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件

监控指标大致如下：  default.shuffleInput  dfs.datanode  jvm  mapred.shuffleOutput  rpc  metricssystem  dfs.datanode.blockChecksumOp_avg_time 块校验平均时间  dfs.datanode.blockChecksu

问题描述：由于不小心误删了hdfs的元数据目录，导致hdfs的块丢失；hdfs namenode自动进入 safe mode，hbase也一直报错找不到hbase.version文件，导致master挂掉；1、首先退出hdfs namenode safe mode    hadoop dfsadmin -safemode leave2、修复hdfs丢失的块  hadoop fs

hdfs文件误删恢复【恢复HDFS误删数据】　　HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话，HDFS就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录了。　　 根据上面的介绍，用户通过命

背景： 近期公司hadoop平台升级，升级后hadoop平台各个组件也都升级了。hbase中的数据需要迁移至新版本中；首先列出集中常用迁移方案： 1. hadoop distcp 将hbase存储在hdfs上面的数据目录全部从当前集群拷贝至目标集群hbase对应的hdfs目录； hadoop distcp -f hbasedir "hdfs://new cluster ip:9

io.file.buffer.size hadoop访问文件的IO操作都需要通过代码库。因此，在很多情况下，io.file.buffer.size都被用来设置缓存的大小。不论是对硬盘或者是网络操作来讲，较大的缓存都可以提供更高的数据传输，但这也就意味着更大的内存消耗和延迟。这个参数要设置为系统页面大小的倍数，以byte为单位，默认值是4KB，一般情况下，可以设置为64KB（65536byte）

问题描述：journalnode节点的editlog日志目录被其它应用日志占满；导致active nn 无法向 journalnode写入editlog，导致集群宕机；解决思路：HA的工作流程：集群启动后一个NN处于active状态，并提供服务，处理客户端和datanode的请求，并把editlog写到本地和share editlog(jounalnode)。另外一个NN处于Stand