HeatDeath的博客

Secondary NameNode:它究竟有什么作用？ 前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What it really do? (需翻墙)才发现

1 FS Shell调用文件系统 (FS)Shell 命令应使用 bin/hadoop fs <args>的形式。 所有的的 FS shell 命令使用 URI路径作为参数。URI 格式是 scheme://authority/path对HDFS文件系统，scheme 是 hdfs，对本地文件系统，scheme 是 file。其中 scheme 和 authority 参数都是可选的，如果未加指定，

ls使用方法：hadoop fs -ls <args>如果是文件，则按照如下格式返回文件信息： 文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户 ID 组 ID 如果是目录，则返回它直接子文件的一个列表，就像在 Unix 中一样。目录返回列表的信息如下：目录名 <dir> 修改日期 修改时间 权限 用户 ID 组 ID示例：hadoop fs -ls /user/hadoop/file

如果向DataNode写入数据失败了怎么办？如果这种情况发生，那么就会执行一些操作：① Pipeline数据流管道会被关闭，ACK queue中的packets会被添加到data queue的前面以确保不会发生packets数据包的丢失② 在正常的DataNode节点上的以保存好的block的ID版本会升级——这样发生故障的DataNode节点上的block数据会在节点恢复正常后被删除

ACK 是否三个备份都写成功之后再确认成功操作？不是的，只要成功写入的节点数量达到dfs.replication.min(默认为1)，那么就任务是写成功的正常情况下：① 在进行写操作的时候（以默认备份3份为例），DataNode_1接受数据后，首先将数据写入buffer，再将数据写入DatNode_2，写入成功后将 buffer 中的数据写入本地磁盘，并等待ACK信息② 重复上一个

随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100返回最后几行的样本数据 hadoop fs...