- 博客(5)
- 收藏
- 关注
RSS订阅原创 HDFS（三）执行流程、API操作
目录HDFS（三）执行流程一、dfs目录二、读取流程三、写入流程四、删除流程五、API操作HDFS（三）执行流程 HDFS上的数据不允许修改，Hadoop2.0后允许追加。一、dfs目录dfs目录一般表示HDFS的存储目录a. dfs/name表示NameNode的持久化目录b. dfs/data表示DataNode的存储目录c. dfs/namesecondary表示Secon...
2019-12-28 21:32:23
447
原创 HDFS（二）命令
目录HDFS（二）命令一、常见命令二、其他命令HDFS（二）命令一、常见命令命令说明hadoop fs -mkdir /park在hdfs 的根目录下，创建 park目录hadoop fs -ls /查看hdfs根目录下有哪些目录hadoop fs -put /root/1.txt /park将linux操作系统root目录下的1.txt...
2019-12-24 21:05:09
241
转载 HDFS的机架感知策略
机架感知是一种计算不同计算节点（TT）的距离的技术，用以在任务调度过程中尽量减少网络带宽资源的消耗，这里用尽量，想表达的是当一个TT申请不到本地化任务时，JT会尽量调度一个机架的任务给他，因为不同机架的网络带宽资源比同一个机架的网络带宽资源更可贵。当然，机架感知不仅仅用在MR中，同样还用在HDFS数据块备份过程中（第一个replica选择本节点【如果上传是DataNode】或者随机的一个DN（...
2019-12-24 20:51:12
1728
原创 HDFS（一）基本概念
目录HDFS一、概述二、基本结构三、Block四、NameNode五、DateNode六、SecondaryNameNode七、多副本放置策略机架感知策略HDFS一、概述是Hadoop中用于数据的分布式存储的组件根据Google论文《The Google File System》来设计的二、基本结构在HDFS中，对于文件是进行切块保存HDFS中有2类主要的节点：NameNode...
2019-12-18 22:56:55
578
原创 高并发基础（一）
目录NIO一、概述二、Buffer 缓冲区合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入NIO一、概述jdk1.4出现的...
2019-12-15 14:31:03
1061
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人